DE102009009047A1

DE102009009047A1 - Verfahren zur Objektdetektion

Info

Publication number: DE102009009047A1
Application number: DE102009009047A
Authority: DE
Inventors: Hernan Dr.-Ing. Badino; Uwe Dr.-Ing. Franke
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2009-02-16
Filing date: 2009-02-16
Publication date: 2010-08-19
Also published as: WO2010091818A3; EP2396746A2; US20110311108A1; US8548229B2; CN102317954A; CN102317954B; WO2010091818A2

Abstract

Die Erfindung betrifft ein Verfahren zur Objektdetektion, bei dem jeweils zwei Bilder einer Umgebung (1) aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt wird, wobei aus den ermittelten Disparitäten eine Tiefenkarte der Umgebung (1) bestimmt wird, in der eine Freiraumbegrenzungslinie (2) identifiziert wird, die einen hindernisfreien Bereich der Umgebung (1) umgrenzt, wobei außerhalb und entlang der Freiraumbegrenzungslinie (1) die Tiefenkarte segmentiert wird, indem Segmente (3) einer geeigneten Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Bildebene gebildet werden, wobei eine Höhe jedes Segments (3) als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts (4.1 bis 4.6) geschätzt wird, so dass jedes Segment (3) durch die zweidimensionale Position seines Fußpunkts (z.B. gegeben durch Entfernung und Winkel zur Fahrzeuglängsachse) und seine Höhe charakterisiert wird.

Description

Die Erfindung betrifft ein Verfahren zur Objektdetektion nach dem Oberbegriff des Anspruchs 1.
Moderne Stereoverfahren, aber auch entfernungsmessende Sensoren wie z. B. PMD, Lidar oder hochauflösende Radare, generieren ein dreidimensionales Bild der Umgebung. Aus diesen Daten sind die relevanten Objekte zu extrahieren, beispielsweise stehende oder bewegte Hindernisse. Der Schritt von den Rohdaten zu Objekten erweist sich in der Praxis als sehr groß und führt oft zu vielen heuristischen Speziallösungen. Für die Weiterverarbeitung wird daher eine kompakte Abstraktion mit geringen Datenmengen angestrebt.
Bekannte Verfahren der Stereo-Bildverarbeitung arbeiten mit nicht dichten Stereokarten und extrahieren direkt Objekte unter Verwendung als geeignet angesehener Heuristiken. Ein Abstraktionslevel, der diesen Schritt unterstützt, existiert im Allgemeinen nicht.
Aus der US 2007/0274566 A1 ist ein Verfahren zur Detektion von Fußgängern bekannt, bei dem ein Bild einer Szene vor einem Fahrzeug aufgenommen wird. Anschließend wird im Bild eine Geschwindigkeit und eine Richtung von Pixeln, die jeweils charakteristische Punkte repräsentieren, berechnet. Dabei ermittelte Koordinaten der Pixel werden auf eine Draufsicht umgerechnet. Es wird ermittelt, ob die charakteristischen Punkte ein zweidimensionales oder ein dreidimensionales Objekt repräsentieren. Falls es sich um ein dreidimensionales Objekt handelt wird ermittelt, ob das Objekt sich bewegt. Anhand der Änderungen der Geschwindigkeit, mit der das Objekt sich bewegt, wird ermittelt, ob es sich bei dem Objekt um einen Fußgänger handelt. Bei der Extraktion der charakteristischen Punkte werden Kanten der Objekte detektiert, erodiert und damit die Mitte der Kante ermittelt. Die erodierte Kante wird anschließend wieder erweitert, so dass die Kante eine vorbestimmte Breite, beispielsweise drei Pixel, aufweist, so dass alle Objektkanten eine gleiche Breite aufweisen.
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Objektdetektion anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.
Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Bei einem erfindungsgemäßen Verfahren zur Objektdetektion wird mittels eines Sensorsystems ein Entfernungsbild über horizontalem und vertikalem Winkel ermittelt, wobei aus dem Entfernungsbild eine Tiefenkarte einer Umgebung bestimmt wird. Erfindungsgemäß wird eine Freiraumbegrenzungslinie identifiziert, die einen hindernisfreien Bereich der Umgebung umgrenzt, wobei die Tiefenkarte außerhalb und entlang der Freiraumbegrenzungslinie segmentiert wird, indem Segmente geeigneter, gleicher Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Ebene gebildet werden, wobei eine Höhe jedes Segments als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts geschätzt wird, so dass jedes Segment durch eine zweidimensionale Position eines Fußpunkts (z. B. gegeben durch Entfernung und Winkel zu einer Fahrzeuglängsachse) und durch seine Höhe charakterisiert wird.
Die durch das Entfernungsbild und die Tiefenkarte beschriebene dreidimensionale Umgebung wird durch den hindernisfreien Bereich (auch Freiraumfläche genannt) approximiert. Der hindernisfreie Bereich ist beispielsweise ein befahrbarer Bereich, der jedoch nicht zwingend planar sein muss. Der hindernisfreie Bereich wird begrenzt durch die stabartigen Segmente, die in ihrer Gesamtheit die den hindernisfreien Bereich umgebenden Objekte modellieren. Diese Segmente stehen im einfachsten Fall auf dem Boden und approximieren eine mittlere Höhe des Objekts im Bereich des jeweiligen Segments. Objekte mit variabler Höhe, beispielsweise Radfahrer von der Seite, werden so durch eine stückweise konstante Höhenfunktion beschrieben.
Die so gewonnenen Segmente (auch als Stixel bezeichnet) stellen eine kompakte und robuste Repräsentation der Objekte dar und erfordern nur ein begrenztes Datenvolumen, unabhängig von der Dichte der für die Erstellung der Tiefenkarte verwendeten Stereo-Korrespondenzanalyse. Zu jedem Stixel sind Ort und Höhe gespeichert. Diese Repräsentation eignet sich optimal für gegebenenfalls nachfolgende Schritte, wie Objektbildung und Szeneninterpretation. Die Stixel-Repräsentation stellt eine ideale Schnittstelle zwischen applikationsunabhängiger Stereoanalyse und applikationsspezifischen Auswertungen dar.
Im Folgenden wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert.
Dabei zeigt:
1 eine zweidimensionale Darstellung einer Umgebung mit einer Freiraumbegrenzungslinie und einer Anzahl von Segmenten zur Modellierung von Objekten in der Umgebung.
1 zeigt eine zweidimensionale Darstellung einer Umgebung 1 mit einer Freiraumbegrenzungslinie 2 und einer Anzahl von Segmenten 3 zur Modellierung von Objekten 4.1 bis 4.6 in der Umgebung 1. Die Segmente 3 oder Stixel modellieren die Objekte 4.1 bis 4.6, die den durch die Freiraumbegrenzungslinie 2 definierten freien Fahrraum begrenzen.
Zur Erstellung der gezeigten Darstellung kommt ein Verfahren zum Einsatz, bei dem jeweils zwei Bilder einer Umgebung aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt wird. Beispielsweise kann zur Stereobildverarbeitung das in [H. Hirschmüller: "Accurate and efficient stereo processing by semi-global matching and mutual information. CVPR 2005, San Diego, CA. Volume 2. (June 2005), pp. 807–814.] beschriebene Verfahren verwendet werden.
Aus den ermittelten Disparitäten wird eine Tiefenkarte der Umgebung bestimmt, beispielsweise wie in [H. Badino, U. Franke, R. Mester: "Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming", In Dynamic Programming Workshop for ICCV 07, Rio de Janeiro, Brasil] beschrieben.
Es wird die Freiraumbegrenzungslinie 2 identifiziert, die den hindernisfreien Bereich der Umgebung 1 umgrenzt. Außerhalb und entlang der Freiraumbegrenzungslinie 2 wird die Tiefenkarte segmentiert, indem die Segmente 3 mit einer vorgegebenen Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Bildebene einer Kamera oder mehrerer Kameras gebildet werden.
Die Segmentierung kann beispielsweise mittels des in [H. Badino, U. Franke, R. Mester: "Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming", In Dynamic Vision Workshop for ICCV 07, Rio de Janeiro, Brasil.] beschriebenen Verfahrens erfolgen.
Eine Approximation der gefundenen Freiraumbegrenzungslinie 2 in Segmente 3 (Stäbe, Stixel) vorgegebener Breite (beliebige Vorgaben möglich) liefert die Entfernung der Segmente; bei bekannter Orientierung der Kamera zur Umgebung (beispielsweise einer Straße vor einem Fahrzeug, an dem die Kamera angeordnet ist) und bekanntem 3D-Verlauf ergibt sich ein jeweiliger Fußpunkt der Segmente 3 im Bild.
Anschließend wird eine Höhe jedes Segments 3 geschätzt, so dass jedes Segment 3 durch eine zweidimensionale Position eines Fußpunkts und seine Höhe charakterisiert wird.
Die Schätzung der Höhe kann am einfachsten durch histogrammbasierte Auswertung aller 3D-Punkte im Bereich des Segments erfolgen. Dieser Schritt kann durch dynamische Programmierung gelöst werden.
Bereiche, die keine Segmente 3 aufweisen, sind solche, in denen von der Freiraumanalyse keine Objekte gefunden wurden.
Es können mehrere Bilder sequentiell aufgenommen und verarbeitet werden, wobei aus Veränderungen in der Tiefenkarte und im Disparitätsbild Bewegungsinformationen extrahiert und den Segmenten 3 zugeordnet werden können. Auf diese Weise können auch bewegte Szenen repräsentiert werden und beispielsweise zur Prognose einer zu erwartenden Bewegung der Objekte 4.1 bis 4.6 verwendet werden. Bei dieser Art von Bewegungsverfolgung spricht man auch von Tracking. Dabei kann zur Bestimmung der Bewegung der Segmente 3 eine Fahrzeug-Eigenbewegung ermittelt und zur Kompensation herangezogen werden. Die Kompaktheit und Robustheit der Segmente 3 resultiert aus der Integration vieler Pixel im Bereich des Segments 3 und – bei der Tracking-Variante – aus der zusätzlichen Integration über die Zeit.
Die Zugehörigkeit jedes der Segmente 3 zu einem der Objekte 4.1 bis 4.6 kann ebenfalls mit den übrigen Informationen zu jedem Segment gespeichert sein. Dies ist jedoch nicht zwingend erforderlich.
Die Bewegungsinformationen können beispielsweise durch Integration des optischen Flusses gewonnen werden, so dass sich für jedes der Segmente 3 eine reale Bewegung schätzen lässt. Entsprechende Verfahren sind z. B. aus Arbeiten zur 6D-Vision, welche in der DE 10 2005 008 131 A1 veröffentlicht sind, bekannt. Diese Bewegungsinformation vereinfacht weiter die Gruppierung zu Objekten, da auf kompatible Bewegungen geprüft werden kann.
Die Position des Fußpunkts, die Höhe und die Bewegungsinformation des Segments 3 können mittels Scene Flow ermittelt werden. Beim Scene Flow handelt es sich um eine Klasse von Verfahren, die aus mindestens 2 aufeinander folgenden Stereobildpaaren versucht, für möglichst jeden Bildpunkt die korrekte Bewegung im Raum plus seine 3D-Position zu ermitteln; siehe hierzu [Sundar Vedulay, Simon Bakery, Peter Randeryz, Robert Collinsy, and Takeo Kanade, "Three-Dimensional Scene Flow", Appeared in the 7th International Conference an Computer Vision, Corfu, Greece, September 1999.] Auf der Basis der identifizierten Segmente 3 können Informationen für ein Fahrerassistenzsystem in einem Fahrzeug generiert werden, an dem die Kameras angeordnet sind.
Beispielsweise kann eine verbleibende Zeit bis zur Kollision des Fahrzeugs mit einem durch Segmente 3 gebildeten Objekt 4.1 bis 4.6 geschätzt werden.
Weiter kann ein Fahrkorridor 5 in den hindernisfreien Bereich gelegt werden, der vom Fahrzeug benutzt werden soll, wobei ein seitlicher Abstand mindestens eines der Objekte 4.1 bis 4.6 zum Fahrkorridor 5 ermittelt wird.
Ebenso können kritische, insbesondere bewegte Objekte 4.1 bis 4.6 zur Unterstützung eines Abbiegeassistenzsystems und/oder einer automatische Fahrlichtschaltung und/oder eines Fußgängerschutzsystems und/oder eines Notbremssystems identifiziert werden.
Informationen weiterer Sensoren können mit den Informationen zur Unterstützung des Fahrerassistenzsystems, die den Segmenten 3 zugeordnet sind, kombiniert werden (Sensorfusion). Insbesondere kommen hierfür aktive Sensoren, wie zum Beispiel ein LIDAR, in Frage.
Die Breite der Segmente 3 kann beispielsweise auf fünf Bildpunkte gesetzt werden. Für ein Bild mit VGA-Auflösung ergeben sich dann maximal 640/5 = 128 Segmente, die durch Entfernung und Höhe eindeutig beschrieben sind. Die Segmente 3 haben eindeutige Nachbarschaftsbeziehungen, wodurch sie sich sehr einfach zu Objekten 4.1 bis 4.6 gruppieren lassen. Im einfachsten Fall sind zu jedem Segment 3 nur Entfernung und Höhe zu übertragen, bei bekannter Breite des Segments 3 ergibt sich ein Winkel (Spalten im Bild) aus einem Index.
Das Entfernungsbild kann mittels eines beliebigen Sensorsystems über horizontalem und vertikalem Winkel ermittelt werden, wobei aus dem Entfernungsbild die Tiefenkarte der Umgebung bestimmt wird.
Insbesondere können jeweils zwei Bilder der Umgebung (1) mittels je einer Kamera aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt werden, wobei aus den ermittelten Disparitäten das Entfernungsbild und die Tiefenkarte bestimmt werden.
Ebenso kann als Sensorsystem ein Photomischdetektor und/oder eine dreidimensionale Kamera und/oder ein Lidar und/oder ein Radar verwendet werden.

1: Umgebung
2: Freiraumbegrenzungslinie
3: Segment
4.1 bis 4.6: Objekt
5: Fahrkorridor

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- US 2007/0274566 A1 [0004]
- DE 102005008131 A1 [0025]

Zitierte Nicht-Patentliteratur

- H. Hirschmüller: ”Accurate and efficient stereo processing by semi-global matching and mutual information. CVPR 2005, San Diego, CA. Volume 2. (June 2005), pp. 807–814. [0015]
- H. Badino, U. Franke, R. Mester: ”Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming”, In Dynamic Programming Workshop for ICCV 07, Rio de Janeiro, Brasil [0016]
- H. Badino, U. Franke, R. Mester: ”Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming”, In Dynamic Vision Workshop for ICCV 07, Rio de Janeiro, Brasil. [0018]
- Sundar Vedulay, Simon Bakery, Peter Randeryz, Robert Collinsy, and Takeo Kanade, ”Three-Dimensional Scene Flow”, Appeared in the 7th International Conference an Computer Vision, Corfu, Greece, September 1999. [0026]

Claims

Verfahren zur Objektdetektion, bei dem mittels eines Sensorsystems ein Entfernungsbild über horizontalem und vertikalem Winkel ermittelt wird, wobei aus dem Entfernungsbild eine Tiefenkarte einer Umgebung (1) bestimmt wird, dadurch gekennzeichnet, dass im Entfernungsbild eine Freiraumbegrenzungslinie (2) identifiziert wird, die einen hindernisfreien Bereich der Umgebung (1) umgrenzt, wobei die Tiefenkarte außerhalb und entlang der Freiraumbegrenzungslinie (1) segmentiert wird, indem Segmente (3) gleicher Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Ebene gebildet werden, wobei eine Höhe jedes Segments (3) als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts (4.1 bis 4.6) geschätzt wird, so dass jedes Segment (3) durch eine zweidimensionale Position eines Fußpunkts und seine Höhe charakterisiert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass jeweils zwei Bilder der Umgebung (1) mittels je einer Kamera aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt wird, wobei aus den ermittelten Disparitäten das Entfernungsbild und die Tiefenkarte bestimmt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Sensorsystem ein Photomischdetektor und/oder eine dreidimensionale Kamera und/oder ein Lidar und/oder ein Radar verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass mehrere Entfernungsbilder sequentiell ermittelt und verarbeitet werden, wobei aus Veränderungen in der Tiefenkarte Bewegungsinformationen extrahiert und den Segmenten (3) zugeordnet werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Bewegungsinformationen durch Integration des optischen Flusses gewonnen werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Zugehörigkeit der Segmente (3) zu einem der Objekte (4.1 bis 4.6) bestimmt und die Segmente (3) mit Informationen über ihre Zugehörigkeit zu einem der Objekte (4.1 bis 4.6) versehen werden.
Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass die Position des Fußpunkts, die Höhe und die Bewegungsinformation des Segments (3) mittels Scene Flow ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Höhe des Segments (3) mittels histogrammbasierter Auswertung aller dreidimensionalen Punkte im Bereich des Segments (3) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf der Basis der identifizierten Segmente (3) Informationen für ein Fahrerassistenzsystem in einem Fahrzeug generiert werden, an dem Kameras zur Aufnahme der Bilder angeordnet sind.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass eine verbleibende Zeit bis zur Kollision des Fahrzeugs mit einem durch Segmente (3) gebildeten Objekt (4.1 bis 4.6) geschätzt wird.
Verfahren nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass ein Fahrkorridor (5) in den hindernisfreien Bereich gelegt wird, wobei ein seitlicher Abstand mindestens eines der Objekte (4.1 bis 4.6) zum Fahrkorridor (5) ermittelt wird.
Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass kritische Objekte (4.1 bis 4.6) zur Unterstützung eines Abbiegeassistenzsystems und/oder einer automatischen Fahrlichtschaltung und/oder eines Fußgängerschutzsystems und/oder eines Notbremssystems identifiziert werden und/oder ein Fahrer beim Befahren enger Fahrspuren unterstützt wird.
Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass Informationen weiterer Sensoren mit den Segmenten (3) zugeordneten Informationen zur Unterstützung des Fahrerassistenzsystems kombiniert werden.