EP2396746A2 - Verfahren zur objektdetektion - Google Patents
Verfahren zur objektdetektionInfo
- Publication number
- EP2396746A2 EP2396746A2 EP10703018A EP10703018A EP2396746A2 EP 2396746 A2 EP2396746 A2 EP 2396746A2 EP 10703018 A EP10703018 A EP 10703018A EP 10703018 A EP10703018 A EP 10703018A EP 2396746 A2 EP2396746 A2 EP 2396746A2
- Authority
- EP
- European Patent Office
- Prior art keywords
- determined
- segments
- segment
- height
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Definitions
- the invention relates to a method for object detection according to the preamble of claim 1.
- a distance image is determined by means of a sensor system via horizontal and vertical angles, wherein a depth map of an environment is determined from the distance image.
- a free space boundary line is defined that bounds an obstacle-free area of the environment, segmenting the depth map outside and along the free space boundary line by forming segments of appropriate equal widths of pixels of equal or similar distance from a plane, with a height of each segment as a part of an object located outside the obstacle-free area, so that each segment is characterized by a two-dimensional position of a foot point (eg given by distance and angle to a vehicle longitudinal axis) and by its height.
- the three-dimensional environment described by the distance image and the depth map is approximated by the obstacle-free area (also called the free space area).
- the obstacle-free area is, for example, a drivable area, which, however, does not necessarily have to be planar.
- the obstacle-free area is limited by the rod-like segments, which in their entirety model the objects surrounding the obstacle-free area. These segments are in the simplest case on the ground and approximate a mean height of the object in the region of the respective segment. Variable height objects, such as cyclists from the side, are thus described by a piecewise constant height function.
- the resulting segments represent a compact and robust representation of the objects and require only a limited amount of data, regardless of the density of the stereo correspondence analysis used to create the depth map.
- Location and altitude are stored for each stixel. These Representation is optimally suitable for any subsequent steps, such as object formation and scene interpretation.
- the stixel representation represents an ideal interface between application-independent stereo analysis and application-specific evaluations.
- Fig. 1 is a two-dimensional representation of an environment with a
- Free space boundary and a number of segments for modeling objects in the environment are free space boundary and a number of segments for modeling objects in the environment.
- FIG. 1 shows a two-dimensional representation of an environment 1 with a free-space delimitation line 2 and a number of segments 3 for modeling objects 4.1 to 4.6 in the environment 1.
- the segments 3 or stixels model the objects 4.1 to 4.6 that are defined by the free-space delimiting line 2 limit free travel.
- a method is used in which two images of an environment are recorded and a disparity image is determined by means of stereo image processing.
- stereo image processing the method described in [H. Hirschmüller: "Accurate and efficient stereo processing by semi-global matching and mutual information.” CVPR 2005, San Diego, CA. Volume 2. (June 2005), pp. 807-814.].
- a depth map of the environment is determined, for example as described in [H.Badino, U. Franke, R.Mester: "Free Space Computation Using Stochastic Occupancy Grids and Dynamic Programming", In Dynamic Programming Workshop for ICCV 07, Rio de Janeiro, Brasil].
- the free space boundary line 2 is identified which delimits the obstacle-free area of the surroundings 1.
- the depth map is segmented by forming the segments 3 with a predetermined width of pixels of equal or similar distance to an image plane of a camera or multiple cameras.
- the segmentation may be accomplished, for example, by the method described in [H.Badino, U.Franke, R.Mester: "Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming", In Dynamic Vision Workshop for ICCV 07, Rio de Janeiro, Brasil] ,
- An approximation of the found free space boundary line 2 in segments 3 (bars, stixels) of predetermined width provides the distance of the segments; with known orientation of the camera to the environment (for example, a road in front of a vehicle on which the camera is arranged) and known 3D curve results in a respective base point of the segments 3 in the image.
- each segment 3 is characterized by a two-dimensional position of a foot point and its height.
- Height estimation is most easily accomplished by histogram-based analysis of all 3D points in the segment area. This step can be solved by dynamic programming.
- Areas that have no segments 3, are those in which no objects were found by the free space analysis.
- Multiple images can be sequentially acquired and processed, and from changes in the depth map and disparity image, motion information can be extracted and assigned to segments 3.
- moving scenes can also be represented and, for example, used to predict an expected movement of the objects 4.1 to 4.6.
- This kind of motion tracking is also called tracking.
- a vehicle own motion can be determined and used for compensation.
- the compactness and robustness of the segments 3 results from the integration of many pixels in the area of the segment 3 and - in the tracking variant - from the additional integration over time.
- the membership of each of the segments 3 to one of the objects 4.1 to 4.6 can also be stored with the remaining information about each segment. However, this is not mandatory.
- the movement information can be obtained, for example, by integration of the optical flow, so that a real movement can be estimated for each of the segments 3.
- Corresponding methods are for. B. from works on the 6D vision, which are published in DE 102005008131 A1, known. This motion information further simplifies the grouping into objects, as compatible movements can be checked.
- the position of the foot point, the height and the motion information of the segment 3 can be determined by means of Scene Flow.
- the Scene Flow is a class of procedures that attempts to determine the correct movement in space plus its SD position from at least 2 consecutive stereo image pairs for as many pixels as possible; See [Sundar Vedulay, Simon Bakery, Peter Randeryz, Robert Collinsy, and Takeo Kanade, "Three Dimensional Scene Flow,” Appeared in the 7th International Conference on Computer Vision, Corfu, Greece, September 1999.]
- information for a driver assistance system can be generated in a vehicle on which the cameras are arranged.
- a remaining time until collision of the vehicle with an object 4.1 to 4.6 formed by segments 3 can be estimated.
- a driving corridor 5 can be placed in the obstacle-free area to be used by the vehicle, wherein a lateral distance of at least one of the objects 4.1 to 4.6 to the driving corridor 5 is determined.
- Information from other sensors can be combined with the driver assistance system information associated with segments 3 (sensor fusion).
- active sensors such as a LIDAR
- the segments 3 have unique neighborhood relationships, which makes them very easy to group into objects 4.1 through 4.6. In the simplest case, only distance and height are to be transmitted to each segment 3, with known width of the segment 3 results in an angle (columns in the image) from an index.
- the distance image can be determined by means of any sensor system over horizontal and vertical angle, wherein from the distance image, the depth map of the environment is determined.
- two images of the surroundings (1) can each be recorded by means of one camera and a disparity image can be determined by means of stereo image processing, the distance image and the depth map being determined from the disparities determined.
- a photonic mixer device and / or a three-dimensional camera and / or a lidar and / or a radar can be used as the sensor system.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Objektdetektion, bei dem jeweils zwei Bilder einer Umgebung (1) aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt wird, wobei aus den ermittelten Disparitäten eine Tiefenkarte der Umgebung (1) bestimmt wird, in der eine Freiraumbegrenzungslinie (2) identifiziert wird, die einen hindernisfreien Bereich der Umgebung (1) umgrenzt, wobei außerhalb und entlang der Freiraumbegrenzungslinie (1) die Tiefenkarte segmentiert wird, indem Segmente (3) einer geeigneten Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Bildebene gebildet werden, wobei eine Höhe jedes Segments (3) als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts (4.1 bis 4.6) geschätzt wird, so dass jedes Segment (3) durch die zweidimensionale Position seines Fußpunkts (z. B. gegeben durch Entfernung und Winkel zur Fahrzeuglängsachse) und seine Höhe charakterisiert wird.
Description
Verfahren zur Objektdetektion
Die Erfindung betrifft ein Verfahren zur Objektdetektion nach dem Oberbegriff des Anspruchs 1.
Moderne Stereoverfahren, aber auch entfernungsmessende Sensoren wie z. B. PMD, Lidar oder hochauflösende Radare, generieren ein dreidimensionales Bild der Umgebung. Aus diesen Daten sind die relevanten Objekte zu extrahieren, beispielsweise stehende oder bewegte Hindernisse. Der Schritt von den Rohdaten zu Objekten erweist sich in der Praxis als sehr groß und führt oft zu vielen heuristischen Speziallösungen. Für die Weiterverarbeitung wird daher eine kompakte Abstraktion mit geringen Datenmengen angestrebt.
Bekannte Verfahren der Stereo-Bildverarbeitung arbeiten mit nicht dichten Stereokarten und extrahieren direkt Objekte unter Verwendung als geeignet angesehener Heuristiken. Ein Abstraktionslevel, der diesen Schritt unterstützt, existiert im Allgemeinen nicht.
Aus der US 2007/0274566 A1 ist ein Verfahren zur Detektion von Fußgängern bekannt, bei dem ein Bild einer Szene vor einem Fahrzeug aufgenommen wird. Anschließend wird im Bild eine Geschwindigkeit und eine Richtung von Pixeln, die jeweils charakteristische Punkte repräsentieren, berechnet. Dabei ermittelte Koordinaten der Pixel werden auf eine Draufsicht umgerechnet. Es wird ermittelt, ob die charakteristischen Punkte ein zweidimensionales oder ein dreidimensionales Objekt repräsentieren. Falls es sich um ein dreidimensionales Objekt handelt wird ermittelt, ob das Objekt sich bewegt. Anhand der Änderungen der Geschwindigkeit, mit der das Objekt sich bewegt, wird ermittelt, ob es sich bei dem Objekt um einen Fußgänger handelt. Bei der Extraktion der charakteristischen Punkte werden Kanten der Objekte detektiert, erodiert und damit die Mitte der Kante ermittelt. Die erodierte Kante wird anschließend wieder erweitert, so dass
die Kante eine vorbestimmte Breite, beispielsweise drei Pixel, aufweist, so dass alle Objektkanten eine gleiche Breite aufweisen.
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Objektdetektion anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.
Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Bei einem erfindungsgemäßen Verfahren zur Objektdetektion wird mittels eines Sensorsystems ein Entfernungsbild über horizontalem und vertikalem Winkel ermittelt, wobei aus dem Entfernungsbild eine Tiefenkarte einer Umgebung bestimmt wird. Erfindungsgemäß wird eine Freiraumbegrenzungslinie identifiziert, die einen hindernisfreien Bereich der Umgebung umgrenzt, wobei die Tiefenkarte außerhalb und entlang der Freiraumbegrenzungslinie segmentiert wird, indem Segmente geeigneter, gleicher Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Ebene gebildet werden, wobei eine Höhe jedes Segments als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts geschätzt wird, so dass jedes Segment durch eine zweidimensionale Position eines Fußpunkts (z. B. gegeben durch Entfernung und Winkel zu einer Fahrzeuglängsachse) und durch seine Höhe charakterisiert wird.
Die durch das Entfernungsbild und die Tiefenkarte beschriebene dreidimensionale Umgebung wird durch den hindernisfreien Bereich (auch Freiraumfläche genannt) approximiert. Der hindernisfreie Bereich ist beispielsweise ein befahrbarer Bereich, der jedoch nicht zwingend planar sein muss. Der hindernisfreie Bereich wird begrenzt durch die stabartigen Segmente, die in ihrer Gesamtheit die den hindernisfreien Bereich umgebenden Objekte modellieren. Diese Segmente stehen im einfachsten Fall auf dem Boden und approximieren eine mittlere Höhe des Objekts im Bereich des jeweiligen Segments. Objekte mit variabler Höhe, beispielsweise Radfahrer von der Seite, werden so durch eine stückweise konstante Höhenfunktion beschrieben.
Die so gewonnenen Segmente (auch als Stixel bezeichnet) stellen eine kompakte und robuste Repräsentation der Objekte dar und erfordern nur ein begrenztes Datenvolumen, unabhängig von der Dichte der für die Erstellung der Tiefenkarte verwendeten Stereo- Korrespondenzanalyse. Zu jedem Stixel sind Ort und Höhe gespeichert. Diese
Repräsentation eignet sich optimal für gegebenenfalls nachfolgende Schritte, wie Objektbildung und Szeneninterpretation. Die Stixel-Repräsentation stellt eine ideale Schnittstelle zwischen applikationsunabhängiger Stereoanalyse und applikationsspezifischen Auswertungen dar.
Im Folgenden wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert.
Dabei zeigt:
Fig. 1 eine zweidimensionale Darstellung einer Umgebung mit einer
Freiraumbegrenzungslinie und einer Anzahl von Segmenten zur Modellierung von Objekten in der Umgebung.
Figur 1 zeigt eine zweidimensionale Darstellung einer Umgebung 1 mit einer Freiraumbegrenzungslinie 2 und einer Anzahl von Segmenten 3 zur Modellierung von Objekten 4.1 bis 4.6 in der Umgebung 1. Die Segmente 3 oder Stixel modellieren die Objekte 4.1 bis 4.6, die den durch die Freiraumbegrenzungslinie 2 definierten freien Fahrraum begrenzen.
Zur Erstellung der gezeigten Darstellung kommt ein Verfahren zum Einsatz, bei dem jeweils zwei Bilder einer Umgebung aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt wird. Beispielsweise kann zur Stereobildverarbeitung das in [H. Hirschmüller: "Accurate and efficient Stereo processing by semi-global matching and mutual information. CVPR 2005, San Diego, CA. Volume 2. (June 2005), pp.807-814.] beschriebene Verfahren verwendet werden.
Aus den ermittelten Disparitäten wird eine Tiefenkarte der Umgebung bestimmt, beispielsweise wie in [H.Badino, U.Franke, R.Mester: "Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming", In Dynamic Programming Workshop for ICCV 07, Rio de Janeiro, Brasil] beschrieben.
Es wird die Freiraumbegrenzungslinie 2 identifiziert, die den hindernisfreien Bereich der Umgebung 1 umgrenzt. Außerhalb und entlang der Freiraumbegrenzungslinie 2 wird die Tiefenkarte segmentiert, indem die Segmente 3 mit einer vorgegebenen Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Bildebene einer Kamera oder mehrerer Kameras gebildet werden.
Die Segmentierung kann beispielsweise mittels des in [H.Badino, U.Franke, R.Mester: "Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming", In Dynamic Vision Workshop for ICCV 07, Rio de Janeiro, Brasil] beschriebenen Verfahrens erfolgen.
Eine Approximation der gefundenen Freiraumbegrenzungslinie 2 in Segmente 3 (Stäbe, Stixel) vorgegebener Breite (beliebige Vorgaben möglich) liefert die Entfernung der Segmente; bei bekannter Orientierung der Kamera zur Umgebung (beispielsweise einer Straße vor einem Fahrzeug, an dem die Kamera angeordnet ist) und bekanntem 3D- Verlauf ergibt sich ein jeweiliger Fußpunkt der Segmente 3 im Bild.
Anschließend wird eine Höhe jedes Segments 3 geschätzt, so dass jedes Segment 3 durch eine zweidimensionale Position eines Fußpunkts und seine Höhe charakterisiert wird.
Die Schätzung der Höhe kann am einfachsten durch histogrammbasierte Auswertung aller 3D-Punkte im Bereich des Segments erfolgen. Dieser Schritt kann durch dynamische Programmierung gelöst werden.
Bereiche, die keine Segmente 3 aufweisen, sind solche, in denen von der Freiraumanalyse keine Objekte gefunden wurden.
Es können mehrere Bilder sequentiell aufgenommen und verarbeitet werden, wobei aus Veränderungen in der Tiefenkarte und im Disparitätsbild Bewegungsinformationen extrahiert und den Segmenten 3 zugeordnet werden können. Auf diese Weise können auch bewegte Szenen repräsentiert werden und beispielsweise zur Prognose einer zu erwartenden Bewegung der Objekte 4.1 bis 4.6 verwendet werden. Bei dieser Art von Bewegungsverfolgung spricht man auch von Tracking. Dabei kann zur Bestimmung der Bewegung der Segmente 3 eine Fahrzeug-Eigenbewegung ermittelt und zur Kompensation herangezogen werden. Die Kompaktheit und Robustheit der Segmente 3 resultiert aus der Integration vieler Pixel im Bereich des Segments 3 und - bei der Tracking-Variante - aus der zusätzlichen Integration über die Zeit.
Die Zugehörigkeit jedes der Segmente 3 zu einem der Objekte 4.1 bis 4.6 kann ebenfalls mit den übrigen Informationen zu jedem Segment gespeichert sein. Dies ist jedoch nicht zwingend erforderlich.
Die Bewegungsinformationen können beispielsweise durch Integration des optischen Flusses gewonnen werden, so dass sich für jedes der Segmente 3 eine reale Bewegung schätzen lässt. Entsprechende Verfahren sind z. B. aus Arbeiten zur 6D-Vision, welche in der DE 102005008131 A1 veröffentlicht sind, bekannt. Diese Bewegungsinformation vereinfacht weiter die Gruppierung zu Objekten, da auf kompatible Bewegungen geprüft werden kann.
Die Position des Fußpunkts, die Höhe und die Bewegungsinformation des Segments 3 können mittels Scene Flow ermittelt werden. Beim Scene Flow handelt es sich um eine Klasse von Verfahren, die aus mindestens 2 aufeinander folgenden Stereobildpaaren versucht, für möglichst jeden Bildpunkt die korrekte Bewegung im Raum plus seine SD- Position zu ermitteln; siehe hierzu [Sundar Vedulay, Simon Bakery, Peter Randeryz, Robert Collinsy, and Takeo Kanade, "Three-Dimensional Scene Flow", Appeared in the 7th International Conference on Computer Vision, Corfu, Greece, September 1999.]
Auf der Basis der identifizierten Segmente 3 können Informationen für ein Fahrerassistenzsystem in einem Fahrzeug generiert werden, an dem die Kameras angeordnet sind.
Beispielsweise kann eine verbleibende Zeit bis zur Kollision des Fahrzeugs mit einem durch Segmente 3 gebildeten Objekt 4.1 bis 4.6 geschätzt werden.
Weiter kann ein Fahrkorridor 5 in den hindernisfreien Bereich gelegt werden, der vom Fahrzeug benutzt werden soll, wobei ein seitlicher Abstand mindestens eines der Objekte 4.1 bis 4.6 zum Fahrkorridor 5 ermittelt wird.
Ebenso können kritische, insbesondere bewegte Objekte 4.1 bis 4.6 zur Unterstützung eines Abbiegeassistenzsystems und/oder einer automatische Fahrlichtschaltung und/oder eines Fußgängerschutzsystems und/oder eines Notbremssystems identifiziert werden.
Informationen weiterer Sensoren können mit den Informationen zur Unterstützung des Fahrerassistenzsystems, die den Segmenten 3 zugeordnet sind, kombiniert werden (Sensorfusion). Insbesondere kommen hierfür aktive Sensoren, wie zum Beispiel ein LIDAR, in Frage.
Die Breite der Segmente 3 kann beispielsweise auf fünf Bildpunkte gesetzt werden. Für ein Bild mit VGA-Auflösung ergeben sich dann maximal 640/5=128 Segmente, die durch Entfernung und Höhe eindeutig beschrieben sind. Die Segmente 3 haben eindeutige Nachbarschaftsbeziehungen, wodurch sie sich sehr einfach zu Objekten 4.1 bis 4.6 gruppieren lassen. Im einfachsten Fall sind zu jedem Segment 3 nur Entfernung und Höhe zu übertragen, bei bekannter Breite des Segments 3 ergibt sich ein Winkel (Spalten im Bild) aus einem Index.
Das Entfernungsbild kann mittels eines beliebigen Sensorsystems über horizontalem und vertikalem Winkel ermittelt werden, wobei aus dem Entfernungsbild die Tiefenkarte der Umgebung bestimmt wird.
Insbesondere können jeweils zwei Bilder der Umgebung (1) mittels je einer Kamera aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt werden, wobei aus den ermittelten Disparitäten das Entfernungsbild und die Tiefenkarte bestimmt werden.
Ebenso kann als Sensorsystem ein Photomischdetektor und/oder eine dreidimensionale Kamera und/oder ein Lidar und/oder ein Radar verwendet werden.
Bezugszeichenliste
1 Umgebung
2 Freiraumbegrenzungslinie
3 Segment 4.1 bis 4.6 Objekt 5 Fahrkorridor
Claims
1. Verfahren zur Objektdetektion, bei dem mittels eines Sensorsystems ein Entfernungsbild über horizontalem und vertikalem Winkel ermittelt wird, wobei aus dem Entfernungsbild eine Tiefenkarte einer Umgebung (1) bestimmt wird, dadurch gekennzeichnet, dass im Entfernungsbild eine Freiraumbegrenzungslinie (2) identifiziert wird, die einen hindernisfreien Bereich der Umgebung (1) umgrenzt, wobei die Tiefenkarte außerhalb und entlang der Freiraumbegrenzungslinie (1 ) segmentiert wird, indem Segmente (3) gleicher Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Ebene gebildet werden, wobei eine Höhe jedes Segments (3) als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts (4.1 bis 4.6) geschätzt wird, so dass jedes Segment (3) durch eine zweidimensionale Position eines Fußpunkts und seine Höhe charakterisiert wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass jeweils zwei Bilder der Umgebung (1) mittels je einer Kamera aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt wird, wobei aus den ermittelten Disparitäten das Entfernungsbild und die Tiefenkarte bestimmt werden.
3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Sensorsystem ein Photomischdetektor und/oder eine dreidimensionale Kamera und/oder ein Lidar und/oder ein Radar verwendet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass mehrere Entfernungsbilder sequentiell ermittelt und verarbeitet werden, wobei aus Veränderungen in der Tiefenkarte Bewegungsinformationen extrahiert und den Segmenten (3) zugeordnet werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Bewegungsinformationen durch Integration des optischen Flusses gewonnen werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Zugehörigkeit der Segmente (3) zu einem der Objekte (4.1 bis 4.6) bestimmt und die Segmente (3) mit Informationen über ihre Zugehörigkeit zu einem der Objekte (4.1 bis 4.6) versehen werden.
7. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass die Position des Fußpunkts, die Höhe und die Bewegungsinformation des Segments (3) mittels Scene Flow ermittelt werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Höhe des Segments (3) mittels histogrammbasierter Auswertung aller dreidimensionalen Punkte im Bereich des Segments (3) durchgeführt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf der Basis der identifizierten Segmente (3) Informationen für ein Fahrerassistenzsystem in einem Fahrzeug generiert werden, an dem Kameras zur Aufnahme der Bilder angeordnet sind.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass eine verbleibende Zeit bis zur Kollision des Fahrzeugs mit einem durch Segmente (3) gebildeten Objekt (4.1 bis 4.6) geschätzt wird.
11. Verfahren nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass ein Fahrkorridor (5) in den hindernisfreien Bereich gelegt wird, wobei ein seitlicher Abstand mindestens eines der Objekte (4.1 bis 4.6) zum Fahrkorridor (5) ermittelt wird.
12. Verfahren nach einem der Ansprüche 9 bis 11 , dadurch gekennzeichnet, dass kritische Objekte (4.1 bis 4.6) zur Unterstützung eines Abbiegeassistenzsystems und/oder einer automatischen Fahrlichtschaltung und/oder eines Fußgängerschutzsystems und/oder eines Notbremssystems identifiziert werden und/oder ein Fahrer beim Befahren enger Fahrspuren unterstützt wird.
13. Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass Informationen weiterer Sensoren mit den Segmenten (3) zugeordneten Informationen zur Unterstützung des Fahrerassistenzsystems kombiniert werden.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009009047A DE102009009047A1 (de) | 2009-02-16 | 2009-02-16 | Verfahren zur Objektdetektion |
PCT/EP2010/000671 WO2010091818A2 (de) | 2009-02-16 | 2010-02-04 | Verfahren zur objektdetektion |
Publications (1)
Publication Number | Publication Date |
---|---|
EP2396746A2 true EP2396746A2 (de) | 2011-12-21 |
Family
ID=42338731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP10703018A Withdrawn EP2396746A2 (de) | 2009-02-16 | 2010-02-04 | Verfahren zur objektdetektion |
Country Status (5)
Country | Link |
---|---|
US (1) | US8548229B2 (de) |
EP (1) | EP2396746A2 (de) |
CN (1) | CN102317954B (de) |
DE (1) | DE102009009047A1 (de) |
WO (1) | WO2010091818A2 (de) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10776635B2 (en) | 2010-09-21 | 2020-09-15 | Mobileye Vision Technologies Ltd. | Monocular cued detection of three-dimensional structures from depth images |
JP5316572B2 (ja) * | 2011-03-28 | 2013-10-16 | トヨタ自動車株式会社 | 物体認識装置 |
DE102011111440A1 (de) | 2011-08-30 | 2012-06-28 | Daimler Ag | Verfahren zur Umgebungsrepräsentation |
CN103164851B (zh) * | 2011-12-09 | 2016-04-20 | 株式会社理光 | 道路分割物检测方法和装置 |
DE102012000459A1 (de) | 2012-01-13 | 2012-07-12 | Daimler Ag | Verfahren zur Objektdetektion |
US20150022664A1 (en) | 2012-01-20 | 2015-01-22 | Magna Electronics Inc. | Vehicle vision system with positionable virtual viewpoint |
US8824733B2 (en) | 2012-03-26 | 2014-09-02 | Tk Holdings Inc. | Range-cued object segmentation system and method |
US8768007B2 (en) | 2012-03-26 | 2014-07-01 | Tk Holdings Inc. | Method of filtering an image |
CN103390164B (zh) * | 2012-05-10 | 2017-03-29 | 南京理工大学 | 基于深度图像的对象检测方法及其实现装置 |
TWI496090B (zh) * | 2012-09-05 | 2015-08-11 | Ind Tech Res Inst | 使用深度影像的物件定位方法與裝置 |
WO2014070448A1 (en) | 2012-10-31 | 2014-05-08 | Tk Holdings, Inc. | Vehicular path sensing system and method |
DE102012021617A1 (de) | 2012-11-06 | 2013-05-16 | Daimler Ag | Verfahren zur Objektdetektion |
US20140139632A1 (en) * | 2012-11-21 | 2014-05-22 | Lsi Corporation | Depth imaging method and apparatus with adaptive illumination of an object of interest |
CN103871042B (zh) * | 2012-12-12 | 2016-12-07 | 株式会社理光 | 基于视差图的视差方向上连续型物体检测方法和装置 |
WO2014152470A2 (en) | 2013-03-15 | 2014-09-25 | Tk Holdings, Inc. | Path sensing using structured lighting |
CN104723953A (zh) * | 2013-12-18 | 2015-06-24 | 青岛盛嘉信息科技有限公司 | 一种行人检测装置 |
GB201407643D0 (en) * | 2014-04-30 | 2014-06-11 | Tomtom Global Content Bv | Improved positioning relatie to a digital map for assisted and automated driving operations |
EP4296721A3 (de) * | 2015-04-01 | 2024-03-20 | Vayavision Sensing Ltd. | Erzeugung dreidimensionaler karten einer szene unter verwendung passiver und aktiver messungen |
US9928430B2 (en) * | 2015-04-10 | 2018-03-27 | GM Global Technology Operations LLC | Dynamic stixel estimation using a single moving camera |
KR102630740B1 (ko) | 2015-08-03 | 2024-01-29 | 톰톰 글로벌 콘텐트 비.브이. | 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템 |
JP6326641B2 (ja) | 2015-08-21 | 2018-05-23 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
US9761000B2 (en) * | 2015-09-18 | 2017-09-12 | Qualcomm Incorporated | Systems and methods for non-obstacle area detection |
US10482331B2 (en) * | 2015-11-20 | 2019-11-19 | GM Global Technology Operations LLC | Stixel estimation methods and systems |
CN106909141A (zh) * | 2015-12-23 | 2017-06-30 | 北京机电工程研究所 | 障碍物探测定位装置及避障系统 |
KR101795270B1 (ko) | 2016-06-09 | 2017-11-07 | 현대자동차주식회사 | 장애물의 지면경계 정보를 이용한 물체 측면 검출 방법 및 장치 |
CN105974938B (zh) * | 2016-06-16 | 2023-10-03 | 零度智控(北京)智能科技有限公司 | 避障方法、装置、载体及无人机 |
US10321114B2 (en) * | 2016-08-04 | 2019-06-11 | Google Llc | Testing 3D imaging systems |
EP3293668B1 (de) * | 2016-09-13 | 2023-08-30 | Arriver Software AB | Sichtsystem und -verfahren für ein kraftfahrzeug |
US10535142B2 (en) | 2017-01-10 | 2020-01-14 | Electronics And Telecommunication Research Institute | Method and apparatus for accelerating foreground and background separation in object detection using stereo camera |
US10445928B2 (en) | 2017-02-11 | 2019-10-15 | Vayavision Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
US10474908B2 (en) * | 2017-07-06 | 2019-11-12 | GM Global Technology Operations LLC | Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation |
JP6970577B2 (ja) * | 2017-09-29 | 2021-11-24 | 株式会社デンソー | 周辺監視装置および周辺監視方法 |
DE102017123980A1 (de) | 2017-10-16 | 2017-11-30 | FEV Europe GmbH | Fahrerassistenzsystem mit einer frequenzgesteuerten Ausrichtung eines Senders zur Erfassung eines Objektes in einem Umfeld eines Fahrzeugs |
DE102017123984A1 (de) | 2017-10-16 | 2017-11-30 | FEV Europe GmbH | Fahrerassistenzsystem mit einem Nanodraht zur Erfassung eines Objektes in einem Umfeld eines Fahrzeugs |
DE102018202244A1 (de) * | 2018-02-14 | 2019-08-14 | Robert Bosch Gmbh | Verfahren zur Abbildung der Umgebung eines Fahrzeugs |
DE102018202753A1 (de) | 2018-02-23 | 2019-08-29 | Audi Ag | Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt |
DE102018114987A1 (de) | 2018-06-21 | 2018-08-09 | FEV Europe GmbH | Fahrerassistenzsystem zur Bestimmung einer Farbe eines Objektes in einer Fahrzeugumgebung |
DE102018005969A1 (de) | 2018-07-27 | 2020-01-30 | Daimler Ag | Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen |
DE102018214875A1 (de) * | 2018-08-31 | 2020-03-05 | Audi Ag | Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung |
DE102018128538A1 (de) | 2018-11-14 | 2019-01-24 | FEV Europe GmbH | Fahrerassistenzsystem mit einem Sender mit einer frequenzgesteuerten Abstrahlrichtung und einem Konverter zur Frequenzangleichung |
DE102019107310A1 (de) | 2019-03-21 | 2019-06-19 | FEV Europe GmbH | Fahrerassistenzsystem zur Erkennung fremder Signale |
DE102019211582A1 (de) * | 2019-08-01 | 2021-02-04 | Robert Bosch Gmbh | Verfahren zum Erstellen einer Höhenkarte |
CN110659578A (zh) * | 2019-08-26 | 2020-01-07 | 中国电子科技集团公司电子科学研究院 | 基于检测跟踪技术的客流统计方法、系统及设备 |
US11669092B2 (en) * | 2019-08-29 | 2023-06-06 | Rockwell Automation Technologies, Inc. | Time of flight system and method for safety-rated collision avoidance |
EP3882813A1 (de) | 2020-03-20 | 2021-09-22 | Aptiv Technologies Limited | Verfahren zur erzeugung eines dynamischen belegungsrasters |
EP3905105A1 (de) | 2020-04-27 | 2021-11-03 | Aptiv Technologies Limited | Verfahren zur bestimmung eines kollisionsfreien raumes |
EP3905106A1 (de) | 2020-04-27 | 2021-11-03 | Aptiv Technologies Limited | Verfahren zur bestimmung einer befahrbaren fläche |
DE102020208068A1 (de) | 2020-06-30 | 2021-12-30 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Erkennung eines in einem Überwachungsbereich erscheinenden Objekts, Computerprogramm, Speichermedium und Steuereinrichtung |
DE102020208066B3 (de) | 2020-06-30 | 2021-12-23 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren Objekterkennung Computerprogramm, Speichermedium und Steuereinrichtung |
CA3125716C (en) | 2020-07-21 | 2024-04-09 | Leddartech Inc. | Systems and methods for wide-angle lidar using non-uniform magnification optics |
EP4185892A1 (de) | 2020-07-21 | 2023-05-31 | Leddartech Inc. | Strahllenkungsvorrichtungen und verfahren für lidar-anwendungen |
US11567179B2 (en) | 2020-07-21 | 2023-01-31 | Leddartech Inc. | Beam-steering device particularly for LIDAR systems |
DE102020210816A1 (de) * | 2020-08-27 | 2022-03-03 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Erkennung dreidimensionaler Objekte, Computerprogramm, Maschinenlesbares Speichermedium, Steuergerät, Fahrzeug und Videoüberwachungssystem |
EP4009228A1 (de) * | 2020-12-02 | 2022-06-08 | Aptiv Technologies Limited | Verfahren zur bestimmung eines semantischen freiraums |
DE102022115447A1 (de) | 2022-06-21 | 2023-12-21 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Assistenzsystem zum Unterstützen einer Fahrzeugführung basierend auf einem Fahrschlauch und einer Begrenzungsschätzung und Kraftfahrzeug |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9913687D0 (en) * | 1999-06-11 | 1999-08-11 | Canon Kk | Image processing apparatus |
CN1343551A (zh) * | 2000-09-21 | 2002-04-10 | 上海大学 | 机器视觉分层模块结构模型 |
JP5030588B2 (ja) * | 2003-08-21 | 2012-09-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 2つの画像を組み合わせるための装置及び方法 |
WO2006011593A1 (ja) * | 2004-07-30 | 2006-02-02 | Matsushita Electric Works, Ltd. | 個体検出器及び共入り検出装置 |
TWI280042B (en) * | 2004-09-17 | 2007-04-21 | Matsushita Electric Works Ltd | A range image sensor |
DE102005008131A1 (de) | 2005-01-31 | 2006-08-03 | Daimlerchrysler Ag | Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen |
JP4797794B2 (ja) | 2006-05-24 | 2011-10-19 | 日産自動車株式会社 | 歩行者検出装置および歩行者検出方法 |
US8385599B2 (en) * | 2008-10-10 | 2013-02-26 | Sri International | System and method of detecting objects |
-
2009
- 2009-02-16 DE DE102009009047A patent/DE102009009047A1/de not_active Withdrawn
-
2010
- 2010-02-04 EP EP10703018A patent/EP2396746A2/de not_active Withdrawn
- 2010-02-04 WO PCT/EP2010/000671 patent/WO2010091818A2/de active Application Filing
- 2010-02-04 US US13/201,241 patent/US8548229B2/en not_active Expired - Fee Related
- 2010-02-04 CN CN201080007837.9A patent/CN102317954B/zh not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
See references of WO2010091818A2 * |
Also Published As
Publication number | Publication date |
---|---|
CN102317954B (zh) | 2014-09-24 |
US8548229B2 (en) | 2013-10-01 |
CN102317954A (zh) | 2012-01-11 |
WO2010091818A2 (de) | 2010-08-19 |
WO2010091818A3 (de) | 2011-10-20 |
DE102009009047A1 (de) | 2010-08-19 |
US20110311108A1 (en) | 2011-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2396746A2 (de) | Verfahren zur objektdetektion | |
DE102013209415B4 (de) | Dynamische Hinweisüberlagerung mit Bildbeschneidung | |
DE60308782T2 (de) | Vorrichtung und Methode zur Hinderniserkennung | |
DE102007002419B4 (de) | Fahrzeugumgebungsüberwachungsgerät, -verfahren und -programm | |
DE69937699T2 (de) | Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges | |
DE10030421B4 (de) | Fahrzeugumgebungsüberwachungssystem | |
EP2394234B1 (de) | Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung | |
DE10251880B4 (de) | Bilderkennungsvorrichtung | |
DE102005056645B4 (de) | Fahrzeugumgebungsüberwachungsvorrichtung | |
WO2013029722A2 (de) | Verfahren zur umgebungsrepräsentation | |
DE102015203016B4 (de) | Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld | |
DE102012101014A1 (de) | Fahrzeugdetektionsvorrichtung | |
EP3731187A1 (de) | Verfahren und vorrichtung zur bestimmung der geografischen position und orientierung eines fahrzeugs | |
DE102017218366A1 (de) | Verfahren und system zur fussgängererfassung in einem fahrzeug | |
DE112018007484T5 (de) | Hindernis-Detektionsvorrichtung, automatische Bremsvorrichtung unter Verwendung einer Hindernis-Detektionsvorrichtung, Hindernis-Detektionsverfahren und automatisches Bremsverfahren unter Verwendung eines Hindernis-Detektionsverfahrens | |
DE102012103908A1 (de) | Umgebungserkennungsvorrichtung und Umgebungserkennungsverfahren | |
EP2707862B1 (de) | Abstandsbestimmung mittels eines kamerasensors | |
DE102014112820A1 (de) | Fahrzeugaußenumgebungerkennungsvorrichtung | |
DE102012000459A1 (de) | Verfahren zur Objektdetektion | |
DE102018121008A1 (de) | Kreuzverkehrserfassung unter verwendung von kameras | |
DE102009022278A1 (de) | Verfahren zur Ermittlung eines hindernisfreien Raums | |
WO2018059630A1 (de) | Detektion und validierung von objekten aus sequentiellen bildern einer kamera | |
DE102018123393A1 (de) | Erkennung von Parkflächen | |
DE102015010514B4 (de) | Verfahren zur Ermittlung von Karteninformationen für einen Kartendatensatz einer Navigationsumgebung und Recheneinrichtung | |
DE112021000482T5 (de) | Erkennung von fremdkörpern in einem fahrzeugweg |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20110702 |
|
AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
DAX | Request for extension of the european patent (deleted) | ||
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20160901 |