DE112012001318B4 - Redundante Objektdetektion für Fahrerassistenzsysteme - Google Patents
Redundante Objektdetektion für Fahrerassistenzsysteme Download PDFInfo
- Publication number
- DE112012001318B4 DE112012001318B4 DE112012001318.2T DE112012001318T DE112012001318B4 DE 112012001318 B4 DE112012001318 B4 DE 112012001318B4 DE 112012001318 T DE112012001318 T DE 112012001318T DE 112012001318 B4 DE112012001318 B4 DE 112012001318B4
- Authority
- DE
- Germany
- Prior art keywords
- stereo
- image
- image data
- mono
- processing means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000011156 evaluation Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Vorrichtung (10) zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren (12, 14) aufweist, wobei die Bildsensoren (12, 14) zur Erfassung von Stereobildern ausgebildet sind zur gleichzeitigen Erfassung von Mono-Bilddaten, welche Objekte im Erfassungsbereich der Stereokamera enthalten,ersten Verarbeitungsmitteln (16) ausgebildet zur Detektion von Objekten durch eine Stereobildauswertung von den aus den Mono-Bilddaten der zwei Bildsensoren erzeugten Stereobildern (Stereopfad), undzweiten Verarbeitungsmitteln (18) ausgebildet zur Detektion und Klassifikation von durch die ersten Verarbeitungsmittel detektierten Objekten durch eine Monobildauswertung von Mono-Bilddaten von mindestens einem der zwei Bildsensoren (12; 14) (Monopfad), und wobei die zweiten Verarbeitungsmittel (18) ferner ausgebildet sind, bei der Klassifikation zusätzlich Bilddaten vom zweiten (14; 12) der zwei Bildsensoren zu verwenden und einen zweiten Stereopfad zu implementieren, in dem für die Klassifikation von detektierten Objekten Stereoinformationen verwendet werden [Anspruch 4, S. 3, Z.29-33].
Description
- Die Erfindung betrifft eine redundante Objektdetektion für Fahrerassistenzsysteme, insbesondere eine Vorrichtung und ein Verfahren zur redundanten Objektdetektion mit einer Stereokamera gemäß Anspruch 1 bzw. 6.
- Insbesondere bei auf Objektdetektion basierenden Fahrerassistenzsystemen, die teilautonom oder autonom in Antrieb und/oder Steuerung eines Fahrzeugs wie beispielsweise Gas oder Bremse eingreifen, werden aus Sicherheitsgründen häufig zwei oder mehrere Sensoren zur redundanten Objektdetektion eingesetzt. Durch die redundante Objektdetektion sollen die Fehlerrate bei der Objektdetektion und damit Fehlauslösungen durch ein Fahrerassistenzsystem vermieden werden, insbesondere wenn der Bremseingriff bis hin zur Vollverzögerung geht.
- In den derzeit bekannten und eingesetzten Systemen wird beispielsweise eine Kombination von einem Radarsensor zur Objektdetektion und Objektvermessung und einem Kamerasensor zur Objektdetektion und Objektklassifikation eingesetzt. Durch die Kombination von Detektion und Klassifikation wird eine redundante Objektdetektion implementiert, durch welche die Fehlerrate bei der Objektdetektion und -klassifikation deutlich reduziert werden kann.
- Aus der
DE19926559A1 ist darüber hinaus eine Möglichkeit zur Objektdetektion durch eine Auswertung von Stereobildpaaren bekannt geworden, bei welcher eine entfernungsbasierte Bildsegmentierung mittels Stereobildverarbeitung und eine Objekterkennung in den segmentierten Bildbereichen durchgeführt wird. - Aufgabe der vorliegenden Erfindung ist es nun, eine verbesserte redundante Objektdetektion für Fahrerassistenzsysteme zu ermöglichen.
- Diese Aufgabe wird durch eine Vorrichtung zur redundanten Objektdetektion mit einer Stereokamera mit den Merkmalen nach Anspruch 1 und ein entsprechendes Verfahren mit den Merkmalen nach Anspruch 5 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
- Ein wesentlicher Gedanke der Erfindung besteht darin, eine redundante Objektdetektion für Fahrerassistenzsysteme mit Hilfe einer Stereokamera zu implementieren. Obwohl eine Stereokamera praktisch nur als ein Sensor betrachtet wird, kann damit Redundanz bei der Objektdetektion durch Implementierung eines weiteren Auswertungspfades neben dem Stereopfad, also dem Verarbeitungspfad zur Auswertung der Stereobilder der Kamera, geschaffen werden. Beispielsweise kann neben dem Stereopfad ein Monopfad implementiert werden, in dem im Stereopfad detektierte Objekte unter Verwendung der Bilddaten mindestens eines Bildsensors der Stereokamera klassifiziert werden, so dass eine redundante Objektdetektion erhalten wird. Im Vergleich zu den bisher bekannten und in der Praxis eingesetzten Redundanzkonzepten besitzt das erfindungsgemäße Konzept der Implementierung einer redundanten Objektdetektion mit Hilfe einer Stereokamera den Vorteil, dass anstelle von zwei oder mehreren Sensoren, wie die eingangs erwähnte Kombination aus Radar- und Kamerasensor nur ein Sensor, nämlich eine Stereokamera in einem Fahrzeug an einer Stelle verbaut werden muss. Hierdurch kann die Montage und vor allem Verkabelung im Fahrzeug wesentlich erleichtert werden. Ein wesentlicher Vorteil der Erfindung besteht vor allem darin, dass durch die Detektion im Stereobild eine pixelgenaue Lokalisierung eines Objekts vorliegt. Die Klassifikation in einem zweiten (Mono-)Pfad kann dann nahezu exakt auf die im Stereopfad detektierten bzw. identifizierten Objektpixel beschränkt werden, Im Vergleich dazu ist bei einer Kombination aus Radar- Kamerasensor eine wesentlich ungenauere Referenzierung eines mit dem Radarsensor erkannten Objekts mit dem im Kamerabild erkannten Objekt vorhanden, wodurch nur eine im Vergleich zur vorliegenden Erfindung geringere Fehlersicherheit erreicht werden kann.
- Eine Ausführungsform der Erfindung betrifft nun eine Vorrichtung zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren aufweist, wobei die Bildsensoren zur Erfassung von Stereobildern ausgebildet sind zur gleichzeitigen Erfassung von Mono-Bilddaten, welche Objekte im Erfassungsbereich der Stereokamera enthalten, ersten Verarbeitungsmitteln ausgebildet zur Detektion von Objekten durch eine Stereobildauswertung von den aus den Mono-Bilddaten der zwei Bildsensoren erzeugten Stereobilden (Stereopfad), und zweiten Verarbeitungsmitteln ausgebildet zur Detektion und Klassifikation von durch die ersten Verarbeitungsmittel detektierten Objekten durch eine Monobildauswertung von Mono-Bilddaten von mindestens einem der zwei Bildsensoren (Monopfad). Durch die zweiten Verarbeitungsmittel wird ein weiterer Verarbeitungspfad implementiert, der bei der Objektdetektion Redundanz bewirkt, indem er die bereits im ersten Stereo-Verarbeitungspfad detektierten Objekte klassifiziert. Dieser weitere Verarbeitungspfad kann die Klassifikation durch Auswertung der Bilddaten eines oder sogar beider Bildsensoren der Stereokamera durchführen.
- Die ersten Verarbeitungsmittel können ausgebildet sein, bei der Stereobildauswertung aus Disparitäten und/oder optischem Fluss eine Objektliste mit Hindernissen, die aus einer Straße herausragen, zu generieren und die generierte Objektliste den zweiten Verarbeitungsmitteln zur Objekt-Klassifikation zuzuführen. Eine derartig generierte Objektliste enthält typischerweise Position, Ausdehnung Geschwindigkeit der Hindernisse in der eigenen Fahrspur oder in Nachbar-Fahrspuren.
- Die zweiten Verarbeitungsmittel können ausgebildet sein, eine auf den Bilddaten von mindestens einem der zwei Bildsensoren basierte Klassifikation der Hindernisse der zugeführten Objektliste auszuführen und eine zweite Objektliste mit klassifizierten Hindernissen zu generieren. Beispielsweise können die zweiten Verarbeitungsmittel alle in der zugeführten Objektliste enthaltenen detektierten Hindernisse zunächst anhand der Bilddaten von mindestens einem der zwei Bildsensoren zu verifizieren und anschließend zu klassifizieren. Die Klassifikation kann insbesondere der Bestimmung eines Objekttyps eines Hindernisses wie z.B. Fußgänger, Fahrzeug, geschlossene Bahnschranke dienen.
- Die zweiten Verarbeitungsmittel sind erfindungsgemäß ferner dazu ausgebildet, bei der Klassifikation zusätzlich Bilddaten vom zweiten der zwei Bildsensoren zu verwenden und einen zweiten Stereopfad zu implementieren, indem für die Klassifikation von detektierten Objekten auch noch Stereoinformationen, wie z. B. Disparitäten verwendet werden.
- Die zwei Bildsensoren der Stereokamera und die ersten und zweiten Verarbeitungsmittel können auf einer gemeinsamen Platine montiert sein. Hierdurch kann ein kompaktes Modul zum Einbau in ein Fahrerassistenzsystem eines Fahrzeugs geschaffen werden, das mit relativ geringem Verdrahtungsaufwand in das Sicherheitssystem eines Fahrzeugs eingebunden werden kann.
- Die ersten Verarbeitungsmittel (16) können ferner als Stereopfad-Objektdetektionsprozessor und die zweiten Verarbeitungsmittel (18) als Monopfad-Objektdetektionsprozessor ausgeführt sein, wobei der Stereopfad- und der Monopfad-Objektdetektionsprozessor als getrennte Hardwareeinheiten implementiert sind, und wobei jeder Bildsensor (12; 14) mit jedem Objektdetektionsprozessor zur Bilddatenübertragung verbunden ist.
- Eine weitere Ausführungsform der Erfindung betrifft ein Verfahren zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren aufweist, wobei das Verfahren die folgenden Schritte aufweist:
- Erfassen von Stereobildern mittels den zwei Bildsensoren (12, 14) durch gleichzeitiges Erfassen von Mono-Bilddaten, welche Objekte im Erfassungsbereich der Stereokamera enthalten,
- Detektieren von Objekten durch Stereobildauswertung von den aus den Mono-Bilddaten der zwei Bildsensoren erzeugten Stereobildern, und
- Detektieren und Klassifizieren von detektierten Objekten durch eine Monobildauswertung von Mono-Bilddaten von mindestens einem der zwei Bildsensoren.
- Der durch dieses Verfahren definierte Algorithmus kann beispielsweise in einem Prozessor ausgeführt werden, der für die Verarbeitung der Bilddaten der Bildsensoren der Stereokamera vorgesehen ist.
- Der Schritt des Detektierens von Objekten durch Stereobildauswertung kann das Generieren einer Objektliste mit Hindernissen, die aus einer Straße herausragen, durch Stereobildauswertung aus Disparitäten und Fluss und das Ausgeben der generierten Objektliste zur Objekt-Klassifikation aufweisen.
- Der Schritt des Klassifizierens von detektierten Objekten kann das Klassifizieren der Hindernisse der zugeführten Objektliste basierend auf den Bilddaten von mindestens einem der zwei Bildsensoren und das Generieren einer zweite Objektliste mit klassifizierten Hindernisse aufweisen.
- Beim Klassifizieren der Hindernisse der zugeführten Objektliste basierend auf den Bilddaten von mindestens einem der zwei Bildsensoren werden erfindungsgemäß zusätzlich Bilddaten vom zweiten der zwei Bildsensoren verwendet und es wird ein zweiter Stereopfad implementiert wird, indem für die Klassifikation von detektierten Objekten Stereoinformationen verwendet werden .
- Schließlich betrifft eine Ausführungsform der Erfindung ein Programm mit Programmcode zur Durchführung eines Verfahrens gemäß der Erfindung und wie vorstehend beschrieben, wenn das Programm von einem Prozessor ausgeführt wird. Das Programm kann beispielsweise in einem Speicher einer Stereokamera abgelegt sein und von einem Bilddatenverarbeitungs-Prozessor der Stereokamera ausgeführt werden.
- Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
- In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
- Die Zeichnung(en) zeigt/zeigen in
-
1 ein Blockschaltbild eines Ausführungsbeispiels eines Stereokamera-Modul mit redundanter Objektdetektion gemäß der Erfindung; und -
2 ein Flussdiagramm eines Ausführungsbeispiels eines Programms zur redundanten Objektdetektion mit einer Stereokamera gemäß der Erfindung. -
1 zeigt ein Blockschaltbild eines Stereokamera-Moduls 10 für Fahrerassistenzsysteme. Das Modul 10 kann beispielsweise in Form einer Platine einer ECU (Electronic Control Unit) ausgebildet sein, die in einem Kameragehäuse mit einer Optik in einem Fahrzeug beispielsweise im Bereich des Rückspiegels an der Fahrzeug-Windschutzscheibe verbaut wird. Das dargestellte Modul 10 unterscheidet sich von herkömmlichen Stereokamera-Modulen darin, dass zusätzlich zum Stereopfad zur Verarbeitung und Auswertung von Stereobildern ein Monopfad vorgesehen ist, der die im Stereopfad in den Bilddaten detektierten Objekte durch Auswertung von Monobildern eines Bildsensors des Moduls klassifiziert, wodurch eine redundante Objektdetektion geschaffen wird. Der hier verwendete Begriff „Monopfad“ ist nicht als einschränkend auf eine auf der Auswertung von Monobildern basierende Objekt-Klassifikation zu verstehen. - Zum Erfassen des Bereichs vor einem Fahrzeug weist das Modul 10 einen ersten und einen zweiten Bildsensor 12 bzw. 14 auf, die insbesondere durch CCD- oder CMOS-Bildsensoren implementiert sind. Mit den beiden Bildsensoren 12 und 14 werden Stereobilder des Bereichs vor dem Fahrzeug erfasst, indem die beiden Sensoren 12 und 14 jeweils zur gleichen Zeit ein Monobild erfassen. Jedes von den Sensoren 12 und 14 erfasste Monobild wird in Form elektronischer Bilddaten bzw. Bildsignale zur weiteren Verarbeitung einem Stereopfad-Objektdetektionsprozessor 16 zugeführt, der mittels an sich bekannter Algorithmen Hindernisse vor dem Fahrzeug anhand der durch die Bilddaten der Monobilder erzeugten Stereobilder detektiert. Insbesondere wertet der Prozessor 16 die Stereobilder aus, indem er aus Disparitäten und(oder Fluss als Objekte Hindernisse, die aus einer Straße herausragen, detektiert, insbesondere vorausfahrende Fahrzeuge, deren Abstand zum eigenen Fahrzeug, Geschwindigkeit und Größe vom Prozessor 16 durch Auswertung der Stereobilder ermittelt werden. Aus den detektierten Hindernisse erzeugt der Prozessor 16 eine Objektliste 20, in der die Hindernisse und weitere relevante Daten wie Abstand, Geschwindigkeit und Größe enthalten sind. Diese Hindernis-Objektliste 20 wird in digitaler Form ausgegeben und außerdem einem Monopfad-Objektklassifikationsprozessor 18 zugeführt.
- Der Monopfad-Objektklassifikationsprozessor 18 empfängt zudem Bilddaten vom ersten Bildsensor 12, also Monobilder. Mit den empfangenen Monobildern führt der Prozessor 18 eine bildbasierte Klassifikation der in der Hindernis-Objektliste 20 enthaltenen und im Stereopfad detektierten Hindernisse aus. Hierdurch wird eine redundante Objektdetektion geschaffen, da durch die bildbasierte Klassifikation im Monopfad eine erneute Objektdetektion der bereits im Stereopfad detektierten Objekte durchgeführt wird.
- Dem Monopfad-Objektklassifikationsprozessor 18 werden zusätzlich Bilddaten vom zweiten Bildsensor 14 zugeführt werden (in
1 durch die gestrichelte Linie vom Sensor 14 zum Prozessor 18 dargestellt). Damit kann der Prozessor 18 auch noch Stereoinformationen wie beispielsweise Disparitäten für die Klassifikation verwenden, wodurch eine noch genauere Klassifikation der Hindernisse erzielt werden kann. - Die beiden vom Modul 10 ausgegebenen Listen 20 und 22 können in einem Fahrerassistenzsystem weiter verarbeitet werden, insbesondere durch einen Steueralgorithmus für die Entscheidung über einen (teil-) autonomen Eingriff in Bremsen, Lenkung, Antriebsstrangsteuerung ausgewertet werden. Der Algorithmus kann hierbei seine Entscheidung auf die Daten beider Listen 20 und 22 stützen, oder auch nur auf die Daten der Liste 22.
- Die in
1 dargestellten Prozessoren 16 und 18 können als getrennte Hardwareeinheiten implementiert werden, beispielsweise als spezielle Bildverarbeitungs-ASICs (Application Specific Integrated Circuits). Alternativ kann auch ein leistungsfähiger Prozessor zur Bildverarbeitung im Modul 10 vorgesehen sein, der durch ein entsprechendes Programm konfiguriert die beiden Einheiten 16 und 18 implementiert. - Ein Flussdiagramm eines solchen Programms, das ein Verfahren redundanten Objektdetektion mit einer Stereokamera gemäß der Erfindung implementiert, ist in
2 gezeigt. Die gezeigten Schritte S10-S16 entsprechen den durch die Prozessoren 16 und 18 ausgeführten und oben beschriebenen Schritten. Der Vollständigkeit halber werden die Verfahrensschritte im Folgenden nochmal kurz beschrieben. Im Schritt S10 werden Objekte durch Auswertung der durch die Stereokamera erfassten Stereobilder detektiert. Hierzu werden im Schritt S12 aus Disparitäten und Fluss als Objekte Hindernisse, die aus einer Straße herausragen, detektiert, wie vorausfahrende Fahrzeuge, deren Abstand zum eigenen Fahrzeug, Geschwindigkeit und Größe. Die so erzeugte Objektliste 20 mit Hindernissen wird ausgegeben und im darauffolgenden Schritt S14 weiter verarbeitet, indem die Hindernisse durch Monobildauswertung der Bilddaten eines Bildsensors der Stereokamera klassifiziert werden. Mit den klassifizierten Hindernissen wird eine weitere Objektliste 22 erzeugt, die zur weiteren Verarbeitung durch ein Fahrerassistenzsysteme, beispielsweise die Entscheidung über einen (teil-) autonomen Eingriff in die Fahrzeugdynamik ausgegeben wird. - Die vorliegende Erfindung ermöglicht die redundante Detektion von Objekten für Fahrerassistenzsysteme mit einer Stereokamera, mit welcher der technische Implementierungsaufwand gegenüber herkömmlichen Ansätzen mit zwei oder mehr unterschiedlichen Sensoren verringert werden kann.
- Bezugszeichen
-
- 10
- Stereokamera-Modul
- 12
- erster Bildsensor der Stereokamera
- 14
- zweiter Bildsensor der Stereokamera
- 16
- Stereopfad-Objektdetektionsprozessor
- 18
- Monopfad-Objektklassifikationsprozessor
- 20
- Hindernis-Objektliste
- 22
- Klassifizierte-Hindernis-Objektliste
Claims (8)
- Vorrichtung (10) zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren (12, 14) aufweist, wobei die Bildsensoren (12, 14) zur Erfassung von Stereobildern ausgebildet sind zur gleichzeitigen Erfassung von Mono-Bilddaten, welche Objekte im Erfassungsbereich der Stereokamera enthalten, ersten Verarbeitungsmitteln (16) ausgebildet zur Detektion von Objekten durch eine Stereobildauswertung von den aus den Mono-Bilddaten der zwei Bildsensoren erzeugten Stereobildern (Stereopfad), und zweiten Verarbeitungsmitteln (18) ausgebildet zur Detektion und Klassifikation von durch die ersten Verarbeitungsmittel detektierten Objekten durch eine Monobildauswertung von Mono-Bilddaten von mindestens einem der zwei Bildsensoren (12; 14) (Monopfad), und wobei die zweiten Verarbeitungsmittel (18) ferner ausgebildet sind, bei der Klassifikation zusätzlich Bilddaten vom zweiten (14; 12) der zwei Bildsensoren zu verwenden und einen zweiten Stereopfad zu implementieren, in dem für die Klassifikation von detektierten Objekten Stereoinformationen verwendet werden [
Anspruch 4 , S. 3, Z.29-33]. - Vorrichtung nach
Anspruch 1 , dadurch gekennzeichnet, dass die ersten Verarbeitungsmittel (16) ausgebildet sind, bei der Stereobildauswertung aus Disparitäten und/oder Fluss eine erste Objektliste (20) mit Hindernissen, die aus einer Straße herausragen, zu generieren und die generierte Objektliste den zweiten Verarbeitungsmitteln zur Objekt-Klassifikation zuzuführen. - Vorrichtung nach
Anspruch 2 , dadurch gekennzeichnet, dass die zweiten Verarbeitungsmittel (18) ausgebildet sind, eine auf den Bilddaten von mindestens einem der zwei Bildsensoren (12; 14) basierte Klassifikation der Hindernisse der zugeführten ersten Objektliste (20) auszuführen und eine zweite Objektliste (22) mit klassifizierten Hindernissen zu generieren. - Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ersten Verarbeitungsmittel (16) als Stereopfad-Objektdetektionsprozessor und die zweiten Verarbeitungsmittel (18) als Monopfad-Objektdetektionsprozessor ausgeführt sind, wobei der Stereopfad- und der Monopfad-Objektdetektionsprozessor als getrennte Hardwareeinheiten implementiert sind, wobei jeder Bildsensor (12; 14) mit jedem Objektdetektionsprozessor zur Bilddatenübertragung verbunden ist.
- Verfahren zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren (12, 14) aufweist, wobei das Verfahren die folgenden Schritte aufweist: Erfassen von Stereobildern mittels den zwei Bildsensoren (12, 14) durch gleichzeitiges Erfassen von Mono-Bilddaten, welche Objekte im Erfassungsbereich der Stereokamera enthalten, Detektieren von Objekten durch eine Stereobildauswertung von den aus den Mono-Bilddaten der zwei Bildsensoren (S10, S12) erzeugten Stereobilder, und Detektieren und Klassifizieren von detektierten Objekten durch eine Monobildauswertung von Mono-Bilddaten von mindestens einem der zwei Bildsensoren (S14, S16) wobei beim Klassifizieren der Hindernisse der zugeführten ersten Objektliste (20) basierend auf den Monobilddaten von mindestens einem der zwei Bildsensoren (12; 14) zusätzlich Bilddaten vom zweiten der zwei Bildsensoren (14; 12) verwendet und ein zweiter Stereopfad implementiert wird, in dem für die Klassifikation von detektierten Objekten Stereoinformationen verwendet werden.
- Verfahren nach
Anspruch 5 , dadurch gekennzeichnet, dass der Schritt des Detektierens von Objekten durch die Stereobildauswertung (S10) das Generieren einer ersten Objektliste (20) mit Hindernissen, die aus einer Straße herausragen, durch Stereobildauswertung aus Disparitäten und Fluss und das Ausgeben der generierten ersten Objektliste (S12) zur anschließenden Objekt-Klassifikation aufweist. - Verfahren nach
Anspruch 6 , dadurch gekennzeichnet, dass der Schritt des Klassifizierens von detektierten Objekten (S14) das Klassifizieren der Hindernisse der zugeführten ersten Objektliste (20) basierend auf den Monobilddaten von mindestens einem der zwei Bildsensoren (12, 14) und das Generieren einer zweite Objektliste (22) mit klassifizierten Hindernissen (S16) aufweist. - Programm mit Programmcode zur Durchführung eines Verfahrens gemäß einem der
Ansprüche 5 bis7 , wenn das Programm von einem Prozessor ausgeführt wird.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011101246.3 | 2011-05-11 | ||
DE102011101246A DE102011101246A1 (de) | 2011-05-11 | 2011-05-11 | Redudante objektdetektion für fahrerassistenzsysteme |
PCT/DE2012/100127 WO2012152268A2 (de) | 2011-05-11 | 2012-05-07 | Redudante objektdetektion für fahrerassistenzsysteme |
Publications (2)
Publication Number | Publication Date |
---|---|
DE112012001318A5 DE112012001318A5 (de) | 2014-01-02 |
DE112012001318B4 true DE112012001318B4 (de) | 2023-09-21 |
Family
ID=46245758
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102011101246A Withdrawn DE102011101246A1 (de) | 2011-05-11 | 2011-05-11 | Redudante objektdetektion für fahrerassistenzsysteme |
DE112012001318.2T Active DE112012001318B4 (de) | 2011-05-11 | 2012-05-07 | Redundante Objektdetektion für Fahrerassistenzsysteme |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102011101246A Withdrawn DE102011101246A1 (de) | 2011-05-11 | 2011-05-11 | Redudante objektdetektion für fahrerassistenzsysteme |
Country Status (3)
Country | Link |
---|---|
US (1) | US9592764B2 (de) |
DE (2) | DE102011101246A1 (de) |
WO (1) | WO2012152268A2 (de) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013104335A1 (de) | 2013-03-26 | 2014-10-16 | Continental Automotive Gmbh | Verfahren zur Auslösung einer Fahrerassistenzfunktion bei einer Detektion eines Bremslichtes mittels einer Kamera |
DE102013217577A1 (de) * | 2013-09-04 | 2015-03-05 | Conti Temic Microelectronic Gmbh | Kamerasystem für ein Fahrzeug |
DE102013217915A1 (de) | 2013-09-09 | 2015-03-12 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Objekterkennung aus tiefenaufgelösten Bilddaten |
US9096199B2 (en) * | 2013-10-09 | 2015-08-04 | Ford Global Technologies, Llc | Monitoring autonomous vehicle braking |
WO2015056105A1 (en) | 2013-10-14 | 2015-04-23 | Mobileye Vision Technologies Ltd. | Forward-facing multi-imaging system for navigating a vehicle |
DE102014205734A1 (de) * | 2014-03-27 | 2015-10-01 | Continental Teves Ag & Co. Ohg | Verfahren zur Eigenschaftsklassifikation von Objekten für ein Fahrzeugsicherheitssystem eines Fahrzeugs |
DE102014206227A1 (de) * | 2014-04-02 | 2015-10-08 | Conti Temic Microelectronic Gmbh | Stereokamerasystem |
DE102014008578B4 (de) * | 2014-06-12 | 2016-02-18 | Audi Ag | Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem |
US9576185B1 (en) | 2015-09-14 | 2017-02-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Classifying objects detected by 3D sensors for autonomous vehicle operation |
US9889859B2 (en) * | 2015-12-21 | 2018-02-13 | Intel Corporation | Dynamic sensor range in advanced driver assistance systems |
US9829884B1 (en) | 2016-05-10 | 2017-11-28 | Dura Operating, Llc | Scalable driver assistance system |
US10409286B2 (en) * | 2017-07-21 | 2019-09-10 | Ford Global Technologies, Llc | Highway detection systems and methods |
US10467486B2 (en) * | 2017-12-29 | 2019-11-05 | Automotive Research & Testing Center | Method for evaluating credibility of obstacle detection |
DE102018211268A1 (de) * | 2018-07-09 | 2020-01-09 | Conti Temic Microelectronic Gmbh | Stereokameravorrichtung sowie Verfahren zum Betrieb der Stereokameravorrichtung |
DE102018216417A1 (de) * | 2018-09-26 | 2020-03-26 | Robert Bosch Gmbh | Ortsvorhersage für dynamische Objekte |
US11580687B2 (en) * | 2018-12-04 | 2023-02-14 | Ottopia Technologies Ltd. | Transferring data from autonomous vehicles |
JP7293648B2 (ja) * | 2018-12-21 | 2023-06-20 | トヨタ自動車株式会社 | 運転支援装置、車両、運転支援システム、及び運転支援方法 |
US20230182640A1 (en) * | 2020-05-15 | 2023-06-15 | Toyota Motor Europe | Road safety warning system for pedestrian |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19926559A1 (de) | 1999-06-11 | 2000-12-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7852462B2 (en) * | 2000-05-08 | 2010-12-14 | Automotive Technologies International, Inc. | Vehicular component control methods based on blind spot monitoring |
JP4624594B2 (ja) * | 2000-06-28 | 2011-02-02 | パナソニック株式会社 | 物体認識方法および物体認識装置 |
US7729511B2 (en) | 2002-09-24 | 2010-06-01 | Pilz Gmbh & Co. Kg | Method and device for safeguarding a hazardous area |
DE10245720A1 (de) * | 2002-09-24 | 2004-04-01 | Pilz Gmbh & Co. | Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs |
US7558762B2 (en) * | 2004-08-14 | 2009-07-07 | Hrl Laboratories, Llc | Multi-view cognitive swarm for object recognition and 3D tracking |
JP4304517B2 (ja) * | 2005-11-09 | 2009-07-29 | トヨタ自動車株式会社 | 物体検出装置 |
US7576639B2 (en) * | 2006-03-14 | 2009-08-18 | Mobileye Technologies, Ltd. | Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle |
US8108119B2 (en) | 2006-04-21 | 2012-01-31 | Sri International | Apparatus and method for object detection and tracking and roadway awareness using stereo cameras |
US7786898B2 (en) * | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
JP4853160B2 (ja) | 2006-08-02 | 2012-01-11 | 株式会社デンソー | 車両検出装置及びヘッドランプ制御装置 |
JP4544233B2 (ja) | 2006-10-11 | 2010-09-15 | 株式会社デンソー | 車両検出装置及びヘッドランプ制御装置 |
US7961906B2 (en) * | 2007-01-03 | 2011-06-14 | Science Applications International Corporation | Human detection with imaging sensors |
US7965866B2 (en) * | 2007-07-03 | 2011-06-21 | Shoppertrak Rct Corporation | System and process for detecting, tracking and counting human objects of interest |
KR100918480B1 (ko) * | 2007-09-03 | 2009-09-28 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 처리 방법 |
US8174562B2 (en) * | 2007-11-09 | 2012-05-08 | Honeywell International Inc. | Stereo camera having 360 degree field of view |
JP5172314B2 (ja) * | 2007-12-14 | 2013-03-27 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
JP4876080B2 (ja) * | 2008-01-25 | 2012-02-15 | 富士重工業株式会社 | 環境認識装置 |
DE102008058279A1 (de) | 2008-11-20 | 2010-05-27 | Hella Kgaa Hueck & Co. | Verfahren und Vorrichtung zur Kompensation eines Rollwinkels |
DE102012000459A1 (de) | 2012-01-13 | 2012-07-12 | Daimler Ag | Verfahren zur Objektdetektion |
-
2011
- 2011-05-11 DE DE102011101246A patent/DE102011101246A1/de not_active Withdrawn
-
2012
- 2012-05-07 US US14/116,478 patent/US9592764B2/en active Active
- 2012-05-07 DE DE112012001318.2T patent/DE112012001318B4/de active Active
- 2012-05-07 WO PCT/DE2012/100127 patent/WO2012152268A2/de active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19926559A1 (de) | 1999-06-11 | 2000-12-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung |
Also Published As
Publication number | Publication date |
---|---|
DE112012001318A5 (de) | 2014-01-02 |
WO2012152268A2 (de) | 2012-11-15 |
US20140160252A1 (en) | 2014-06-12 |
WO2012152268A3 (de) | 2013-01-03 |
DE102011101246A1 (de) | 2012-11-15 |
US9592764B2 (en) | 2017-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112012001318B4 (de) | Redundante Objektdetektion für Fahrerassistenzsysteme | |
DE102018218220A1 (de) | Steuergerät für ein Fahrzeug | |
EP2150939B1 (de) | Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens | |
DE102016212326A1 (de) | Verfahren zur Verarbeitung von Sensordaten für eine Position und/oder Orientierung eines Fahrzeugs | |
DE112014005160T5 (de) | Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug | |
DE102018212655A1 (de) | Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern | |
DE102015223176A1 (de) | Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges | |
DE102014201158A1 (de) | Verfahren und Vorrichtung zum Überprüfen eines von einer Objekterkennung erkannten relevanten Objekts | |
EP3044727B1 (de) | Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten | |
WO2018215031A1 (de) | Verfahren zur erkennung von objekten in einem bild einer kamera | |
WO2018206213A1 (de) | Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors | |
DE102021002798A1 (de) | Verfahren zur kamerabasierten Umgebungserfassung | |
WO2018202552A1 (de) | Verfahren und vorrichtung zum klassifizieren von objekten im umfeld eines kraftfahrzeuges | |
DE102014106506A1 (de) | Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug | |
DE102015116542A1 (de) | Verfahren zum Bestimmen einer Parkfläche zum Parken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug | |
WO2020020654A1 (de) | Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen | |
DE102015216352A1 (de) | Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger auf Grundlage hochaufgelöster Aufnahmen | |
WO2015090691A1 (de) | Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug | |
EP4352538B1 (de) | Verfahren und vorrichtung zur detektion einer dekalibrierung eines sensors zur erfassung der umgebung eines fahrzeugs | |
DE102004011281A1 (de) | Verfahren und Vorrichtung zur Plausibilisierung von zu einem Fahrzeug mit Seitenprecrashsensierung relativ bewegten Objekten | |
DE102014206227A1 (de) | Stereokamerasystem | |
DE102018121158A1 (de) | Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen | |
DE102007013501B4 (de) | Fahrerassistenzsystem mit unterschiedlich ausgerichteten Kameras | |
DE102005024052B4 (de) | Verfahren und Vorrichtung zum gesteuerten Auswählen von vorausschauenden Sensoren für ein Fußgängerschutzsystem eines Kraftfahrzeugs | |
DE102021005731A1 (de) | Verfahren zum Betrieb einer sensorgestützten Umgebungsüberwachung eines Fahrzeugs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE |
|
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |