DE112020004944T5

DE112020004944T5 - Hinderniserkennungsvorrichtung

Info

Publication number: DE112020004944T5
Application number: DE112020004944.2T
Authority: DE
Inventors: Felipe GOMEZCABALLERO; Takuma OSATO; Masayuki Kobayashi; Masayuki TAKEMURA; Takeshi Shima
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-11-29
Filing date: 2020-11-04
Publication date: 2022-08-11
Also published as: WO2021106510A1; JP7225079B2; JP2021086477A

Abstract

Es wird eine Hinderniserkennungsvorrichtung geschaffen, die einen Kameralageparameter, der zur Bildumsetzung verwendet wird, prüfen, eine Beziehung zwischen einer Vorrichtungskamera und einer aktuellen Umgebung definieren und somit die Zuverlässigkeit einer Hinderniserkennung durch gleichzeitiges Verbessern der Genauigkeit einer Hindernisdetektion und.der Genauigkeit einer Entfernungsberechnung zu einem detektierten Objekt verbessern kann, selbst wenn sich ein Umgebungszustand, in dem ein Fahrzeug fährt, ändert. Eine erste Differenz (ΔA), die auf der Grundlage einer Fahrbahnoberflächenform zu verschiedenen Zeitpunkten mit einer Lage einer Kamera in Beziehung steht, wird erfasst und eine zweite Differenz (ΔR), die in Bildern, die zu den verschiedenen Zeitpunkten aufgenommen werden, mit einem Bewegungsbetrag eines Merkmalspunkts in Beziehung steht, wird erfasst. Zusätzlich wird ein Kameralageparameter, der zur Bildumsetzung zur Berechnung eines Differenzbilds verwendet wird, unter Verwendung der ersten Differenz (ΔA) und der zweiten Differenz (ΔR) geprüft.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Hinderniserkennungsvorrichtung und z. B. auf eine fahrzeuginterne Hinderniserkennungsvorrichtung, die eine bildbasierte Hindernisdetektion in einer Umgebung in der Nähe eines Trägerfahrzeugs durchführt.
Technischer Hintergrund
In den letzten Jahren wurde eine Objektdetektionsvorrichtung unter Verwendung eines Bildes verwendet, um ein bewegtes Objekt oder ein statisches Objekt (ein Hindernis) in der Nähe der Objektdetektionsvorrichtung zu detektieren.
Die bildbasierte Objektdetektionsvorrichtung, die oben beschrieben worden ist, kann in Anwendungen eines Überwachungssystems, das ein Eindringen oder eine Anomalie detektiert, oder eines fahrzeuginternen Systems, das ein sicheres Fahren eines Fahrzeugs unterstützt, verwendet werden.
In fahrzeuginternen Anwendungen ist eine derartige Vorrichtung konfiguriert, einem Fahrer die Umgebung anzuzeigen und/oder ein sich bewegendes oder ein statisches Objekt (ein Hindernis) in der Nähe eines Fahrzeugs zu detektieren, dem Fahrer ein mögliches Risiko einer Kollision zwischen dem Trägerfahrzeug und dem Hindernis mitzuteilen, das Fahrzeug auf der Grundlage eines Bestimmungssystems automatisch zu stoppen und die Kollision zwischen dem Trägerfahrzeug und dem Hindernis zu vermeiden.
Zum Beispiel ist eine Vorrichtung, die in PTL 1 offenbart ist, konfiguriert, einem Fahrer ein Kamerabild bereitzustellen, das die Umgebung eines Fahrzeugs anzeigt, um zu helfen, ein sicheres Fahren sicherzustellen.
Andererseits ist eine Vorrichtung, die in PTL 2 offenbart ist, konfiguriert, ein Objekt und eine Entfernung zum detektiertem Objekt aus Entfernungsdaten und einem Bild, das durch eine Stereokamera, die an einem Fahrzeug montiert ist, erfasst wurde, zu detektieren.
Entgegenhaltungsliste
Patentliteratur

PTL 1: JP 6232994 B
PTL 2: JP 2001-91217 A

Zusammenfassung der Erfindung
Technisches Problem
Die Vorrichtung, die in PTL 1 offenbart ist, passt lediglich Kameralageparameter zur Kalibrierung auf der Grundlage des aktuellen Umgebungszustands an. Somit ist es dann, wenn das gelieferte Bild zur Objektdetektion unter Verwendung eines bilddifferenzbasierten Verfahrens verwendet wird, aufgrund eines Rauschens, das durch Schwankungen der Kameralage verursacht wird, schwierig, die Position eines Hindernisses genau festzulegen.
Die Vorrichtung, die in PTL 2 offenbart ist, kann ein bewegtes Objekt detektieren und eine Entfernung zum detektiertem Objekt unter Verwendung von Entfernungsdaten, die in eine Fahrbahn und ein weiteres Objekt getrennt werden, berechnen. Allerdings ist die Vorrichtung, die in PTL 2 offenbart ist, konfiguriert, auf der Grundlage der Schätzung einer Fahrbahnoberfläche, die unter Verwendung des Kameralageparameters erfasst werden kann, die Fahrbahn und das Objekt zu trennen. In diesem Fall wird der Kameralageparameter lediglich unter Verwendung des Kameralageparameters (des absoluten Parameters) zum aktuellen Zeitpunkt korrigiert. Somit ist es dann, wenn das System in einem Szenario verwendet wird, in dem die Fahrzeuggeschwindigkeit und der aktuelle Fahrbahnzustand einen Einfluss auf die Beziehung zwischen einer fahrzeuginternen Kamera und dem aktuellen Fahrbahnzustand besitzen, und eine Schwankung des zunächst eingestellten Kameralageparameters zum Erzeugen eines fehlerhaften Korrekturwerts im Zeitablauf erzeugt wird, nicht möglich, dass das System den Korrekturwert prüft, wird die Genauigkeit der berechneten Entfernung zum detektiertem Objekt verringert, wird ein fehlerhaftes Objektdetektionsergebnis erzeugt und wird die Zuverlässigkeit des Systems verringert.
Die vorliegende Erfindung wurde im Hinblick auf die oben beschriebenen Umstände gemacht und eine Aufgabe der vorliegenden Erfindung ist, eine Hinderniserkennungsvorrichtung zu schaffen, die einen Kameralageparameter, der zur Bildumsetzung verwendet wird, prüfen, eine Beziehung zwischen einer Vorrichtungskamera und einer aktuellen Umgebung definieren und somit die Zuverlässigkeit einer Hinderniserkennung durch gleichzeitiges Verbessern der Genauigkeit einer Hindernisdetektion und der Genauigkeit einer Entfernungsberechnung zu einem detektierten Objekt verbessern kann, selbst wenn sich ein Umgebungszustand, in dem ein Fahrzeug fährt, ändert.
Lösung des Problems
Um die oben beschriebene Aufgabe zu lösen, erkennt gemäß der vorliegenden Erfindung eine Hinderniserkennungsvorrichtung ein Hindernis, das in einem Bild erscheint, auf der Grundlage einer Differenz zwischen mehreren Bildern, die durch eine Kamera zu verschiedenen Zeitpunkten aufgenommen wurden. Die Hinderniserkennungsvorrichtung erfasst eine erste Differenz hinsichtlich einer Lage einer Kamera auf der Grundlage einer Fahrbahnoberflächenform zu verschiedenen Zeitpunkten, erfasst eine zweite Differenz hinsichtlich eines Bewegungsbetrags eines Merkmalspunkts in den Bildern, die zu den verschiedenen Zeitpunkten aufgenommen wurden, und prüft einen Kameralageparameter, der verwendet wird, um ein Differenzbild zu berechnen, unter Verwendung der ersten Differenz und der zweiten Differenz.
Vorteilhafte Wirkungen der Erfindung
Durch Anwenden dieser Konfiguration prüft die Hinderniserkennungsvorrichtung gemäß der vorliegenden Erfindung die Kameralageparameter, die zur Bildumsetzung und zur dreidimensionalen Entfernungsmessung verwendet werden, und somit ist es möglich, Rauschen zu verringern, das in ein Differenzbild, das zur Objektdetektion verwendet wird, eingebracht wird, und die Schwankung der Kameralageparameter, die zur geometrischen Berechnung verwendet werden, zu verringern. Deshalb ist es möglich, die Genauigkeit sowohl der Objektdetektion als auch der dreidimensionalen Entfernungsmessung zu verbessern. Somit ist es selbst dann, wenn sich der Umgebungszustand, in dem das Fahrzeug fährt, ändert, möglich, gleichzeitig eine Fehldetektionsrate zu verringern.
Somit werden gemäß der vorliegenden Erfindung selbst dann, wenn sich der Umgebungszustand, in dem das Fahrzeug fährt, ändert, die Kameralageparameter, die zur Bildumsetzung verwendet werden und die verwendet werden, um die Beziehung zwischen der Vorrichtungskamera und der aktuellen Umgebung zu beschreiben, geprüft. Somit ist es möglich, durch gleichzeitiges Verbessern der Genauigkeit einer Objektdetektion und der Genauigkeit der Entfernungsberechnung zum detektiertem Objekt die Objektfehldetektionsrate zu verringern und die Fahrsicherheit zu verbessern. Entsprechend ist es möglich, die Zuverlässigkeit einer Hinderniserkennung zu verbessern.
Aufgaben, Konfigurationen und vorteilhafte Wirkungen außer den oben beschriebenen werden durch die Beschreibungen der folgenden Ausführungsformen verdeutlicht.
Figurenliste

[1] 1 ist ein schematisches Blockdiagramm, das eine Konfiguration einer Hinderniserkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
[2] 2 ist ein Diagramm zum Erläutern von Kameralageparametern des Nickens, Gierens und Rollens und einer Beziehung zwischen den Kameralageparametern in einem dreidimensionalen Raum, wobei 2(a) ein Diagramm zum Erläutern eines Kameralageparameters des Nickens ist, 2(b) ein Diagramm zum Erläutern eines Kameralageparameters des Gierens ist, 2(c) ein Diagramm zum Erläutern eines Kameralageparameters des Rollens ist und 2(d) ein Diagramm zum Erläutern der Beziehung zwischen den Kameralageparametern ist.
[3] 3 ist ein Diagramm, das Bilder in zwei verschiedenen Zeiträumen einer Situation veranschaulicht, in der ein bewegtes Zielobjekt vor einem Trägerfahrzeug kreuzt, wobei 3(a) ein Diagramm ist, das ein Bild in einem vorhergehen Zeitpunkt (t - 1) veranschaulicht, und 3(b) ein Diagramm ist, das ein Bild zum aktuellen Zeitpunkt (t) veranschaulicht.
[4] 4 ist ein Diagramm zum Erläutern einer Situation, in der die Hinderniserkennungsvorrichtung an einem Fahrzeugs montiert ist und eine Kameralage auf der Grundlage verschiedener Ansteuermaßnahmen geändert wird, wobei 4(a) ein Diagramm zum Erläutern einer normalen Zeit ist, 4(b) ein Diagramm zum Erläutern einer Vorwärtsneigung ist und 4(c) ein Diagramm zum Erläutern einer Rückwärtsneigung ist.
[5] 5 ist ein Ablaufplan, der eine beispielhafte Verarbeitung, die durch eine Kameralageparameter-Prüfeinheit in der Hinderniserkennungsvorrichtung ausgeführt wird, veranschaulicht.

Beschreibung der Ausführungsformen
Im Folgenden wird eine bevorzugte Ausführungsform einer Hinderniserkennungsvorrichtung der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
Die Konfiguration und der Betrieb einer Hinderniserkennungsvorrichtung 110 gemäß der vorliegenden Ausführungsform werden unter Bezugnahme auf 1 bis 5 beschrieben. Obwohl es nicht veranschaulicht ist, besitzt die Hinderniserkennungsvorrichtung 110 eine Konfiguration, in der eine CPU, ein RAM, ein ROM und dergleichen mittels eines Busses verbunden sind. Die CPU führt verschiedene Steuerprogramme, die im ROM gespeichert sind, aus, um den Betrieb des gesamten Systems zu steuern. In der Konfiguration, die unten beschrieben ist, bilden zwei Kamerasensoren (die unten einfach als Kameras bezeichnet werden können) ein Paar als eine einzelne fahrzeuginterne Stereokamera, die eine Erfassungseinheit 111 bildet. Dies beschränkt eine Vorrichtung, die verwendet werden kann, nicht. In weiteren Konfigurationen wird eine einzelne monokulare Kamera als die Erfassungseinheit 111 verwendet.
1 ist ein schematisches Blockdiagramm, das die Konfiguration der Hinderniserkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
Die Hinderniserkennungsvorrichtung 110 ist z. B. an einem Fahrzeug (dem Trägerfahrzeug) V montiert. Wie in 1 veranschaulicht ist, enthält die Hinderniserkennungsvorrichtung 110 die Erfassungseinheit 111, die zwei Kamerasensoren, die bei derselben Höhe angeordnet sind, eine Bilderfassungseinheit 121, eine Kameraabsolutlageparameter-Berechnungseinheit 131, eine Kamerarelativlageparameter-Berechnungseinheit 132, eine Kameralageparameter-Prüfeinheit 141, eine Bilddifferenzberechnungseinheit 151, eine Hindernisdetektionseinheit 161, eine Hindernisentfernungsmesseinheit 171 und eine Steueranwendungsverarbeitungseinheit 181 enthält.
(Definition von Begriffen) Vor der Beschreibung jeder der Einheiten, die die Hinderniserkennungsvorrichtung 110 bilden, werden Definitionen von „Kameratageparameter“, „Kameraabsolutlageparameter“ und „Kamerarelativlageparameter“, die in der vorliegenden Spezifikation hauptsächlich verwendet werden, beschrieben.
Ein „Kameralageparameter“ bezieht sich auf eine Sammlung von Werten und Parametern, die verwendet werden, um die Position und die Orientierung (die Richtung) der Kamera im dreidimensionalen Raum in Bezug auf eine bestimmte Position oder Ebene zu repräsentieren. Zum Beispiel können die Parameter Translationsparameter X, Y und Z enthalten, die verwendet werden können, um die Position der Kamera in Bezug auf eine Fahrbahn zu beschreiben, und können auch Nicken, Gieren und Rollen, die Drehparameter zum Beschreiben der Orientierung der Kamera im dreidimensionalen Raum sind, enthalten.
Ein „Kameraabsolutlageparameter“ bezieht sich auf den Kameralageparameter zum Beschreiben der Position und der Orientierung (d. h. die Lage der Kamera) der Kamera in Bezug auf eine Fahrbahn (eine Fahrbahnoberflächenform). Dies repräsentiert die Position und die Orientierung der Kamera im aktuellen Zeitzeitraum, weil der Kameraabsolutlageparameter unter Verwendung der aktuellen Informationen berechnet wird. Das heißt, dies ist die aktuelle Position und Orientierung, nicht in der Vergangenheit, und ist nicht auf weitere Daten bezogen.
Ein „Kamerarelativlageparameter“ bezieht sich auf den Kameralageparameter zum Beschreiben einer Änderung von einem bestimmten Zustand (normalerweise einer vorhergehenden Position oder Orientierung) zu einem Zustand zu einer verschiedenen Zeit (normalerweise einer aktuellen Position oder Orientierung). Der Kamerarelativlageparameter repräsentiert die Änderung und die Bewegung (die dem Bewegungsbetrag eines Merkmalspunkts in Bildern, die zu verschiedenen Zeitpunkten aufgenommen wurden, entsprechen) zwischen den oben beschriebenen Zuständen. Derartige Parameter selbst können verwendet werden, um Differenzen einer Position und einer Orientierung zwischen zwei Zeiträumen zu repräsentieren, nicht um die Position und der Orientierung der Kamera in einem dreidimensionalen Raum in Bezug auf die Fahrbahn zu repräsentieren.
(Bilderfassungseinheit) Die Bilderfassungseinheit 121 verarbeitet ein Bild (ein Bild, das die Umgebung des Fahrzeugs zeigt), das durch einen oder beide der zwei Kamerasensoren, die der Erfassungseinheit 111 entsprechen, erfasst wurde, um Bildeigenschaften zur weiteren Verarbeitung einzustellen. Eine derartige Verarbeitung ist nicht darauf beschränkt und kann eine Bildauflösungsanpassung, in der ein Eingabebild verkleinert oder vergrößert wird und eine Bildgröße, die als Ergebnis erhalten wird, geändert werden kann, und eine Zielbildbereichsauswahl, in der ein bestimmter Bereich eines Eingabebilds aus einem ursprünglichen Eingabebild zur weiteren Verarbeitung ausgeschnitten (freigestellt) wird, enthalten. Die Parameter, die für die Bildauflösungsanpassung und die Zielbildbereichsauswahl verwendet werden, können auf der Grundlage der aktuellen Ansteuerumgebung und den aktuellen Ansteuerbedingungen (Geschwindigkeit, Kurvenfahrtgeschwindigkeit und dergleichen) gesteuert werden.
Das Bild, das durch die Bilderfassungseinheit 121 erfasst wird, wird in die Kameraabsolutlageparameter-Berechnungseinheit 131 und die Kamerarelativlageparameter-Berechnungseinheit 132 eingegeben.
(Kameraabsolutlageparameter-Berechnungseinheit) Wie in 2(a) bis 2(d) veranschaulicht ist, besitzt die Kameraabsolutlageparameter-Berechnungseinheit 131 die Funktion des Berechnens eines von allen Kameraabsolutlageparametern in Bezug auf einen ebenen Boden, die durch einen Kameranickwinkel (eine Drehung der horizontalen Achse), einen Kamerarollwinkel (eine Drehung der Längsachse (der Achse in der Vorne-/Hintenrichtung)) und einen Kameragierwinkel (eine Drehung der vertikalen Achse) definiert sind. Der Kameraabsolutlageparameter kann unter Verwendung der aktuellen Umgebungsinformationen, z.B. eine Fahrbahnform, berechnet werden. Die Fahrbahnforminformationen können aus mehreren Quellen, z. B. die Vorrichtung, ein externer Sensor oder eine Kombination mehrerer Quellen erhalten werden. Die Fahrbahnform kann derart gesehen werden, wie die Fahrbahnform aus Sicht der Vorrichtung definiert werden kann, und beschreibt die Beziehung zwischen der Vorrichtungskamera und der Fahrbahn.
Die Berechnungsverarbeitung des Kameraabsolutlageparameters ändert sich abhängig von der Quelle der Fahrbahnforminformationen. Zum Beispiel wird dann, wenn die Konfiguration der Vorrichtung eine Verarbeitung des Berechnens der Neigung der Fahrbahn vor dem Fahrzeug auf der Grundlage von Entfernungsdaten, die aus einer Stereoabgleichverarbeitung erfasst werden, enthält, falls Informationen von derselben Hinderniserkennungsvorrichtung erfasst werden, die Fahrbahnneigung, die als Ergebnis erhalten wird, verwendet, um den Nickwinkel und den Rollwinkel der Vorrichtung in Bezug auf die Fahrbahn vor dem Trägerfahrzeug zu berechnen. In einem weiteren Beispiel kann, wenn der Nickwinkel, der Gierwinkel und der Rollwinkel von einem externen Sensor in Echtzeit direkt erhalten werden können, der Kameraabsolutlageparameter auf der Grundlage des Versatzes von Installationsparametern angepasst werden. Weitere Verfahren zum Berechnen der oben beschriebenen Parameter können auch im vorliegendem Beispiel enthalten sein.
In 2(a) bis 2(c) bezeichnet das Bezugszeichen 11 einen Kamerasensor als einen fahrzeuginternen Sensor, der der Erfassungseinheit 111 entspricht, bezeichnet das Bezugszeichen OA1 eine optische Sensorachse und bezeichnet das Bezugszeichen R1 eine flache Fahrbahn (einen Boden).
(Kamerarelativlageparameter-Berechnungseinheit) Die Kamerarelativlageparameter-Berechnungseinheit 132 besitzt die Funktion des Berechnens eines von allen Kamerarelativlageparametern, die als der Kameranickwinkel (die Drehung der horizontalen Achse), der Kamerarollwinkel (die Drehung der Längsachse (der Achse in Vorne /Hintenrichtung)) und der Kameragierwinkel (die Drehung der vertikalen Achse), definiert sind und die Beziehung zwischen den Kameralageparametern in zwei verschiedenen Zeitintervallen beschreiben. Der Kamerarelativlageparameter kann durch Berechnen einer Differenz (d. h. des Bewegungsbetrags) zwischen den Positionen von Merkmalspunkten in zwei Bildern, die in verschiedenen Zeiträumen (zu verschiedenen Zeitpunkten) erfasst werden, wie in 3(a) und 3(b) veranschaulicht ist, geschätzt werden. Die Merkmalspunkte können abhängig vom Szenario gewählt werden. Zum Beispiel können die Merkmalspunkte Pixel (oder Pixelfelder) sein, die Eckpunkte im Bild wie z. B. Kanten eines statischen Objekts wie z. B. sichtbare Fahrspurfarbe oder Bordsteine darstellen. Weitere Typen von Berechnungen können auch verwendet werden.
Die Parameter, die durch die Kameraabsolutlageparameter-Berechnungseinheit 131 und die Kamerarelativlageparameter-Berechnungseinheit 132 berechnet werden, werden in die Kameralageparameter-Prüfeinheit 141 eingegeben.
(Kameralageparameter-Prüfeinheit) Die Kameralageparameter-Prüfeinheit 141 besitzt die Funktion des Prüfens der Kameralageparameter, die zur geometrischen Umwandlung und Berechnung verwendet werden, unter Verwendung der Parameter, die durch die Kameraabsolutlageparameter-Berechnungseinheit 131 und die Kamerarelativlageparameter-Berechnungseinheit 132 berechnet werden. Die Prüfverarbeitung kann sich auf eine oder mehrere der folgenden Aufgaben und die jeweiligen Ausgaben beziehen. Die Aufgabe enthält ein Parametermitteln, eine Parameterauswahl auf der Grundlage einer zeitlichen Wertschwankung und ferner eine Verarbeitungsausführungsentscheidung (einen Verarbeitungsabbruch, eine Verarbeitungsfortsetzung und weitere Verarbeitungsarten). Ein bestimmtes Verarbeitungsbeispiel der Prüfverarbeitung wird später beschrieben.
Der Kameralageparameter als das Prüfergebnis der Kameralageparameter-Prüfeinheit 141 wird in die Bilddifferenzberechnungseinheit 151 eingegeben.
(Bilddifferenzberechnungseinheit) Die Bilddifferenzberechnungseinheit 151 besitzt die Funktion des Durchführen einer geometrischen Bildumsetzung an dem Bild, das durch die Bilderfassungseinheit 111 erfasst und dann verarbeitet wird, auf der Grundlage des Kameralageparameters, der durch die Kameralageparameter-Prüfeinheit 141 geprüft wird.
Obwohl sie nicht darauf beschränkt ist, enthält die Bildumsetzung eine affine Umwandlung wie z. B. Drehen, Skalieren und Scheren und eine Überkopfbildumsetzung auf der Grundlage einer ebenen Bodenfläche. Die Bilddifferenzberechnungseinheit 151 besitzt auch die Funktion des Berechnens eines Differenzbilds, das eine Fehlanpassung zwischen mindestens zwei umgesetzten Bildern angibt. Obwohl sie nicht darauf beschränkt sind, können bekannte Verfahren, die eine einfache Differenzberechnung zwischen Pixeln und eine filterbasierte Bilddifferenzberechnung enthalten, auf die Differenzberechnung angewendet werden.
Das Differenzbild, das durch die Bilddifferenzberechnungseinheit 151 berechnet wird (die Differenz zwischen mehreren Bildern, die zu verschiedenen Zeitpunkten aufgenommen wurden), wird in die Hindernisdetektionseinheit 161 eingegeben.
(Hindernisdetektionseinheit) Die Hindernisdetektionseinheit 161 besitzt die Funktion des Detektieren eines dreidimensionalen Objekts, das in einem Bild erscheint, und des Berechnens einer Position des dreidimensionalen Objekts unter Verwendung des Bilds, das durch die Bilderfassungseinheit 121 erfasst wird, und des Differenzbilds, das durch die Bilddifferenzberechnungseinheit 151 berechnet wird.
In der vorliegenden Spezifikation bezieht sich „Hindernisdetektion“ auf eine Verarbeitung, wobei mindestens die nächste Aufgabe ausgeführt wird. Nämlich ist die oben beschriebene Aufgabe eine Aufgabe einer Zielobjektdetektion (Position in einem Bildraum) und einer Zielobjektidentifizierung (z. B. Personenkraftwagen/Fahrzeug, Zweiradfahrzeug, Fahrrad, Fußgänger, Mast und dergleichen).
(Hindernisentfernungsmesseinheit) Die Hindernisentfernungsmesseinheit 171 besitzt die Funktion des Messen von Entfernungen vom Trägerfahrzeug (an dem die Vorrichtung montiert ist) zu einem oder mehreren Hindernissen, die durch die Hindernisdetektionseinheit 161 detektiert wurden, unter Verwendung einer geometrischen Berechnung unter Verwendung des Kameralageparameters, der durch die Kameralageparameter-Prüfeinheit 141 geprüft wird.
In der vorliegenden Spezifikation bezieht sich „Hindernisentfernungsmessung“ auf eine Verarbeitung, wobei mindestens eine nächste Aufgabe ausgeführt wird. Nämlich ist die oben beschriebene Aufgabe eine Aufgabe einer Zielobjektdetektion (Position im dreidimensionalen Raum) und einer Zielobjekt-Geschwindigkeitsberechnung/Schnelligkeitsberechnung.
(Steueranwendungsverarbeitungseinheit) Die Steueranwendungsverarbeitungseinheit 181 besitzt die Funktion des Bestimmens einer Steueranwendung, die durch das Fahrzeug, an dem die Hinderniserkennungsvorrichtung 110 montiert ist, in Übereinstimmung mit dem Hindernis im Bild, das durch die Hindernisdetektionseinheit 171 erkannt wird, ausgeführt wird.
Bekannte Verfahren können auf die Verarbeitung der Bilddifferenzberechnungseinheit 151, der Hindernisdetektionseinheit 161, der Hindernisentfernungsmesseinheit 171 und der Steueranwendungsverarbeitungseinheit 181, die oben beschrieben sind, angewendet werden und somit wird ihre genaue Beschreibung hier unterlassen.
Hier wird unter Bezugnahme auf 4(a) bis 4(c) ein Fall beschrieben, in dem die Hinderniserkennungsvorrichtung 110 als ein System angewendet wird, das die Umgebung eines Fahrzeugs V überwacht. In dem Fall, der unten beschrieben ist, wird lediglich der Kameralageparameter, der als ein Nickwinkel (θ_Nick) bezeichnet wird, beschrieben, jedoch können weitere Kameralageparameter, die als ein Gierwinkel (θ_Gier) und ein Rollwinkel (θ_Roll) bezeichnet werden, betrachtet werden, ohne die Natur der beschriebenen Verarbeitung zu ändern (siehe 2(a) bis 2(d)).
4(a) veranschaulicht eine Situation, in der das Fahrzeug V, das einen fahrzeuginternen Sensor 11 (der der Erfassungseinheit 111 entspricht) enthält, auf einer flachen Fahrbahn (einem Boden) R1 fährt. In diesem Fall wird der Nickwinkel (θ_Nick) eines fahrzeuginternen Sensorinstallationsparameters für eine optische Sensorachse OA1 derart eingestellt, dass er eine Orientierung von O (null) Grad in Bezug auf den ebenen Boden R1, der durch eine Bezugsachse RA1 beschrieben ist, besitzt (OA1 und RA1 überlappen beide, weil OA1 und RA1 gleich sind). Eine derartige Konfiguration/Beziehung zwischen der optischen Sensorachse OA1 und der Bezugsachse RA1 der flachen Fahrbahn kann als eine Standard-Konfiguration/Beziehung betrachtet werden.
4(b) und 4(c) veranschaulichen eine Situation, in der, wenn das Fahrzeug V, das den fahrzeuginternen Sensor 11 enthält, sich auf der flachen Fahrbahnoberfläche R1 bewegt, eine Neigung aufgrund einer Fahrzeugschwingung, die durch eine Unebenheit der Fahrbahnoberfläche und/oder eine natürliche Schwingung des Trägerfahrzeugs während des Fahrens verursacht wird, auftritt. Im Beispiel in 4(b) wird, da das Gewicht des Fahrzeug V sich nach vorne bewegt, das hintere Ende des Fahrzeugs V angehoben und neigt sich das Fahrzeug V (neigt sich vorwärts). Andererseits wird im Beispiel in 4(c), da das Gewicht des Fahrzeug V sich nach hinten bewegt, das vordere Ende des Fahrzeugs V angehoben und neigt sich das Fahrzeug V (neigt sich rückwärts). Dies hat Einfluss auf die Orientierung des fahrzeuginternen Sensors 11 und die Orientierung der optischen Sensorachse OA1. Somit tritt eine Differenz zwischen der optischen Sensorachse OA1 und der Bezugsachse RA1 des ebenen Bodens, die durch die Differenz eines Nickwinkels (θ_Nick) beschrieben wird, auf.
Die Situation, die in 4(b) und 4(c) oben beschrieben ist, kann auf der Grundlage einer Brems- und/oder Beschleunigungsoperation, die am Trägerfahrzeug V durchgeführt wird, oder aufgrund der Fahrbahnneigung auftreten.
(Verarbeitungsbeispiel einer Kameralageparameter-Prüfeinheit) 5 ist ein Ablaufplan, der eine beispielhafte Verarbeitung veranschaulicht, die durch die Kameralageparameter-Prüfeinheit 141, die die Kameralageparameter unter Verwendung der Ausgaben der Kameraabsolutlageparameter-Berechnungseinheit 131 und der Kamerarelativlageparameter-Berechnungseinheit 132 anpasst, ausgeführt wird.
Zunächst werden in einem Absolutlageparameter-Zeitdifferenzberechnungsschritt S1 die Kameraabsolutlageparameter, die im aktuellen und vorhergehenden Verarbeitungszeiträumen berechnet werden, erfasst und wird eine Zeitdifferenz (ΔA) in dem bestimmten oder allen Kameraabsolutlageparametern (z. B. dem Nickwinkel, dem Rollwinkel, dem Gierwinkel und dergleichen) berechnet.
Dann wird in einem zeitdifferenzbezogenen Relativlageparameter-Neudefinitionsschritt S2 der Kamerarelativlageparameter, der im aktuellen Verarbeitungszeitraum berechnet wird, erfasst und wird der erfasste Kamerarelativlageparameter auf der Grundlage des Verfahrens, das verwendet wird, um den Kamerarelativlageparameter zu berechnen, in einen Zeitdifferenzwert (ΔR) umgesetzt. Wenn das Verfahren, das verwendet wird, um die Kamerarelativlageparameter zu berechnen, bereits eine zeitliche Differenz als eine Ausgabe liefert, werden in Schritt S2 die Parameter zur weiteren Verarbeitung einfach abgerufen.
Dann werden in einem Parameterprüfschritt S3 die Kameralageparameter unter Verwendung des erfassten Kameraabsolutlageparameters und des erfassten Kamerarelativlageparameters geprüft. Da hier lediglich ein Verfahren als das Grundbeispiel beschrieben ist, können im selben Schritt S3 weitere aufwändigere Verfahren austauschbar oder in Kombination verwendet werden. In Schritt S3 werden die Zeitdifferenz (ΔA) im Kameraabsolutlageparameter und die Zeitdifferenz (ΔR) im Kamerarelativlageparameter miteinander verglichen und wird eine Differenz (Δc) zwischen beiden Parametern berechnet. Auf der Grundlage der Differenz (Δc), die als Ergebnis erhalten wird, wird, wenn (Δc) größer als ein vorgegebener Schwellenwert ist, der Kameraabsolutlageparameter geprüft und als der Kameralageparameter statt des Kamerarelativlageparameters verwendet, bis im nächsten Verarbeitungszeitraum ein neuer Kameraabsolutlageparameter und ein neuer Kamerarelativlageparameter berechnet werden können. Wenn die Berechnungsgenauigkeit des Kamerarelativlageparameters (die der Detektions-/Verfolgungsgenauigkeit des Merkmalspunkts entspricht) sichergestellt werden kann, wird erwogen, dass der Kamerarelativlageparameter einen kleineren Fehler als der Kameraabsolutlageparameter besitzt. Deshalb kann, wenn (Δc) größer als der vorgegebene Schwellenwert ist, der Kamerarelativlageparameter als der Kameralageparameter verwendet werden. Andererseits wird, wenn (Δc) kleiner als der vorgegebene Schwellenwert ist, eine Ausgabe, die dem Kameralageparameter entspricht, unter Verwendung sowohl des Kameraabsolutlageparameters als auch des Kamerarelativlageparameters berechnet. Als Beispiel wird ein Korrekturwert, der dem Kamerarelativlageparameter entspricht, berechnet, wird der berechnete Korrekturwert zum absoluten Parameter hinzugefügt (z. B. Addition, Integration und dergleichen) und wird eine Ausgabe, die dem Kameralageparameter entspricht, berechnet. Durch die Prüfung des Kameralageparameters im Parameterprüfschritt S3 wird der Kameralageparameter, der zur Berechnung des Differenzbilds in der nachfolgenden Stufe verwendet wird, in Übereinstimmung mit der Situation geeignet geändert und wird das Verfahren zum Berechnen des Differenzbilds in der nachfolgenden Stufe geändert.
Schließlich wird in einem Ausgabeauswahlschritt S4 dann, wenn auf der Grundlage des Ergebnisses eines Schritts S3 mehrere Optionen gewählt werden können, z. B. ein Parameter, der für eine Bildumsetzaufgabe einer Objektentfernungsmessverarbeitung (Hindernisentfernungsmesseinheit 171) in der nachfolgenden Stufe verwendet werden soll, gewählt. Zum Beispiel kann, wenn sowohl der Kameraabsolutlageparameter als auch der Kamerarelativlageparameter geprüft sind, der Kameraabsolutlageparameter zur Objektentfernungsmessung verwendet werden und kann der Kamerarelativlageparameter zur Bildumsetzung verwendet werden.
Durch Anwenden der Verarbeitung, die oben für 5 beschrieben ist, ist es möglich, die Differenz eines Nickwinkel (θ_Nick) zwischen der optischen Sensorachse OA1 und der Bezugsachse RA1 des ebenen Bodens, die in 4(a) bis 4(c) beschrieben ist, in Echtzeit anzupassen. Somit ist es möglich, eine genaue Beziehung zwischen der optischen Sensorachse OA1 und der Bezugsachse RA1 aufrechtzuerhalten, was das geometrische Bildtransformationsergebnis direkt beeinflusst.
Wie oben beschrieben ist, enthält die Hinderniserkennungsvorrichtung 110 gemäß der vorliegenden Ausführungsform, die in 1 veranschaulicht ist, die Erfassungseinheit 111, die ein Bild einer Szene vor einem Fahrzeug, an dem die Vorrichtung angebracht ist, erfassen kann, die Bilderfassungseinheit 121, die das Bild verarbeitet, das durch die Erfassungseinheit 111 erfasst wird, und Eigenschaften des Bilds (die eine Bildgröße, eine Bildauflösung und einen Zielbildbereich enthalten, obwohl sie nicht darauf beschränkt sind) anpasst, die Kameraabsolutlageparameter-Berechnungseinheit 131, die einige oder alle von Kameraabsolutlageparametern berechnet, die durch den Kameranickwinkel (die Drehung der horizontalen Achse), den Kamerarollwinkel (die Drehung der längs verlaufenden Achse) und den Kameragierwinkel (die Drehung der vertikalen Achse), die die aktuelle Beziehung zwischen der Erfassungseinheit 111 und einer Fahrbahn beschreiben, definiert sind, die Kamerarelativlageparameter-Berechnungseinheit 132, die einige oder alle der Kamerarelativlageparameter berechnet, die durch den Kameranickwinkel (die Drehung der horizontalen Achse), den Kamerarollwinkel (die Drehung der längs verlaufenden Achse) und den Kameragierwinkel (die Drehung der vertikalen Achse), die die Beziehung zwischen den Kameralageparametern in zwei verschiedenen Zeitintervallen beschreiben, definiert sind, die Kameralageparameter-Prüfeinheit 141, die den Kameralageparameter unter Verwendung des Kameraabsolutlageparameters, der durch die Kameraabsolutlageparameter-Berechnungseinheit 131 berechnet wird, und des Kamerarelativlageparameters, der durch die Kamerarelativlageparameter-Berechnungseinheit 132 berechnet wird, prüft, die Bilddifferenzberechnungseinheit 151, die eine gewünschte geometrische Bildumsetzung an dem Bild, das durch die Bilderfassungseinheit 121 erfasst und verarbeitet wird, auf der Grundlage der Ausgabe der Kameralageparameter-Prüfeinheit 141, die mindestens den geprüften Kameralageparameter enthält, durchführt und das Differenzbild berechnet, das die Differenz zwischen mindestens zwei Bildern, die durch die Bilderfassungseinheit 121 erfasst, verarbeitet und dann durch die Bilddifferenzberechnungseinheit 151 umgesetzt werden, angibt, die Hindernisdetektionseinheit 161, die eine Objektdetektion unter Verwendung des Bilds, das durch die Bilderfassungseinheit 121 erfasst wird, und des Differenzbilds, das durch die Bilddifferenzberechnungseinheit 151 berechnet wird, durchführt, die Hindernisentfernungsmesseinheit 171, die eine dreidimensionale Entfernungsmessung vom Trägerfahrzeug zu einem Hindernis, das durch die Hindernisdetektionseinheit 161 detektiert wird, auf der Grundlage einer geometrischen Berechnung unter Verwendung der Kameralageparameter, die durch die Kameralageparameter-Prüfeinheit 141 geprüft werden, durchführt, und die Steueranwendungsverarbeitungseinheit 181, die die Steueranwendung, die durch das Fahrzeug, an dem die Hinderniserkennungsvorrichtung 110 montiert ist, ausgeführt wird, auf der Grundlage der aktuellen Situation, die mindestens die Ausgaben der Hindernisdetektionseinheit 161 und der Hindernisentfernungsmesseinheit 171 enthalten kann, bestimmt.
Insbesondere erfasst die Hinderniserkennungsvorrichtung 110 gemäß der vorliegenden Ausführungsform die erste Differenz (ΔA), die mit der Lage der Kamera in Beziehung steht, auf der Grundlage der Fahrbahnoberflächenform zu den verschiedenen Zeitpunkten und erfasst die zweite Differenz (ΔR), die mit der Bewegungsbetrags des Merkmalspunkts in Beziehung steht, in Bildern, die zu den verschiedenen Zeitpunkten aufgenommen wurden. Zusätzlich prüft die Hinderniserkennungsvorrichtung 110 den Kameralageparameter, der zur Bildumsetzung zur Berechnung des Differenzbilds verwendet wird, unter Verwendung der ersten Differenz (ΔA) und der zweiten Differenz (ΔR).
Ferner wird der Kameralageparameter durch Vergleichen (Δc) der ersten Differenz (ΔA) und der zweiten Differenz (ΔR) miteinander geprüft. Zusätzlich wird das Verfahren zum Berechnen des Differenzbilds auf der Grundlage der Prüfung des Kameralageparameters geändert.
Durch Anwenden einer derartigen Konfiguration prüft die Hinderniserkennungsvorrichtung 110 gemäß der vorliegenden Ausführungsform die Kameralageparameter, die zur Bildumsetzung und für die dreidimensionale Entfernungsmessung verwendet werden, auf der Grundlage der Prüfung, die durch die Kameralageparameter-Prüfeinheit 141 durchgeführt wird. Somit ist es möglich, das Rauschen, das in das Differenzbild, das zur Objektdetektion verwendet wird, eingebracht wird, zu verringern und die Schwankung der Kameralageparameter, die zur geometrischen Berechnung verwendet werden, zu verringern. Deshalb ist es möglich, die Genauigkeit sowohl der Objektdetektion, die durch die Hindernisdetektionseinheit 161 durchgeführt wird, als auch der dreidimensionalen Entfernungsmessung, die durch die Hindernisentfernungsmesseinheit 171 durchgeführt wird, zu verbessern. Somit ist es selbst dann, wenn sich der Umgebungszustand, indem das Fahrzeug fährt, ändert, möglich, gleichzeitig eine Fehldetektionsrate zu verringern.
Bisher wurden oben die Konfiguration und der Betrieb der Hinderniserkennungsvorrichtung 110 gemäß der vorliegenden Ausführungsform beschrieben. Gemäß der Hinderniserkennungsvorrichtung 110 in der vorliegenden Ausführungsform werden selbst dann, wenn sich der Umgebungszustand, in dem das Fahrzeug fährt, ändert, die Kameralageparameter, die zur Bildumsetzung verwendet werden, und die . verwendet werden, um die Beziehung zwischen der Vorrichtungskamera und der aktuellen Umgebung zu beschreiben, geprüft, d. h. wird die Beziehung der Vorrichtungskamera zur aktuellen Umgebung durch Berechnen des Kameralageparameters und Anpassen des geometrischen Bildumsetzparameters angepasst. Somit ist es möglich, die Fahrsicherheit durch Verringern der Objektfehldetektionsrate zu verbessern und gleichzeitig die Genauigkeit der Objektdetektion und die Genauigkeit der Entfernungsberechnung zum detektiertem Objekt zu verbessern. Deshalb ist es möglich, die Zuverlässigkeit der Hinderniserkennung zu verbessern.
Obwohl die bevorzugte Ausführungsform der zur vorliegenden Zeit betrachteten vorliegenden Erfindung beschrieben wurde, können verschiedene Änderungen an der Ausführungsform vorgenommen werden und ist beabsichtigt, dass alle Änderungen im Geist und im Umfang der vorliegenden Erfindung im Umfang der beigefügten Ansprüche liegen.
Die vorliegende Erfindung ist nicht auf die oben beschriebenen Ausführungsformen beschränkt und verschiedene Änderungsformen können geschaffen werden. Zum Beispiel ist die oben beschriebene Ausführungsform genau beschrieben, um die vorliegende Erfindung in einer leicht verständlichen Weise zu erläutern, und ist die oben beschriebene Ausführungsform nicht notwendigerweise auf einen Fall beschränkt, der alle beschriebenen Konfigurationen enthält.
Einige oder alle Konfigurationen, Funktionen, Funktionseinheiten, Verarbeitungsmittel und dergleichen können in Hardware realisiert werden, z. B. indem sie mit einer integrierten Schaltung ausgelegt werden.
Ferner können die oben beschriebenen jeweiligen Komponenten, Funktionen und dergleichen durch Software realisiert werden, indem der Prozessor ein Programm zum Realisieren der jeweiligen Funktionen interpretiert und ausführt. Informationen wie z. B. ein Programm, eine Tabelle und eine Datei, die jede Funktion realisieren, können in einem Arbeitsspeicher, einer Speichervorrichtung wie z. B. einer Festplatte und einem Festkörperlaufwerk (SSD) oder einem Aufzeichnungsmedium wie z. B. einer IC-Karte, einer SD-Karte und einem DVD gespeichert sein.
Es sind Steuerleitungen und Datenleitungen, die für die Beschreibungen nötig erachtet werden, veranschaulicht und nicht alle Steuerleitungen und die Datenleitungen im Produkt sind notwendigerweise gezeigt. In der Praxis können nahezu alle Komponenten als miteinander verbunden betrachtet werden.
Bezugszeichenliste

110: Hinderniserkennungsvorrichtung
111: Erfassungseinheit
121: Bilderfassungseinheit
131: Kameraabsolutlageparameter-Berechnungseinheit
132: Kamerarelativlageparameter-Berechnungseinheit
141: Kameralageparameter-Prüfeinheit
151: Bilddifferenzberechnungseinheit
161: Hindernisdetektionseinheit
171: Hindernisentfernungsmesseinheit
181: Steueranwendungsverarbeitungseinheit
OA1: Optische Sensorachse
RA1: Bezugsachse eines ebenen Bodens
V: Fahrzeug (Trägerfahrzeug)

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 6232994 B [0006]
JP 2001091217 A [0006]

Claims

Hinderniserkennungsvorrichtung, die ein Hindernis, das in einem Bild erscheint, auf der Grundlage einer Differenz zwischen mehreren Bildern, die durch eine Kamera zu verschiedenen Zeitpunkten aufgenommen wurden, erkennt, wobei die Hinderniserkennungsvorrichtung eine erste Differenz, die mit einer Lage einer Kamera in Beziehung steht, auf der Grundlage einer Fahrbahnoberflächenform zu verschiedenen Zeitpunkten erfasst, eine zweite Differenz, die mit einem Bewegungsbetrag eines Merkmalspunkts in Beziehung steht, in den Bildern, die zu den verschiedenen Zeitpunkten aufgenommen wurden, erfasst, und einen Kameralageparameter, der verwendet wird, um ein Differenzbild zu berechnen, unter Verwendung der ersten Differenz und der zweiten Differenz prüft.
Hinderniserkennungsvorrichtung nach Anspruch 1, wobei der Kameralageparameter durch Vergleichen der ersten Differenz und der zweiten Differenz miteinander geprüft wird.
Hinderniserkennungsvorrichtung nach Anspruch 1, wobei ein Verfahren zum Berechnen des Differenzbilds auf der Grundlage der Prüfung des Kameralageparameters geändert wird.
Hinderniserkennungsvorrichtung nach Anspruch 1, wobei dann, wenn eine Differenz zwischen der ersten Differenz und der zweiten Differenz größer als ein vorgegebener Schwellenwert ist, ein Kameraabsolutlageparameter oder ein Kamerarelativlageparameter als der Kameralageparameter verwendet wird, wobei der Kameraabsolutlageparameter auf der Grundlage der Fahrbahnoberflächenform zum Erfassen der ersten Differenz mit einer Lage der Kamera in Beziehung steht, und der Kamerarelativlageparameter im Bild zum Erfassen der zweiten Differenz mit einem Bewegungsbetrag eines Merkmalspunkts in Beziehung steht, und dann, wenn die Differenz zwischen der ersten Differenz und der zweiten Differenz kleiner als ein vorgegebener Schwellenwert ist, der Kameralageparameter unter Verwendung sowohl des Kameraabsolutlageparameters, der auf der Grundlage der Fahrbahnoberflächenform zum Erfassen der ersten Differenz mit der Lage der Kamera in Beziehung steht, als auch des Kamerarelativlageparameters, der im Bild zum Erfassen der zweiten Differenz mit dem Bewegungsbetrag eines Merkmalspunkts in Beziehung steht, berechnet wird.