DE112021002598T5

DE112021002598T5 - Bildverarbeitungsvorrichtung

Info

Publication number: DE112021002598T5
Application number: DE112021002598.8T
Authority: DE
Inventors: Takuma OSATO; Felipe GOMEZCABALLERO; Masayuki TAKEMURA; Takeshi Nagasaki
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-07-07
Filing date: 2021-05-21
Publication date: 2023-03-09
Also published as: WO2022009537A1; JP2022014673A; JP7404173B2

Abstract

Eine Bildverarbeitungsvorrichtung, die eine geeignete Entsprechung für jeden Bereich berechnen kann und ein Hindernis (Objekt) selbst in einem Fall, in dem sich ein Parameter für entsprechende zwei Bilder für jeden Bereich ändert, korrekt detektieren und erkennen kann, wird geschaffen. Die Bildverarbeitungsvorrichtung umfasst eine Bildumsetzungseinheit (241), die zwei Bilder von zwei verschiedenen Zeitpunkten in Vogelperspektivenbilder umsetzt; eine Hinderniskandidatenbereichs-Extraktionseinheit (242), die die zwei Vogelperspektivenbilder oder die zwei Bilder verwendet, um einen Bereich innerhalb einer vorgegebenen Höhe von einer Straßenoberfläche von Bereichen, die ein Hindernis angeben, als einen Hinderniskandidatenbereich zu extrahieren; und eine Hindernisdetektionseinheit (243), die eine Ausrichtung der Hinderniskandidatenbereiche unter Verwendung von Bildmerkmalen in dem Hinderniskandidatenbereich durchführt und einen Bereich, in dem ein Unterschied aufgetreten ist, als einen Bereich, in dem ein Hindernis vorhanden ist, bestimmt.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung.
Stand der Technik
Als Stand der Technik des vorliegenden technischen Gebiets liegt JP 2007-235642 A (PTL1) vor. Die Veröffentlichung beschreibt als Problem „das Beseitigen einer fehlerhaften Detektion eines Hindernisses aufgrund von Detektionsfehlern eines Fahrzeuggeschwindigkeitssensors und eines Lenkwinkelsensors und das Durchführen einer dreidimensionalen Objektdetektion durch eine Einzellinsenkamera mit höherer Genauigkeit“ und beschreibt als Lösung „das Erzeugen einer Draufsicht auf ein erstes Bild, das eine Straßenoberfläche enthält, die durch eine an einem Fahrzeug angebrachte Kamera abgebildet wird, und eine Draufsicht auf ein zweites Bild, das zu einer Zeitvorgabe abgebildet wird, die sich von der des ersten Bilds unterscheidet, das Zur-Entsprechung-Bringen der zwei Draufsichten auf Basis einer charakteristischen Form auf der Straßenoberfläche und das Erkennen eines Bereichs, in dem ein Unterschied in einem überlappenden Abschnitt der zwei Draufsichten auftaucht, als ein Hindernis“.
Entgegenhaltungsliste
Patentdokument(e)
PTL1: JP 2007-235642 A
Zusammenfassung der Erfindung
Technisches Problem
Jedoch ändert sich in einem Bild, das eine Straßenoberfläche enthält, in der sich ein Straßenoberflächengradient ändert oder eine Stufe oder ein Höhenunterschied vorhanden ist, eine Entsprechung basierend auf einer charakteristischen Form auf der Straßenoberfläche für jeden Bereich des Bildes und somit gibt es in einem Fall, in dem eine Entsprechung des gesamten Bildschirms genommen wird, wie es beispielsweise in PTL 1 beschrieben ist, das Problem, dass sich die Genauigkeit der Erkennung eines Hindernisses je nach Bereich ändert.
Eine Aufgabe der vorliegenden Erfindung ist es, eine Bildverarbeitungsvorrichtung zu schaffen, die eine geeignete Entsprechung für jeden Bereich berechnen kann und ein Hindernis (im Folgenden auch als Objekt bezeichnet) selbst in einem Fall korrekt detektieren und erkennen kann, in dem sich ein Parameter für zwei entsprechende Bilder für jeden Bereich ändert.
Lösung für das Problem
Um die obige Aufgabe zu lösen, umfasst die vorliegende Erfindung eine Bildumsetzungseinheit, die zwei Bilder zu zwei verschiedenen Zeitpunkten in Vogelperspektivenbilder umwandelt; eine Hinderniskandidatenbereichs-Extraktionseinheit, die die zwei Vogelperspektivenbilder oder die zwei Bilder verwendet, um einen Bereich innerhalb einer vorgegebenen Höhe von einer Straßenoberfläche von Bereichen, die ein Hindernis angeben, als einen Hinderniskandidatenbereich zu extrahieren; und eine Hindernisdetektionseinheit, die eine Ausrichtung der Hinderniskandidatenbereiche unter Verwendung von Bitdmerkmalen in dem Hinderniskandidatenbereich durchführt und einen Bereich, in dem ein Unterschied aufgetreten ist, als einen Bereich, in dem ein Hindernis vorhanden ist, bestimmt.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung kann eine Bildverarbeitungsvorrichtung, die eine geeignete Entsprechung für jeden Bereich berechnen kann und ein Hindernis (Objekt) selbst in einem Fall, in dem sich ein Parameter für zwei entsprechende Bilder ändert, für jeden Bereich korrekt detektieren und erkennen kann, bereitgestellt werden.
Andere Probleme, Konfigurationen und Wirkungen als die oben beschriebenen werden durch die Beschreibung der folgenden Ausführungsformen verdeutlicht.
Figurenliste

[1] 1 ist eine erläuternde Darstellung, die eine schematische Konfiguration eines fahrzeuginternen Kamerasystems gemäß einer ersten Ausführungsform darstellt.
[2] 2 ist eine erläuternde Darstellung, die eine Konfiguration einer Objektdetektionsvorrichtung und einer Bildverarbeitungseinheit gemäß der ersten Ausführungsform zeigt.
[3] 3 ist eine erläuternde Darstellung eines Objektdetektionsverfahrens durch ein Vogelperspektiven-Differenzverfahren.
[4] 4 ist eine erläuternde Darstellung eines Problems eines Vogelperspektiven-Differenzverfahrens in einer Szene mit einem Straßenoberflächengradienten.
[5] 5 ist eine erläuternde Darstellung eines Entfernungsschätzverfahrens zu einem Detektionshindernis; bei dem eine Straßenoberfläche angenommen wird.
[6] 6 ist ein Beispiel einer Szene, in der ein Fehler bei einer gleichmäßigen Projektionsumsetzung auftritt.
[7] 7 ist eine erläuternde Darstellung eines spezifischen Beispiels unter Verwendung eines Vogelperspektivenbilds einer Hinderniskandidatenbereichs-Extraktion.
[8] 8 ist ein Ablaufdiagramm eines spezifischen Beispiels unter Verwendung eines Vogelperspektivenbildes der Hinderniskandidatenbereichs-Extraktion.
[9] 9 ist eine erläuternde Darstellung eines spezifischen Beispiels, das einen Diskriminator für die Hinderniskandidatenbereichs-Extraktion verwendet.
[10] 10 zeigt ein Ablaufdiagramm eines spezifischen Beispiels, das den Diskriminator für die Hinderniskandidatenbereichs-Extraktion verwendet.
[11] 11 zeigt ein Ablaufdiagramm einer Hindernisdetektionseinheit.
[12] 12 ist eine erläuternde Darstellung eines Ausrichtungsmittels des Hinderniskandidatenbereichs.
[13] 13 zeigt ein Ablaufdiagramm der Hinderniskandidatenbereichs-Extraktion unter Verwendung von Karteninformationen und GPS-Informationen in einer zweiten Ausführungsform.
[14] 14 ist eine erläuternde Darstellung der Hinderniskandidatenbereichs-Extraktion unter Verwendung der Karteninformationen und der GPS-Informationen in der zweiten Ausführungsform.
[15] 15 zeigt ein Ablaufdiagramm der Hinderniskandidatenbereichs-Extraktion zum Antworten auf ein Hervorschnellen in einer dritten Ausführungsform.
[16] 16 ist eine erläuternde Darstellung der Hinderniskandidatenbereichs-Extraktion zum Antworten auf ein Hervorschnellen in der dritten Ausführungsform.

Beschreibung von Ausführungsformen
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
[Erste Ausführungsform]
Ein Überblick über ein fahrzeuginternes Kamerasystem, das mit einer Objektdetektionsvorrichtung gemäß einer ersten Ausführungsform ausgestattet ist, wird unter Bezugnahme auf 1 gegeben. Eine Kamera 101 ist an einem Fahrzeug 100 angebracht. Die Kamera 101 dient zum Erfassen eines Bildes, das durch Fotografieren der Umgebung des Fahrzeugs 100 erhalten wird, und kann eine Einzellinsenkamera oder eine Stereokamera mit zwei oder mehr Kameras sein, solange mehrere, in der Zeit verschiedene Bilder erfasst werden können. Eine Objektdetektionsvorrichtung 102 ist an der Kamera 101 montiert und misst beispielsweise eine Entfernung zu einem Objekt davor und eine Relativgeschwindigkeit und sendet die Entfernung und die Relativgeschwindigkeit an eine Fahrzeugsteuereinheit 103. Die Fahrzeugsteuereinheit 103 steuert eine Bremse/ein Fahrpedal 105 und eine Lenkung 104 auf Basis der Entfernung und der relativen Geschwindigkeit, die aus der Objektdetektionsvorrichtung 102 empfangen werden.
Die Kamera 101 umfasst die in 1 dargestellte Objektdetektionsvorrichtung 102. Die Objektdetektionsvorrichtung 102 umfasst ein Bildgebungselement 201, einen Speicher 202, eine CPU 203, eine Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204, eine Einheit für externe Ausgabe 205 und dergleichen. Die die Objektdetektionsvorrichtung 102 bildenden Komponenten sind über eine Kommunikationsleitung 206 kommunikationstechnisch verbunden. Die CPU 203 führt eine nachstehend beschriebene Rechenverarbeitung gemäß einem Befehl eines in dem Speicher 202 gespeicherten Programms aus.
Das durch das Bildgebungselement 201 fotografierte Bild wird an die Bildverarbeitungseinheit 204 gesendet und ein in dem Bild auftauchendes Hindernis wird detektiert. Spezifische Detektionsmittel werden später beschrieben. Das Detektionsergebnis wird von der Einheit für externe Ausgabe 205 aus der Objektdetektionsvorrichtung 102 nach außen gesendet und im Fall des oben beschriebenen fahrzeuginternen Kamerasystems wird das Detektionsergebnis zur Bestimmung der Fahrzeugsteuerung der Bremse/des Fahrpedals 105, der Lenkung 104 und dergleichen in der Fahrzeugsteuereinheit 103 verwendet.
Nachfolgend werden Komponenten der Bildverarbeitungseinheit 204 beschrieben.
Die Bildverarbeitungseinheit 204 erkennt und verfolgt ein Objekt unter Verwendung eines Bildes. Als Detektionsverfahren eines Objekts unter Verwendung eines Bildes wird beispielsweise ein Verfahren verwendet, das eine Differenz zwischen Vogelperspektivenbildern verwendet (auch als Vogelperspektiven-Differenzverfahren bezeichnet). Bei diesem Verfahren, wie es in 3 gezeigt ist, wird ein Objekt unter Verwendung von zwei Bildern 301 und 302 detektiert, die in zeitlicher Abfolge aufgenommen werden (ein Bild 301, das zum vergangenen Zeitpunkt T-1 aufgenommen wird, und ein Bild 302, das zum aktuellen Zeitpunkt T aufgenommen wird). Von den beiden Bildern 301 und 302 wird ein in der Vergangenheit aufgenommenes Bild 301 in ein Vogelperspektivenbild umgesetzt und gleichzeitig wird eine Änderung des Erscheinungsbilds aufgrund einer Bewegung des Fahrzeugs aus Informationen wie beispielsweise einer Fahrzeuggeschwindigkeit berechnet und ein Bild 304 , von dem vorhergesagt wird, dass es in einem aktuellen Einzelbild abgebildet wird, wird erzeugt. Die Projektionsumsetzung wird im Allgemeinen für die Umsetzung in ein Vogelperspektivenbild verwendet. Die Projektionsumsetzung ist eine Umsetzung, bei der eine bestimmte Ebene auf eine andere Ebene projiziert wird, und es kann in ein Vogelperspektivenbild umgesetzt werden, in dem die Straßenebene in dem Bild 301 und die Straßenebene in dem Bild 302 direkt von oben nach unten betrachtet werden. Ein Differenzbild 306 wird erzeugt, indem das vorhergesagte Bild 304 mit einem Bild 305 verglichen wird, das durch Umsetzen eines Bilds 302, das tatsächlich in dem aktuellen Einzelbild abgebildet wird, in ein Vogelperspektivenbild erhalten wird. Das Differenzbild 306 hat einen Differenzwert in jedem Pixel und ein Bereich ohne Unterschied wird schwarz dargestellt und ein Bereich mit einem Unterschied weiß dargestellt. Wenn es keinen Fehler in der Projektionsumsetzung gibt, wird die Straßenebene durch die Projektionsumsetzung zu dem gleichen Bild und es erscheint kein Unterschied, aber in einem anderen Bereich als der Straßenebene, das heißt einem Bereich, in dem das Hindernis 303 vorliegt, taucht ein Unterschied auf. Das Objektdetektionsergebnis 307 kann durch Detektieren des Unterschieds erhalten werden.
Da dieses Verfahren ein Objekt erfasst, das auf einer anderen Ebene als der Umsetzungsebene der Projektionsumsetzung vorhanden ist, ist es wichtig, eine Straßenoberflächenebene, auf der ein Hindernis aufliegt, als ein Umsetzungsziel auszuwählen. Wie es in 4 gezeigt ist, gibt es in einer Szene, in der es eine Gradientenänderung einer Straßenoberfläche gibt, mehrere verschiedene Straßenebenen in einem Bild. Daher kann beispielsweise in einem Fall, in dem eine Bildumsetzung auf einer Straßenoberflächenebene in einem Bereich durchgeführt wird, in dem das Trägerfahrzeug auf dem Boden steht, eine andere Ebene projektionsumgesetzt werden. In dem Vogelperspektivenbild 404 und dem Vogelperspektivenbild 405, die aus den beiden Bildern 401 und 402 erzeugt werden, die zu dieser Zeit in einer Zeitreihe aufgenommen werden, erscheint ein unbeabsichtigter Unterschied in der Textur der Straßenebene, in diesem Beispiel in dem Fußgängerübergangsabschnitt, und ein Differenzbild 406 mit einem Unterschied in einem anderen Bereich als dem Hindernis 303 wird erhalten, und in dem Objektdetektionsergebnis 407, das als der Unterschied erfasst wird, treten Probleme auf, wie beispielsweise dass der Fußgängerübergang fälschlicherweise als das Hindernis erfasst wird und der Bereich des zu detektierenden Hindernisses verkannt wird. Um ein Hindernis korrekt zu detektieren, ist es daher erforderlich, eine geeignete Projektionsumsetzung für jeden Bereich in einer Szene, in der mehrere Straßenebenen existieren, so durchzuführen, dass kein Unterschied zwischen Bildern auf der Straßenebene auftritt.
Außerdem ist als eines der Verfahren zum Berechnen der Entfernung zu dem Detektionshindernis ein Verfahren zum Berechnen der Entfernung unter der Annahme, dass ein Fußabschnitt des detektierten Hindernisbereichs in Kontakt mit einer Straßenoberfläche ist, bekannt. 5 ist eine erläuternde Darstellung in einem Fall, in dem ein Fehler in der Erzeugung des Vogelperspektivenbilds enthalten ist und ein Straßenoberflächenbereich nahe dem Fuß des Hindernisses fälschlicherweise als das Hindernis bestimmt wird. Die Entfernung zu dem Hindernis 303 wird basierend auf einem Ergebnis 501 eines fehlerhaften Detektierens als Hindernisbereich einschließlich des Straßenoberflächenbereichs geschätzt, indem die untere Endposition des Detektionsrahmens (in diesem Fall rechteckigen Detektionsrahmens) auf dem Bild auf die Straßenoberfläche projiziert wird. Wenn dabei die untere Endposition des Hindernisses 303 fehlerhaft geschätzt wird, tritt eine fehlerhafte Schätzung auf, dass es ein Hindernis an der Position des fehlerhaften Schätzergebnisses 502 gibt. Da eine fehlerhafte Schätzung der Entfernung zu dem Detektionshindernis zu einer fehlerhaften Steuerung des Fahrzeugs führt, ist es wünschenswert, die untere Endposition des Detektionsrahmens so genau wie möglich zu schätzen.
Nachfolgend werden Einzelheiten der Bildverarbeitungseinheit 204 beschrieben. Wie es in 2 gezeigt ist, umfasst die Bildverarbeitungseinheit 204 der vorliegenden Ausführungsform eine Bildumsetzungseinheit 241, eine Hinderniskandidatenbereichs-Extraktionseinheit 242 und eine Hindernisdetektionseinheit 243.
(Bildumsetzungseinheit 241)
Die Bildumsetzungseinheit 241 setzt die zwei Bilder zu zwei verschiedenen Zeitpunkten in Vogelperspektivenbilder mit einem ersten Parameter zur Projektionsumsetzung (auch als Vogelperspektivenumsetzung bezeichnet) einer dominanten Ebene in jedem der gesamten Bilder um. Der erste Parameter ist der Parameter, der in jedem der gesamten Bildschirme gleich ist. Als dominante Ebene ist beispielsweise in einem Fall des oben beschriebenen fahrzeuginternen Kamerasystems eine Straßenoberfläche denkbar, wenn eine Umsetzung unter der Annahme durchgeführt wird, dass sich das Trägerfahrzeug auf einer ebenen Straßenoberfläche befindet. Außerdem kann in einem Fall, in dem ein Entfernungssensor wie LiDAR oder eine Stereokamera vorhanden ist, ein Ergebnis des Schätzens der Straßenoberfläche unter Verwendung des Entfernungsmessergebnisses verwendet werden. Dabei wird in einer Szene, in der sich der Straßenoberflächengradient ändert, wie es in 6 gezeigt ist, die gesamte Straßenoberfläche basierend auf der Lage des eigenen Fahrzeugs 601 durch eine (identische) Ebene 602 dargestellt und somit besteht die Möglichkeit, dass eine Abweichung zwischen der darstellenden Ebene und der Straßenoberfläche auftritt.
(Hinderniskandidatenbereichs-Extraktionseinheit 242)
Die Hinderniskandidatenbereichs-Extraktionseinheit 242 führt eine Ausrichtung der Bereiche mit hoher Genauigkeit aus zwei Bildern, die zu zwei verschiedenen Zeitpunkten abgebildet wurden, durch und extrahiert einen Bereich (im Folgenden auch als Hinderniskandidatenbereich bezeichnet), in dem der Bereich des Hindernisses genau berechnet soll. Da es in der gesamten Szene mehrere Ebenen gibt, kann sie nicht ausreichend durch eine (gleichmäßige) Projektionsumsetzung ausgedrückt werden (siehe 6). Daher wird durch Extrahieren eines kleinen Bereichs, der durch eine Projektionsumsetzung ausgedrückt werden kann, und erneutes Durchführen einer Umsetzung und Überlagerung des Bildes durch die Projektionsumsetzung im nachfolgenden Prozess der Unterschied des Straßenoberflächenabschnitts beseitigt und die Hindernisdetektion wird nur unter Verwendung der Differenz des Hindernisabschnitts durchgeführt. Da es hier notwendig ist, die Position des Detektionsrahmens bei der Hindernisdetektion an dem unteren Endabschnitt genau zu schätzen, wird ein Bereich nahe der Fußposition (d. h. ein Bereich innerhalb einer vorgegebenen Höhe von der Straßenoberfläche in dem Bereich, der das Hindernis angibt) ausgewählt.
Als ein Beispiel für das Hinderniskandidatenbereichs-Extraktionsmittel ist ein Ablaufdiagramm eines spezifischen Beispiels unter Verwendung eines Vogelperspektivenbilds in 8 dargestellt und ein tatsächlicher Bereich ist in 7 dargestellt. Wie es in 8 gezeigt ist, werden in Schritt S801 zwei Bilder, die der Vogelperspektivenumsetzung in der Bildumsetzungseinheit 241 unterzogen wurden, als eine Eingabe gegeben, die Bilder (d. h. zwei Vogelperspektivenbilder) werden mit dem ersten Parameter überlagert, der in dem gesamten Bild der gleiche ist, und eine Objektdetektion unter Verwendung eines Bereichs (Unterschiedsbereichs), in dem ein Unterschied (Bildunterschied) aufgetreten ist, wird durchgeführt. Da dabei die Vogelperspektivenumsetzung einen Fehler enthält, werden der Detektionsrahmen 701, der einen großen Bereich an dem Fuß des Hindernisses enthält, wenn das Hindernis in dem Differenzbild 406 detektiert wird, und der fehlerhafte Detektionsrahmen 702 des Bereichs, der nur die Straßenoberfläche enthält, erhalten. Davon ausgehend werden in Schritt S802 ein Bereich (ein Bereich innerhalb einer vorgegebenen Höhe von der Straßenoberfläche) 703 nahe der Straßenoberfläche in dem Detektionsrahmen (d. h. der Hindernisdetektionsbereich, der das Hindernis angibt) extrahiert und die Bereiche 704 und 705, die dem extrahierten Bereich 703 in den zwei abgebildeten Bildern 401 und 402 entsprechen, als Hinderniskandidatenbereiche extrahiert. Gemäß diesem Prozess kann nur die Umgebung des Fußes (d. h. ein Bereich innerhalb einer vorgegebenen Höhe von der Straßenoberfläche) in dem Bereich mit einem möglichen Hindernis (Hindernisdetektionsbereich) in den zwei abgebildeten Bildern 401 und 402 extrahiert werden. Ein Verarbeitungsbereich zum Beseitigen eines Fehlers bei der Vogelperspektivenumsetzung aufgrund des oben beschriebenen Unterschieds in der Ebene wird durch individuelles Extrahieren eines Bereichs für jedes Objekt erhalten.
Als ein weiteres Beispiel für die Hinderniskandidatenbereichs-Extraktionsmittel ist ein Ablaufdiagramm eines spezifischen Beispiels unter Verwendung eines Diskriminators in 10 dargestellt und ein tatsächlicher Bereich ist in 9 dargestellt. Der Diskriminator hat hier eine Fußgängerbein-Detektionsfunktion und detektiert einen Umfangsbereich eines Fußgängerbein-Kandidaten (einen Fußgängerbein-Kandidatenbereich, in dem die Wahrscheinlichkeit hoch ist, dass das Fußgängerbein abgebildet ist) durch die Funktion. Wie es in 10 gezeigt ist, werden zwei aufgenommene Bilder als Eingabe gegeben und in Schritt S1001 wird ein Bereich gesucht, in dem die Wahrscheinlichkeit hoch ist, dass das Fußgängerbein abgebildet ist, während das Verarbeitungsfenster 901 des Diskriminators nach und nach aus dem Bildbereich verschoben wird. Der Diskriminator ist eine Bewertungsfunktion, die so ausgelegt ist, dass sie eine hohe Punktzahl hat, wenn das Fußgängerbein in dem Zielbereich abgebildet ist, und kann einen Bereich 902 , in dem die Wahrscheinlichkeit, dass das Fußgängerbein abgebildet ist, hoch ist, als Hinderniskandidatenbereich extrahieren, indem er nach einem Bereich sucht, in dem die Punktzahl größer oder gleich einem Schwellenwert ist. Gemäß diesem Prozess kann nur die Umgebung des Fußes (d. h. ein Bereich innerhalb einer vorgegebenen Höhe von der Straßenoberfläche) in dem Bereich mit dem möglichen Hindernis (Hindernisdetektionsbereich) in den zwei aufgenommenen Bildern 401 und 402 extrahiert werden. Da jedoch der Grenzabschnitt, wie etwa das untere Ende, nicht genau geschätzt werden kann, wird der in dem vorliegenden Prozess extrahierte Bereich durch Ausrichtung in dem nachfolgenden Prozess genau in den Hindernisbereich und den Straßenoberflächenbereich getrennt.
(Hindernisdetektionseinheit 243)
Die Hindernisdetektionseinheit 243 berechnet einen zweiten Parameter zur Projektionsumsetzung einer dominanten Ebene durch Durchführen einer Ausrichtung in dem von der Hinderniskandidatenbereich-Extraktionseinheit 242 extrahierten Hinderniskandidatenbereich und überlagert das durch den zweiten Parameter umgesetzte Bild (d. h. führt eine Ausrichtung durch), um einen Bereich, in dem ein Unterschied aufgetreten ist, als einen Bereich, in dem ein Hindernis vorhanden ist, das heißt als ein Hindernis zu detektieren. 11 zeigt ein Ablaufdiagramm der Hindernisdetektionseinheit 243. Wie es in 11 gezeigt ist, wird der oben beschriebene Hinderniskandidatenbereich (der zwei Bilder) als eine Eingabe gegeben. In Schritt S1101 wird ein Merkmalspunkt aus dem gegebenen Bereich detektiert. Als Merkmalspunkt-Detektionsmittel sind Merkmale aus dem beschleunigten Segmenttest (FAST), der Eckendetektion nach Harris und dergleichen bekannt. Diese detektieren einen Punkt, der als Ecke des Bildes fungiert (siehe 12), und sind als Verfahren zum Detektieren eines im Vergleich zur Umgebung charakteristischen Punktes bekannt. Als Nächstes wird in Schritt S1102 ein Merkmalsbetrag aus den detektierten Merkmalspunkten berechnet. Als Merkmalsbetrags-Berechnungsmittel ist beispielsweise eine skaleninvariante Merkmalstransformation (SIFT) bekannt. SIFT ist ein als robuster Merkmalsbetrag bekanntes Verfahren, bei dem sich der Merkmalsbetrag selbst in einem Fall nicht ändert, in dem eine Bildänderung wie etwa eine Beleuchtungsänderung, Drehung und Skalierung auftritt, und derselbe Punkt sogar in einem Fall als identisch bestimmt werden kann, in dem sich das Erscheinungsbild aufgrund einer Positionsänderung der Kamera oder eines Zeitverlaufs ändert. Als Nächstes wird in Schritt S1103 ein Merkmalspunktabgleich zu zwei Zeitpunkten durchgeführt (siehe 12). Der Merkmalspunkt (des Hinderniskandidatenbereichs) zu dem vergangenen Zeitpunkt T-1 wird mit dem Merkmalspunkt (des Hinderniskandidatenbereichs) zu dem aktuellen Zeitpunkt T verglichen, Punkte mit ähnlichen Merkmalsbeträgen, die in Schritt S1102 berechnet wurden, werden abgeglichen und ein Merkmalspunktpaar (1201, 1202), das den gleichen Ort zu zwei Zeitpunkten angibt, wird erhalten, wie es in 12 dargestellt ist. In Schritt S1104 wird die Projektionsumsetzungsmatrix unter Verwendung der Informationen der übereinstimmenden Punkte geschätzt. Wenn alle Punkte umgesetzt und durch dieselbe Projektionsumsetzungsmatrix überlagert werden, wird eine Projektionsumsetzungsmatrix erhalten, die den Punktverschiebungsbetrag am meisten minimiert. Gemäß diesem Prozess wird die Projektionsumsetzungsmatrix durch den zweiten Parameter, der der Straßenoberfläche an dem Fuß entspricht, für den kleinen Bereich (Hinderniskandidatenbereich) erhalten, der durch den unteren Endabschnitt des Hindernisses und die Straßenoberfläche an dem Fuß ausgebildet ist und durch die Hinderniskandidatenbereichs-Extraktionseinheit 242 extrahiert wird. Die Bilder (d. h. das Vogelperspektivenbild des Hinderniskandidatenbereichsabschnitts), die unter Verwendung der Projektionsumsetzungsmatrix gemäß dem zweiten Parameter umgesetzt wurden, werden in Schritt S1105 überlagert und eine Differenz zwischen den Luminanzwerten der Bilder wird berechnet. In Schritt S1106 wird ein Hindernisdetektionsergebnis unter der Annahme erhalten, dass ein Bereich Unterschiedsbereich), in dem ein Unterschied zwischen Bildern aufgrund von Überlagerung (Ausrichtung) aufgetreten ist, ein Hindernis (ein Bereich, in dem ein Hindernis existiert) ist. Da der kleine Bereich, der nur das Hindernis und Straßenoberfläche zu dessen Fuß enthält, gemäß dem vorliegenden Prozess als Hinderniskandidatenbereich extrahiert wird, kann selbst in einer Szene, in der sich der Straßenoberflächengradient in der gesamten Szene ändert oder aufgrund einer Stufe oder eines Höhenunterschieds nicht durch eine Projektionsumsetzungsmatrix ausgedrückt werden kann, kann eine geeignete Projektionsumsetzungsmatrix (Projektionsumsetzungsmatrix durch den zweiten Parameter entsprechend der Fuß-Straßenoberfläche) für jedes Hindernis geschätzt werden und es kann verhindert werden, dass ein unnötiger Unterschied zu dem abgebildeten Bereich der Straßenoberfläche auftritt.
Wie es oben beschrieben ist, umfasst eine Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 der vorliegenden Ausführungsform eine Bildumsetzungseinheit 241, die zwei Bilder zu zwei verschiedenen Zeitpunkten in Vogelperspektivenbilder umsetzt; eine Hinderniskandidatenbereichs-Extraktionseinheit 242, die die zwei Vogelperspektivenbilder oder die zwei Bilder verwendet, um einen Bereich innerhalb einer vorgegebenen Höhe von einer Straßenoberfläche aus Bereichen, die ein Hindernis angeben, als einen Hinderniskandidatenbereich zu extrahieren; und eine Hindernisdetektionseinheit 243, die eine Ausrichtung der Hinderniskandidatenbereiche unter Verwendung von Bildmerkmalen in dem Hinderniskandidatenbereich durchführt und einen Bereich, in dem eine Differenz aufgetreten ist, als Bereich bestimmt, in dem ein Hindernis existiert.
Als Beispiel extrahiert die Hinderniskandidatenbereichs-Extraktionseinheit 242 den Hinderniskandidatenbereich durch Extrahieren eines Bereichs, in dem ein Bildunterschied auftritt, wenn die zwei Vogelperspektivenbilder mit einem ersten Parameter überlagert werden, der in dem gesamten Bild der gleiche ist, und die Hindernisdetektionseinheit 243 führt eine Ausrichtung der Hinderniskandidatenbereiche mit einem zweiten Parameter unter Verwendung eines Bildmerkmals in dem Hinderniskandidatenbereich durch und bestimmt eine Bereich, in dem der Unterschied aufgetreten ist, als einen Bereich, in dem das Hindernis existiert.
Außerdem extrahiert die Hinderniskandidatenbereich-Extraktionseinheit 242 einen Bereich, in dem ein Bildunterschied auftritt, wenn die zwei Vogelperspektivenbilder mit dem ersten Parameter überlagert werden, der in dem gesamten Bild der gleiche ist, extrahiert eine Bereich innerhalb einer vorgegebenen Höhe von der Straßenoberfläche aus den extrahierten Bereichen und extrahiert einen Bereich der zwei Bilder, der dem extrahierten Bereich entspricht, als Hinderniskandidatenbereich.
Als weiteres Beispiel extrahiert die Hinderniskandidatenbereichs-Extraktionseinheit 242 als den Hinderniskandidatenbereich einen Umfangsbereich des Fußgängerbein-Kandidaten, der durch die Fußgängerbein-Detektionsfunktion (den Diskriminator) in den zwei Bildern detektiert wird.
In einem Fall, in dem die Objektdetektion unter Verwendung der Differenz zwischen den Vogelperspektivenbildern durch die Konfiguration der vorliegenden Ausführungsform durchgeführt wird, wird im Allgemeinen sogar in einer Szene, in der ein Unterschied auf der Straßenoberfläche auftritt und eine Gradientenänderung zu einer fehlerhaften Detektion führt, die Projektionsumsetzung an einem kleinen Bereich (Hinderniskandidatenbereich) durchgeführt, der als frei von Gradientenänderung angesehen werden kann, und somit kann das Auftreten einer fehlerhaften Detektion verhindert werden. Da die Projektionsumsetzungsmatrix für jedes Hindernis geschätzt wird, kann nicht nur die Gradientenänderung, sondern auch der Einfluss der Änderung aufgrund der Schwingungen oder Neigung des Trägerfahrzeugs minimiert werden und das Hindernis kann mit hoher Genauigkeit detektiert werden.
Somit kann eine Bildverarbeitungsvorrichtung, die eine geeignete Entsprechung für jeden Bereich berechnen kann und ein Hindernis (Objekt) selbst in einem Fall, in dem sich ein Parameter für entsprechende zwei Bilder für jeden Bereich ändert, korrekt detektieren und erkennen kann, geschaffen werden.
[Zweite Ausführungsform: Verfahren zum Zusammenarbeiten mit Karteninformationen und GPS-Informationen]
Eine zweite Ausführungsform ist ein abgewandeltes Beispiel der ersten Ausführungsform und zeigt eine Ausführungsformeines Falls, in dem ein Bereich mit einer hohen Wahrscheinlichkeit einer fehlerhaften Detektion unter Verwendung von Karteninformationen und Fahrzeug GPS-Informationen in der Hinderniskandidatenbereichs-Extraktionseinheit 242 extrahiert wird. Gemäß der vorliegenden Ausführungsform ist es möglich, eine fehlerhafte Detektion einer Textur auf einer Straßenoberfläche als Hindernis zu verhindern, indem eine Szene mit einer Textur auf der Straßenoberfläche, bei der die Wahrscheinlichkeit einer fehlerhaften Detektion aufgrund eines Fehlers bei der Projektionsumsetzung hoch ist, als einen Hinderniskandidatenbereich ohne Auslassen und Ausführen einer Ausrichtung mit hoher Genauigkeit extrahiert wird.
13 zeigt ein Ablaufdiagramm der Hinderniskandidatenbereichs-Extraktionseinheit 242 gemäß der vorliegenden Ausführungsform. Wie es in 13 gezeigt ist, werden ein Bild 13A, eine Straßenoberflächenfarben-Position 13B, die in den Karteninformationen enthalten ist, und GPS-Informationen 13C, die Positionsinformationen des Trägerfahrzeugs umfassen, als Eingaben empfangen. Hier ist die Straßenoberflächenfarbe eine Textur, die auf einer Straßenoberfläche wie etwa einem Fußgängerübergang oder einem Wendeverbot markiert ist, und eine Position dieser Art von Textur ist in einem Navigationssystem oder dergleichen gespeichert. Da außerdem ohne Einschränkung auf die Straßenoberflächenfarbe in ähnlicher Weise eine Möglichkeit einer fehlerhaften Detektion bei der Textur der Straßenoberfläche besteht, können in einem Fall, in dem Informationen über die Textur, die auf der gesamten Straßenoberfläche erzeugt wird, wie z. B. einem Bordstein mit einer niedrigen Höhe, einer Schotterstraße und Ablösung, erhalten werden, können die Informationen als Eingabe empfangen werden. In Schritt S1301 wird aus dem Bild ein Straßenoberflächenfarben-Abbildungsbereich berechnet. Ob die Straßenoberflächenfarbe in dem aktuell aufgenommenen Bildbereich enthalten ist, wird bestimmt, indem die GPS-Informationen und die Karteninformationen der Position der Straßenoberflächenfarbe verglichen werden. In einem Fall, in dem die Straßenoberflächenfarbe enthalten ist, wird berechnet, in welchem Bereich des Bildes sie abgebildet ist, und der Bildbereich (d. h. der Straßenoberflächenfarben-Abbildungsbereich) wird extrahiert. 14 zeigt eine erläuternde Darstellung. Aus den Karteninformationen und den GPS-Informationen in Bezug auf die Vorderseite des Trägerfahrzeugs 1401 ist bekannt, dass der Bereich 1402 ein Bereich ohne Straßenoberflächenfarbe ist. Ohne die Straßenoberflächentextur tritt selbst dann kein Unterschied in dem Straßenoberflächenbereich auf, wenn die Projektionsumsetzung einen Fehler aufweist, und somit wird eine hochgenaue Ausrichtung unnötig. Andererseits ist bekannt, dass ein Fußgängerübergang auf die Straßenoberfläche in dem Bereich 1403 gemalt ist. In einem Fall, in dem die Projektionsumsetzung einen Fehler aufweist, wird die Textur des Fußgängerübergangs nicht angemessen überlagert, ein Unterschied taucht auf und die Wahrscheinlichkeit einer fehlerhaften Detektion als Hindernis ist hoch. Daher extrahiert die Hinderniskandidatenbereichs-Extraktionseinheit 242 den Bereich 1404, der dem Bereich (Straßenoberflächenfarben-Abbildungsbereich) 1403 auf dem Bild entspricht, als den Hinderniskandidatenbereich und die Hindernisdetektionseinheit 243 führt eine genaue Ausrichtung der kleinen Bereiche durch, wodurch eine fehlerhafte Detektion verhindert wird.
Wie es oben beschrieben ist, erfasst in der Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 der vorliegenden Ausführungsform die Hinderniskandidatenbereich-Extraktionseinheit 242 Karteninformationen und Positionsinformationen des Trägerfahrzeugs und extrahiert eine Bereich, in dem Straßenoberflächenfarbe abgebildet ist, in dem zwei Bildern als Hinderniskandidatenbereich.
Gemäß der vorliegenden Ausführungsform wird die Projektionsumsetzungsmatrix berechnet, ohne dass ein Bereich mit Straßenoberflächenfarbe (abgebildet) mit einem hohen Risiko einer fehlerhaften Detektion ausgelassen wird, und es kann verhindert werden, dass ein Unterschied in dem Straßenoberflächenbereich auftritt.
[Dritte Ausführungsform: Extraktion eines Bildbereichs mit hohem Risiko eines Hervorschnellens]
Eine dritte Ausführungsform ist ein abgewandeltes Beispiel der ersten Ausführungsform und zeigt eine Ausführungsform eines Falls, in dem die Hinderniskandidatenbereichs-Extraktionseinheit 242 nicht nur einen Bereich, der gegenwärtig eine Möglichkeit eines Hindernisses aufweist, sondern auch einen Bereich, der eine Möglichkeit aufweist ein Hindernis (Erwachsene oder Kinder, Fußgänger, Fahrräder, Motorräder, Autos usw.) in Zukunft hervorschnellen werden, extrahiert. Gemäß der vorliegenden Ausführungsform kann die Entfernung zu dem Hindernis ohne fehlerhafte Schätzung geschätzt werden, selbst wenn ein plötzliches Hervorschnellen auftritt.
15 zeigt ein Ablaufdiagramm der Hinderniskandidatenbereichs-Extraktionseinheit 242 gemäß der vorliegenden Ausführungsform und 16 zeigt eine erläuternde Darstellung. Wie es in 15 gezeigt ist, wird ähnlich wie bei der ersten Ausführungsform eine Objektdetektion S801 unter Verwendung des Unterschiedsbereichs durch Projektionsumsetzung einschließlich eines Fehlers durchgeführt. Dabei wird ein Objektdetektionsergebnis erhalten, das einen Fehler in der Tiefenrichtung enthält, wie bei dem Detektionsergebnis 1602 für das Objekt 1601. Als Nächstes wird in Schritt S1501 ein Bereich mit einer vorgegebenen Größe auf der Seite des Trägerfahrzeugs von den linken und den rechten Enden des Detektionsergebnisses 1602 aus als ein Bereich 1603 mit Möglichkeit des Hervorschnellens extrahiert. Der Bereich 1603 ist ein Bereich mit einer Möglichkeit, dass ein Hervorschnellen aus einem Schatten des Objekts 1601 auftreten kann, und wenn die Entfernung beim Auftreten des Hervorschnellens falsch ist, kann dies zu Fehlbremsungen führen. Daher extrahiert die Hinderniskandidatenbereich-Extraktionseinheit 242 als einen Hinderniskandidatenbereich einen Bereich (Bereich eines möglichen Hervorschnellens) 1603, der an das linke und rechte Ende angrenzt und ein Risiko des Hervorschnellens aufweist, basierend auf einem Bereich mit einer Möglichkeit eines Hindernisses und die Hindernisdetektionseinheit 243 führt vorzugsweise eine hochgenaue Bildausrichtung durch, wodurch die Hindernisposition genau geschätzt wird.
In der vorliegenden Ausführungsform sind das linke und das rechte Ende des Objektdetektionsergebnisses, das eine fehlerhafte Detektion enthält, zu extrahierende Ziele, aber ein beliebiges Extraktionsverfahren kann verwendet werden, solange es sich um einen Bereich mit hoher Wahrscheinlichkeit des Hervorschnellens handelt. Beispielsweise kann ein Schatten eines Gebäudes oder dergleichen aus den Karteninformationen extrahiert werden oder kann mit einem Objektdetektionsergebnis durch einen anderen Sensor kombiniert werden.
Wie es oben beschrieben ist, extrahiert in der Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung) 204 der vorliegenden Ausführungsform die Hinderniskandidatenbereich-Extraktionseinheit 242 als den Hinderniskandidatenbereich einen Bereich (Bereich eines möglichen Hervorschnellens), der an link und rechte Enden eines Bereichs, in dem die Möglichkeit eines Hindernisses besteht, angrenzt und der das Risiko des Hervorschnellens aufweist, in den beiden Bildern.
Gemäß der vorliegenden Ausführungsform wird ein Bereich mit einer hohen Wahrscheinlichkeit des Hervorschnellens aus einem Hindernis vorzugsweise extrahiert und eine fehlerhafte Detektion und eine fehlerhafte Schätzung einer Entfernung beim Auftreten eines Hervorschnellens kann verhindert werden.
Es ist zu beachten, dass die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt ist und verschiedene abgewandelte Beispiele umfasst. Zum Beispiel wurden die oben beschriebenen Ausführungsformen zum Zwecke eines einfachen Verständnisses der vorliegenden Erfindung ausführlich beschrieben und sind nicht zwingend auf diejenigen beschränkt, die alle beschriebenen Konfigurationen aufweisen. Außerdem kann ein Teil der Konfiguration einer bestimmten Ausführungsform durch eine Konfiguration einer anderen Ausführungsform ersetzt werden und der Konfiguration einer bestimmten Ausführungsform kann die Konfiguration einer anderen Ausführungsform hinzugefügt werden. Außerdem können für einen Teil der Konfiguration jeder Ausführungsform andere Konfigurationen hinzugefügt, gestrichen und ersetzt werden.
Zusätzlich können einige oder alle der oben beschriebenen Konfigurationen durch Hardware ausgebildet werden oder können so ausgelegt sein, dass sie durch Ausführen eines Programms durch einen Prozessor realisiert werden. Außerdem geben Steuerleitungen und Informationsleitungen diejenigen an, die für die Beschreibung als notwendig erachtet werden, und nicht alle Steuerleitungen und Informationsleitungen sind notwendigerweise in Bezug auf das Produkt gezeigt. In der Praxis kann davon ausgegangen werden, dass fast alle Konfigurationen miteinander verbunden sind.
Bezugszeichenliste

100: Fahrzeug
101: Kamera
102: Objektdetektionsvorrichtung
103: Fahrzeugsteuervorrichtung
201: Bildgebungselement
202: Speicher
203: CPU
204: Bildverarbeitungseinheit (Bildverarbeitungsvorrichtung)
205: Einheit für externe Ausgabe
206: Kommunikationsleitung
241: Bildumsetzungseinheit
242: Hinderniskandidatenbereichs-Extraktionseinheit
243: Hindernisdetektionseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007235642 A [0002, 0003]

Claims

Bildverarbeitungsvorrichtung, die umfasst: eine Bildumsetzungseinheit, die zwei Bilder von zwei verschiedenen Zeitpunkten in Vogelperspektivenbilder umsetzt; eine Hinderniskandidatenbereichs-Extraktionseinheit, die die zwei Vogelperspektivenbilder oder die zwei Bilder verwendet, um einen Bereich innerhalb einer vorgegebenen Höhe von einer Straßenoberfläche von Bereichen, die ein Hindernis angeben, als einen Hinderniskandidatenbereich zu extrahieren; und eine Hindernisdetektionseinheit, die eine Ausrichtung der Hinderniskandidatenbereiche unter Verwendung von Bildmerkmalen in dem Hinderniskandidatenbereich durchführt und einen Bereich, in dem ein Unterschied aufgetreten ist, als einen Bereich, in dem ein Hindernis vorhanden ist, bestimmt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Hinderniskandidatenbereichs-Extraktionseinheit den Hinderniskandidatenbereich extrahiert, indem sie eine Bereich extrahiert, in dem ein Bildunterschied auftritt, wenn die zwei Vogelperspektivenbilder mit einem ersten Parameter überlagert werden, der in dem gesamten Bild der gleiche ist, und die Hindernisdetektionseinheit eine Ausrichtung der Hinderniskandidatenbereiche mit einem zweiten Parameter unter Verwendung eines Bildmerkmals in dem Hinderniskandidatenbereich durchführt und einen Bereich, in dem ein Unterschied aufgetreten ist, als einen Bereich, indem das Hindernis vorhanden ist, bestimmt.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Hinderniskandidatenbereichs-Extraktionseinheit einen Bereich, in dem ein Bildunterschied auftritt, wenn die zwei Vogelperspektivenbilder mit dem ersten Parameter überlagert werden, der in dem gesamten Bild gleich ist, extrahiert, einen Bereich innerhalb einer vorgegebenen Höhe von einer Straßenoberfläche der extrahierten Bereiche extrahiert und einen Bereich der zwei Bilder, der dem extrahierten Bereich entspricht, als den Hinderniskandidatenbereich extrahiert.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Hinderniskandidatenbereichs-Extraktionseinheit als den Hinderniskandidatenbereich einen Umfangsbereich eines Fußgängerbein-Kandidaten extrahiert, der durch eine Fußgängerbein-Detektionsfunktion in den zwei Bildern detektiert wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Hinderniskandidatenbereichs-Extraktionseinheit Karteninformationen und Positionsinformationen eines Trägerfahrzeugs erfasst und einen Bereich, in dem Straßenoberflächenfarbe in den zwei Bildern abgebildet ist, als den Hinderniskandidatenbereich extrahiert.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Hinderniskandidatenbereichs-Extraktionseinheit einen Bereich, der an ein linkes und rechtes Ende eines Bereichs, in dem eine Möglichkeit des Hindernisses besteht, angrenzt und in dem ein Risiko des Hervorschnellens besteht, in den beiden Bildern als den Hinderniskandidatenbereich extrahiert.
Bildverarbeitungsvorrichtung, die umfasst: eine Bildumsetzungseinheit, die zwei Bilder von zwei verschiedenen Zeitpunkten in Vogelperspektivenbilder umsetzt; eine Hinderniskandidatenbereich-Extraktionseinheit, die die zwei Vogelperspektivenbilder oder die zwei Bilder verwendet, um einen Bereich innerhalb einer vorgegebenen Höhe von einer Straßenoberfläche von Bereichen, die ein Hindernis angeben, aus den zwei Bildern als einen Hinderniskandidatenbereich zu extrahieren; und eine Hindernisdetektionseinheit, die ein Vogelperspektivenbild des Hinderniskandidatenbereichs unter Verwendung von Bildmerkmalen in dem Hinderniskandidatenbereich erzeugt, eine Ausrichtung von Vogelperspektivenbildern des Hinderniskandidatenbereichs durchführt und einen Bereich, in dem ein Unterschied aufgetreten ist, als einen Bereich, in dem ein Hindernis vorhanden ist, bestimmt.