DE112018007485T5

DE112018007485T5 - Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens

Info

Publication number: DE112018007485T5
Application number: DE112018007485.4T
Authority: DE
Inventors: Hiroki FUJIYOSHI; Kohei Mori
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-04-16
Filing date: 2018-04-16
Publication date: 2021-01-07
Also published as: JPWO2019202628A1; US11518390B2; CN111971682A; WO2019202628A1; US20200391751A1; JP7072641B2

Abstract

Ein Histogramm wird auf der Grundlage eines Straßenoberflächenbildes eines Abschnitts um ein Fahrzeug herum berechnet, und das Histogramm wird in ein Histogramm (18a), das eine Straßenoberfläche bei Sonnenlicht repräsentiert und einen ersten Spitzenwert enthält, und ein Histogramm (18b), das eine schattige Straßenoberfläche repräsentiert und einen zweiten Spitzenwert enthält, getrennt, um die Histogramme auszugeben, wodurch die Genauigkeit der Straßenoberflächen-Detektion um das Fahrzeug herum im Vergleich zum herkömmlichen Stand der Technik weiter verbessert wird.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Straßenoberflächen-Detektionsvorrichtung, eine Bildanzeige-Vorrichtung unter Verwendung der Straßenoberflächen-Detektionsvorrichtung, eine Hindernis-Detektionsvorrichtung unter Verwendung der Straßenoberflächen-Detektionsvorrichtung, ein Straßenoberflächen-Detektionsverfahren, ein Bildanzeige-Verfahren unter Verwendung des Straßenoberflächen-Detektionsverfahrens und ein Hindernis-Detektionsverfahren unter Verwendung des Straßenoberflächen-Detektionsverfahrens.
Stand der Technik
In den letzten Jahren wurde ein präventives Sicherheitssystem für Automobile vorgeschlagen, das mit Hilfe einer Bildgebungsvorrichtung ein Hindernis-Detektionsdistanz um ein Fahrzeug herum detektiert, um z.B. eine Fahrzeugkollision zu verhindern, ein automatisches Einparken durchzuführen oder einen Abstand zwischen den Fahrzeugen zu kontrollieren. Eine Straßenoberflächen-Detektionsvorrichtung in einem solchen System hat das Problem, dass ein Muster auf einer Straßenoberfläche, ein Schatten auf einer Straßenoberfläche oder Ähnliches fälschlicherweise als Hindernis detektiert wird.
Als konventioneller Stand der Technik zur Lösung des Problems wird in Patentdokument 1 eine Straßenoberflächen-Detektionsvorrichtung offenbart.
Zitatliste
Patentdokument
Patentdokument 1: japanischer veröffentlichte Patentpublikations-Nr. 2017-33506
Zusammenfassung der Erfindung
Von der Erfindung zu lösende Aufgaben
In der Straßenoberflächen-Detektionsvorrichtung, die in Patentdokument 1 offenbart ist, wird ein Helligkeitswert einer Straßenoberfläche auf der Grundlage eines Helligkeitswert-Histogramms geschätzt, das aus einer Histogramm-Generation-Region erzeugt wird. In einem Fall, in dem die Histogramm-Generation-Region mit einem Schatten eines Fahrzeugs oder eines strukturellen Objekts oder eines Hindernisses bedeckt ist, kann keine Helligkeitsinformation einer Straßenoberfläche im Sonnenlicht erhalten werden, so dass die Straßenoberfläche nicht korrekt detektiert werden kann. In einem Fall, in dem sich ein Schatten nicht in der Histogramm-Generation-Region befindet, kann eine Straßenoberfläche, die einen Schatten enthält, nicht detektiert werden, und der Schatten eines Hindernisses auf einer Straßenoberfläche kann fälschlicherweise als ein Hindernis erkannt werden. Daher hat die in Patentdokument 1 offenbarte Straßenoberflächen-Detektionsvorrichtung das Problem, dass die Genauigkeit der Straßenoberflächen-Detektion aufgrund eines Schattens verringert werden kann.
Die vorliegende Offenbarung wurde gemacht, um das oben genannte Problem zu lösen, und ein Gegenstand der vorliegenden Offenbarung ist es, die Genauigkeit der Straßenoberflächen-Detektion um ein Fahrzeug herum im Vergleich zum konventionellen Stand der Technik weiter zu verbessern.
Lösung des Problems
Eine Straßenoberflächen-Detektionsvorrichtung gemäß der vorliegenden Offenbarung umfasst:

eine Bildgebungseinheit, die in einem Fahrzeug angeordnet ist, um ein Straßenoberflächenbild eines Abschnitts um das Fahrzeug herum zu erhalten und eine Vielzahl von Teilstraßenoberflächenbildern auszugeben, von denen jedes einen Teil des Straßenoberflächenbildes darstellt;
eine Histogramm-Generation-Region-Extraktionseinheit zum Empfangen der Eingabe der Vielzahl von Teilstraßenoberflächenbildern und zum Extrahieren einer vorbestimmten Region der Teilstraßenoberflächenbilder als eine Vielzahl von Histogramm-Generation-Regionen;
eine Histogramm-Generation-Region-Kombinationseinheit zum Kombinieren der Vielzahl von Histogramm-Generation-Regionen und zum Ausgeben der kombinierten Region als eine Histogramm-Generation-Zusammengesetzte-Region;
eine Histogramm-Berechnungseinheit zum Berechnen eines Histogramms auf der Grundlage der Histogramm-Generation-Zusammengesetzte-Region;
eine Histogramm-Trenneinheit zum Trennen des Histogramms in ein erstes Histogramm und ein zweites Histogramm und zum Ausgeben des ersten und des zweiten Histogramms;
eine erste Region-Extraktionseinheit zum Extrahieren einer ersten Region aus dem ersten Histogramm und den Teilstraßenoberflächenbildern; und
eine zweite Region-Extraktionseinheit zum Extrahieren einer zweiten Region aus dem zweiten Histogramm und den Teilstraßenoberflächenbildern und in der Straßenoberflächen-Detektionsvorrichtung,
wobei die Histogramm-Trenneinheit das Histogramm so trennt, dass ein Element, das einen ersten Spitzenwert enthält, das erste Histogramm ist, und ein Element, das einen zweiten Spitzenwert enthält, das zweite Histogramm ist.

Effekt der Erfindung
Die Straßenoberflächen-Detektionsvorrichtung gemäß der vorliegenden Offenbarung detektiert einen Schatten auf einer Straßenoberfläche um ein Fahrzeug herum, wodurch die Genauigkeit der Straßenoberflächen-Detektion im Vergleich zu einer herkömmlichen Straßenoberflächen-Detektionsvorrichtung weiter verbessert wird.
Figurenliste

1A ist ein schematisches Diagramm, das eine Konfiguration einer Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1 veranschaulicht.
1B veranschaulicht eine Hardware-Konfiguration einer Berechnungsvorrichtung gemäß Ausführungsform 1.
2 ist ein funktionales Blockdiagramm, das die Straßenoberflächen-Detektionsvorrichtung gemäß der Ausführungsform 1 veranschaulicht.
3 ist ein Flussdiagramm, das die Funktionsweise der Straßenoberflächen-Detektionsvorrichtung gemäß der Ausführungsform 1 zeigt.
4 veranschaulicht die Beziehung zwischen einer Frontkamera 3, einem Bereich eines Teilstraßenoberflächenbildes, und einer virtuellen Kamera 3', die für die Aufnahme eines Teilstraßenoberflächenbildes in der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1 verwendet wird.
5 veranschaulicht ein Teilstraßenoberflächenbild, das von der Kamera 3 in der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1 erhalten wurde.
6 zeigt ein Teilstraßenoberflächenbild, das durch Transformation des von der Kamera 3 in der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1 erhaltenen Teilstraßenoberflächenbildes erhalten wurde.
7 veranschaulicht ein Koordinatensystem der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1.
8 veranschaulicht eine Positionsbeziehung zwischen einem Fahrzeug 1 und einer Histogramm-Generation-Region in der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1.
9 veranschaulicht eine Beziehung zwischen einer Hindernis-Detektionsdistanz und einem Teilstraßenoberflächenbild in der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1.
10 veranschaulicht den Zusammenhang zwischen einem Abstand C zwischen dem Fahrzeug 1 und einem Hindernis und einem Schnittpunkt 17 von Kreisbögen auf einem zusammengesetzten Transformationsbild, wenn ein Schnittpunkt zweier Kreise auf der Grundlage von zwei oder mehr Hindernis-Distanzen auf dem Teilstraßenoberflächenbild in der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1 erhalten wird.
11 veranschaulicht eine Beziehung zwischen dem Abstand C zwischen dem Fahrzeug 1 und einem Hindernis und einem Bogen 16 auf einem zusammengesetzten Transformationsbild für den Fall, dass eine Hindernis-Detektionsdistanz auf dem Teilstraßenoberflächenbild in der Straßenoberflächen-Detektionsvorrichtung gemäß der Ausführungsform 1 erhalten wird.
12 zeigt die Koordinaten einer Histogramm-Generation-Region in einem Teiltransformationsbild hinter dem Fahrzeug 1 in der Straßenoberflächen-Detektionsvorrichtung gemäß der Ausführungsform 1.
13 zeigt ein Histogramm, das auf einer Histogramm-Generation-Zusammengesetzte-Region und einem Histogramm-Trennverfahren in der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1 basiert.
14 stellt ein Histogramm dar, aus dem in der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1 kein zweites Histogramm extrahiert werden kann.
15 zeigt ein zusammengesetztes Transformationsbild in der Straßenoberflächen-Detektionsvorrichtung gemäß der Ausführungsform 1.
16 zeigt ein Bild, bei dem ein Helligkeitswert 255 für eine erste Region und der Helligkeitswert 0 für die anderen Regionen beträgt, im zusammengesetzten Transformationsbild in der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1.
17 zeigt ein Bild mit einem Helligkeitswert von 255 für eine zweite Region und einem Helligkeitswert von 0 für die anderen Regionen in dem zusammengesetzten Transformationsbild in der Straßenoberflächen-Detektionsvorrichtung gemäß der Ausführungsform 1.
18 ist ein funktionales Blockdiagramm, das eine Bildanzeige-Vorrichtung gemäß der Ausführungsform 2 illustriert.
19 ist ein Flussdiagramm, das die Funktionsweise der Bildanzeige-Vorrichtung gemäß der Ausführungsform 2 zeigt.
20 ist ein funktionelles Blockdiagramm, das eine Hindernis-Detektionsvorrichtung gemäß Ausführungsform 3 zeigt.
21 ist ein Flussdiagramm, das die Funktionsweise der Hindernis-Detektionsvorrichtung gemäß der Ausführungsform 3 zeigt.
22 zeigt ein Beispiel eines Teiltransformationsbildes in der Hindernis-Detektionsvorrichtung gemäß Ausführungsform 3.
23 zeigt ein Bild mit einem Helligkeitswert von 255 für die erste Region und die zweite Region und einem Helligkeitswert von 0 für eine Hindernis-Region, die nicht in der ersten Region und der zweiten Region enthalten ist, in dem Teiltransformationsbild in der Hindernis-Detektionsvorrichtung gemäß Ausführungsform 3.
24 zeigt ein Bild, in dem ein Helligkeitswert für die erste Region und die zweite Region 0 ist und der Helligkeitswert 255 für eine Hindernis-Region, die nicht in einer Straßenoberflächen-Region enthalten ist, in dem Teiltransformationsbild in der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 3.
25 zeigt ein Bild, in dem ein Helligkeitswert 0 für die erste Region und eine Hindernis-Region ohne Höhe und der Helligkeitswert 255 für die andere Hindernis-Region beträgt, in dem Teiltransformationsbild in der Hindernis-Detektionsvorrichtung gemäß Ausführungsform 3.
26 zeigt ein Bild mit einem Helligkeitswert von 255 für eine Region, in der die Differenz zwischen einem zusammengesetzten Transformationsbild und einem vorhergehenden zusammengesetzten Transformationsbild größer oder gleich einem Schwellenwert ist, und mit einem Helligkeitswert von 0 für eine Region, in der die Differenz kleiner als der Schwellenwert ist, in der Hindernis-Detektionsvorrichtung gemäß Ausführungsform 3.
27 stellt eine Hindernis-Detektionszone 20 dar, die durch gestrichelte Linien im Teiltransformationsbild in der Hindernis-Detektionsvorrichtung gemäß Ausführungsform 3 angezeigt wird.
28 zeigt im Teiltransformationsbild in der Hindernis-Detektionsvorrichtung gemäß Ausführungsform 3 ein Bild, in dem der Helligkeitswert für die Hindernis-Detektionszone 20 255 und der Helligkeitswert für eine Region, die nicht in der Hindernis-Detektionszone 20 enthalten ist, 0 beträgt.

Beschreibung der Ausführungsformen
Eine Straßenoberflächen-Detektionsvorrichtung der vorliegenden Offenbarung wird im Folgenden für ihre Konfiguration und ihren Betrieb nach bevorzugten Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. In der Beschreibung für die Zeichnungen bezeichnet dasselbe Bezugszeichen dasselbe oder ein gleichwertiges Bauteil, und die wiederholte Beschreibung desselben Bauteils entfällt.
Ausführungsform 1.
Eine Straßenoberflächen-Detektionsvorrichtung der Ausführungsform 1 detektiert eine sonnenbeschienene Straßenoberfläche, die eine Straßenoberfläche bei Sonnenschein ist, und eine schattige Straßenoberfläche, die eine Straßenoberfläche ist, die einen Schatten enthält, indem sie eine Bildverarbeitung eines Bildes eines Abschnitts um ein Fahrzeug 1 herum durchführt, um die Genauigkeit der Straßenoberflächen-Detektion zu verbessern, um das Problem des konventionellen Stands der Technik zu lösen. Eine schematische Konfiguration der Straßenoberflächen-Detektionsvorrichtung der Ausführungsform 1 wird unter Bezugnahme auf 1A beschrieben.
In 1A hat das Fahrzeug 1 Sonarsensoren 2, Kameras 3 und eine Straßenoberflächen-Detektionsvorrichtung 11. Mehrere der Sonarsensoren 2 sind am vorderen Teil, seitlichen Teilen und am hinteren Teil des Fahrzeugs angeordnet und über die Sonarsensor-Verkabelung 6 mit einer Sonarsteuerung 7 verbunden. In 1A sind vier Sonarsensoren 2 an jedem der vorderen und hinteren Teile und zwei Sonarsensoren 2 an jedem der seitlichen Teile angeordnet. Die Anzahl der Sonarsensoren 2, die an jedem der vorderen und hinteren Teile angeordnet sind, kann jedoch zwei bis drei betragen, abhängig von der Größe des Fahrzeugs 1 in einem Fall, in dem eine notwendige Region für die Messung erreicht werden kann.
Mehrere der Kameras 3 sind am vorderen, hinteren, linken und rechten Teil des Fahrzeugs 1 angeordnet und über eine Kamera-Verkabelung 5 mit einer Umgebung-Überwachungs-Kamerasteuerung 8 verbunden. In 1A sind die linke und die rechte Kamera jeweils unter einem Außenspiegel angebracht, was derzeit ein typischer Montageteil ist, und die vordere und die hintere Kamera sind jeweils in der Mitte eines Stoßfängers angeordnet. Die Kameras müssen jedoch nicht unbedingt wie in 1A dargestellt angeordnet sein. Die Kameras können jeweils an jeder beliebigen Stelle angeordnet werden, solange der Gegenstand der vorliegenden Offenbarung erreicht wird.
Die Straßenoberflächen-Detektionsvorrichtung 11 umfasst weitere Sensoren 9 und eine Berechnungsvorrichtung 10 sowie die Sonarsteuerung 7 und die Umgebung-Überwachungs-Kamerasteuerung 8. Diese Komponenten sind durch eine Kommunikationsleitung 4 miteinander verbunden (z.B. CAN: Control Area Network o.ä.).
Die Berechnungsvorrichtung 10 besteht aus einem Prozessor 1000 und einer Speichervorrichtung 2000, wie in 1B dargestellt. Die Speichervorrichtung umfasst eine flüchtige Speichervorrichtung, wie z.B. einen Direktzugriffsspeicher, und eine nichtflüchtige Hilfsspeichervorrichtung, wie z.B. einen Flash-Speicher, die nicht dargestellt sind. Anstelle des Flash-Speichers kann eine zusätzliche Speichervorrichtung wie eine Festplatte vorgesehen werden. Der Prozessor 1000 führt ein von der Speichervorrichtung 2000 eingegebenes Programm aus, um die Konfiguration für einen in 2 dargestellten Funktionsblock zu implementieren und einen Teil oder die gesamte Operation in einem in 3 dargestellten Flussdiagramm auszuführen. In diesem Fall wird das Programm von der Hilfsspeichervorrichtung über die flüchtige Speichervorrichtung in den Prozessor 1000 eingegeben. Darüber hinaus kann der Prozessor 1000 Daten wie Eingangs- und Ausgangssignale, einen Zwischenwert der Berechnung und das Berechnungsergebnis an die flüchtige Speichervorrichtung der Speichervorrichtung 2000 ausgeben oder die Daten über die flüchtige Speichervorrichtung in der Hilfsspeichervorrichtung speichern. Neben dem Prozessor 1000 und der Speichervorrichtung 2000 können auch eine Logikschaltung und eine Analogschaltung in Kombination verwendet werden. Die Berechnungsvorrichtung 10 implementiert den Funktionsblock und führt einen Teil oder die Gesamtheit der Operation in einem Flussdiagramm aus, wie unten jeweils in der Ausführungsform 2 und 3 beschrieben.
2 ist ein Funktionsblockdiagramm, das eine funktionelle Konfiguration der Straßenoberflächen-Detektionsvorrichtung 11 gemäß der Ausführungsform 1 veranschaulicht.
Die Vorrichtung zur Straßenoberflächen-Detektion 11 umfasst eine Bildgebungsvorrichtung 200, eine Hindernis-Distanz-Detektionsvorrichtung 201, eine Fahrzeugsignal-Detektionseinheit 202, eine Bildtransformationseinheit 203, eine Histogramm-Generation-Region-Extraktionseinheit 204, eine Histogramm-Generation-Region-Kombinationseinheit 205, eine Histogramm-Berechnungseinheit 206, eine Histogramm-Trennvorrichtung 207, eine Transformationsbild-Kombinationseinheit 208, eine erste Region-Extraktionseinheit 209 und eine zweite Region-Extraktionseinheit 210.
Die Bildgebungseinheit 200 umfasst mehrere Kameras 3, die Umgebung-Überwachung-Kamerasteuerung 8 und die dazwischen liegende Kameraverkabelung 5, wie in 1A dargestellt.
Die Hindernis-Distanz-Detektionseinheit 201 detektiert ein Hindernis um das Fahrzeug 1 herum und detektiert eine Hindernis-Distanz zwischen dem Hindernis und der Hindernis-Distanz-Detektionseinheit 201. Als Vorrichtung zur Detektion der Hindernis-Detektionsdistanz kann z.B. ein Sonarsensor, ein Infrarot-Tiefensensor, ein Millimeterwellenradar oder ein LiDAR-Verfahren verwendet werden. Die Hindernis-Distanz-Detektionseinheit 201 umfasst eine Vielzahl von Sonarsensoren 2, die Sonarsteuerung 7 und die Sonarsensor-Verkabelung 6, die dazwischen angeschlossen sind, wie in 1A dargestellt.
Die Fahrzeugsignal-Detektionseinheit 202 entspricht den anderen Sensoren 9 in 1A und detektiert einen Fahrzeugzustand. Die Fahrzeugsignal-Detektionseinheit 202 detektiert ein Fahrzeugsignal, das eine Fahrzeuggeschwindigkeit, einen Lenkradwinkel, Schaltinformationen, Bremsinformationen, eine Gier-Rate oder ähnliches anzeigt.
In dem in 2 dargestellten funktionalen Blockdiagramm sind die Bildtransformationseinheit 203, die Histogramm-Generation-Region-Kombinationseinheit 204, die Histogramm-Generation-Region-Kombinationseinheit 205, die Histogramm-Berechnungseinheit 206, die Histogramm-Trenneinheit 207, die Transformations-BildKombinationseinheit 208, die erste Region-Extraktionseinheit 209 und die zweite Region-Extraktionseinheit 210 in der in 1 dargestellten Berechnungsvorrichtung 10 enthalten. Die Funktionsweise des Funktionsblocks der Berechnungsvorrichtung 10 wird unter Bezugnahme auf das in 3 dargestellte Flussdiagramm beschrieben.
In 3, im Schritt S101, führt die in 2 dargestellte Bildtransformationseinheit 203 die Bildverarbeitung eines von der Bildgebungseinheit 200 aufgenommenen Teilstraßenoberflächenbildes durch, um die Transformation in ein Teilstraßenoberflächenbild durchzuführen. In Ausführungsform 1, wie in 1A gezeigt, wird durch projektive Transformation von Teilstraßenoberflächenbildern, die von den vier Kameras 3 für die Aufnahme von Bildern aus den vier Teilen des Fahrzeugs 1 aufgenommen wurden, die Transformation in Teilstraßenoberflächenbilder durchgeführt.
Die projektive Transformation wird unter Bezugnahme auf 4 bis 6 beschrieben. 4 veranschaulicht das Fahrzeug 1, die am vorderen Teil des Fahrzeugs 1 angebrachte Kamera 3 und einen Bereich des Teilstraßenoberflächenbildes, das an der Position der Kamera 3 aufgenommen wurde. Außerdem veranschaulicht 4 eine Beziehung zwischen einem Bereich des Teilstraßenoberflächenbildes, das durch die projektive Transformation des Teilstraßenoberflächenbildes erhalten wurde, und einer virtuellen Kamera 3' zur Aufnahme des Teilstraßenoberflächenbildes.
Das in 5 gezeigte Teilstraßenoberflächenbild kann von der Kamera 3 aufgenommen werden, die am vorderen Teil des Fahrzeugs 1 so angeordnet ist, dass sie die Straßenoberfläche, wie in 4 gezeigt, einschließt.
5 zeigt ein Teilstraßenoberflächenbild, das von der Kamera 3 des Fahrzeugs 1 aufgenommen wurde, und das Bild enthält einen Mast 12 als Hindernis auf einer Straßenoberfläche, einen Mast-Schatten 13 des Mastes 12 auf der Straßenoberfläche und weiße Linien 14. In einem solchen Teilstraßenoberflächenbild wird eine projektive Transformation einer Region A, die die Straßenoberfläche in der Nähe des Fahrzeugs 1 einschließt, durchgeführt, um die Region A in ein Teiltransformationsbild zu transformieren, wie es von der virtuellen Kamera 3' aufgenommen wurde, mit der die Region A von dort oben betrachtet wird. 6 zeigt ein Beispiel für das durch die projektive Transformation erhaltene Teiltransformationsbild. Bei der projektiven Transformation wird ein Hindernis (z.B. der Mast 12), das in dem in 5 gezeigten Teilstraßenoberflächenbild eine Höhe hat, so behandelt, als ob das Hindernis ein Muster (z.B. die weißen Linien 14 auf einer asphaltierten Straßenoberfläche) auf der Straßenoberfläche ist, das keine Höhe hat. Daher wird, wie in 6 gezeigt, der Mast 12, der eine Höhe hat, so transformiert, dass er vom Fahrzeug 1 in Richtung der Tiefe verlängert wird.
Aus dem durch die projektive Transformation erhaltenen Teiltransformationsbild kann eine Position des Mastes 12 auf dem Teiltransformationsbild berechnet werden. In der Ausführungsform 1 wird das Bild der Teiltransformation durch die projektive Transformation der Region A erhalten. Daher besteht zwischen dem Bild der Teiltransformation und der Region A eine Korrespondenzbeziehung. Daher kann eine Koordinate des Mastes 12 auf dem Bild der Teiltransformation geometrisch erhalten werden, indem man die Position der Kamera 3, die Position der Kamera 3', einen Blickwinkel der Kamera 3, eine Brennweite davon und die Größe eines Koordinaten-Transformationsbildes verwendet.
Die Koordinate basiert auf einem Koordinatensystem, wie in 7 dargestellt, in dem der Mittelpunkt der Hinterachse des Fahrzeugs 1 der Ursprungspunkt 0 ist. In dem Koordinatensystem ist die Achse vom Ursprungspunkt 0 zur Vorderseite des Fahrzeugs 1 die X-Achse und die Achse vom Ursprungspunkt 0 zur linken Seite des Fahrzeugs 1 die Y-Achse.
In 3, im Schritt S102, detektiert die in 2 dargestellte Hindernis-Distanz-Detektionseinheit 201 eine Hindernis-Distanz. Ein Hindernis im Bildbereich wird detektiert, und es wird die Hindernis-Detektionsdistanz detektiert, die dem Abstand zwischen dem Sonarsensor 2 und dem Sonarsensor 2 am nächsten liegenden Hindernis entspricht. In einem Fall, in dem sich mehrere Hindernisse im Abbildungsbereich befinden, werden die mehreren Hindernis-Detektionsdistanzen detektiert und alle Hindernis-Distanzen gespeichert.
In 3 extrahiert die in 2 gezeigte Histogramm-Generation-Region-Extraktionseinheit 204 eine Histogramm-Generations-Region aus dem Teiltransformationsbild, basierend auf der in Schritt S102 detektierten Hindernis-Detektionsdistanz.
8 zeigt eine Positionsbeziehung zwischen der Histogramm-Generation-Region und dem Fahrzeug 1. 8 stellt ein Bild aus der Vogelperspektive dar, das durch das Fahrzeug 1 und die Straßenoberfläche um das Fahrzeug 1 herum von oben betrachtet wird. Das Bild enthält einen Schatten 15 des Fahrzeugs auf der Straßenoberfläche um das Fahrzeug 1 herum. Die Region-Extraktionseinheit 204 zur Histogramm-Generation-Region-Extraktion extrahiert vier rechteckige Regionen B, die die an das Fahrzeug 1 angrenzenden Teile umgeben, in dem Teilstraßenoberflächen-Bild, das durch Transformation des von den Kameras 3 aufgenommenen Teilstraßenoberflächen-Bildes erhalten wurde, als Histogramm-Generation-Region. Wenn die Region B ein Hindernis enthält, kann das Hindernis fälschlicherweise als Straßenoberfläche detektiert werden. Daher wird eine Region der Straßenoberfläche, die kein Hindernis enthält, auf der Grundlage der vom Sonarsensor 2 detektierten Hindernis-Detektionsdistanz auf dem Teilstraßenoberflächen-Bild berechnet und als Histogramm-Generation-Region extrahiert.
In 3, in den Schritten S103 bis S107, wird in jedem Teilstraßenoberflächenbild in jedem Teilstraßenoberflächenbild ein Abstand zwischen dem Fahrzeug 1 und dem Hindernis auf der Grundlage des Hindernisabstands berechnet, und die Straßenoberflächenregion wird auf der Grundlage des berechneten Abstands zwischen dem Fahrzeug 1 und dem Hindernis berechnet und als Histogramm-Generation-Region in Schritt S108 extrahiert. Ein Beispiel für das Verfahren wird im Folgenden ausführlich beschrieben.
Zunächst bestimmt die in 3, Schritt S103, gezeigte Histogramm-Generation-Region-Extraktionseinheit 204 in 2, ob die Hindernis-Distanz-Detektionseinheit 201 ein Hindernis auf dem Teiltransformationsbild detektiert oder nicht.
In einem Fall, in dem ein Hindernis detektiert wird, wechselt der Prozess zu Schritt S104 in 3, um den Abstand zwischen dem Fahrzeug 1 und dem Hindernis auf der Grundlage der Hindernis-Detektionsdistanz zu berechnen.
In einem Fall, in dem kein Hindernis detektiert wird, wird die maximale Hindernis-Detektionsdistanz des Sonarsensors 2 (siehe 1A) auf den Abstand zwischen dem Fahrzeug 1 und dem Hindernis eingestellt, und das Verfahren wechselt zu Schritt S108 in 3. In diesem Fall kann die 0,8-fache maximale Detektionsdistanz des Sonarsensors 2 unter Berücksichtigung der Genauigkeit des Sonarsensors 2 auf den Abstand zwischen Fahrzeug 1 und dem Hindernis-Detektionsdistanz eingestellt werden.
In 3, im Schritt S104, berechnet die in 2 gezeigte Histogramm-Generation-Region-Extraktionseinheit 204 die Koordinaten eines Bogens mit einem Radius, der der Hindernis-Distanz entspricht, um die Hindernis-Distanz-Detektionseinheit 201 auf dem Teiltransformationsbild. 9 zeigt eine Beziehung zwischen dem Bild der Teiltransformation und der Hindernisdistanz. 9 zeigt einen Bogen 16 um den Sonarsensor 2 mit einem Radius, der der vom Sonarsensor 2 auf dem Teiltransformationsbild detektierten Hindernis-Detektionsdistanz entspricht. In diesem Fall wird der Mast 12 als ein Hindernis detektiert, und der Mast 12 befindet sich auf einer Position auf dem Bogen 16. Der Sonarsensor 2 detektiert nur ein Hindernis mit einer Höhe, so dass der Sonarsensor 2 den Schatten 13 des Mastes nicht als Hindernis detektiert.
Darüber hinaus bestimmt in 3, im Schritt S105, die Region-Extraktionseinheit 204 zur Histogramm-Generation-Region in 2 auf der Grundlage der im Schritt S104 berechneten Koordinaten-Transformationsbilder der Bögen 16, ob sich in jedem Teiltransformationsbild ein Schnittpunkt 17 der Bögen befindet oder nicht. 10 zeigt eine Beziehung zwischen zwei Bögen 16 und dem Schnittpunkt 17 der Bögen im Teiltransformationsbild. Die beiden Sonarsensoren 2 detektieren den Mast 12, wobei der Schnittpunkt 17 der Bögen, der von den beiden Bögen 16 gebildet wird, die Koordinate des Mastes 12 darstellt. Wie in 10 gezeigt, kann in einem Fall, in dem der Schnittpunkt 17 der Bögen im Teiltransformationsbild liegt, der Schnittpunkt der beiden Hindernisabstände, d.h. die Koordinaten des Hindernisses, ermittelt werden. In einem Fall, in dem der Schnittpunkt 17 des Bogenschnittpunktes fehlt, erhält man jedoch nicht die korrekte Koordinate des Hindernisses. Daher wird ein Verfahren zur Berechnung des Abstands C zwischen dem Fahrzeug 1 und dem Hindernis zwischen dem Vorhandensein und dem Fehlen des Schnittpunkts 17 der Bogenüberschneidung geändert. Das heißt, in einem Fall, in dem sich der Schnittpunkt 17 der Bögen im Bild der Teiltransformation befindet, geht das Verfahren zum Schritt S106 in 3 über. In einem Fall, in dem der Schnittpunkt 17 der Bogenüberschneidung nicht vorhanden ist, geht der Prozess zu Schritt S107 über.
In einem Fall, in dem der Schnittpunkt 17 der Bögen im Teiltransformationsbild liegt, wird der Abstand zwischen dem Fahrzeug 1 und dem Hindernis auf der Grundlage einer Koordinate des Schnittpunkts 17 der Bögen im Schritt S106 in 3 berechnet. Ein Verfahren zur Berechnung des Schnittpunktes 17 der Bögen und des Abstandes C zwischen dem Fahrzeug 1 und dem Hindernis wird unter Bezugnahme auf 10 beschrieben.
Zuerst wird die Länge der senkrecht zur Oberfläche des Fahrzeugs 1 verlaufenden Linie berechnet, die vom Schnittpunkt 17 der Bögen aus gezogen wird. Da je nach Genauigkeit des Sonarsensors 2 ein Fehler im Hindernisabstand enthalten sein kann, wird unter Berücksichtigung des Fehlers ein Wert, der das 0,8-fache oder 0,6-fache der Länge der Senkrechten angibt, als Abstand C zwischen dem Fahrzeug 1 und dem Hindernis ausgegeben.
In einem Fall, in dem mehrere der Schnittpunkte 17 der Bogenschnittpunkte aufgrund mehrerer Hindernisse im Teiltransformationsbild liegen, wird von jedem aller Schnittpunkte 17 der Bogenschnittpunkte die Senkrechte zur Oberfläche des Fahrzeugs 1 gezogen und ein Wert, der das 0,8-fache oder 0,6-fache der Länge der kürzesten Senkrechten angibt, als Abstand C zwischen dem Fahrzeug 1 und dem Hindernis ausgegeben. Es wurde ein Fall beschrieben, in dem der Sonarsensor 2 verwendet wird. In einem Fall, in dem ein Sensor mit einer höheren Richtwirkung verwendet wird, kann ein Wert, der durch Multiplikation der berechneten Länge der Senkrechten mit einer Vergrößerung näher bei 1 erhalten wird, als Abstand C zwischen dem Fahrzeug 1 und dem Hindernis ausgegeben werden.
In einem Fall, in dem der Schnittpunkt 17 der Bögen nicht im Teiltransformationsbild liegt, wird der Abstand zwischen dem Fahrzeug 1 und dem Hindernis im Schritt S107 in 3 aus einer Koordinate des Bogens 16, die im Schritt S105 ausgegeben wird, berechnet.
In 11 sendet der Sonarsensor 2 eine Schallwelle in einen Bereich von etwa Z-Grad von der Vorderseite des Sonarsensors 2 aus. Daher befindet sich in einem Fall, in dem ein Hindernis detektiert wird, das Hindernis im Bereich von ±Z-Grad relativ zur Mitte des Sonarsensors 2. Der Abstand zwischen dem Fahrzeug 1 und dem Hindernis ist am geringsten, wenn sich ein Hindernis in der Z-Grad-Richtung relativ zur Mitte des Sonarsensors 2 befindet. Dementsprechend wird der Abstand als Abstand C zwischen dem Fahrzeug 1 und dem Hindernis ausgegeben. Das heißt, wenn P den Hindernisabstand darstellt, der dem Radius des Bogens 16 entspricht, wird der Abstand C unter Verwendung der folgenden Gleichung (1) berechnet. $C = PcosZ$
In dem in 11 gezeigten Beispiel wird der Abstand C zwischen dem Fahrzeug 1 und dem Hindernis im Falle von Z=45 Grad berechnet.
Als nächstes wird in 3 in Schritt S108 die Histogramm-Generation-Region extrahiert, indem der in Schritt S106 oder Schritt S107 berechnete Abstand C zwischen dem Fahrzeug 1 und dem Hindernis-Region, wie oben beschrieben, verwendet wird.
Ein Beispiel für ein Verfahren zur Extraktion der Histogramm-Generation-Region wird unter Bezugnahme auf 12 beschrieben. In 12 wird in dem Teilstraßenoberflächenbild (im Folgenden als Teilstraßenoberflächenbild hinter dem Fahrzeug 1 bezeichnet), das durch Transformation des Teilstraßenoberflächenbildes erhalten wird, das von der im hinteren Teil des Fahrzeugs 1 angeordneten Kamera 3 aufgenommen wurde, die Histogramm-Generation-Region als eine Region festgelegt, die von einem Punkt H1 bis zu einem Punkt H4 umgeben ist. Die Koordinaten der Punkte H1 bis H4 werden als H1(-β,α+γ₂), H2(-β,-α-γ₁), H3(-β-δ,-α-γ₁), H4(-β-δ,α+γ₂) in dem in 7 beschriebenen Koordinatensystem dargestellt. α steht für die halbe Länge der seitlichen Breite des Fahrzeugs 1, und β steht für die Länge von der Hinterachse bis zum hinteren Stoßfänger. In 3 werden γ₁, γ₂ und δ auf der Grundlage des Abstands C zwischen dem Fahrzeug 1 und dem Hindernis variabel gemacht, der in Schritt S103 bis Schritt S107 ausgegeben wird, wobei nur die Straßenoberfläche als Histogramm-Generation-Region extrahiert werden kann. Zum Beispiel, in einem Fall, in dem die Histogramm-Generation-Region aus dem Teiltransformationsbild hinter dem Fahrzeug 1 berechnet wird, wird δ auf den Abstand C zwischen dem Fahrzeug 1 und dem Hindernis eingestellt, der aus dem Teiltransformationsbild hinter dem Fahrzeug 1 berechnet wird, γ₁ auf den Abstand C zwischen dem Fahrzeug 1 und dem Hindernis eingestellt, der aus dem rechtsseitigen Teiltransformationsbild berechnet wird, und γ₂ auf den Abstand C zwischen dem Fahrzeug 1 und dem Hindernis eingestellt, der aus dem linksseitigen Teiltransformationsbild berechnet wird. Durch die Berechnung der Histogramm-Generation-Region in den anderen Teilstraßenoberflächenbildern nach dem gleichen Verfahren kann die Straßenoberflächenregion, die das Fahrzeug 1 wie oben in 8 beschrieben umgibt, als Histogramm-Generation-Region extrahiert werden. δ, γ₁ und γ₂ können auf den kürzesten Abstand C zwischen dem Fahrzeug 1 und dem Hindernis unter den Abständen C zwischen Fahrzeug 1 und dem Hindernis eingestellt werden, der aus den Teiltransformationsbildern berechnet wird, um die Histogramm-Generation-Region zu extrahieren.
In 3, im Schritt S105, wird das Verfahren zur Berechnung des Abstands C zwischen dem Fahrzeug 1 und dem Hindernis geändert, basierend auf dem Ergebnis der Bestimmung, ob der Schnittpunkt 17 der Bögen in jedem Teiltransformationsbild vorhanden ist oder nicht. Das Verfahren ist jedoch nicht notwendigerweise darauf beschränkt. Beispielsweise kann ein Wert des 0,8-fachen des kürzesten Hindernisabstandes in jedem Teiltransformationsbild auf den Abstand C zwischen dem Fahrzeug 1 und dem Hindernis gesetzt werden, unabhängig davon, ob der Schnittpunkt 17 der Bogenüberschneidung vorhanden ist oder nicht. In einem Fall, in dem der Hindernis-Detektionsdistanz nicht detektiert wird, kann ein Wert des 0,8-fachen des maximalen Detektionsabstands des Sonarsensors 2 als Abstand C zwischen dem Fahrzeug 1 und dem Hindernis berechnet werden. Das Verfahren zur Berechnung der Histogramm-Generation-Region ist nicht begrenzt, solange das Ziel der vorliegenden Offenbarung erreicht werden kann.
In 3, im Schritt S109, kombiniert die in 2 gezeigte Histogramm-Generation-Region-Kombinationseinheit 205 eine Vielzahl der Histogramm-Generation-Regionen, die von der Histogramm-Generation-Region-Kombinationseinheit 204 extrahiert wurden, und gibt die kombinierte Region als die Histogramm-Generation-Zusammengesetzte-Region aus.
Die Histogramm-Generation-Region-Kombinationseinheit 205 schätzt auf der Grundlage des von der Fahrzeugsignal-Detektionseinheit 202 ausgegebenen Fahrzeugsignals eine Wahrscheinlichkeit, dass jede Histogramm-Generations-Region eine Straßenoberfläche ist, und vergrößert die Histogramm-Generations-Region, die mit hoher Wahrscheinlichkeit die Straßenoberfläche ist, und verringert die Größe der Histogramm-Generations-Region, die mit geringerer Wahrscheinlichkeit die Straßenoberfläche ist. Nach einem solchen Vergrößerungs- und Verkleinerungsprozess werden die Bilddaten in der Anordnung der RGB-Pixelwerte gespeichert und als Histogramm-Generation-Zusammengesetzte-Region ausgegeben. Durch Vergrößern und Verkleinern der Größe jeder Histogramm-Generation-Region entsprechend der Wahrscheinlichkeit, dass es sich bei der Histogramm-Generation-Region um die Straßenoberfläche handelt, wird die Wahrscheinlichkeit verringert, dass die durch die Kombination erhaltene Histogramm-Generation-Zusammengesetzte-Region ein Hindernis-Region enthält. In Ausführungsform 1 wird die für den Vergrößerungs- und Verkleinerungsprozess berechnete Vergrößerung als Kombinationsverhältnis bezeichnet.
In Ausführungsform 1 wird die Verschiebungsinformation als Fahrzeugsignal verwendet, um das Kombinationsverhältnis zu berechnen. Da die aktuelle Fahrtrichtung des Fahrzeugs 1 aus der Verschiebungsinformation gewonnen werden kann, wird ein Wert, der kleiner als 1 ist, als Kombinationsverhältnis der Histogramm-Generation-Regionen in Fahrtrichtung und ein Wert, der größer als 1 ist, als Kombinationsverhältnis der Histogramm-Generation-Regionen berechnet, die als eine Straßenoberfläche in der der Fahrtrichtung entgegengesetzten Richtung betrachtet werden, auf der das Fahrzeug gefahren ist. Somit wird eine Wahrscheinlichkeit, dass jedes Histogramm eine Straßenoberfläche darstellt, aus dem Fahrzeugsignal geschätzt, um das Kombinationsverhältnis zu ändern. In Ausführungsform 1 wird ein Beispiel beschrieben, bei dem die Schaltinformation als Fahrzeugsignal verwendet wird. Die Histogramm-Generation-Region kann jedoch unter Verwendung eines anderen Fahrzeuggeschwindigkeitssignals berechnet werden, das eine Gier-Rate, eine Fahrzeuggeschwindigkeit oder ähnliches repräsentiert.
In Ausführungsform 1, in 3, in Schritt S109, ändert die in 2 dargestellte Histogramm-Generation-Region-Kombinationseinheit 205 das Kombinationsverhältnis der Histogramm-Generation-Regionen unter Verwendung des Fahrzeugsignals. Die in 2 dargestellte Histogramm-Generation-Region-Extraktionseinheit 204 kann diesen Vorgang jedoch in Schritt S108 in 3 durchführen. Das heißt, wenn die Histogramm-Generation-Region berechnet wird, wird die Länge des Abstands C zwischen dem Fahrzeug 1 und dem Hindernis auf der Grundlage des Fahrzeugsignals korrigiert, wodurch die Wahrscheinlichkeit, dass die Histogramm-Generation-Region ein Hindernis enthält, verringert werden kann. Beispielsweise werden die Region der vorherigen Fahrt und die aktuelle Fahrtrichtung aus dem Fahrzeugsignal geschätzt, und in einem Fall, in dem das Bild der Teiltransformation eine Region der vorherigen Fahrt enthält, wird der Abstand C zwischen dem Fahrzeug 1 und dem Hindernis so berechnet, dass er im Vergleich zu einem Fall, in dem das Bild der Teiltransformation keine Region der vorherigen Fahrt enthält, vergrößert wird. Alternativ wird auf der Grundlage der Fahrtrichtung der Abstand C zwischen dem Fahrzeug 1 und dem Hindernis, der aus dem Teiltransformationsbild in Fahrtrichtung berechnet wird, so berechnet, dass er kürzer ist als der Abstand C zwischen dem Fahrzeug 1 und dem Hindernis in dem Teiltransformationsbild in der der Fahrtrichtung entgegengesetzten Richtung. Alternativ kann der Abstand C zwischen dem Fahrzeug 1 und dem Hindernis in dem Teiltransformationsbild in der der Fahrtrichtung entgegengesetzten Richtung so berechnet werden, dass er größer ist als der Abstand C zwischen dem Fahrzeug 1 und dem Hindernis, der aus dem Teiltransformationsbild in der Fahrtrichtung berechnet wird.
In 3, im Schritt S110, berechnet die in 2 dargestellte Histogramm-Berechnungseinheit 206 ein Histogramm, das die Häufigkeit der Anzahl der Pixel mit dem RGB-Pixelwert in der Histogramm-Generation-Zusammengesetzte-Region darstellt. 13 zeigt ein Beispiel für das Histogramm. Im Histogramm stellt die horizontale Achse einen Pixelwert und die vertikale Achse die Anzahl der Pixel dar. In Ausführungsform 1 wird der Pixelwert durch 256 Abstufungen dargestellt, wobei der Minimalwert 0 und der Maximalwert 255 beträgt und das Histogramm für R, G und B des RGB-Pixelwerts jeweils erzeugt wird. Die Straßenoberflächen-Detektion wird mit Hilfe eines Farbbildes durchgeführt. Die Straßenoberflächen-Detektion kann jedoch auch unter Verwendung eines monochromen Bildes durchgeführt werden. In diesem Fall kann die Anzahl der zu erzeugenden Histogramme eins betragen.
Die Merkmale des in Ausführungsform 1 erzeugten Histogramms werden beschrieben. Die Histogramm-Generation-Region wird aus einer Straßenoberfläche um das Fahrzeug 1 herum gebildet, und die Straßenoberfläche umfasst eine Straßenoberfläche bei Sonneneinstrahlung, die einer Straßenoberfläche bei Sonnenschein entspricht, und eine schattierte Straßenoberfläche, die einer Straßenoberfläche mit einem Schatten des Fahrzeugs 1 oder eines Strukturobjekts entspricht. Die schattierte Straßenoberfläche befindet sich nicht im Sonnenschein und hat daher einen Helligkeitswert, der geringer ist als die im Sonnenlicht liegende Straßenoberfläche auf dem Bild. Daher enthält das Histogramm in einem Fall, in dem die Histogramm-Generation-Region einen Schatten des Fahrzeugs enthält, einen ersten Spitzenwert, der auf der sonnenbeschienenen Straßenoberfläche basiert, und einen zweiten Spitzenwert, der auf der schattierten Straßenoberfläche basiert, wie in 13 dargestellt, und der zweite Spitzenwert hat einen Pixelwert, der kleiner ist als der erste Spitzenwert. Darüber hinaus sind in einem Fall, in dem eine weiße Linie und ein Mannloch um das Fahrzeug 1 in der Histogramm-Generation-Region liegen, Spitzenwerte enthalten, die auf diesen basieren.
In 3, in Schritt S111, trennt die in 2 gezeigte Histogramm-Trenneinheit 207 das in Schritt S110 erzeugte Histogramm in ein erstes Histogramm und ein zweites Histogramm. In Ausführungsform 1 basiert das erste Histogramm auf der sonnenbeschienenen Straßenoberfläche, die einer Straßenoberfläche bei Sonnenschein entspricht, und das zweite Histogramm basiert auf der schattierten Straßenoberfläche, die einer Straßenoberfläche mit einem Schatten entspricht. Die in 2 dargestellte Histogramm-Trenneinheit 207 ruft die beiden Spitzenwerte mit der größten und der zweitgrößten Anzahl von Pixeln ab und extrahiert als zweites Histogramm ein Histogramm um einen Spitzenwert 18b mit dem kleineren Pixelwert der beiden Spitzenwerte und extrahiert als erstes Histogramm ein Histogramm, das einen Spitzenwert 18a mit dem größeren Pixelwert der beiden Spitzenwerte enthält.
Als Verfahren zum Abrufen des Spitzenwerts 18a und des Spitzenwerts 18b im Histogramm kann z.B. ein Verfahren verwendet werden, das einen Tiefpassfilter oder eine Differenzierung verwendet. Das Verfahren ist jedoch nicht das Merkmal dieses Verfahrens, und die Beschreibung desselben entfällt.
Wie in 14 dargestellt, wird in einem Fall, in dem der zweitgrößte Spitzenwert 18c im Histogramm kleiner oder gleich einem bestimmten Wert G ist, kein Schatten um das Fahrzeug 1 herum ermittelt und das gesamte Histogramm als erstes Histogramm extrahiert, ohne das zweite Histogramm zu extrahieren.
In einem Fall jedoch, in dem sich ein Mannloch oder ähnliches in der Histogramm-Generation-Region befindet, kann ein hoher Spitzenwert im Histogramm nicht auf der Grundlage eines Schattens, sondern des Mannlochs gebildet werden. Für einen solchen Fall kann z.B. eine Histogramm-Bestimmungseinheit bereitgestellt werden, um ein vorheriges zweites Histogramm und einen Kandidaten des zweiten Histogramms im aktuellen Histogramm miteinander zu vergleichen. Die Histogramm-Bestimmungseinheit bestimmt, ob der Kandidat des zweiten Histogramms ein Histogramm ist, das auf dem Schatten der Straßenoberfläche basiert, und verhindert, dass ein Histogramm, das auf einem Strukturobjekt der Straßenoberfläche wie einem Schacht basiert, fälschlicherweise als zweites Histogramm extrahiert wird. Zum Beispiel wird ein Vergleich zwischen der Form des vorhergehenden zweiten Histogramms und der Form des aktuellen Kandidaten des zweiten Histogramms, insbesondere ein Vergleich zwischen den Histogrammen in einem Pixelwertbereich, einem Spitzenwert, einer Varianz oder ähnlichem durchgeführt, um die Ähnlichkeit zwischen den Histogrammen zu berechnen und dadurch zu bestimmen, ob der Kandidat des zweiten Histogramms auf der schattigen Straßenoberfläche basiert oder nicht. In einem Fall, in dem das Bestimmungsergebnis anzeigt, dass der Kandidat des zweiten Histogramms nicht auf der schattigen Straßenoberfläche basiert, wird der Kandidat des zweiten Histogramms verworfen und stattdessen das zuvor gespeicherte zweite Histogramm als zweites Histogramm extrahiert. Somit kann selbst in einem Fall, in dem die Histogramm-Generation-Region vorübergehend ein Mannloch, eine weiße Linie oder Ähnliches in einem weiten Bereich enthält, die schattenhafte Straßenoberfläche identifiziert werden.
In 3, in Schritt S112, erzeugt die in 2 gezeigte Bildgebungseinheit 208 aus den Teilstraßenoberflächenbildern ein zusammengesetztes Transformationsbild, das zur Straßenoberflächen-Detektion verwendet wird. In Ausführungsform 1 werden die Teilstraßenoberflächenbilder, die auf den Teilstraßenoberflächenbildern der vier in 1A gezeigten Kameras 3 basieren, kombiniert, um ein zusammengesetztes Transformationsbild zu erzeugen, wie in 15 gezeigt. Der Einfachheit halber werden in 15 die Teilstraßenoberflächenbilder des linken, rechten und hinteren Teils des Fahrzeugs 1 teilweise entfernt, und das Fahrzeug 1, das sich nicht auf dem Bild befindet, wird in der Mitte des zusammengesetzten Transformationsbildes überlagert, wobei der Mast 12 als Hindernis, der Schatten 13 des Mastes 12 und der Schatten 15 des Fahrzeugs eingeschlossen sind.
In 3, im Schritt S113, extrahiert die in 2 gezeigte erste Region-Extraktionseinheit 209 eine erste Region aus dem zusammengesetzten Transformationsbild unter Verwendung des ersten Histogramms in 13. In ähnlicher Weise extrahiert in 3 in Schritt S114 die in 2 gezeigte zweite Region-Extraktionseinheit 210 eine zweite Region aus dem zusammengesetzten Transformationsbild unter Verwendung des in 13 gezeigten zweiten Histogramms. Als Verfahren zur Extraktion der Straßenoberflächenregion auf der Grundlage des Histogramms wird beispielsweise ein Histogramm-Rückprojektionsverfahren oder ein Verfahren, bei dem alle Pixel mit Pixelwerten in der Region des Histogramms extrahiert werden, in Betracht gezogen.
In Ausführungsform 1 wird ein Beispiel beschrieben, bei dem die Region unter Verwendung der Histogramm-Rückprojektion extrahiert wird. Bei der Histogramm-Rückprojektion wird auf der Grundlage der Häufigkeit jedes Pixelwertes im Histogramm bestimmt, ob ein Zielpixel im Histogramm enthalten ist oder nicht. Das Verfahren für die Verarbeitung der Histogramm-Rückprojektion wird im Detail beschrieben. Zuerst wird der RGB-Pixelwert jedes Pixels ermittelt. Dann wird die Anzahl der Pixel, die den erhaltenen Pixelwert haben, in Bezug auf jedes Histogramm des RGB erhalten, und der Gesamtwert der Pixelzahl, der ein durch Summierung der einzelnen Pixelzahlen erhaltener Wert ist, wird berechnet. In einem Fall, in dem der Gesamtwert der Pixelzahl größer oder gleich einem vorbestimmten Wert ist, wird der Helligkeitswert von 255 ausgegeben. In einem Fall, in dem der Gesamtwert der Pixelzahl kleiner als der vorbestimmte Wert ist, wird der Helligkeitswert von 0 ausgegeben. Dieser Vorgang wird für alle Pixel im zusammengesetzten Transformationsbild durchgeführt, wodurch ein binarisiertes Bild des zusammengesetzten Transformationsbildes ausgegeben wird. In dem binarisierten Bild ist eine Region mit dem Helligkeitswert 255 eine auf dem Histogramm basierende Region.
Ein Beispiel für Bilder, die von der ersten Region-Extraktionseinheit 209 und der zweiten Region-Extraktionseinheit 210, wie in 2 gezeigt, unter Verwendung der Histogramm-Rückprojektion ausgegeben werden, wird unter Bezugnahme auf 15, 16 und 17 beschrieben. Ein in 15 dargestelltes Bild, bei dem es sich um das oben beschriebene zusammengesetzte Transformationsbild handelt, wird in die Vorrichtung zur Straßenoberflächen-Detektion eingegeben, so dass ein Bild, das die erste Region darstellt und von der ersten Region-Extraktionseinheit 209 ausgegeben wird, wie in 16 dargestellt ist, und ein Bild, das die zweite Region darstellt und von der zweiten Region-Extraktionseinheit 210 ausgegeben wird, wie in 17 dargestellt ist. In 16 stellt der weiße Teil eine Straßenoberfläche bei Sonneneinstrahlung dar, die die erste Region mit einem Helligkeitswert von 255 ist, und ein schraffierter Teil stellt eine andere Region als die Straßenoberfläche bei Sonneneinstrahlung mit einem Helligkeitswert von 0 dar. Der schraffierte Teil in 16 stellt den Mast 12, den Schatten 13 des Mastes und den Schatten 15 des Fahrzeugs dar. Obwohl der Helligkeitswert von 0 ursprünglich die schwarze Farbe darstellt, wird der schraffierte Teil zur Angabe des Zeichnungsrahmens und der Bezugsnummern angegeben. Auch in den unten beschriebenen Zeichnungen ist der Helligkeitswert 0 für den schraffierten Teil. In 17 stellt der weiße Teil den Schatten 13 des Mastes und den Schatten 15 des Fahrzeugs dar, die die zweite Region mit dem Helligkeitswert 255 sind, und der schraffierte Teil stellt die Straßenoberfläche bei Sonnenlicht und den Mast 12 dar, die jeweils den Helligkeitswert 0 haben. In 3, im Schritt S111, im Histogramm, das in Schritt S110 berechnet wurde, wird in einem Fall, in dem der zweitgrößte Spitzenwert 18c kleiner oder gleich dem bestimmten Wert G ist, wie in 14 gezeigt, und das zweite Histogramm nicht extrahiert wird, Schritt S114 in 3 übersprungen.
So führt die Straßenoberflächen-Detektionsvorrichtung jedes Mal, wenn ein Bild von der Bildgebungseinheit 200 in 2 eingegeben wird, wiederholt den Prozess von Schritt S101 bis Schritt S114 in 3 wie oben beschrieben durch.
In der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 1 wird die Straßenoberflächen-Detektion im zusammengesetzten Transformationsbild durchgeführt. Wenn jedoch in 3 in Schritt S112 die Teiltransformationsbilder kombiniert werden, führt die in 2 gezeigte Bildgebungseinheit 208 den Kombinationsprozess nicht durch, und das Teiltransformationsbild kann ausgegeben werden, um Straßenoberflächen-Detektion im Teilstraßenoberflächenbild durchzuführen.
Wie oben beschrieben, wird der folgende Effekt gemäß Ausführungsform 1 ausgeübt.
<Funktion und Effekt der Ausführungsform 1>
Die Straßenoberflächen-Detektionsvorrichtung der Ausführungsform 1 erhält ein Bild einer Straßenoberfläche um das Fahrzeug 1 herum mit Hilfe der Kamera 3, führt eine weitere Transformation in das Teilstraßenoberflächenbild durch, misst die Hindernisdistanz zu einem Hindernis um das Fahrzeug herum mit Hilfe des Sonarsensors 2, extrahiert als Histogramm-Generation-Region eine Region, die das Hindernis nicht in das auf der Hindernisdistanz basierende Teiltransformationsbild einbezieht, kombiniert die Histogramm-Generation-Regionen auf der Basis des Fahrzeugsignals, um die Histogramm-Generation-Zusammengesetzte-Region zu erzeugen, trennt das Histogramm der Histogramm-Generation-Zusammengesetzte-Region so, dass ein Element, das den ersten Spitzenwert enthält, das erste Histogramm ist, das auf der sonnenbeschienenen Straßenoberfläche basiert, und ein Element, das den zweiten Spitzenwert enthält, das zweite Histogramm ist, das auf der schattigen Straßenoberfläche basiert, kombiniert die Teilstraßenoberflächenbilder, um das zusammengesetzte Transformationsbild zu erzeugen, und extrahiert die erste Region, die die sonnenbeschienenen Straßenoberfläche ist, aus dem zusammengesetzten Transformationsbild unter Verwendung des ersten Histogramms und extrahiert die zweite Region, die die schattige Straßenoberfläche ist, aus dem zusammengesetzten Transformationsbild unter Verwendung des zweiten Histogramms. Daher kann eine Straßenoberfläche ohne Einfluss des Schattens detektiert werden. Auf diese Weise können die Straßenoberflächen-Detektionsvorrichtung und das Straßenoberflächen-Detektionsverfahren bereitgestellt werden, die im Vergleich zu herkömmlichen Verfahren eine höhere Genauigkeit aufweisen.
In Schritt S111, in dem das Histogramm getrennt wird, wird in einem Fall, in dem der zweitgrößte Spitzenwert kleiner oder gleich einem bestimmten Wert ist, die Gesamtheit des Histogramms als erstes Histogramm extrahiert, ohne das zweite Histogramm zu extrahieren. So kann z.B. in einem Fall, in dem der Sonnenstand hoch ist oder in einem Fall, in dem die Sonne hinter Wolken steht und die Beleuchtungsstärke niedrig ist, kein Schatten um das Fahrzeug 1 herum festgestellt werden. Daher wird die Extraktion des zweiten Histogramms übersprungen, um die Belastung der Berechnung zu verringern. Auch wenn dieser Prozessschritt nicht durchgeführt wird, wird die Funktion problemlos implementiert.
Darüber hinaus kann in der Histogramm-Generation-Region-Extraktionseinheit 204 die Histogramm-Generations-Region variabel gemacht werden, indem die von der Hindernis-Distanz-Detektionseinheit 201 ausgegebene Hindernis-Distanz-Distanz-Detektionsdistanz verwendet wird, wodurch verhindert wird, dass das Hindernis fälschlicherweise als Straßenoberfläche detektiert wird.
Selbst, wenn die Hindernis-Distanz-Detektionsdistanz-Detektionseinheit 201 beschädigt ist, wird die Funktion ohne Probleme implementiert.
Wenn z.B. der Sonarsensor 2 beschädigt ist, kann die Hindernis-Detektionsdistanz nicht detektiert werden. Daher werden die Prozessschritte von Schritt S102 bis Schritt S108 nicht korrekt ausgeführt. Dementsprechend werden die Prozessschritte übersprungen und ein bestimmter konstanter Abstand als Abstand C zwischen dem Fahrzeug 1 und dem Hindernis ausgegeben, um die Histogramm-Generation-Region zu extrahieren. In einem Fall, in dem die Hindernis-Distanz-Detektionseinheit 201 beschädigt ist, wird die Hindernis-Distanz nicht detektiert, oder es wird ein falscher Hindernis-Abstand detektiert. Somit kann ein Detektionsbereich des Sonarsensors 2 ein Hindernis enthalten. Dann wird der Abstand C zwischen dem Fahrzeug 1 und dem Hindernis z.B. auf einen kurzen Abstand wie 0,5 m oder 1 m eingestellt, wodurch verhindert wird, dass die Histogramm-Generation-Region ein Hindernis enthält.
In der Histogramm-Generation-Region-Kombinationseinheit 205 wird das Fahrzeugsignal verwendet, um das Kombinationsverhältnis der Histogramm-Generation-Regionen zu ändern, wodurch die Region der Histogramm-Erzeugung extrahiert wird, bei der es sich mit hoher Wahrscheinlichkeit um eine Straßenoberfläche handelt. Daher kann z.B. auch in einem Fall, in dem die Hindernis-Distanz-Detektionseinheit 201 beschädigt ist und die Hindernis-Distanz nicht detektiert werden kann, oder in einem Fall, in dem ein Fahrzeug nicht über die Hindernis-Distanz-Detektionseinheit 201 verfügt, die Straßenoberflächen-Detektion durchgeführt werden.
In Ausführungsform 1 wurde ein Beispiel beschrieben, bei dem das Teilstraßenoberflächenbild, das einen Teil um das Fahrzeug 1 herum darstellt, in das Teiltransformationsbild, das eine Vogelperspektive darstellt, transformiert wird. Eine Straßenoberfläche kann jedoch detektiert werden, indem die Histogramm-Generation-Region aus dem Teilstraßenoberflächenbild extrahiert wird, ohne eine Transformation in das Teilstraßenoberflächenbild durchzuführen. Der Prozessschritt von Schritt S101 wird übersprungen, wodurch eine Belastung der Berechnung durch den Prozess verringert wird. Daher kann die Konfiguration der Straßenoberflächen-Detektionsvorrichtung in Abhängigkeit von der Leistung der Berechnungsvorrichtung geändert werden 10. In dem Fall, dass die Berechnungsvorrichtung 10 eine geringe Leistung hat, kann die Straßenoberflächen-Detektion durch das oben beschriebene Verfahren durchgeführt werden, um die Belastung der Berechnung zu verringern. In dem Fall, dass die Berechnungsvorrichtung 10 eine hohe Leistung hat, kann die Straßenoberflächen-Detektion in dem durch projektive Transformation des Teilstraßenoberflächenbildes erhaltenen Teiltransformationsbild durchgeführt werden, wodurch die Straßenoberflächen-Detektion mit hoher Genauigkeit durchgeführt wird.
Ausführungsform 2.
Ausführungsform 2 bezieht sich auf die Straßenoberflächen-Detektionsvorrichtung und eine Bildanzeige-Vorrichtung, die eine Farbersetzung in der zweiten Region durchführt, die von der Straßenoberflächen-Detektionsvorrichtung ausgegeben wird, indem Farbinformationen der ersten Region verwendet werden, die aus dem ersten Histogramm erhalten werden können, und die eine Anzeige auf einer Bildanzeigeeinheit durchführt.
18 ist ein funktionales Blockdiagramm, das eine funktionale Konfiguration der Straßenoberflächen-Detektionsvorrichtung und der Bildanzeige-Vorrichtung gemäß Ausführungsform 2 veranschaulicht. Eine Anzeigebilderzeugungseinheit 211, eine zweite Region-Extraktionseinheit 212 für das Anzeigebild, eine Farbersetzungseinheit 213 und eine Bildanzeigeeinheit 214 sind zusätzlich in dem funktionalen Block der Ausführungsform 1 vorgesehen.
Die Funktionsweise der Bildanzeige-Vorrichtung der Ausführungsform 2 wird auf der Grundlage der Unterschiede zur Funktionsweise in Ausführungsform 1 unter Bezugnahme auf ein in 19 dargestelltes Flussdiagramm beschrieben.
In 19 sind die Verfahrensschritte von Schritt S101 bis Schritt S114 die gleichen wie in 3 für die Ausführungsform 1 dargestellt. In Schritt S215 erzeugt die in 18 gezeigte Anzeige-Bilderzeugungseinheit 211 ein Anzeigebild, das von der Bildanzeige-Vorrichtung angezeigt werden soll, aus einem Teilstraßenoberflächenbild, das von der Bildgebungseinheit 200 erhalten wird. Zum Beispiel führt die Einheit 211 zur Erzeugung des Anzeigebildes die gleichen Prozesse durch wie die Bildumwandlungseinheit 203 und die Einheit 208 zur Kombination von Bildumwandlungsbildern, um als Anzeigebild ein zusammengesetztes Umwandlungsbild auszugeben, das eine Vogelperspektive darstellt, die durch eine Straßenoberfläche um das von oben betrachtete Fahrzeug 1 herum erhalten wird. Das von der Bildgebungseinheit 211 erzeugte Anzeigebild kann von beliebiger Art sein, solange das Bild aus dem Teilstraßenoberflächenbild erzeugt werden kann. Zum Beispiel kann eines von mehreren Teilstraßenoberflächenbildern als Anzeigebild verwendet werden, oder ein zusammengesetztes Bild, das durch Kombination mehrerer Bilder zu einem Bild erhalten wird, kann als Anzeigebild verwendet werden. Darüber hinaus kann aus dem Teilstraßenoberflächenbild ein dreidimensionales Modell oder eine 3D-Ansicht eines Abschnitts um das Fahrzeug 1 herum erzeugt werden. Darüber hinaus kann eine Bildgebungseinheit für die Auswahl des Anzeigebildes vorgesehen werden, die es dem Benutzer ermöglicht, ein Anzeigebild auszuwählen, wodurch ein vom Benutzer ausgewähltes Bild als Anzeigebild ausgegeben wird.
Als nächstes, in 19, in Schritt S216, extrahiert die in 18 gezeigte zweite Region-Extraktionseinheit 212 des Anzeigebildes eine zweite Region des Anzeigebildes, die die zweite Region im Anzeigebild ist, aus dem in Schritt S215 erzeugten Anzeigebild unter Verwendung des in Schritt S111 berechneten zweiten Histogramm-Generation-Region-Bildes. Als Verfahren zum Extrahieren der zweiten Region auf der Grundlage des Histogramms, z.B. Histogramm-Rückprojektionsverfahren, oder ein Verfahren, bei dem alle Pixel mit Pixelwerten in einem Wertebereich des Histogramms extrahiert werden, wird in Betracht gezogen. In Ausführungsform 2 wird, ähnlich wie in Schritt S113 und Schritt S114, die Histogramm-Rückprojektion zur Durchführung der Extraktion verwendet.
Danach, in 19, in Schritt S217, führt die in 18 gezeigte Farb-Ersetzungseinheit 213 eine Substitution für einen Pixelwert der in Schritt S216 extrahierten zweiten Region des Anzeigebildes durch, indem sie die Farbinformation des in Schritt S111 berechneten ersten Histogramm-Berechnungseinheit verwendet, und gibt das Ergebnis als ein Farb-Substitutions-Anzeigebild aus. In Ausführungsform 2 wird der Pixelwert des höchsten Spitzenwertes aus dem ersten Histogramm als eine für die Farbsubstitution zu verwendende Farbe berechnet. Ein Bild, das durch die Farbsubstitution für die zweite Region des Anzeigebildes unter Verwendung der berechneten Farbe erhalten wird, wird als Farbsubstitutions-Anzeigebild ausgegeben. Jede Art des Verfahrens zur Berechnung der Farbe des ersten Histogramms kann verwendet werden, solange das Ziel dieser Technik erreicht werden kann.
In 19 schließlich, in Schritt S218, zeigt die in 18 gezeigte Bildgebungseinheit 214 das durch die Farbsubstitution in Schritt S217 erhaltene Farbsubstitutions-Anzeigebild an. Die Bildgebungseinheit 214 kann ein Bild anzeigen und kann jede Form und Größe haben. In Ausführungsform 2 wird als Bildanzeigeeinheit ein Display (nicht dargestellt) eines im Fahrzeug angeordneten Autonavigators verwendet. Das Bild kann auf einem Mobiltelefon, einem Smartphone, einem Tablet-Gerät oder einer Vorrichtung außerhalb des Fahrzeugs sowie auf der im Fahrzeug angebrachten Bildgebungsvorrichtung angezeigt werden, wenn beispielsweise Kommunikationsmittel wie Wi-Fi zur Verfügung stehen.
<Funktion und Effekt der Ausführungsform 2>
So verwendet die Bildanzeige-Vorrichtung der Ausführungsform 2 das erste Histogramm und das zweite Histogramm, die von der Straßenoberflächen-Detektionsvorrichtung der Ausführungsform 1 ausgegeben werden, um die zweite Region aus einem Anzeigebild zu extrahieren, das von der Anzeigebild-Erzeugungseinheit erzeugt wurde, führt eine Farbsubstitution durch, indem ein Pixelwert der ersten Region, der aus dem ersten Histogramm berechnet wurde, durch ein Pixel in der extrahierten zweiten Region des Anzeigebildes ersetzt wird, und gibt das durch die Farbsubstitution erhaltene Farbsubstitutions-Anzeigebild an die Bildanzeigeeinheit aus. Auf diese Weise kann ein Schatten aus dem Anzeigebild entfernt werden, der eine Vogelperspektive darstellt, die durch eine Straßenoberfläche um das Fahrzeug 1 herum von oben betrachtet wird, und ein Benutzer kann ein Hindernis um das Fahrzeug 1 herum im Vergleich zu einem Anzeigebild, das einen Schatten enthält, einfacher erkennen. In Ausführungsform 2 wird ein Beispiel beschrieben, bei dem ein Schatten aus der Vogelperspektive um das Fahrzeug 1 herum entfernt wird, um ein Bild anzuzeigen. Diese Technik kann auf alle Bilder angewendet werden, die durch die Transformation eines von der Kamera 3 des Fahrzeugs 1 erhaltenen Bildes gewonnen werden. Daher kann auch dann, wenn z.B. aus einem von der Kamera 3 erhaltenen Bild eine 3D-Ansicht um das Fahrzeug 1 herum erzeugt wird, ein Schatten aus der 3D-Ansicht entfernt und die 3D-Ansicht bereitgestellt werden, die von einem Benutzer leicht zu sehen ist.
Ausführungsform 3.
Ausführungsform 3 bezieht sich auf die Straßenoberflächen-Detektionsvorrichtung und eine Hindernis-Detektionsvorrichtung zum Detektieren eines Hindernisses auf der Grundlage der ersten Region und der zweiten Region, die von der Straßenoberflächen-Detektionsvorrichtung ausgegeben werden.
20 ist ein funktionales Blockdiagramm, das eine funktionale Konfiguration der Straßenoberflächen-Detektionsvorrichtung und der Hindernis-Detektionsvorrichtung zum Detektieren eines Hindernisses auf der Grundlage der Ausgabe der Straßenoberflächen-Detektionsvorrichtung gemäß Ausführungsform 3 veranschaulicht. Eine Schattenrichtungs-Bestimmungseinheit 215, eine Region-Invertierungseinheit 216, eine Bildspeichereinheit 217, eine Differenzial-Bild-Hindernis-Region-Extraktionseinheit 218, eine zweite Hindernis-Distanz-Detektionseinheit, eine Hindernis-Detektionszonen-Berechnungseinheit 219 und eine Hindernis-Positions-Detektionseinheit 220 sind zusätzlich in der funktionalen Blockkonfiguration der Ausführungsform 1 vorgesehen.
Ähnlich wie die Hindernis-Distanz-Detektionseinheit 201 detektiert die zweite Hindernis-Distanz-Detektionseinheit ein Hindernis um das Fahrzeug 1 herum und detektiert den Hindernis-Distanzabstand zwischen der zweiten Hindernis-Distanz-Detektionseinheit und dem Hindernis. Die Hindernis-Distanz-Detektionseinheit 201 kann doppelt so groß sein wie die zweite Hindernis-Distanz-Detektionseinheit. In Ausführungsform 3 umfasst die zweite Hindernis-Distanz-Detektionseinheit eine Vielzahl von Sonarsensoren 2, die Sonarsteuerung 7 und die Sonarsensor-Verkabelung 6, die dazwischen angeschlossen sind, wie in 1A dargestellt.
Der Betrieb der Hindernis-Detektionsvorrichtung gemäß Ausführungsform 3 wird auf der Grundlage der Unterschiede zum Betrieb in Ausführungsform 1 unter Bezugnahme auf ein in 21 dargestelltes Flussdiagramm beschrieben.
In 21, im Schritt S319, bestimmt die Schattenrichtungs-Bestimmungseinheit 215 eine Schattenrichtung unter Verwendung des zweiten in Schritt S111 extrahierten Histogramms und der vier in Schritt S108 extrahierten Histogramm-Generation-Regionen. Die Schattenrichtungs-Bestimmungseinheit 215 bestimmt eine Richtung des Schattens aus der Form des Schattens um das Fahrzeug 1 herum, die durch Extraktion einer Region des Schattens aus der Histogramm-Generation-Region erhalten werden kann. Beispielsweise wird die Form des Schattens auf der Grundlage der stereoskopischen Form des Fahrzeugs 1 für jede Lichtquellenrichtung im Voraus gespeichert. Bei diesem Verfahren muss keine spezifische Schattenrichtung berechnet werden. Daher werden z.B. 36 Arten der Schattenformen gespeichert, die durch Änderung der Lichtquellenrichtung um das Fahrzeug 1 in Schritten von 10 Grad um das Fahrzeug 1 herum erhalten werden. Die erzeugte Form des Schattens basierend auf jeder Lichtquellenrichtung und die Form des Schattens, die in der Histogramm-Generation-Region erscheint, werden miteinander verglichen, um die Ähnlichkeit zwischen den Formen zu berechnen. Das Verfahren zur Berechnung der Ähnlichkeit ist nicht das Merkmal dieses Verfahrens, und die Beschreibung desselben wird weggelassen.
Die Lichtquellenrichtung, bei der die berechnete Ähnlichkeit den Maximalwert angibt, der größer oder gleich einem vorgegebenen Schwellenwert ist, wird als aktuelle Lichtquellenrichtung festgelegt, und die aktuelle Lichtquellenrichtung wird um 180 Grad umgekehrt, und die erhaltene Richtung wird als Schattenrichtung festgelegt. Zu diesem Zeitpunkt wird ein Bitschalter „Schattenrichtungsbestimmung möglich/unmöglich“ gesetzt, um anzuzeigen, dass die Bestimmung möglich ist. Das Bitschalter, die Richtung der aktuellen Lichtquelle und die Schattenrichtung werden ausgegeben. In einem Fall, in dem jede Ähnlichkeit der Form des Schattens auf der Grundlage der Lichtquellenrichtung kleiner als der vorgegebene Schwellenwert ist, wird das Kennzeichen für die Bestimmung der Schattenrichtung möglich/unmöglich gesetzt, um anzuzeigen, dass die Bestimmung unmöglich ist, da die Richtung des Schattens nicht geschätzt werden kann, und nur das Kennzeichen für die Bestimmung der Schattenrichtung möglich/unmöglich wird ausgegeben.
In 21 wird der Ablauf der Prozessschritte von Schritt S320 bis Schritt S326 anhand eines Beispiels beschrieben, bei dem ein Hindernis im Teiltransformationsbild detektiert wird, wie in 22 gezeigt. In 22 sind eine Straßenoberfläche im Sonnenlicht bei Sonnenschein, der Mast 12, der Mast-Schatten 13, der einen geringeren Helligkeitswert als die Straßenoberfläche im Sonnenlicht hat, und ein Mannloch 19 enthalten.
In 21, in Schritt S320, invertiert die in 20 gezeigte Region-Invertierungseinheit 216 die in Schritt S113 extrahierte erste Region und die in Schritt S114 extrahierte zweite Region, um eine Hindernis-Region zu extrahieren, die nicht in der Straßenoberfläche enthalten ist. Zuerst extrahiert die Straßenoberflächen-Detektionsvorrichtung der Ausführungsform 1 die erste Region und die zweite Region. Als nächstes wird in der ersten Region und der zweiten Region der Helligkeitswert für Pixel mit einem Helligkeitswert von 255 auf 255 und der Helligkeitswert für die übrigen Pixel auf 0 gesetzt. Auf diese Weise wird die Region der Straßenoberfläche berechnet, die durch das in 23 gezeigte Bild dargestellt wird. (In 23 entspricht der weiße Teil der Straßenoberfläche bei Sonnenlicht und der schattierten Straßenoberfläche mit dem Helligkeitswert 255, und die schraffierten Teile entsprechen dem Hindernis und dem Mannloch 19 mit dem Helligkeitswert 0). In der Straßenoberflächenregion werden die Pixel mit dem Helligkeitswert 255 in Pixel mit dem Helligkeitswert 0 und die Pixel mit dem Helligkeitswert 0 in Pixel mit dem Helligkeitswert 255 invertiert, um eine Hindernis-Region auszugeben, die durch das in 24 gezeigte Bild dargestellt wird. (In 24 entspricht der schraffierte Teil der Straßenoberflächenregion mit dem Helligkeitswert 0, und der weiße Teil entspricht einer Hindernis-Region mit dem Helligkeitswert 255, die nicht in der Straßenoberflächenregion enthalten ist).
In 21, im Schritt S321, wird bestimmt, ob der in Schritt S319 ausgegebene Bitschalter „Schattenrichtungsbestimmung möglich/unmöglich“ anzeigt, dass die Bestimmung möglich oder unmöglich ist. In einem Fall, in dem der Bitschalter „Schattenrichtungsbestimmung möglich/unmöglich“ anzeigt, dass die Bestimmung möglich ist, wird festgestellt, dass der Schatten vorhanden ist, und der Höhenbestimmungsprozess für das Hindernis wird unter Verwendung des Schattens in Schritt S322 durchgeführt. In einem Fall, in dem das Kennzeichen Schattenrichtungsbestimmung möglich/unmöglich jedoch anzeigt, dass die Bestimmung unmöglich ist, kann die Schattenrichtung nicht bestimmt werden. Daher wird Schritt S322 übersprungen und der Prozess geht zu Schritt S323 über.
In Schritt S322 bestimmt die in 20 gezeigte Hindernis-Positions-Detektionseinheit 220 die Höhe der in Schritt S320 extrahierten Hindernis-Region unter Verwendung der in Schritt S114 extrahierten zweiten Region und der in Schritt S319 berechneten Schattenrichtung. Zum Beispiel wird eine Hindernis-Region, die nicht in Kontakt mit der zweiten Region in der Schattenrichtung in der Hindernis-Region steht, als eine Hindernis-Region ohne Höhe in der Hindernis-Region bestimmt. Danach wird ein Höhenbestimmungsbild in 25 ausgegeben, das man erhält, indem man den Helligkeitswert der Hindernis-Region, die im Bild in 24, das die Hindernis-Region darstellt, als eine Region ohne Höhe bestimmt wird, auf 0 ändert. (In 25 entspricht der schraffierte Teil der Straßenoberflächen-Region mit dem Helligkeitswert 0 und dem Mannloch 19, das die Hindernis-Region ohne Höhe darstellt, und der weiße Teil entspricht der Hindernis-Region mit dem Helligkeitswert 255).
In 21, in Schritt S323, speichert die in 20 gezeigte Bildgebungseinheit 217 eine Vielzahl von Einzelbildern der in Schritt S112 ausgegebenen zusammengesetzten Transformationsbilder und gibt eine vorbestimmte Anzahl von vorhergehenden Einzelbildern der zusammengesetzten Transformationsbilder als das vorherige zusammengesetzte Transformationsbild aus. Zum Beispiel hat die in 20 gezeigte Bildgebungseinheit 217 einen begrenzten Speicher und speichert die zusammengesetzten Transformationsbilder, die in Einheiten von 30 Bildern pro Sekunde aufgenommen, transformiert und kombiniert werden, und gibt die vorhergehenden fünf Bilder der zusammengesetzten Transformationsbilder als das vorherige zusammengesetzte Transformationsbild aus. In einem Fall, in dem der Speicher die obere Grenzkapazität erreicht, löscht die Bildgebungseinheit 217 das früheste zusammengesetzte Transformationsbild und speichert ein neues zusammengesetztes Transformationsbild. In Ausführungsform 3 werden die vorhergehenden fünf Einzelbilder der zusammengesetzten Transformationsbilder ausgegeben. Diese Anzahl von Einzelbildern ist jedoch möglicherweise nicht fest und kann je nach Fahrzeuggeschwindigkeit geändert werden. Beispielsweise kann die Anzahl der Rahmen bei niedrigen Fahrzeuggeschwindigkeiten erhöht und bei hohen Fahrzeuggeschwindigkeiten verringert werden.
Im Schritt S324 berechnet die in 20 gezeigte Hindernis-Bild-Region-Extraktionseinheit 218 für das Differenzial-Bild eine Differenz im zusammengesetzten Transformations-Bild zwischen dem in Schritt S112 erzeugten zusammengesetzten Transformations-Bild und dem vorherigen, in Schritt S323 gespeicherten zusammengesetzten Transformations-Bild und gibt eine Region, in der die Differenz im zusammengesetzten Transformations-Bild größer oder gleich einem vorgegebenen Schwellenwert ist, als Differential-Hindernis-Region im zusammengesetzten Transformations-Bild aus. In Ausführungsform 3 wird ein Bild, wie in 26 gezeigt, so ausgegeben, dass der Helligkeitswert für die Region, in der die Differenz größer oder gleich dem Schwellenwert ist, auf 255 gesetzt wird, und der Helligkeitswert für die Region, in der die Differenz kleiner als der Schwellenwert ist, auf 0 gesetzt wird.
In Schritt S325 berechnet die Hindernis-Detektionszone-Berechnungseinheit 219 einen Hindernis-Detektionsbereich auf der Grundlage der von der zweiten Hindernis-Distanz-Detektionseinheit ermittelten Hindernis-Distanz und gibt deren Koordinate aus. Ein Verfahren zur Berechnung der Hindernis-Detektionszone in Ausführungsform 3 wird unter Bezugnahme auf 27 beschrieben. Wie in Ausführungsform 1 beschrieben, befindet sich das vom Sonarsensor 2 detektierte Hindernis an einer Position auf dem Bogen 16, die von der Position des Sonarsensors 2 über die Hindernis-Detektionsdistanz entfernt ist. Eine Hindernis-Detektionszone 20 wird durch Verwendung des Bogens 16 so eingestellt, dass eine vorbestimmte Hindernis-Detektionsbreite eingestellt wird, und eine Fläche, die durch Addition und Subtraktion der Hindernis-Detektionsbreite zum und vom Radius des Bogens 16 erhalten wird, ist die Hindernis-Detektionszone 20. Die Hindernis-Detektionsbreite ist ein Wert, der z.B. unter Berücksichtigung eines Fehlers bei der Hindernis-Detektion durch den Sonarsensor 2 erhalten wird, und beträgt z.B. etwa 30 cm. Die Hindernis-Detektionszone 20 wird wie in 28 dargestellt, und der Helligkeitswert ist 255 für die gesamte Region der Hindernis-Detektionszone 20, und der Helligkeitswert ist 0 für die anderen Regionen. (In 28 ist der Helligkeitswert 255 für den weißen Teil, der der Hindernis-Detektionszone entspricht, und der Helligkeitswert ist 0 für den schraffierten Teil, der den anderen Regionen entspricht)
In 21, im Schritt S326, detektiert die in 20 gezeigte Hindernis-Positions-Detektionseinheit 220 als Hindernis-Region im zusammengesetzten Transformations-Bild eine Region, in der mindestens zwei der Hindernis-Region in 25, die Differenzial-Bild-Hindernis-Region in 25, die Differential-Hindernis-Region in 20. 26 und die Hindernis-Detektionszone 20 in 28 einander überlappen, und berechnet eine Region der Hindernis-Region im zusammengesetzten Transformations-Bild als die Hindernis-Position und gibt die Hindernis-Position und das Ergebnis der Höhenbestimmung in Schritt S322 als Information über die Hindernis-Position aus.
<Funktion und Effekt der Ausführungsform 3>
So kombiniert die Hindernis-Detektionsvorrichtung der Ausführungsform 3 die durch Transformation von Straßenoberflächenbildern erhaltenen Teilstraßenoberflächenbilder von Teilen um das Fahrzeug 1, die von den Kameras 3 erhalten werden, zu dem zusammengesetzten Transformationsbild, extrahiert die Hindernis-Region aus dem zusammengesetzten Transformationsbild auf der Grundlage der ersten Region und der zweiten Region, die von der Straßenoberflächen-Detektionsvorrichtung der Ausführungsform 1 ausgegeben wird, und misst ferner die Hindernis-Detektionsdistanz zwischen dem Fahrzeug 1 und dem Hindernis um das Fahrzeug 1 mit Hilfe des Sonarsensors 2, gibt die aus der Hindernis-Detektionsdistanz erhaltene Hindernis-Detektionszone 20 aus, gibt die Differential-Bild-Hindernis-Region im zusammengesetzten Transformations-Bild aus, die aus der Differenz im zusammengesetzten Transformations-Bild erhalten wird, und erhält eine Hindernis-Position, indem als Hindernis-Region im zusammengesetzten Transformations-Bild eine Region festgelegt wird, in der mindestens zwei der Hindernis-Region, die Hindernis-Detektionszone 20 und die Differential-Hindernis-Region im zusammengesetzten Transformations-Bild einander überlappen. Auf diese Weise können die Hindernis-Detektionsvorrichtung und das Hindernis-Detektionsverfahren mit einer höheren Genauigkeit als herkömmliche Verfahren bereitgestellt werden.
In der Hindernis-Detektionsvorrichtung der Ausführungsform 3 wird selbst in einem Fall, in dem die zweite Hindernis-Distanz-Detektionseinheit beschädigt ist, eine Region, in der die aus dem zusammengesetzten Transformationsbild auf der Grundlage der ersten Region und der zweiten Region, die von der Straßenoberflächen-Detektionsvorrichtung der Ausführungsform 1 ausgegeben wird, extrahierte Hindernis-Region die Differential-Hindernis-Region überlappt, im zusammengesetzten Transformationsbild, das durch die Differenz im zusammengesetzten Transformationsbild erhalten wird, als die Hindernis-Region im zusammengesetzten Transformationsbild erhalten, um die Hindernis-Position zu erhalten und dadurch das Hindernis problemlos zu detektieren.
In einem Fall, in dem sich das Fahrzeug 1 in der Haltestelle befindet, wird nur ein sich bewegendes Objekt um das Fahrzeug 1 herum detektiert und ein stehendes Objekt kann für die Differential-Bild-Hindernis-Region im zusammengesetzten Transformationsbild, das durch die Differenz im zusammengesetzten Transformationsbild erhalten wird, nicht detektiert werden. Daher extrahiert die Hindernis-Detektionsvorrichtung in einem Fall, in dem die Fahrzeuggeschwindigkeit des Fahrzeugs 1 0 oder weniger als oder gleich einem vorbestimmten Schwellenwert ist, als Hindernisregion im zusammengesetzten Transformationsbild die Hindernis-Region, die auf der Grundlage der Straßenoberflächen-Detektionsvorrichtung der Ausführungsform 1 extrahiert wird, und erhält die Hindernis-Position, wodurch das Hindernis detektiert wird.
Ob die detektierte Hindernis-Region ein Muster auf einer Straßenoberfläche oder ein Hindernis mit einer Höhe darstellt, kann durch die Schattenrichtungs-Bestimmungseinheit bestimmt werden. Dadurch kann verhindert werden, dass das Muster der Straßenoberfläche fälschlicherweise als Hindernis detektiert wird.
Obwohl die Offenlegung oben anhand verschiedener beispielhafter Ausführungsformen und Implementierungen beschrieben wird, sollte verstanden werden, dass die verschiedenen Merkmale, Aspekte und Funktionen, die in einer oder mehreren der einzelnen Ausführungsformen beschrieben werden, nicht in ihrer Anwendbarkeit auf die jeweilige Ausführungsform, mit der sie beschrieben werden, beschränkt sind, sondern stattdessen allein oder in verschiedenen Kombinationen auf eine oder mehrere der Ausführungsformen der Offenlegung angewendet werden können.
Es wird daher davon ausgegangen, dass zahlreiche Modifikationen, die nicht beispielhaft dargestellt wurden, ausgearbeitet werden können, ohne vom Anwendungsbereich der vorliegenden Offenbarung abzuweichen. Zum Beispiel kann mindestens einer der Bestandteile geändert, hinzugefügt oder eliminiert werden. Mindestens einer der in mindestens einer der bevorzugten Ausführungsformen erwähnten Bestandteile kann ausgewählt und mit den in einer anderen bevorzugten Ausführungsform erwähnten Bestandteilen kombiniert werden.
Bezugszeichenliste

1: Fahrzeug
2: Sonar-Sensor
3: Kamera
4: Kommunikationslinie
5: Kamera-Verkabelung
6: Sonarsensor-Verkabelung
7: Sonarsteuerung
8: Umgebung-Überwachung-Kamerasteuerung
9: weitere Sensoren
10: Berechnungsvorrichtung
11: Vorrichtung zur Straßenoberflächen-Detektionsvorrichtung
12: Mast
13: Mast Schatten
14: weiße Linie
15: Schatten des Fahrzeugs
16: Bogen
17: Schnittpunkt von Bögen
19: Schacht
20: Hindernis-Detektionszone
200: Bildgebungseinheit
201: Hindernis-Distanz-Detektionsdistanz-Detektionseinheit
202: Fahrzeugsignal-Detektionseinheit
203: Bildgebungseinheit
204: Histogramm-Generation-Region-Extraktionseinheit
205: Histogramm-Generation-Region-Kombinationseinheit
206: Histogramm-Berechnungseinheit
207: Histogramm-Trenneinheit
208: transformieren Bildgebungseinheit
209: erste Region-Extraktionseinheit
210: zweite Region-Extraktionseinheit
211: Bildgebungseinheit anzeigen
212: Bild anzeigen zweite Region-Extraktionseinheit
213: Farbsubstitutionseinheit
214: Bildgebungseinheit
215: Einheit zur Bestimmung der Schattenrichtung
216: Region-Invertierungseinheit
217: Bildgebungseinheit
218: Differenzial-Bild-Hindernis-Region-Hindernis-Extraktionseinheit
219: Hindernis-Detektionszone-Berechnungseinheit
220: Hindernis-Positions-Detektionseinheit

Claims

Straßenoberflächen-Detektionsvorrichtung, umfassend: eine Bildgebungseinheit, die in einem Fahrzeug angeordnet ist, zum Erhalten eines Straßenoberflächenbildes eines Abschnitts um das Fahrzeug, und Ausgeben einer Vielzahl von Teilstraßenoberflächenbildern, von denen jedes einen Teil des Straßenoberflächenbildes darstellt; eine Histogramm-Generation-Region-Extraktionseinheit zum Empfangen einer Eingabe einer Vielzahl von Teilstraßenoberflächenbildern und zum Extrahieren einer vorbestimmten Region der Teilstraßenoberflächenbilder als eine Vielzahl von Histogramm-Generation-Regionen; eine Histogramm-Generation-Region-Kombinationseinheit zum Kombinieren der Vielzahl von Histogramm-Generation-Regionen und zum Ausgeben der kombinierten Region als eine Histogramm-Generation-Zusammengesetzte-Region; eine Histogramm-Berechnungseinheit zum Berechnen eines Histogramms auf der Grundlage der Histogramm-Generation-Zusammengesetzte-Region; eine Histogramm-Trenneinheit zum Trennen des Histogramms in ein erstes Histogramm und ein zweites Histogramm und zum Ausgeben des ersten und des zweiten Histogramms; eine erste Region-Extraktionseinheit zum Extrahieren einer ersten Region aus dem ersten Histogramm und den Teilstraßenoberflächenbildern; und eine zweite Region-Extraktionseinheit zum Extrahieren einer zweiten Region aus dem zweiten Histogramm und den Teilstraßenoberflächenbildern, wobei die Histogramm-Trenneinheit trennt das Histogramm so, dass ein Element, das einen ersten Spitzenwert enthält, das erste Histogramm ist, und ein Element, das einen zweiten Spitzenwert enthält, das zweite Histogramm ist.
Straßenoberflächen-Detektionsvorrichtung nach Anspruch 1, umfassend: eine Bildtransformationseinheit zum Transformieren des Teilstraßenoberflächenbildes in ein Teilstraßenoberflächenbild; und eine Transformationsbild-Kombinationseinheit zum Ausgeben eines zusammengesetzten Transformationsbildes des Fahrzeugs auf der Grundlage einer Vielzahl der Teiltransformationsbilder, wobei die Histogramm-Generation-Region-Extraktionseinheit eine vorbestimmte Region des Teiltransformationsbildes als Histogramm-Generation-Region extrahiert, die erste Region-Extraktionseinheit die erste Region auf der Grundlage des ersten Histogramms und des zusammengesetzten Transformationsbildes extrahiert, und die zweite Region-Extraktionseinheit die zweite Region auf der Grundlage des zweiten Histogramms und des zusammengesetzten Transformationsbildes extrahiert.
Straßenoberflächen-Detektionsvorrichtung nach Anspruch 2, wobei die Histogramm-Trenneinheit nur das erste Histogramm ausgibt, ohne das zweite Histogramm auszugeben, wenn der zweite Spitzenwert des Histogramms kleiner als ein vorbestimmter Schwellenwert ist.
Straßenoberflächen-Detektionsvorrichtung nach Anspruch 2 oder 3, umfassend eine Hindernis-Distanz-Detektionseinheit zum Detektieren einer Hindernis-Distanz in einem Bereich des Teilstraßenoberflächenbildes, wobei die Histogramm-Generation-Region-Extraktionseinheit die Histogramm-Generation-Region entsprechend der Hindernis-Region variiert.
Straßenoberflächen-Detektionsvorrichtung nach einem der Ansprüche 2 bis 4, umfassend eine Fahrzeugsignal-Detektionseinheit zum Detektieren eines Fahrzeugsignals, wobei die Histogramm-Generation-Region-Kombinationseinheit ein Kombinationsverhältnis für eine Vielzahl der Histogramm-Generation-Regionen entsprechend dem Fahrzeugsignal ändert.
Straßenoberflächen-Detektionsvorrichtung, umfassend: eine Bildgebungseinheit, die in einem Fahrzeug angeordnet ist, zum Erhalten eines Straßenoberflächenbildes eines Abschnitts um das Fahrzeug herum und Ausgeben des Straßenoberflächenbildes; eine Histogramm-Generation-Region-Extraktionseinheit zum Extrahieren einer vorbestimmten Region als Histogramm-Generation-Region auf der Grundlage des Straßenoberflächenbildes; eine Histogramm-Berechnungseinheit zum Berechnen eines Histogramms in der Histogramm-Erzeugungs-Region, die durch die Histogramm-Erzeugungs-Region-Extraktionseinheit extrahiert wurde; eine Histogramm-Trenneinheit zum Trennen des berechneten Histogramms in ein erstes Histogramm, das eine Straßenoberfläche bei Sonneneinstrahlung darstellt, und ein zweites Histogramm, das eine schattige Straßenoberfläche darstellt, gemäß einem Spitzenwert; eine erste Region-Extraktionseinheit zum Extrahieren einer ersten Region basierend auf dem ersten Histogramm und dem Straßenoberflächenbild; und eine zweite Region-Extraktionseinheit zum Extrahieren einer zweiten Region auf der Grundlage des zweiten Histogramms und des Bildes der Straßenoberfläche.
Straßenoberflächen-Detektionsvorrichtung nach Anspruch 6, umfassend eine Vielzahl der Bildgebungseinheiten, wobei jede Bildgebungseinheit ein Teilstraßenoberflächenbild ausgibt, das ein Teil des Straßenoberflächenbildes ist; eine Histogramm-Generation-Region-Kombinationseinheit zum Kombinieren einer Vielzahl der Histogramm-Erzeugungs-Regionen, die von der Histogramm-Generation-Region-Extraktionseinheit auf der Grundlage einer Vielzahl der Teilstraßenoberflächenbilder extrahiert wurden, um es der Histogramm-Berechnungseinheit zu ermöglichen, das Histogramm zu berechnen; eine Bildtransformationseinheit zum Durchführen einer projektiven Transformation des Teilstraßenoberflächenbildes in ein Teiltransformationsbild; und eine Transformations-Bildkombinationseinheit zum Ausgeben eines zusammengesetzten Transformationsbildes des Fahrzeugs auf der Grundlage einer Vielzahl der Teiltransformationsbilder, wobei die Histogramm-Generation-Region-Extraktionseinheit eine vorbestimmte Region des Teiltransformationsbildes als Histogramm-Generation-Region extrahiert, die erste Region-Extraktionseinheit die erste Region auf der Grundlage des ersten Histogramms und des zusammengesetzten Transformationsbildes extrahiert, und die zweite Region-Extraktionseinheit die zweite Region auf der Grundlage des zweiten Histogramms und des zusammengesetzten Transformationsbildes extrahiert.
Bildanzeigevorrichtung, die eine Straßenoberflächen-Detektionsvorrichtung verwendet, wobei die Bildanzeigevorrichtung umfasst: eine Anzeigebild-Erzeugungseinheit zum Erzeugen eines Anzeigebildes unter Verwendung der Bildgebungseinheit; eine Anzeigebild-Zweite-Region-Extraktionseinheit zum Extrahieren, aus dem Anzeigebild, einer zweiten Region des Anzeigebildes, die der zweiten Region in der Straßenoberflächen-Detektionsvorrichtung gemäß einem der Ansprüche 1 bis 5 entspricht; eine Farbsubstitutionseinheit zum Durchführen einer Farbsubstitution für eine Farbe der zweiten Region des Anzeigebildes auf der Grundlage des ersten Histogramms unter Verwendung des Anzeigebildes, der zweiten Region des Anzeigebildes und des ersten Histogramms, das von der Straßenoberflächen-Detektionsvorrichtung gemäß einem der Ansprüche 1 bis 5 ausgegeben wird, und zum Ausgeben eines Bildes, das durch die Farbsubstitution erhalten wird, als ein Farbsubstitutions-Anzeigebild; und eine Bildgebungseinheit zur Anzeige des Farbsubstitutionsbildes.
Hindernis-Detektionsvorrichtung, die eine Straßenoberflächen-Detektionsvorrichtung verwendet, wobei die Hindernis-Detektionsvorrichtung umfasst: eine Region-Invertierungseinheit zum Extrahieren einer Region als Hindernisregion, die nicht in der ersten Region und der zweiten Region in dem zusammengesetzten Transformationsbild oder dem Teilstraßenoberflächenbild in der Straßenoberflächen-Detektionsvorrichtung nach einem der Ansprüche 2 bis 5 oder 7 enthalten ist; und eine Hindernis-Positions-Detektionseinheit zur Berechnung einer Hindernis-Position in Bezug auf das Fahrzeug auf der Grundlage der Hindernis-Region und zur Ausgabe der Hindernis-Position als Information über die Hindernis-Position.
Hindernis-Detektionsvorrichtung nach Anspruch 9, unter Verwendung der Straßenoberflächen-Detektionsvorrichtung, wobei die Hindernis-Detektionsvorrichtung umfasst: eine Bildspeichereinheit zum Speichern des zusammengesetzten Transformationsbildes; eine Differential-Bild-Hindernis-Region-Extraktionseinheit zum Berechnen einer Differenz zwischen dem zusammengesetzten Transformationsbild, das in der Bildspeichereinheit gespeichert ist, und einem vorhergehenden zusammengesetzten Transformationsbild, das zuvor gespeichert wurde, und zum Extrahieren einer Region als Differential-Hindernis-Region in dem zusammengesetzten Transformationsbild, in der die Abweichung größer oder gleich einem vorbestimmten Wert in der Differenz in dem zusammengesetzten Transformationsbild ist; und eine Hindernis-Positions-Detektionseinheit, die als Hindernis-Position einen Abschnitt ausgibt, in dem die differentielle Hindernis-Region die Hindernis-Region überlappt.
Hindernis-Detektionsvorrichtung nach Anspruch 9, unter Verwendung der Straßenoberflächen-Detektionsvorrichtung, wobei die Hindernis-Detektionsvorrichtung umfasst: eine Hindernis-Distanz-Detektionseinheit zum Detektieren einer Hindernis-Distanz; eine Hindernis-Detektionszone-Berechnungseinheit, zum Berechnen, als Hindernis-Detektionszone, einer Region, in der ein Bogen mit einem Radius, der der von der Hindernis-Detektionsdistanz-Detektionseinheit detektierten Hindernisdistanz entspricht, in radialer Richtung und in Umfangsrichtung so erweitert ist, dass er eine konstante Breite aufweist; und eine Hindernis-Positions-Detektionseinheit zum Detektieren der Position eines Hindernisses auf der Grundlage der Hindernis-Detektionszone und der Hindernis-Region.
Hindernis-Detektionsvorrichtung nach Anspruch 10, unter Verwendung der Straßenoberflächen-Detektionsvorrichtung, wobei die Hindernis-Detektionsvorrichtung umfasst: eine Hindernis-Distanz-Detektionseinheit zum Detektieren einer Hindernis-Distanz; eine Hindernis-Detektionszone-Berechnungseinheit, zum Berechnen, als Hindernis-Detektionszone, einer Region, in der ein Bogen mit einem Radius, der dem von der Hindernis-Detektionsdistanz-Detektionseinheit detektierten Hindernisabstand entspricht, in radialer Richtung und in Umfangsrichtung so erweitert ist, dass er eine konstante Breite aufweist; und eine Hindernis-Positions-Detektionseinheit zum Detektieren, als Position eines Hindernisses, eines Abschnitts, in dem mindestens zwei der Hindernis-Detektionszone, der differentiellen Hindernis-Region und der Hindernis-Region einander überlappen.
Hindernis-Detektionsvorrichtung nach einem der Ansprüche 9 bis 12, die die Straßenoberflächen-Detektionsvorrichtung verwendet, wobei die Hindernis-Detektionsvorrichtung eine Schattenrichtungs-Bestimmungseinheit zum Ausgeben einer Lichtquellenrichtung um das Fahrzeug herum, einer Schattenrichtung entgegengesetzt zur Lichtquellenrichtung und eines Ergebnisses der Bestimmung, ob die Schattenrichtungsbestimmung möglich oder unmöglich ist, umfasst, wobei in einem Fall, in dem die Bestimmung der Schattenrichtung möglich ist, wird eine Hindernis-Region, die nicht in Kontakt mit der zweiten Region in Schattenrichtung in der Hindernis-Region steht, als ein Hindernis ohne Höhe bestimmt.
Straßenoberflächen-Detektionsverfahren umfassend: einen ersten Schritt des Erhaltens eines Straßenoberflächenbildes eines Abschnitts um ein Fahrzeug herum und des Ausgebens einer Vielzahl von Teilstraßenoberflächenbildern, von denen jedes einen Teil des Straßenoberflächenbildes darstellt; einen zweiten Schritt des Extrahierens einer vorbestimmten Region der Teilstraßenoberflächenbilder als eine Vielzahl von Histogramm-Generation-Regionen, basierend auf der Vielzahl der Teilstraßenoberflächenbilder, des Kombinierens der Vielzahl der Histogramm-Generation-Regionen, die extrahiert worden sind, und des Ausgebens der kombinierten Region als eine Histogramm-Generation-Zusammengesetzte-Region; einen dritten Schritt der Berechnung eines Histogramms auf der Grundlage der Histogramm-Generation-Zusammengesetzte-Region; einen vierten Schritt des Trennens des Histogramms in ein erstes Histogramm und ein zweites Histogramm und des Ausgebens des ersten und des zweiten Histogramms; einen fünften Schritt des Extrahierens einer ersten Region basierend auf dem ersten Histogramm und den Teilstraßenoberflächenbildern; und einen sechsten Schritt des Extrahierens einer zweiten Region auf der Grundlage des zweiten Histogramms und der Teilstraßenoberflächenbilder, wobei das Histogramm so ausgegeben wird, dass ein Element mit einem ersten Spitzenwert das erste Histogramm und ein Element mit einem zweiten Spitzenwert das zweite Histogramm ist, im vierten Schritt.
Bildanzeigeverfahren unter Verwendung des Straßenoberflächen-Detektionsverfahrens nach Anspruch 14, bei dem die Farbsubstitution im zweiten Bereich auf der Grundlage des ersten Histogramms durchgeführt wird, um ein Anzeigebild auszugeben.
Hindernis-Detektionsverfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, wobei das Hindernis-Detektionsverfahren einen Schritt zum Detektieren einer Position eines Hindernisses unter Verwendung des Straßenoberflächen-Detektionsverfahrens nach Anspruch 14 umfasst.