DE102012102320B4

DE102012102320B4 - Fahrzeugumfeldüberwachungsvorrichtung und Fahrzeugumfeldüberwachungsverfahren

Info

Publication number: DE102012102320B4
Application number: DE102012102320.4A
Authority: DE
Inventors: Toru Saito
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2011-03-22
Filing date: 2012-03-20
Publication date: 2020-03-05
Anticipated expiration: 2032-03-21
Also published as: JP5580233B2; DE102012102320A1; CN102842028B; US8941738B2; CN102842028A; JP2012198733A; US20120242799A1

Abstract

Fahrzeugumfeldüberwachungsvorrichtung, umfassend:eine Positionsinformationeinholeinheit, die Positionsinformationen eines dreidimensionalen Objektes einholt, das in einer detektierten Region vorhanden ist, wobei die Positionsinformationen einen relativen Abstand zu einem Subjektfahrzeug beinhalten,eine erste Repräsentativerabstandableiteeinheit, die die detektierte Region bezüglich einer horizontalen Richtung in eine Vielzahl von ersten unterteilten Regionen unterteilt und einen ersten repräsentativen Abstand ableitet entsprechend einem Peak in der Abstandsverteilung jeder der ersten unterteilten Regionen, basierend auf der Positionsinformation,eine erste Unterteilteregiongruppeerzeugungseinheit, die die ersten unterteilten Regionen gruppiert, basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen, undeine zweite Unterteilteregiongruppeerzeugungseinheit, die die erste Unterteilteregiongruppe unterteilt bezüglich der vertikalen Richtung in eine Vielzahl von zweiten unterteilten Regionen und zweite Unterteilteregiongruppen, die einen relativen Abstand haben, der nahe dem ersten repräsentativen Abstand ist, gruppiert, um eine zweite Unterteilteregiongruppe zu erzeugen, wobeidie erste Repräsentativerabstandableiteeinheit einen Zielbereich, für den der erste repräsentative Abstand innerhalb der ersten Unterteilteregiongruppe abgeleitet wird, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich begrenzt, der der zweiten Unterteilteregiongruppe entspricht.

Description

Die Erfindung betrifft eine Fahrzeugumfeldüberwachungsvorrichtung und ein Fahrzeugumfeldüberwachungsverfahren.
Es sind Technologien bekannt zum Detektieren eines dreidimensionalen Objektes wie beispielsweise einem Fahrzeug, das sich vor einem Subjektfahrzeug befindet (wie beispielsweise ein vorausfahrendes Fahrzeug und ein vor dem Fahrzeug anhaltendes Fahrzeug), und eines Hindernisses und zum Bewirken einer Steuerung beziehungsweise Regelung zum Vermeiden einer Kollision mit dem detektierten dreidimensionalen Objekt und zum Aufrechterhalten eines Zwischenfahrzeugabstandes zu dem vorausfahrenden Fahrzeug in einer sicheren Entfernung (siehe zum Beispiel japanisches Patent JP 3 349 060 B2 und die japanische offengelegte Patentanmeldung JP H10 - 283 461 A .
Vorrichtungen und Verfahren zur Überwachung einer Fahrumgebung und zum Erkennen möglicher Hindernisse sind auch bekannt aus den Druckschriften US 2003 / 0 088 361 A1 , DE 43 44 485 C2 , US 7 570 198 B2 , US 2007 / 0 075 892 A1 und JP 2009 - 176 091 A .
Bei diesen Technologien wird eine relative dreidimensionale Position (Positionsinformation) eines dreidimensionalen Objektes, das sich vor dem Subjektfahrzeug befindet, einschließlich eines relativen Abstandes zu dem Subjektfahrzeug, abgeleitet unter Verwendung eines Abstandsensors oder dergleichen, um das Objekt zu identifizieren. Der Abstandsensor zum Detektieren eines relativen Abstandes kann jedoch im Allgemeinen selbst nicht erkennen, zu welchem Objekt das detektierte Teil gehört. Daher wird die dreidimensionale Position des detektierten Teils unabhängig abgeleitet in Detektionsresolutionseinheiten in einem detektierten Bereich anstelle von Einheiten in einem Objekt. Es wird daher ein Verfahren benötigt, das Positionsinformationen von aneinander angrenzenden dreidimensionalen Positionen in Detektionsresolutionseinheiten extrahiert und gruppiert und die Positionsinformationsgruppe als ein dreidimensionales Objekt identifiziert.
Gemäß den Technologien des oben genannten japanischen Patents JP 3 349 060 B2 und der oben genannten JP H10 - 283 461 A wird eine detektierte Region zunächst unterteilt in eine Vielzahl von streifenförmig unterteilten Regionen und für jede der unterteilten Regionen werden detektierte Positionsinformationen statistisch verarbeitet, um Abstandsverteilungen zu erhalten, und ein relativer Abstand, der einem Peak in der Abstandsdistribution entspricht, wird als ein repräsentativer Wert (repräsentativer Abstand) in der unterteilten Region erhalten. Daraufhin werden die repräsentativen Abstände miteinander verglichen, um als ein dreidimensionales Objekt gruppiert zu werden.
In dem Gruppierungsprozess, der in den Technologien des japanischen Patents JP 3 349 060 B2 und der japanischen Patentanmeldung JP H10 - 283 461 A , beide vorstehend erwähnt, durchgeführt wird, wird die Region unterteilt in streifenförmig unterteilte Regionen, die sich in vertikaler Richtung erstrecken, da das hinterste vorausfahrende Fahrzeug auf einer Straße in einer unterteilten Region eindeutig identifiziert werden kann. Zudem wird der relative Abstand, der einem Peak in der Abstandsverteilung entspricht, als der repräsentative Abstand verwendet, um unerwartete Positionsinformation als Ergebnis einer fehlerhaften Detektion auszuschließen.
Für ein integrales dreidimensionales Objekt können jedoch in einer streifenförmigen Region eine Vielzahl relativer Abstände detektiert werden. Beispielsweise sind bei einem Fahrzeug wie beispielsweise einem Lastwagen relative Abstände eines Führerhauses beziehungsweise Fahrerhauses einerseits und einer Rückseite der Ladefläche des Subjektfahrzeugs andererseits unterschiedlich und dementsprechend werden in der Abstandsverteilung in der streifenförmigen Region in erster Linie zwei relative Abstände detektiert, nämlich derjenige des Fahrerhauses und derjenige der Rückseite der Ladefläche.
In diesem Fall kann, da in den zuvor beschriebenen Technologien des japanischen Patents JP 3 349 060 B2 und der japanischen Patentanmeldung JP H10 - 283 461 A der einem Peak entsprechende relative Abstand in der Abstandsverteilung einer unterteilten Region der repräsentative Abstand ist, sich die Abstandsverteilung ändern abhängig von einem detektierten Zustand wie beispielsweise einem Bereich, der von dem Fahrerhaus und der Rückseite der Ladefläche abgedeckt wird, und der Anzahl von Teilen, die detektiert werden können. Der einem Peak entsprechende relative Abstand kann sich ändern mit einer derartigen Änderung der Abstandsverteilung und es kann daher schwierig sein, zu spezifizieren, welches Teil den relativen Abstand hat, der dem repräsentative Abstand entspricht. Das Teil des Führerhauses und die Rückseite der Ladefläche können dann nicht als ein dreidimensionales Objekt gruppiert werden und das dreidimensionale Objekt kann nicht korrekt erkannt werden. Wenn beispielsweise der relative Abstand des Fahrerhausteils und der relative Abstand der hinteren Seite der Ladefläche in zeitlicher Hinsicht aufeinanderfolgend als der relative Abstand des dreidimensionalen Objektes detektiert werden, kann dies zu der folgenden Situation führen. Das Subjektfahrzeug kann zuverlässig auf die Änderung des relativen Abstandes zu dem vorausfahrenden Fahrzeug reagieren durch eine Regelung (Fahrtregelung) zum Einhalten eines Zwischenfahrzeugabstands zu dem vorausfahrenden Fahrzeug, der sicher ist, und der Komfort der Fahrzeuginsassen kann eingeschränkt sein im Hinblick auf die Beschleunigung oder Verzögerung des Subjektfahrzeugs.
Im Hinblick auf diese Nachteile liegt der vorliegenden Erfindung die Aufgabe zugrunde, eine Vorrichtung zum Überwachen eines Fahrzeugumfelds und ein Verfahren zum Überwachen eines Fahrzeugumfelds bereitzustellen, die beziehungsweise das dazu geeignet sind, einen geforderten relativen Abstand zu spezifizieren und ein dreidimensionales Objekt selbst dann korrekt zu erkennen, wenn eine Vielzahl von relativen Abständen existiert, die Peakkandidaten in einer Abstandsverteilung innerhalb einer unterteilten Region sind.
Zur Lösung dieses Problems stellt die vorliegende Erfindung gemäß einem Aspekt eine Vorrichtung zum Überwachen eines Fahrzeugumfelds bereit, die aufweist: eine Positionsinformationeinholeinheit, die Positionsinformationen eines dreidimensionalen Objekts einholt, das sich in einer detektierten Region befindet, wobei die Positionsinformationen beinhalten einen relativen Abstand bezüglich eines Subjektfahrzeugs, eine erste Repräsentativerabstandableiteeinheit, die die detektierte Region unterteilt bezüglich einer horizontalen Richtung in eine Vielzahl erster unterteilter Regionen und einen ersten repräsentativen Abstand ableitet, der einem Peak einer Abstandsverteilung in jeder der ersten unterteilen Regionen entspricht, basierend auf der Positionsinformation, eine erste Unterteilteregiongruppeerzeugungseinheit, die die ersten unterteilen Regionen gruppiert, basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen, und eine zweite Unterteilteregiongruppeerzeugungseinheit, die die erste Unterteilteregiongruppe unterteilt bezüglich der vertikalen Richtung in eine Vielzahl von zweiten unterteilten Regionen und zweite Unterteilteregiongruppen, die relative Abstände haben nahe dem ersten repräsentativen Abstand, gruppiert, um eine zweite Unterteilteregiongruppe zu erzeugen. Die erste Repräsentativerabstandableiteeinheit begrenzt einen Zielbereich, für den der erste repräsentative Abstand abgeleitet wird, innerhalb der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich, der der zweiten Unterteilteregiongruppe entspricht.
Die zweite Unterteilteregiongruppeerzeugungseinheit kann die zweiten unterteilten Regionen gruppieren, wenn ein vorbestimmter Anteil der relativen Abstände nahe dem ersten repräsentativen Abstand bezüglich der Gesamtanzahl von relativen Abständen in der zweiten unterteilten Region eingeschlossen sind.
Zur Lösung des Problems stellt die vorliegende Erfindung gemäß einem anderen Aspekt eine Vorrichtung zum Überwachen eines Fahrzeugumfeldes bereit, die aufweist: eine Positionsinformationeinholeinheit, die Positionsinformationen eines dreidimensionalen Objekts in einer detektierten Region einholt, wobei die Positionsinformation einen relativen Abstand bezüglich eines Subjektfahrzeugs beinhaltet, eine erste Repräsentativerabstandableiteeinheit, die die detektierte Region bezüglich einer horizontalen Richtung in eine Mehrzahl von ersten unterteilten Regionen unterteilt und einen ersten repräsentativen Abstand, der einem Peak in der Abstandsverteilung in jeder der ersten unterteilten Regionen entspricht, ableitet, basierend auf der Positionsinformation, eine erste Unterteilteregiongruppeerzeugungseinheit, die die ersten unterteilten Regionen gruppiert, basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen, eine zweite Repräsentativerabstandableiteeinheit, die die erste Unterteilteregiongruppe unterteilt bezüglich einer vertikalen Richtung in eine Vielzahl von zweiten unterteilten Regionen und einen zweiten repräsentativen Abstand, der einem Peak in der Abstandsverteilung jeder der zweiten unterteilten Regionen entspricht, ableitet, basierend auf der Positionsinformation, und eine zweite Unterteilteregiongruppeerzeugungseinheit, die die zweiten Unterteilteregiongruppen gruppiert, basierend auf dem zweiten repräsentativen Abstand, um eine zweite Unterteilteregiongruppe zu erzeugen, die einen relativen Abstand hat, der der kürzeste ist und dessen Differenz zu dem ersten repräsentativen Abstand gleich oder kleiner ist als ein erster Grenzwert. Die erste Repräsentativerabstandableiteeinheit begrenzt einen Zielbereich, für den der erste repräsentative Abstand abgeleitetet wird, innerhalb der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich, der der zweiten Unterteilteregiongruppe entspricht.
Zur Lösung dieser Aufgabe stellt die vorliegende Erfindung gemäß einem weiteren Aspekt eine Vorrichtung zur Überwachung eines Umfelds eines Fahrzeugs bereit, die aufweist: eine Positionsinformationeinholeinheit, die Positionsinformationen eines dreidimensionalen Objekts einholt, das sich in einer detektierten Region befindet, wobei die Positionsinformation einen relativen Abstand bezüglich eines Subjektfahrzeugs beinhaltet, eine erste Repräsentativerabstandableiteeinheit, die die detektierte Region bezüglich einer horizontalen Richtung in eine Vielzahl von ersten unterteilten Regionen unterteilt und einen ersten repräsentativen Abstand entsprechend einem Peak in der Abstandsverteilung jeder der ersten unterteilten Regionen ableitet, basierend auf der Positionsinformation, eine erste Unterteilteregiongruppeerzeugungseinheit, die die ersten unterteilten Regionen gruppiert, basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen, und eine zweite Unterteilteregiongruppeerzeugungseinheit, die die erste Unterteilteregiongruppe bezüglich der vertikalen Richtung in eine Vielzahl von zweiten unterteilten Regionen unterteilt und ein Verfahren zum Gruppieren der zweiten Unterteilteregiongruppen, die relative Abstände aufweisen, die nahe dem ersten repräsentativen Abstand sind, exklusiv ausführt, um eine zweite Unterteilteregiongruppe zu erzeugen, sowie ein Verfahren zum Gruppieren der zweiten unterteilten Regionen, basierend auf einem zweiten repräsentativen Abstand, der einem Peak in der Abstandsverteilung jeder der zweiten unterteilten Regionen entspricht, um eine zweite Unterteilteregiongruppe mit einem relativen Abstand zu erzeugen, der der kürzeste ist und dessen Differenz zu dem ersten repräsentativen Abstand gleich oder kleiner ist als ein erster Grenzwert. Die erste Repräsentativerabstandableiteeinheit begrenzt einen Zielbereich für den der erste repräsentative Abstand abgeleitet wird, innerhalb der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich, der der zweiten Unterteilteregiongruppe entspricht.
Die erste Repräsentativerabstandableiteeinheit kann den Zielbereich begrenzen auf den entsprechenden vertikalen Bereich unabhängig für jede der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt ist.
Die erste Repräsentativerabstandableiteeinheit kann einen durchschnittlichen Wert der relativen Abstände innerhalb des vertikalen Bereichs, einen Medianwert der relativen Abstände innerhalb des vertikalen Bereichs oder einen kürzesten relativen Abstand innerhalb des vertikalen Bereichs als den ersten repräsentativen Abstand verwenden.
Die zweite Unterteilteregiongruppeerzeugungseinheit kann den vertikalen Bereich setzen auf einen Bereich, der sich über eine vorbestimmte Fläche erstreckt.
Die zweite Unterteilteregiongruppeerzeugungseinheit kann den vertikalen Bereich auf einen Bereich setzen, der sich auf ein unteres Ende der ersten Unterteilteregiongruppe erstreckt.
Die zweite Unterteilteregiongruppeerzeugungseinheit kann den vertikalen Bereich aktualisieren, wenn der erste repräsentative Abstand gleich oder größer ist als ein zweiter Grenzwert.
Zur Lösung des Problems stellt die vorliegende Erfindung gemäß einem weiteren Aspekt ein Verfahren zum Überwachen des Umfeldes eines Fahrzeugs bereit, das aufweist: Einholen von Positionsinformationen von einem dreidimensionalen Objekt, das in einer detektierten Region vorhanden ist, wobei die Positionsinformationen einen relativen Abstand bezüglich eines Subjektfahrzeugs beinhalten, Aufteilen der detektierten Region bezüglich einer horizontalen Richtung in eine Mehrzahl von ersten unterteilten Regionen, Ableiten eines ersten repräsentativen Abstands entsprechend einem Peak einer Abstandsverteilung in jeder der ersten unterteilten Regionen, basierend auf der Positionsinformation, Gruppieren der ersten unterteilten Regionen basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen, Unterteilen der ersten Unterteilteregiongruppe bezüglich der vertikalen Richtung in eine Mehrzahl von zweiten unterteilten Regionen und Gruppieren der zweiten Unterteilteregiongruppen mit relativen Abständen nahe dem ersten repräsentativen Abstand, um eine zweite Unterteilteregiongruppe zu erzeugen, und Begrenzen einer Zielregion, für die der erste repräsentative Abstand abgeleitet ist innerhalb der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich, der der zweiten Unterteilteregiongruppe entspricht.
Zur Lösung des Problems stellt die vorliegende Erfindung gemäß einem weiteren Aspekt ein Verfahren zum Überwachen des Umfelds eines Fahrzeugs bereit, das aufweist: Einholen von Positionsinformationen eines dreidimensionalen Objekts, das sich in einer detektierten Region befindet, wobei die Positionsinformationen einen relativen Abstand bezüglich des Subjektfahrzeugs beinhalten, Aufteilen der detektierten Region bezüglich einer horizontalen Richtung in eine Mehrzahl von ersten unterteilten Regionen, Ableiten eines ersten repräsentativen Abstands entsprechend einem Peak in der Abstandsverteilung von jeder der ersten unterteilten Regionen, basierend auf den Positionsinformationen, Gruppieren der ersten unterteilten Regionen, basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen, Unterteilen der ersten Unterteilteregiongruppe bezüglich einer vertikalen Richtung in eine Mehrzahl von zweiten unterteilten Regionen und Ableiten eines zweiten repräsentativen Abstands entsprechend eines Peaks in der Abstandsverteilung von jeder der zweiten unterteilten Regionen, basierend auf der Positionsinformation, Gruppieren der zweiten Unterteilteregiongruppen, basierend auf dem zweiten repräsentativen Abstand, um eine zweite Unterteilteregiongruppe zu erzeugen, die einen relativen Abstand hat, der der kürzeste ist und dessen Differenz zu dem ersten repräsentativen Abstand gleich oder kleiner ist als ein erster Grenzwert, und Begrenzen einer Zielregion, für die der erste repräsentative Abstand abgeleitet wird innerhalb der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich entsprechend der zweiten Unterteilteregiongruppe.
Gemäß der vorliegenden Erfindung kann ein erforderlicher relativer Abstand spezifiziert werden, ein dreidimensionales Objekt kann korrekt erkannt werden und die Prozesslast kann reduziert werden durch Begrenzen eines Detektionsbereichs selbst dann, wenn es eine Mehrzahl von relativen Abständen gibt, die Peakkandidaten sind in der Abstandsverteilung innerhalb eines unterteilten Bereichs.
Die Erfindung wird im Folgenden weiter verdeutlicht anhand von Ausführungsbeispielen unter Bezug auf die beigefügten Zeichnungen, in denen

1 ein Blockdiagramm ist, das das Verhältnis von Verbindungen beziehungsweise Zusammenhängen in einem Fahrzeugumfeldüberwachungssystem darstellt,
2A und 2B beispielhafte Ansichten zur Erläuterung eines Abstandsbildes sind,
3 ein funktionales Blockschaubild ist, das eine allgemeine Funktion einer Fahrzeugumfeldüberwachungsvorrichtung gemäß einem ersten Ausführungsbeispiel zeigt,
4 eine beispielhafte Darstellung zur Erläuterung einer Konversion zu einer dreidimensionalen Positionsinformation ist, die von einer Positionsinformationeinholeinheit durchgeführt wird,
5A und 5B beispielhafte Ansichten sind zum Erläutern einer ersten unterteilten Region und einer ersten repräsentativen Region,
6 eine beispielhafte Ansicht ist zum Erläutern einer ersten Unterteilteregiongruppe,
7A und 7B beispielhafte Ansichten sind zum Erläutern einer zweiten unterteilten Region und einer zweiten Unterteilteregiongruppe,
8A und 8B beispielhafte Ansichten sind zum Erläutern einer Funktion einer ersten Repräsentativerabstandableiteeinheit nach dem Erzeugen der zweiten Unterteilteregiongruppe,
9 ein Flussdiagramm ist, das einen Gesamtablauf eines Fahrzeugumfeldüberwachungsverfahrens zeigt,
10 ein Flussdiagramm ist, das den Ablauf eines ersten Repräsentativerabstandableiteverfahrens zeigt,
11 ein Flussdiagramm ist, das den Ablauf eines ersten Unterteilteregiongruppeerzeugungsverfahrens zeigt,
12 ein Flussdiagramm ist, das den Ablauf eines zweiten Unterteilteregiongruppeerzeugungsverfahrens zeigt,
13 ein funktionales Blockschaubild ist, das allgemeine Funktionen einer Fahrzeugumfeldüberwachungsvorrichtung gemäß einem zweiten Ausführungsbeispiel zeigt,
14A und 14B beispielhafte Ansichten sind zum Erläutern einer zweiten unterteilten Region und einer zweiten Unterteilteregiongruppe und
15 ein Flussdiagramm ist, das einen Ablauf eines zweiten Unterteilteregiongruppeerzeugungsverfahrens zeigt.

Bevorzugte Ausführungsformen der vorliegenden Erfindung werden im Folgenden detaillierter beschrieben unter Bezug auf die beigefügten Zeichnungen. Größen und Abmessungen, Materialien, spezielle numerische Werte und dergleichen, die in den Ausführungsbeispielen dargestellt sind, dienen lediglich dem leichteren Verständnis der vorliegenden Erfindung und begrenzen, sofern nicht anders angegeben, die vorliegende Erfindung nicht. Elemente, die im Wesentlichen die gleichen Funktionen und Konfigurationen haben, sind mit gleichen Bezugszeichen gekennzeichnet, eine redundante Beschreibung wird in der vorliegenden Beschreibung und den Zeichnungen weggelassen und Elemente, die sich nicht direkt auf die vorliegende Erfindung beziehen, werden nicht gezeigt.
(Fahrzeugumfeldüberwachungssystem 100)
1 ist ein Blockschaubild, das einen Zusammenhang bezüglich Verbindungen eines Fahrzeugumfeldüberwachungssystems 100 zeigt. Das Fahrzeugumfeldüberwachungssystem 100 weist auf eine Vielzahl (zwei im folgenden Ausführungsbeispiel) von Bilderfassungsvorrichtungen 110, eine Bildverarbeitungsvorrichtung 120, eine Fahrzeugumfeldüberwachungsvorrichtung 130 und eine Fahrzeugumfeldsteuerungsvorrichtung 140, die in einem Fahrzeug 1 angeordnet sind.
Die Bilderfassungsvorrichtungen 110 verfügen jede über einen Bildsensor wie beispielsweise ein ladungsgekoppeltes Halbleiterelement (CCD) und einen komplementären Metalloxid-Halbleiter (CMOS). Die Bilderfassungsvorrichtungen 110 sind mit einem Abstand in im Wesentlichen horizontaler Richtung zueinander angeordnet, sodass die optischen Achsen der zwei Bilderfassungsvorrichtungen 110 im Wesentlichen parallel zu der Fahrtrichtung des Fahrzeugs 1 verlaufen. Die Bilderfassungsvorrichtungen 110 erzeugen kontinuierlich Bilddaten, die durch Aufnehmen eines Bildes eines dreidimensionalen Objektes erhalten werden, in einer detektierten Region vor dem Fahrzeug 1 mit zum Beispiel 1/60 Sekunde (60 fps). Funktionale Einheiten in den nachfolgenden Ausführungsformen führen entsprechende Prozesse und Abläufe aus, wobei die Aktualisierung der Bilddaten als ein Trigger fungiert.
Die Bildverarbeitungsvorrichtung 120 erhält Bilddaten von jeder der zwei Bilderfassungsvorrichtungen 110 und leitet Parallaxeinformationen ab, enthaltend eine Parallaxe von jedem Block (eine Gruppe einer vorbestimmten Anzahl von Pixeln) in den Bildern, und eine Bildschirmposition beziehungsweise Bildposition, im Folgenden Bildposition genannt, die eine Position des Blocks auf einem Bild angibt, basierend auf den zwei Bilddaten. Die Bildverarbeitungsvorrichtung 120 leitet die Parallaxe ab durch Verwendung von so genanntem Pattern Matching, das heißt Mustervergleich oder Mustererkennung, das einen Bilddatensatz für einen Block entsprechend zu jedem Block (zum Beispiel ein Feld von horizontal 4 Pixel x vertikal 4 Pixel), sucht, extrahiert von den anderen Bilddaten. Die horizontale Richtung entspricht der Breitenrichtung des Bildschirms beziehungsweise des Bildes und entspricht der horizontalen Richtung im realen Raum, während die vertikale Richtung der vertikalen Richtung des Bildschirms beziehungsweise Bildes entspricht und der vertikalen Richtung in dem realen Raum entspricht.
Der Mustervergleich kann durchgeführt werden durch Vergleichen von Leuchtdichtewerten (Y-Farbdifferenzsignale) in Einheiten eines Blocks, eine gegebene Bildposition darstellend, zwischen zwei Bilddatensätzen. Es gibt beispielsweise Techniken wie eine Summe absoluter Differenzen (SAD), die eine Differenz zwischen Leuchtdichtewerten bestimmt, eine Summe von quadrierten Intensitätdifferenzen (SSD), die das Quadrat der Differenz verwendet, und normierte Kreuzkorrelation (NCC), die eine Ähnlichkeit von Varianzen bestimmt, erhalten durch Subtrahieren eines Durchschnittswertes von Leuchtdichtewerten der Pixel. Die Bildverarbeitungsvorrichtung 120 führt einen solchen Parallaxeableitungsprozess in Einheiten eines Blocks für alle Blöcke durch, die in einer detektierten Region (zum Beispiel 600 Pixel x 200 Pixel) angezeigt werden. Obwohl hierin angenommen wird, dass ein Block eine Größe von 4 Pixel x 4 Pixel hat, kann die Anzahl von Pixeln in einem Block auf jeden Wert gesetzt werden.
Es ist zu beachten, dass die Bildverarbeitungsvorrichtung 120 eine Parallaxe ableiten kann für jeden Block, der eine Detektionsresolutionseinheit ist, jedoch nicht erkennen kann, zu welchem dreidimensionalen Objekt der Block gehört. Die Parallaxeinformation ist daher nicht abgeleitet in Einheiten eines dreidimensionalen Objektes, sondern unabhängig abgeleitet in Einheiten von Detektionsresolutionen in einer detektierten Region. Ein Bild, in dem in dieser Weise Parallaxeinformation abgeleitet wird, ist hierin mit Bilddaten assoziiert, die als ein Abstandsbild bezeichnet werden.
Die 2A und 2B sind beispielhafte Ansichten zum Erläutern der Abstandsinformation. Es sei beispielsweise angenommen, dass ein aufgenommenes Bild (Bilddaten) 124, wie in 2A gezeigt, mit den zwei Bilderfassungsvorrichtungen 110 für eine detektierte Region 122 erzeugt wird. Es sei beachtet, dass hierbei lediglich eines der zwei Bilddaten schematisch gezeigt ist und zum Zwecke des leichteren Verständnisses die Beschreibung erfolgt unter der Annahme, dass das Aspektbeziehungsweise Seitenverhältnis ungefähr 2:1 ist. Die Bildverarbeitungsvorrichtung 120 holt eine Parallaxe für jeden Block von einem derart aufgenommenen Bild 124 ein und erzeugt ein Abstandsbild 126, wie in 2B gezeigt. Jeder Block in dem Abstandsbild 126 ist einer Parallaxe des Blocks zugeordnet. Ein Block, für den eine Parallaxe abgeleitet ist, ist zum Zwecke der Beschreibung mit einem schwarzen Punkt wiedergegeben.
Die Parallaxe wird in einem Randbereich (einem Bereich, wo der Helligkeitsunterschied zwischen nebeneinanderliegenden Pixeln groß ist) eines Bildes leicht definiert. Daher sind Blöcke, für die Parallaxen abgeleitet sind, mit schwarzen Punkten in dem Abstandsbild 126 wahrscheinlich solche von Kanten oder Rändern des original aufgenommenen Bildes 124. Dementsprechend sind das original aufgenommene Bild 124, wie in 2A gezeigt, und das in 2B gezeigte Abstandsbild 126 ähnlich zueinander.
Die Fahrzeugumfeldüberwachungsvorrichtung 130 identifiziert eine Straßenform oder ein dreidimensionales Objekt außerhalb des Fahrzeugs 1 durch Konvertieren von Parallaxeinformation (Abstandsbild 126) für jeden Block in der detektierten Region 122, abgeleitet von der Bildverarbeitungsvorrichtung 120, in dreidimensionale Positionsinformationen, die einen relativen Abstand enthält, unter Verwendung des so genannten Stereoverfahrens. Das Stereoverfahren ist ein Verfahren zum Ableiten relativer Abstände eines dreidimensionalen Objektes zu der Bilderfassungsvorrichtung 110 aus der Parallaxe des dreidimensionalen Objektes durch Verwendung des Triangulationsverfahrens. Eine derartige Fahrzeugumfeldüberwachungsvorrichtung 130 wird weiter unten detailliert beschrieben.
Die Fahrzeugumfeldsteuerungsvorrichtung 140 führt eine Steuerung aus, um eine Kollision mit einem dreidimensionalen Objekt zu verhindern, das von der Fahrzeugumfeldüberwachungsvorrichtung 130 identifiziert wird, und um einen Zwischenfahrzeugabstand zu einem vorausfahrenden Fahrzeug in einem sicheren Bereich zu halten. Genauer gesagt, die Fahrzeugumfeldsteuerungsvorrichtung 140 erhält einen aktuellen Fahrtzustand des Fahrzeugs 1 mittels eines Lenkwinkelsensors 142 zum Detektieren des Lenkwinkels, eines Fahrzeuggeschwindigkeitssensors 144 zum Detektieren der Geschwindigkeit des Fahrzeugs 1 und dergleichen, und steuert ein Betätigungselement 146, um einen Zwischenfahrzeugabstand zu einem vorausfahrenden Fahrzeug bei einem sicheren Abstand zu halten. Im Falle einer möglichen Kollision mit einem dreidimensionalen Objekt zeigt die Fahrzeugumfeldsteuerungsvorrichtung 140 auch eine Warnung der möglichen Kollision auf einem Display 148 an, das vor dem Fahrer angeordnet ist, das heißt gibt eine derartige Information aus, und steuert das Betätigungselement 146 zum automatischen Bremsen des Fahrzeugs 1. Eine derartige Fahrzeugumfeldsteuerungsvorrichtung 140 kann auch integral mit der Fahrzeugumfeldüberwachungsvorrichtung 130 bereitgestellt sein.
(Fahrzeugumfeldüberwachungsvorrichtung 130)
3 ist ein funktionales Blockschaubild, das die allgemeinen Funktionen der Fahrzeugumfeldüberwachungsvorrichtung 130 zeigt. Wie in 3 gezeigt, weist die Fahrzeugumfeldüberwachungsvorrichtung 130 eine Interface (I/F) Einheit beziehungsweise Schnittstelleneinheit 150, eine Datenspeichereinheit 152 und eine zentrale Steuereinheit 154 auf.
Die Schnittstelleneinheit 150, im Folgenden I/F Einheit genannt, ist eine Schnittstelle, die es der Bildverarbeitungsvorrichtung 120 und der Fahrzeugumfeldsteuerungsvorrichtung 140 ermöglicht, Informationen untereinander auszutauschen. Die Datenspeichereinheit 152 wird dargestellt durch ein RAM (Random Access Memory), ein Flash Memory, eine Festplatte (HDD) oder dergleichen, und speichert temporär die Parallaxeinformation (Abstandsbild 126), die von der Bildverarbeitungsvorrichtung 120 empfangen wird, sowie verschiedene Informationen, die zur Verarbeitung erforderlich sind, welche von nachfolgend beschriebenen funktionalen Einheiten durchgeführt wird.
Die zentrale Steuereinheit 154 ist eine integrierte Halbleiterschaltung mit einer Zentraleinheit (CPU), einem Programme speichernden ROM (Read Only Memory) und dergleichen, einem RAM (Random Access Memory) als einem Arbeitsbereich, und dergleichen, und steuert die I/F Einheit 150 und die Datenspeichereinheit 152 über einen Systembus 156. In der vorliegenden Ausführungsform erfüllt die zentrale Steuereinheit 154 auch die Funktion einer Positionsinformationeinholeinheit 160, einer ersten Repräsentativerabstandableiteeinheit 162, einer ersten Unterteilteregiongruppeerzeugungseinheit 164 und einer zweiten Unterteilteregiongruppeerzeugungseinheit 166.
Die Positionsinformationeinholeinheit 160 konvertiert die Parallaxeinformation für jeden Block in der detektierten Region 122, abgeleitet von der Bildverarbeitungsvorrichtung 120, in die dreidimensionale Positionsinformation, die den relativen Abstand beinhaltet, unter Verwendung des Stereoverfahrens.
4 ist eine beispielhafte Ansicht zum Erläutern der Konversion in die dreidimensionale Positionsinformation, die von der Positionsinformationeinholeinheit 160 durchgeführt wird. Die Positionsinformationeinholeinheit 160 erkennt zunächst das Abstandsbild 126 als ein Koordinatensystem in Einheiten von einem Pixel, wie in 4 gezeigt. In 4 wird die linke untere Ecke als ein Ursprungspunkt (0,0) angenommen, die Querrichtung ist eine i-Koordinatenachse und die vertikale Richtung ist eine j-Koordinatenachse. Dementsprechend kann ein Block (Punkt) mit einer Parallaxe von dp in dem Abstandsbild 126 ausgedrückt werden als (i, j, dp) unter Verwendung der Pixelposition i, j und der Parallaxe dp.
Das dreidimensionale Koordinatensystem in dem realen Raum wird gemäß der vorliegenden Ausführungsform in ein relatives Koordinatensystem gebracht mit dem Fahrzeug 1 im Zentrum. In diesem Fall ist die nach rechts gerichtete Richtung bezüglich der Fahrtrichtung des Fahrzeugs 1 die positive Richtung einer X-Achse, die Richtung nach oben des Fahrzeugs 1 ist die positive Richtung einer Y-Achse, die Fahrtrichtung (Vorwärtsrichtung) des Fahrzeugs 1 ist die positive Richtung einer Z-Achse und ein Schnitt einer vertikalen Linie, die durch das Zentrum der zwei Bilderfassungsvorrichtungen 110 und die Straßenoberfläche verläuft, ist ein Ursprungspunkt (0, 0, 0). In diesem Fall, wenn angenommen wird, dass die Straße eine ebene Oberfläche hat, fällt die Straßenoberfläche zusammen mit einer X-Z Ebene (Y = 0). Die Positionsinformationeinholeinheit 160 transformiert die Koordinaten des Blocks (i, j, dp) in dem Abstandsbild 126 in Koordinaten eines Punktes (x, y, z) in dem dreidimensionalen realen Raum mittels der folgenden Gleichungen 1 bis 3. $x = CD / 2 + z \cdot PW \cdot (i - IV)$
$y = CH + z \cdot PW \cdot (j - JV)$
$z = KS / dp$
wobei CD ein Abstand (Basislänge) zwischen den Bilderfassungsvorrichtungen 110 ist, PW ein Blickwinkel pro Pixel ist, CH eine Höhe ist, in der die Bilderfassungsvorrichtungen 110 über der Straßenoberfläche installiert sind, IV und JV Koordinaten (Pixel) unendlicher Punkte rechts vor dem Fahrzeug 1 sind und KS ein Abstandskoeffizient ist (KS = CD / PW).
Anschließend teilt und extrahiert die Positionsinformationeinholeinheit 160 lediglich eine Fahrbahnlinie 202 auf einer Fahrbahn 200 in dem realen Raum durch Verwendung der konvertierten Positionsinformation und modifiziert einen Parameter eines Straßenmodells, das vorab in der Datenspeichereinheit 152 gespeichert ist, um sie der aktuellen Straßenform anzupassen, um die Straßenform zu erkennen.
Das Straßenmodell wird erhalten durch Teilen einer Fahrbahn, auf der das Subjektfahrzeug auf der Straße 200 fährt (bis zu einem Detektionsende) in eine Vielzahl von Zonen mit vorbestimmten Intervallen, wobei linke und rechte Fahrbahnlinien in jeder Zone durch dreidimensionale lineare Gleichungen approximiert werden und die Approximationsergebnisse radial verbunden werden. Die Positionsinformationeinholeinheit 160 bestimmt Parameter a und b von einer linearen Gleichung in der horizontalen Richtung und Parameter c und d einer linearen Gleichung in der vertikalen Richtung des Koordinatensystems in dem realen Raum mittels Verwendung des Straßenmodells und erhält eine lineare Gleichung in der horizontalen Richtung, wie sie durch die nachfolgende Gleichung 4 ausgedrückt ist, und eine lineare Gleichung in der vertikalen Richtung, wie sie durch die nachfolgende Gleichung 5 ausgedrückt ist. $x = a \cdot z + b$
$y = c \cdot z + d$
Die erste Repräsentativerabstandableiteeinheit 162 unterteilt zuerst die detektierte Region 122 in eine Vielzahl von ersten unterteilten Regionen bezüglich der horizontalen Richtung. Anschließend integriert die erste Repräsentativerabstandableiteeinheit 162 relative Abstände innerhalb vorbestimmter Abstände, in die jede der ersten unterteilten Regionen für Blöcke oberhalb der Straßenoberfläche senktioniert sind, um ein Histogramm zu erzeugen. Die erste Repräsentativerabstandableiteeinheit 162 leitet daraufhin einen ersten repräsentativen Abstand ab entsprechend einem Peak in der Abstandsverteilung, die aus der Integration resultiert. Der einem Peak entsprechende Abstand nimmt Bezug auf einen Peakwert oder einen Wert nahe einem Peakwert, der eine gegebene Bedingung erfüllt.
Die 5A und 5B sind beispielhafte Ansichten zum Erläutern der ersten unterteilten Regionen 210 und der ersten repräsentativen Abstände 214. Die ersten unterteilten Regionen 210 haben eine streifenförmige Form, wie in 5A gezeigt, als Ergebnis eines Unterteilens des Abstandsbildes 126, wie in 4 gezeigt, horizontal in eine Vielzahl von Regionen. Eine solche erste unterteilte Region 210 mit einer streifenförmigen Form weist zum Beispiel typischerweise in horizontaler Richtung vier Pixel auf, sodass sich eine Anordnung von 150 unterteilten Regionen 210 ergibt. Zur Erleichterung der Beschreibung wird in der vorliegenden Anmeldung die detektierte Region 122 zu gleichen Teilen in 20 Regionen unterteilt.
Anschließend nimmt die erste Repräsentativerabstandableiteeinheit 162 Bezug auf einen relativen Abstand für jeden Block und erzeugt ein Histogramm (dargestellt durch horizontal verlaufende lange Rechtecke (Balken) in 5B) in jeder der ersten unterteilten Regionen 210. Als Ergebnis wird eine Abstandsverteilung 212 erhalten, wie in 5B gezeigt. Die vertikale Richtung zeigt die relativen Abstände zu dem Fahrzeug 1 und die seitliche Richtung zeigt die Anzahl von relativen Abständen, die in den sektionierten vorbestimmten Abständen enthalten sind. Es ist zu beachten, dass 5B ein virtuelles Bild für eine Berechnung zeigt und dass ein sichtbares Bild nicht tatsächlich erzeugt wird. Die erste Repräsentativerabstandableiteeinheit 162 nimmt dann Bezug auf die Abstandsverteilung 212, die so abgeleitet wurde, und spezifiziert einen ersten repräsentativen Abstand 214 (gezeigt als ein schwarzes Rechteck in 5B), der ein relativer Abstand ist, der einem Peak entspricht.
Die erste Unterteilteregiongruppeerzeugungseinheit 164 vergleicht sequenziell die ersten repräsentativen Abstände 214 von nebeneinanderliegenden ersten unterteilten Regionen 210 und gruppiert erste unterteilte Regionen 210, die nah aneinanderliegende erste repräsentative Abstände 214 aufweisen (zum Beispiel innerhalb eines Meters), um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen. In diesem Fall, wenn drei oder mehr erste unterteilte Regionen 210 nah aneinanderliegende erste repräsentative Abstände 214 aufweisen, werden alle derartigen zusammenhängenden ersten unterteilten Regionen 210 als eine erste Unterteilteregiongruppe gruppiert.
6 ist eine beispielhafte Darstellung zum Erläutern der ersten Unterteilteregiongruppen 222. Die erste Unterteilteregiongruppeerzeugungseinheit 164 vergleicht die ersten unterteilten Regionen 210 und gruppiert die ersten repräsentativen Abstände 214, wie in 6 gezeigt (virtuelle Gruppen als Ergebnis eines Gruppierens sind mit einem Bezugszeichen 220 bezeichnet). Als ein Ergebnis des Gruppierens kann die erste Unterteilteregiongruppeerzeugungseinheit 164 ein dreidimensionales Objekt oberhalb der Straßenoberfläche identifizieren. Die erste Unterteilteregiongruppeerzeugungseinheit 164 kann auch erkennen, was das dreidimensionale Objekt ist, zum Beispiel ein Heckbereich oder ein Seitenteil eines vorausfahrenden Fahrzeugs, ein Aufbau längs der Straße wie beispielsweise eine Leitplanke, oder dergleichen, basierend auf dem Übergang der relativen Abstände in der horizontalen Richtung und der vertikalen Richtung innerhalb der gruppierten dreidimensionalen Objekte.
Zum Beispiel ist der relative Abstand des Lastkraftwagens, der in der Mitte des aufgenommenen Bildes 124 gemäß 2A positioniert ist, durch den zuvor beschriebenen Gruppierungsprozess auch identifiziert als ein integrales dreidimensionales Objekt als eine schraffierte Gruppe 220a in 6. Es können jedoch unterschiedliche relative Abstände in der streifenförmigen ersten unterteilten Region 210 detektiert werden, wie beispielsweise diejenige eines Führerhausteils oder einer Rückseite einer Ladefläche des Lastkraftwagens oder dergleichen.
In diesem Fall ist es kein Problem, wenn die Rückseite der Ladefläche, die den kürzesten relativen Abstand hat, als der relative Abstand des Lastkraftwagens bestimmt wird. Wenn jedoch die von dem Führerhausteil abgedeckte Fläche groß ist oder wenn die Gesamtanzahl der Blocks, für die die Parallaxe detektiert wird, groß ist, kann der Peak der Abstandsverteilung in einem gegebenen ersten unterteilen Bereich 210 als der relative Abstand des Führerhausteiles determiniert werden oder es kann eine Gruppierung durchgeführt werden für das Führerhausteil und eine Gruppe 220b, die durch eine gestrichelte Linie dargestellt ist, kann gebildet werden. In diesem Fall kann ein weiterer unterschiedlicher relativer Abstand erkannt werden, wenn die Ladefläche des Lastkraftwagens beladen ist.
In der vorliegenden Ausführungsform ordnet die erste Unterteilteregiongruppeerzeugungseinheit 164 die ersten unterteilten Regionen 210, einschließlich der gruppierten ersten repräsentativen Abstände, einander zu, um die erste Unterteilteregiongruppe 222 zu bilden, und leitet diese weiter zu einer Weiterverarbeitung, die im Folgenden beschrieben wird.
Die zweite Unterteilteregiongruppeerzeugungseinheit 166 unterteilt die erste Unterteilteregiongruppe 222 bezüglich der vertikalen Richtung in eine Vielzahl von zweiten unterteilten Regionen und gruppiert zweite unterteilte Regionen mit relativen Abständen, die nahe dem ersten repräsentativen Abstand 214 sind, um eine zweite Unterteilteregiongruppe zu erzeugen.
Die 7A und 7B sind beispielhafte Ansichten zum Erläutern der zweiten unterteilten Regionen 230 und der zweiten Unterteilteregiongruppe 234. Das in 2B gezeigte Abstandsbild 126 wird hierbei wiederum verwendet. Die zweite Unterteilteregiongruppeerzeugungseinheit 166 unterteilt jede der ersten Unterteilteregiongruppen 222, die von der ersten Unterteilteregiongruppeerzeugungseinheit 164 erzeugt wurden, in eine Vielzahl von zweiten unterteilten Regionen 230 bezüglich der vertikalen Richtung. Die Beschreibung erfolgt hierbei jedoch zum Zwecke des leichteren Verständnisses fokussiert auf eine erste Unterteilteregiongruppe 222, in der der Lastkraftwagen enthalten ist, der in der Mitte der detektierten Region 122 positioniert ist.
Die Vielzahl von zweiten unterteilten Regionen 230, die sich durch das Unterteilen der ersten Unterteilteregiongruppe 222 in der vertikalen Richtung ergeben, weisen eine streifenförmige Form auf, die sich in horizontaler Richtung erstreckt, wie in 7A gezeigt. Eine derartige zweite unterteilte Region 230 mit einer streifenförmigen Form kann zum Beispiel typischerweise in vertikaler Richtung vier Pixel aufweisen, sodass sich 50 Regionen ergeben. Zum Zwecke der leichteren Beschreibung wird hierin die detektierte Region 122 zu gleichen Teilen in 20 Regionen unterteilt.
Anschließend nimmt die zweite Unterteilteregiongruppeerzeugungseinheit 166 Bezug auf einen relativen Abstand für jeden Block und erzeugt ein Histogramm (gezeigt durch vertikale lange Rechtecke in 7B) in jeder der zweiten unterteilten Regionen 230. Als Ergebnis kann eine Abstandsverteilung 232 erhalten werden, wie in 7B gezeigt. Die seitliche Richtung zeigt die relativen Abstände zu dem Fahrzeug 1 und die vertikale Richtung zeigt die Anzahl von relativen Abständen, die in den sektionierten vorbestimmten Abständen enthalten sind. Es ist zu beachten, dass 7B ein virtuelles Bild zum Zwecke der Berechnung zeigt und dass ein sichtbares Bild nicht tatsächlich erzeugt wird.
Die zweite Unterteilteregiongruppeerzeugungseinheit 166 extrahiert, basierend auf dem ersten repräsentativen Abstand 214 (gezeigt durch eine abwechselnd lang und kurz gestrichelte Linie in 7B), alle zweiten unterteilen Regionen 230, die einen solchen relativen Abstand aufweisen, dass die Unterschiede zwischen dem ersten repräsentativen Abstand 214 und den relativen Abständen gleich oder kleiner sind als ein vorbestimmter Abstand, und gruppiert die extrahierten zweiten unterteilten Regionen 230 als eine zweite Unterteilteregiongruppe 234. Der oben beschriebene erste repräsentative Abstand 214 ist der erste repräsentative Abstand 214, auf dem basierend die erste Unterteilteregiongruppe 222 erhalten wird durch Gruppieren der ersten Unterteilteregiongruppeerzeugungseinheit 164.
Die 8A und 8B sind beispielhafte Ansichten zum Erläutern einer Funktionsweise der ersten Repräsentativerabstandableiteeinheit 162, nachdem die zweite Unterteilteregiongruppe 234 erzeugt ist. Die erste Repräsentativerabstandableiteeinheit 162 unterteilt das Abstandsbild 126 in der horizontalen Richtung in eine Vielzahl von Regionen, wie unter Bezug auf die 5A und 5B beschrieben, um streifenförmige erste unterteilte Regionen 210 zu erhalten, wie in 5A gezeigt. Die Beschreibung erfolgt zum Zwecke des leichteren Verständnisses mit Fokus auf die erste Unterteilteregiongruppe 222, in der der Lastkraftwagen enthalten ist, der in der Mitte der detektierten Region 122 positioniert ist, wie in 8A gezeigt.
Die erste Repräsentativerabstandableiteeinheit 162 nimmt Bezug auf einen relativen Abstand für jeden Block und erzeugt ein Histogramm in jeder der ersten unterteilten Regionen 210. In der vorliegenden Ausführungsform wird, nachdem die zweite Unterteilteregiongruppe 234 von der zweiten Unterteilteregiongruppeerzeugungseinheit 166 erzeugt ist, ein Zielbereich zum Ableiten des ersten repräsentativen Abstandes in der ersten Unterteilteregiongruppe 222, in der die zweite Unterteilteregiongruppe 234 erzeugt ist, begrenzt auf einen vertikalen Bereich, der der spezifizierten zweiten Unterteilteregiongruppe 234 entspricht.
Dementsprechend nimmt die erste Repräsentativerabstandableiteeinheit 162 nur den vertikalen Bereich in der ersten Unterteilteregiongruppe 222 als den Zielbereich an und erhält die Abstandsverteilung 212, wie in 8B gezeigt. Da der Zielbereich auf den vertikalen Bereich begrenzt ist, der der zweiten Unterteilteregiongruppe 234 entspricht, um die Abstandsverteilung 212 zu erzeugen, erscheinen die relativen Abstände, die anderen Teilen als der Rückseite der Ladefläche entsprechen, beispielsweise dem Führerhausteil, das in 5B erscheint, in diesem Fall nicht (wie durch eine gestrichelte Linie in 8B gezeigt). Wie zuvor beschrieben, kann die erste Repräsentativerabstandableiteeinheit 162 nur den relativen Abstand extrahieren, der der Rückseite der Ladefläche entspricht.
Die erste Repräsentativerabstandableiteeinheit 162 nimmt dann Bezug auf die Abstandsverteilung 212, die somit abgeleitet wurde in einem Zustand, in dem der Zielbereich auf den vertikalen Bereich beschränkt ist, und spezifiziert einen ersten repräsentativen Abstand 214 (gezeigt durch ein schwarzes Rechteck in 8B), der ein relativer Abstand ist, der einem Peak entspricht. Dementsprechend kann die erste Repräsentativerabstandableiteeinheit 162 zuverlässig nur den relativen Abstand des hinteren Endes des vorausfahrenden Fahrzeugs, das überwacht wird, erkennen, das heißt die Rückseite der Ladefläche des Lastkraftwagens als den ersten repräsentativen Abstand in dem nachfolgenden Prozess. Die erste Unterteilteregiongruppeerzeugungseinheit 164 kann zudem die relativen Abstände gruppieren und in geeigneter Weise die erste Unterteilteregiongruppe 222 erzeugen.
Obwohl die erste Unterteilteregiongruppe 222, in der der Lastkraftwagen enthalten ist, der in der Mitte der detektierten Region 122 positioniert ist, hinsichtlich der obigen Beschreibung in den Mittelpunkt gestellt ist, versteht es sich, dass eine erste Unterteilteregiongruppe 222, in der ein anderes dreidimensionales Objekt erkannt wird, in gleicher Weise bearbeitet werden kann. In diesem Fall begrenzt die erste Repräsentativerabstandableiteeinheit 162 einen Zielbereich jeder ersten Unterteilteregiongruppe 222, in der eine zweite Unterteilteregiongruppe 234 erzeugt wird, unabhängig auf einen vertikalen Bereich hiervon und leitet einen ersten repräsentativen Abstand 214 hiervon ab. Genauer gesagt, ein vertikaler Bereich wird unabhängig für jede erste Unterteilteregiongruppe 222 bereitgestellt und ein erster repräsentativer Abstand 214 wird unabhängig von jedem vertikalen Bereich ermittelt.
(Fahrzeugumfeldüberwachungsverfahren)
Spezielle Arbeitsweisen der Fahrzeugumfeldüberwachungsvorrichtung 130 werden nachfolgend unter Bezug auf die Flussdiagramme gemäß den 9 bis 12 beschrieben. 9 zeigt einen Gesamtablauf eines Interruptprozesses, wenn Parallaxeinformation von der Bildverarbeitungsvorrichtung 120 gesendet wird, und die 10 bis 12 zeigen individuelle subroutines (Unterprogramme) in dem Interruptprozess.
Wie in 9 gezeigt, wenn ein Interrupt gemäß dem Fahrzeugumfeldüberwachungsverfahren getriggert wird durch Empfangen eines Abstandsbildes 126, wird ein erster repräsentativer Abstand 214 abgeleitet für jede erste unterteilte Region 210, basierend auf Parallaxeinformation für jeden Block in einer detektierten Region 122, abgeleitet durch die Bildverarbeitungsvorrichtung 120 (S300). Als nächstes wird eine erste Unterteilteregiongruppe 222, resultierend von einem Gruppieren in horizontaler Richtung in Einheiten eines dreidimensionalen Objektes erzeugt (S302). Dann werden relative Abstände für zweite unterteilte Regionen 230 in der vertikalen Richtung innerhalb der ersten Unterteilteregiongruppe 222 weiter bestimmt und eine zweite Unterteilteregiongruppe 234 wird erzeugt (S304). Die so erzeugte zweite Unterteilteregiongruppe 234 wird als ein vertikaler Bereich benutzt zum Begrenzen eines Zielbereichs zum Ableiten eines ersten repräsentativen Abstands 214 in der Erzeugung einer nächsten ersten Unterteilteregiongruppe 222.
(Erster Repräsentativerabstandableiteprozess S300)
Bezugnehmend auf 10 liest die Positionsinformationeinholeinheit 160 einen Straßenformparameter (S350) und unterteilt die detektierte Region 122 in beispielsweise 150 erste unterteilte Regionen 210 in Einheiten von vier Pixeln bezüglich der horizontalen Richtung (S352). Als nächstes extrahiert die Positionsinformationeinholeinheit 160 eine erste unterteilte Region 210 von den 150 ersten unterteilten Regionen 210 erhalten durch beispielsweise sequenzielle Aufteilung von links in horizontaler Richtung, und setzt alle Positionsinformationen, die in der extrahierten ersten unterteilten Region 210 vorhanden sind (S354).
Daraufhin wird bestimmt, ob ein vertikaler Bereich in einem vorhergehenden Interruptprozess gesetzt beziehungsweise ausgewählt ist (S356). Wenn ein vertikaler Bereich nicht gesetzt ist (NEIN in S356), geht der Prozess weiter zu dem nächsten Positionsinformationextraktionsprozess S360. Andererseits, wenn ein vertikaler Bereich gesetzt ist (JA in S356), extrahiert die Positionsinformationeinholeinheit 160 lediglich Positionsinformationen, die in dem gesetzten vertikalen Bereich vorhanden sind, von der Positionsinformation in der ersten unterteilten Region 210 und aktualisiert die Positionsinformation, die in dem Positionsinformationsetzprozess S354 gesetzt wurde, hiermit (S358).
Die Positionsinformationeinholeinheit 160 extrahiert sequenziell eine Positionsinformation von einer Vielzahl von gesetzten Positionsinformationen (S360) und transformiert Koordinaten eines Blocks (i, j, dp) in dem Abstandsbild 126 zu Koordinaten eines Punktes (x, y, z) in dem realen Raum unter Verwendung der Gleichungen 1 bis 3 (S362). Daraufhin berechnet die Positionsinformationeinholeinheit 160 eine Höhe yr der Straßenoberfläche an der Koordinate z des Punktes in dem realen Raum (S364) unter Verwendung der Gleichungen 4 und 5 und sieht einen Block, in dem die Koordinate y des Punkts in dem realen Raum höher ist als die Höhe yr der Straßenoberfläche, als einen realen Abstand z effektiv als ein dreidimensionales Objekt an (S366). Die erste Repräsentativerabstandableiteeinheit 162 integriert (wählt) den relativen Abstand in ein Histogramm, das in vorbestimmten Abstandsintervallen sektioniert ist (S368). Selbst wenn die Koordinate y des Punkts in dem realen Raum höher ist als die Höhe yr der Straßenoberfläche, wird ein Block mit einer Höhe von 0,1 m oder niedriger von der Straßenoberfläche als eine weiße Linie, Schmutz, ein Schatten oder dergleichen angesehen und als ein zu verarbeitendes Objekt ausgeschlossen. Zudem wird ein Block, der über der Höhe des Subjektfahrzeugs 1 ist, als ein Fußgängerüberweg, ein Straßenschild oder dergleichen angesehen und ebenfalls als zu verarbeitendes Subjekt ausgeschlossen.
Die Positionsinformationeinholeinheit 160 bestimmt, ob eine Integration zu dem Histogramm für alle von der Vielzahl von gesetzten Positionsinformationen ausgeführt wird oder nicht (S370). Wenn die Integration nicht für alle der Positionsinformationen vervollständigt ist (NEIN in S370), werden der Positionsinformationextraktionsprozess S360 und anschließende Prozesse wiederholt von der Positionsinformation, die nicht der Integration zu dem Histogramm unterzogen ist.
Die erste Repräsentativerabstandableiteeinheit 162 nimmt Bezug auf das so erzeugte Histogramm und bestimmt, dass ein dreidimensionales Objekt in der ersten unterteilten Region 210 vorhanden ist, wenn dort eine Zone gegeben ist, in der die Frequenz des Histogramms (die Anzahl von relativen Abständen) gleich oder größer ist als ein vorbestimmter Grenzwert (wird in geeigneter Art und Weise ausgewählt). Die erste Repräsentativerabstandableiteeinheit 162 definiert dann einen relativen Abstand, der einer Zone entspricht, in der die Frequenz des Histogramms gleich oder größer ist als der vorbestimmte Grenzwert, und den größten als einen ersten repräsentativen Abstand 214 (S372). Obwohl der Maximalwert des Histogramms hierin einfach als der erste repräsentative Abstand 214 definiert wird, kann der vorbestimmte Grenzwert so gesetzt werden, dass er variiert, abhängig von dem relativen Abstand, sodass ein Block mit einem kürzeren relativen Abstand in bevorzugter Weise als der erste repräsentative Abstand 214 extrahiert wird.
Die erste Repräsentativerabstandableiteeinheit 162 bestimmt daraufhin, ob die Ableitung des ersten repräsentativen Abstands 214 für alle von der Vielzahl von ersten unterteilten Regionen 210 durchgeführt ist (S374). Wenn nicht festgestellt wird, dass die Ableitung des ersten repräsentativen Abstands 214 für alle ersten unterteilten Regionen 210 abgeschlossen ist (NEIN in S374), werden der Positionsinformationsetzprozess S354 und nachfolgende Prozesse für eine neue erste unterteilte Region wiederholt. Andererseits, wenn die Ableitung des ersten repräsentativen Abstands 214 für alle ersten unterteilten Regionen 210 abgeschlossen ist (JA in S374), ist der erste Repräsentativerabstandableiteprozess S300 beendet.
Es ist zu beachten, dass die Positionsinformation, die von der Bildverarbeitungsvorrichtung 120 empfangen wird, fehlerhaft detektierte Positionsinformationen beinhalten kann. Solche Positionsinformationen resultieren jedoch nicht in einer großen Frequenz in dem Histogramm. Es wird hierin bestimmt, dass ein dreidimensionales Objekt nur dann präsent ist, wenn die Frequenz gleich oder größer ist als ein vorbestimmter Grenzwert, und die Auswirkung von irrtümlich detektierter Positionsinformation kann dementsprechend minimiert werden.
(Erster Unterteilteregiongruppeerzeugungsprozess S302)
Bezugnehmend auf 11 spezifiziert die erste Unterteilteregiongruppeerzeugungseinheit 164 eine erste unterteilte Region 210 von einer Vielzahl von ersten unterteilten Regionen 210 beispielsweise sequenziell von links in der horizontalen Richtung und spezifiziert zudem eine erste unterteilte Region 210 in horizontaler Richtung rechts neben dieser ersten unterteilten Region 210 (S400). Die erste Unterteilteregiongruppeerzeugungseinheit 164 bestimmt dann, ob ein erster repräsentativer Abstand 214 in jeder der spezifizierten ersten unterteilten Regionen 210 vorhanden ist oder nicht (S402). Wenn kein erster repräsentativer Abstand 214 in den beiden ersten unterteilten Regionen 210 vorhanden ist (NEIN in S402), werden der erste Unterteilteregionspezifizierungprozess S400 und anschließende Prozesse für die nächsten ersten unterteilten Regionen 210 wiederholt. Andererseits, wenn ein erster repräsentativer Abstand 214 in jeder der ersten unterteilten Regionen 210 vorhanden ist (JA in S402), werden die ersten repräsentativen Abstände 214 der beiden ersten unterteilten Regionen 210 verglichen (S404).
Wenn der Unterschied zwischen den ersten repräsentativen Abständen 214 gleich oder kleiner ist als ein vorbestimmter Grenzwert (ein Wert, bei dem die Abstände als das gleiche dreidimensionale Objekt angesehen werden), werden die ersten repräsentativen Abstände 214 als nahe angesehen und die erste Unterteilteregiongruppeerzeugungseinheit 164 gruppiert die ersten unterteilten Regionen 210. Die erste Unterteilteregiongruppeerzeugungseinheit 164 sendet daraufhin Informationen bezüglich des Gruppierens an die Fahrzeugumfeldsteuerungsvorrichtung 140 und setzt die ersten unterteilten Regionen 210, die die gruppierten ersten repräsentativen Abstände 214 aufweisen, als eine erste Unterteilteregiongruppe 222 (S406). Wenn in diesem Prozess eine der ersten unterteilten Regionen 210 bereits in einer ersten Unterteilteregiongruppe 222 gesetzt ist, wird die andere erste unterteilte Region 210 in die erste Unterteilteregiongruppe 222 integriert.
In dem Gruppieren wird ein positionales Verhältnis von einer Vielzahl von Gruppen weiter bestimmt. Wenn beispielsweise Positionen von Endpunkten nahe zueinander sind und Übergänge von relativen Abständen in der horizontalen Richtung und der vertikalen Richtung in dreidimensionalen Objekten im Wesentlichen gleich (durchgehend) sind unter den Gruppen von dreidimensionalen Objekten des gleichen Typs, werden die Gruppen bestimmt als eine selbe Oberfläche des selben dreidimensionalen Objekts repräsentierend und in eine Gruppe integriert. In diesem Prozess können die Übergänge der relativen Abstände in der horizontalen Richtung und der vertikalen Richtung in den dreidimensionalen Objekten durch Approximation gerader Linien definiert werden, erhalten durch die Houghtransformation oder das Verfahren kleinster Quadrate. In dem Fall eines vorausfahrenden Fahrzeugs kann eine Vielzahl von Gruppen in eine Gruppe integriert werden auch basierend auf der Tatsache, dass die relativen Bewegungsgeschwindigkeiten bezüglich der z-Koordinate gleich sind.
Die erste Unterteilteregiongruppeerzeugungseinheit 164 ermittelt daraufhin, ob die Erzeugung der ersten Unterteilteregiongruppe 222 für alle aus der Vielzahl von ersten unterteilten Regionen 210 durchgeführt ist oder nicht (S408). Wenn die Erzeugung der ersten Unterteilteregiongruppe 222 nicht für alle der ersten unterteilten Regionen 210 abgeschlossen ist (NEIN in S408), werden der Spezifizierungsprozess S400 und die nachfolgenden Prozesse für neue erste unterteilte Regionen 210 wiederholt. Andererseits, wenn die Erzeugung der ersten Unterteilteregiongruppe 222 für alle der ersten unterteilten Regionen 210 abgeschlossen ist (JA in S408), ist der erste Unterteilteregiongruppeerzeugungsprozess S302 beendet.
(Zweiter Unterteilteregiongruppeerzeugungsprozess S304)
Bezugnehmend auf 12 extrahiert die zweite Unterteilteregiongruppeerzeugungseinheit 166 eine erste Unterteilteregiongruppe 222 von einer Vielzahl von gesetzten ersten Unterteilteregiongruppen 222 beispielsweise sequenziell von links in horizontaler Richtung (S450). Als nächstes unterteilt die zweite Unterteilteregiongruppeerzeugungseinheit 166 die extrahierte erste Unterteilteregiongruppe 222 in 50 zweite unterteilte Regionen 230 beispielsweise in Einheiten von vertikal vier Pixeln bezüglich der vertikalen Richtung (S452). Die zweite Unterteilteregiongruppeerzeugungseinheit 166 extrahiert eine zweite unterteilte Region 230 aus den 50 zweiten unterteilten Regionen 230, die durch die Unterteilung erhalten wurde, beispielsweise sequenziell von unten in der vertikalen Richtung, und setzt alle in der extrahierten zweiten unterteilten Region 230 vorhandenen Positionsinformation (S454). Es ist zu beachten, dass, wenn in dem Vertikalerbereichbestimmungsprozess S356, der oben beschrieben wurde, ein vertikaler Bereich gesetzt ist, die zweite Unterteilteregiongruppeerzeugungseinheit 166 die Unterteilung in die zweiten unterteilten Regionen 230 nur für den vertikalen Bereich durchführt.
Die zweite Unterteilteregiongruppeerzeugungseinheit 166 extrahiert sequenziell eine Positionsinformation von einer Vielzahl von gesetzten Positionsinformationen (S456) und berechnet die Höhe yr über der Straßenoberfläche als die Koordinate z des Punktes in dem realen Raum für jeden Block unter Verwendung der Gleichungen 4 und 5 (S458). Die zweite Unterteilteregiongruppeerzeugungseinheit 166 sieht einen Block, wo die Koordinate y des Punktes in dem realen Raum höher ist als die Höhe yr der Straßenoberfläche, als einen relativen Abstand z als ein dreidimensionales Objekt an (S460) und integriert (wählt) den relativen Abstand in ein Histogramm, sektioniert in einem vorbestimmten Abstandsintervall (S462). Selbst wenn die Koordinate y des Punkts in dem realen Raum höher ist als die Höhe yr der Straßenoberfläche, wird ein Block mit einer Höhe von 0,1 m oder geringer von der Straßenoberfläche als eine Fahrspur, Schmutz, ein Schatten oder dergleichen angesehen und davon ausgeschlossen, ähnlich wie das im Zusammenhang mit 10 beschriebene Histogramm verarbeitet zu werden. Zudem wird ein Block, der über der Höhe des Subjektfahrzeugs 1 liegt, als ein Fußgängerüberweg, ein Straßenschild oder dergleichen angesehen, und von der weiteren Verarbeitung ebenfalls ausgeschlossen.
Die zweite Unterteilteregiongruppeerzeugungseinheit 166 stellt fest, ob die Integration zu dem Histogramm für alle aus der Vielzahl von gesetzten Positionsinformationen durchgeführt ist (S464). Wenn die Integration nicht für alle der Positionsinformationen abgeschlossen ist (NEIN in S464), werden der Extraktionsprozess S456 und die nachfolgenden Prozesse für Positionsinformationen wiederholt, deren Integration in ein Histogramm nicht abgeschlossen ist. Andererseits, wenn die Integration für alle der Positionsinformationen abgeschlossen ist (JA in S464), nimmt die zweite Unterteilteregiongruppeerzeugungseinheit 166 Bezug auf das erzeugte Histogramm und leitet eine Differenz von dem ersten repräsentativen Abstand 214 ab, basierend auf dem die erste Unterteilteregiongruppe 222 von der ersten Unterteilteregiongruppeerzeugungseinheit 164 durch Gruppieren erhalten wurde. Die zweite Unterteilteregiongruppeerzeugungseinheit 166 spezifiziert eine relative Abstandsgruppe mit dem Unterschied, der gleich oder kleiner ist als ein vorbestimmter Grenzwert (ein Wert, bei dem die Abstände als zu dem gleichen Teil des gleichen dreidimensionalen Objekts gehörig angesehen werden). Die zweite Unterteilteregiongruppeerzeugungseinheit 166 bestimmt daraufhin, ob ein vorbestimmter Anteil (zum Beispiel 50 %) der relativen Abstandsgruppe (entsprechend der Fläche des Histogramms) nahe dem ersten repräsentativen Abstand 214 mit Bezug auf die gesamte Anzahl von relativen Abständen in den zweiten unterteilten Regionen 230 enthalten ist. Wenn der vorbestimmte Anteil der relativen Abstandsgruppe enthalten ist, extrahiert die zweite Unterteilteregiongruppeerzeugungseinheit 166 einen zweiten repräsentativen Abstand entsprechend einem Peak in der relativen Abstandsgruppe als einen Gruppierungskandidaten (S466). Da lediglich eine relative Abstandsgruppe eines vorbestimmten Anteils oder größer als ein Gruppierungskandidat bestimmt wird, ist es möglich, zuverlässig ein dreidimensionales Objekt zu extrahieren, das einen gleichen Abstand hat wie der erste repräsentative Abstand.
Die zweite Unterteilteregiongruppeerzeugungseinheit 166 bestimmt daraufhin, ob die zweite Repräsentativerabstandextraktion für alle aus der Vielzahl von gesetzten zweiten unterteilten Regionen 230 durchgeführt wurde (S468). Wenn die Extraktion nicht für alle der zweiten unterteilten Regionen 230 abgeschlossen ist (NEIN in S468), werden der Positionsinformationsetzprozess S454 und nachfolgende Prozesse wiederholt. Andererseits, wenn die Extraktion für alle der zweiten unterteilten Regionen 230 abgeschlossen ist (JA in S468), wird ermittelt, ob der erste repräsentative Abstand 214, auf den basierend die erste Unterteilteregiongruppe 222 durch Gruppieren erhalten wurde, kleiner ist als ein vorbestimmter zweiter Grenzwert (S470). Wenn der erste repräsentative Abstand kleiner ist als der zweite Grenzwert (JA in S470), geht der Prozess weiter zu einem zweiten Unterteilteregiongruppeerzeugungsprozess S472.
Die zweite Unterteilteregiongruppeerzeugungseinheit 166 gruppiert die zweiten unterteilten Regionen 230, für die die zweiten repräsentativen Abstände in dem zweiten Repräsentativerabstandextraktionsprozess S466 extrahiert wurden, um eine zweite Unterteilteregiongruppe 234 zu erzeugen (S472). Die zweite Unterteilteregiongruppe 234 ist ein vertikaler Bereich zum Begrenzen des Zielbereichs, von dem der erste repräsentative Abstand 214 abgeleitet ist. Es können Fälle gegeben sein, in denen zweite unterteilte Regionen 230, für die zweite repräsentative Abstände nicht extrahiert sind, für einen vorbestimmten Grenzwert eingeschlossen sind (ein Wert, bei dem die Regionen so bestimmt werden können, dass sie nicht zu dem gleichen Teil des gleichen dreidimensionalen Objekts gehören) oder größer zwischen den zweiten unterteilten Regionen 230, für die die zweiten repräsentativen Abstände extrahiert sind. In diesem Fall gruppiert die zweite Unterteilteregiongruppeerzeugungseinheit 166 lediglich die zweiten unterteilten Regionen 230, für die die zweiten repräsentativen Abstände extrahiert sind, und die vertikal unter den zweiten unterteilten Regionen 230 liegen, für die zweite repräsentative Abstände nicht extrahiert sind. Dementsprechend kann eine zweite Unterteilteregiongruppe 234 nur erzeugt werden für ein dreidimensionales Objekt, das extrahiert werden soll.
In der vorliegenden Ausführungsform setzt die zweite Unterteilteregiongruppeerzeugungseinheit 166 den erzeugten vertikalen Bereich zurück auf einen Bereich, der größer ist um eine vorbestimmte Fläche nach oben und nach unten in vertikaler Richtung. Im Falle eines dreidimensionalen Objektes, wie einem vorausfahrenden Fahrzeug, kommt der vertikale Bereich näher zu dem Zentrum (unendlicher Punkt) der detektierten Region 122 und wird kleiner entsprechend dem relativen Abstand zu dem Subjektfahrzeug 1. Genauer gesagt, wenn zum Beispiel das zu überwachende Ziel ein vorausfahrendes Fahrzeug auf der gleichen Fahrspur ist wie das Subjektfahrzeug, findet dies statt, wenn der relative Abstand zum Subjektfahrzeug 1 länger ist. Es ist zu beachten, dass, wenn die nächste Position des dreidimensionalen Objektes strikt begrenzt ist, basierend auf der derzeitigen Position hiervon, die Möglichkeit besteht, dass die Änderung in der Position innerhalb der detektierten Region 122 des dreidimensionalen Objektes nicht reflektiert werden kann. Dementsprechend wird der vertikale Bereich zurückgesetzt auf einen Bereich, der in vertikaler Richtung verlängert ist, und als Ergebnis kann der veränderte Teil in geeigneter Weise extrahiert werden, selbst wenn der detektierte Bereich des dreidimensionalen Objektes sich geändert hat in Folge einer Änderung der positionalen Relation bezüglich des Subjektfahrzeugs 1. Ein vertikaler Bereich kann auch nach links und rechts in horizontaler Richtung verlängert werden.
Alternativ kann in der vorliegenden Ausführungsform die zweite Unterteilteregiongruppeerzeugungseinheit 166 den erzeugten vertikalen Bereich auf einen Bereich zurücksetzen, der zu dem unteren Ende der ersten Unterteilteregiongruppe 222 nach unten in der vertikalen Richtung ausgedehnt ist. Dementsprechend verläuft der vertikale Bereich von dem oberen Ende der zweiten Unterteilteregiongruppe 234 zu dem unteren Ende der ersten Unterteilteregiongruppe 222. Wie zuvor beschrieben, wird im Fall eines dreidimensionalen Objekts, wie etwa einem vorausfahrenden Fahrzeug, der vertikale Bereich näher zu der Mitte (unendlicher Punkt) der detektierten Region 122 und wird kleiner entsprechend dem relativen Abstand zu dem Subjektfahrzeug 1. Genauer gesagt, wenn zum Beispiel das zu überwachende Ziel ein vorausfahrendes Fahrzeug auf der gleichen Fahrspur ist wie das Subjektfahrzeug, so findet dies statt, wenn der relative Abstand zu dem Subjektfahrzeug 1 länger ist. In anderen Worten, ein dreidimensionales Objekt, das über dem derzeit erkannten vorausfahrenden Fahrzeug angeordnet ist, hat einen längeren relativen Abstand zu dem Subjektfahrzeug 1 als das vorausfahrende Fahrzeug, und ein dreidimensionales Objekt, das unter dem vorausfahrenden Fahrzeug angeordnet ist, hat einen kürzeren relativen Abstand als das vorausfahrende Fahrzeug. Da in der vorliegenden Ausführungsform ein dreidimensionales Objekt mit einem kurzen relativen Abstand zu extrahieren ist, ist es wünschenswert, ein dreidimensionales Objekt zu extrahieren, das einen kürzeren relativen Abstand hat als ein unmittelbar davor vorausfahrendes Fahrzeug, wie beispielsweise ein Fahrzeug, das sich zwischen dem Subjektfahrzeug 1 und dem vorausfahrenden Fahrzeug einschiebt, sowie das vorausfahrende Fahrzeug zu extrahieren, das sich unmittelbar davor befindet. Dementsprechend wird der vertikale Bereich zurückgesetzt auf einen Bereich, der sich zu dem unteren Ende der ersten Unterteilteregiongruppe 222 erstreckt, und als Ergebnis kann, selbst wenn ein dreidimensionales Objekt näher erscheint als ein überwachtes Ziel, das dreidimensionale Objekt in geeigneter Weise extrahiert werden.
Darüber hinaus speichert die zweite Unterteilteregiongruppeerzeugungseinheit 166 den repräsentativen Abstand 214, auf dem basierend die erste Unterteilteregiongruppe 222 von der ersten Unterteilteregiongruppeerzeugungseinheit 164 durch Gruppieren erhalten wird. Dann, wenn der gerade abgeleitete erste repräsentative Abstand von dem zuvor abgeleiteten ersten repräsentativen Abstand 214 um einen vorbestimmten Grenzwert oder mehr abweicht (ein Wert, bei dem das gleiche dreidimensionale Objekt sich zwischen Rahmen bewegen kann), wird das Setzen des vertikalen Bereichs gelöscht. Dies geschieht deshalb, weil der Unterschied des vorbestimmten Grenzwertes beziehungsweise eines größeren Wertes anzeigt, dass ein neues dreidimensionales Objekt zwischen das zuvor detektierte dreidimensionale Objekt und das Subjektfahrzeug 1 eingedrungen ist oder das zuvor detektierte dreidimensionale Objekt nicht mehr detektiert werden kann. Dementsprechend führt die erste Repräsentativerabstandableiteeinheit 162 den Prozess des Ableitens des ersten repräsentativen Abstands 214 für die gesamte erste Unterteilteregiongruppe 222 aus anstatt auf den vertikalen Bereich zu begrenzen.
Wenn der erste repräsentative Abstand gleich oder länger ist als der zweite Grenzwert (NEIN in S470), erzeugt die zweite Unterteilteregiongruppeerzeugungseinheit 166 nicht eine neue zweite Unterteilteregiongruppe 234 und behält die zuvor erzeugte zweite Unterteilteregiongruppe 234 als die aktuelle zweite Unterteilteregiongruppe 234 bei (aktualisiert die zweite Unterteilteregiongruppe 234 nicht). Dies erfolgt deshalb, da die Detektionsgenauigkeit für ein dreidimensionales Objekt, das sich in einer weit entfernten Position befindet, in Folge der Detektionsauflösung und der Luminanz, mit der Licht empfangen werden kann, geringer sein kann, und die Aufgabe der vorliegenden Ausführungsform unter Verwendung der vorhergehenden Werte eher erreicht werden kann als unter Verwendung solch einer relativen Distanz, die mit geringerer Genauigkeit erreicht werden.
Die zweite Unterteilteregiongruppeerzeugungseinheit 166 stellt fest, ob die Erzeugung der zweiten Unterteilteregiongruppe für alle aus der Vielzahl von gesetzten ersten Unterteilteregiongruppen 222 durchgeführt ist (S476). Wenn die Erzeugung der zweiten Unterteilteregiongruppe nicht für alle ersten Unterteilteregiongruppen abgeschlossen ist (NEIN in S476), werden der Extraktionsprozess S450 der ersten Unterteilteregiongruppe 222 und die nachfolgenden Prozesse wiederholt. Andererseits, wenn die Erzeugung für alle ersten Unterteilteregiongruppen 222 abgeschlossen ist (JA in S476), wird der zweite Unterteilteregiongruppeerzeugungsprozess S304 beendet.
Wie zuvor beschrieben, kann gemäß der Fahrzeugumfeldüberwachungsvorrichtung 130 gemäß der vorliegenden Ausführungsform ein dreidimensionales Objekt unmittelbar vor dem Subjektfahrzeug 1 korrekt erkannt werden selbst dann, wenn es eine Vielzahl von relativen Abständen gibt, die Peakkandidaten in der Abstandsverteilung sind, durch Ableiten des ersten repräsentativen Abstands 214 nur für den vertikalen Bereich.
Da der Zielbereich, für den der erste repräsentative Abstand 214 von der ersten Repräsentativerabstandableiteeinheit 162 abgeleitet ist, auf den vertikalen Bereich begrenzt ist anstatt auf die gesamte erste Unterteilteregiongruppe 222, kann zudem die Verarbeitungslast, das heißt die Rechenlast bei der Prozessbearbeitung, durch die Begrenzung reduziert werden. Mit der Reduktion der Verarbeitungslast kann zudem die Prozessrate des gesamten Fahrzeugumfeldüberwachungssystems 100 erhöht werden, die Reaktionsfähigkeit des gesamten Systems kann verbessert werden und eine hohe Sicherheit kann sichergestellt werden.
Da die erste Repräsentativerabstandableiteeinheit 162 die Zielregion auf eine vertikale Region limitiert unabhängig in jede erste Unterteilteregiongruppe 222, ist es zudem möglich, effizient und in geeigneter Art und Weise ein dreidimensionales Objekt, das sich unmittelbar vor dem Fahrzeug 1 befindet, zu erkennen, wobei die Verarbeitungslast reduziert wird.
Zudem kann die erste Repräsentativerabstandableiteeinheit 162 den ersten repräsentativen Abstand 214 erneut ableiten durch Begrenzen eines vertikalen Bereichs in demselben Rahmen, wobei jedoch der vertikale Bereich beim Ableiten des ersten repräsentativen Abstands 214 für den nächsten Rahmen reflektiert sein kann. Da Rahmen mit einer 1/60 Sekunde geschaltet werden, wird das Berechnungsergebnis durch die Reflektion des vertikalen Bereichs auf den nächsten Rahmen nur geringfügig beeinflusst. Da der Prozess des Ableitens des ersten repräsentativen Abstandes während eines Rahmens nur einmal erforderlich ist, kann die Reaktionsfähigkeit des gesamten Systems weiter verbessert werden.
(Zweites Ausführungsbeispiel)
In der ersten Ausführungsform wird die zweite Unterteilteregiongruppe 234 abgeleitet durch Gruppieren der zweiten unterteilten Regionen 230, die relative Abstände haben, die nahe dem ersten repräsentativen Abstand 214 sind, auf dem basierend die erste Unterteilteregiongruppe 222 von der ersten Unterteilteregiongruppeerzeugungseinheit 164 durch Gruppieren erhalten wird. Bei einer derartigen Konfiguration kann die Prozesslast in vorteilhafter Weise reduziert werden. Wenn jedoch der erste repräsentative Abstand 214 nicht ein gewünschter relativer Abstand ist, das heißt, wenn der erste repräsentative Abstand 214 nicht ein relativer Abstand eines dreidimensionalen Objektes ist, das sich unmittelbar vor dem Fahrzeug 1 befindet, kann es eine einige Rahmen entsprechende Zeit in Anspruch nehmen, bis ein geeigneter erster repräsentativer Abstand 214 abgeleitet wird.
Dementsprechend wird in der zweiten Ausführungsform eine Technologie beschrieben, die dazu in der Lage ist, in geeigneter Weise einen relativen Abstand eines dreidimensionalen Objektes, das sich unmittelbar vor dem Fahrzeug 1 befindet, als den ersten repräsentativen Abstand 214 abzuleiten, obwohl die Prozesslast ein wenig größer wird.
(Fahrzeugumfeldüberwachungsvorrichtung 530)
13 ist ein funktionales Blockschaubild, das allgemeine Funktionen einer Fahrzeugumfeldüberwachungsvorrichtung 530 gemäß der zweiten Ausführungsform zeigt. Wie in 13 gezeigt, weist die Fahrzeugumfeldüberwachungsvorrichtung 530 eine Interface (I/F) Einheit beziehungsweise Schnittstelleneinheit 150, eine Datenspeichereinheit 152 und eine zentrale Steuereinheit 154 auf. Die zentrale Steuereinheit 154 arbeitet beziehungsweise funktioniert auch als eine Positionsinformationeinholeinheit 160, eine erste Repräsentativerabstandableiteeinheit 162, eine erste Unterteilteregiongruppeerzeugungseinheit 164, eine zweite Repräsentativerabstandableiteeinheit 532 und eine zweite Unterteilteregiongruppeerzeugungseinheit 534. Da die Schnittstelleneinheit I/F 150, die Datenspeichereinheit 152, die zentrale Steuereinheit 154, die Positionsinformationeinholeinheit 160, die erste Repräsentativerabstandableiteeinheit 162 und die erste Unterteilteregiongruppeerzeugungseinheit 164 im Wesentlichen die gleichen Funktionen haben wie die im Zusammenhang mit dem ersten Ausführungsbeispiel bereits beschriebenen Komponenten, wird eine redundante Beschreibung weggelassen. Die zweite Repräsentativerabstandableiteeinheit 532 und die zweite Unterteilteregiongruppeerzeugungseinheit 534, die differierende Konfigurationen haben, werden hierin hauptsächlich beschrieben.
Die zweite Unterteilteregiongruppeerzeugungseinheit 532 unterteilt die erste Unterteilteregiongruppe 222, die von der ersten Unterteilteregiongruppeerzeugungseinheit 164 erzeugt wird, in eine Vielzahl von zweiten unterteilten Regionen 230 und leitet einen zweiten repräsentativen Abstand ab, entsprechend einem Peak in der Abstandsverteilung von jeder zweiten unterteilten Region 230, basierend auf der Positionsinformation.
Die zweite Unterteilteregiongruppeerzeugungseinheit 534 gruppiert die zweiten unterteilten Regionen 230 basierend auf dem zweiten repräsentativen Abstand, abgeleitet von der zweiten Repräsentativerabstandableiteeinheit 532, um eine zweite Unterteilteregiongruppe 234 zu bilden, die einen relativen Abstand hat, der der kürzeste ist und dessen Differenz von dem ersten repräsentativen Abstand 214 gleich oder kleiner ist als der erste Grenzwert.
Die 14A und 14B sind beispielhafte Ansichten zum Erläutern der zweiten unterteilten Regionen 230 und der zweiten Unterteilteregiongruppe 234. Die zweite Unterteilteregiongruppeerzeugungseinheit 534 unterteilt jede der ersten Unterteilteregiongruppen 222, die von der ersten Unterteilteregiongruppeerzeugungseinheit 164 erzeugt wurden, in eine Vielzahl von zweiten unterteilten Regionen 230 bezüglich der vertikalen Richtung. zum Zwecke des leichteren Verständnisses wird die Beschreibung hierbei jedoch auch erfolgen mit Fokus auf die erste unterteilte Region 222, in der der Lastkraftwagen enthalten ist, der in der Mitte der detektierten Region 122 positioniert ist.
Die zweite Unterteilteregiongruppeerzeugungseinheit 532 nimmt Bezug auf einen relativen Abstand für jeden Block und erzeugt ein Histogramm (gezeigt in 14B durch lange Rechtecke in vertikaler Richtung) in jeder der zweiten unterteilten Regionen 230. Als Ergebnis kann eine Abstandsverteilung 232 erhalten werden, wie in 14B gezeigt, ähnlich derjenigen gemäß 7B. Die Breitenrichtung zeigt die relativen Abstände zu dem Fahrzeug 1 und die vertikale Richtung zeigt die Anzahl von relativen Abständen, die in den sektionierten vorbestimmten Abständen enthalten sind. Die zweite Repräsentativerabstandableiteeinheit 532 nimmt daraufhin Bezug auf die so abgeleitete Abstandsverteilung 232 und spezifiziert einen zweiten repräsentativen Abstand 540 (gezeigt durch ein schwarzes Rechteck in 14B), der ein relativer Abstand ist, der einem Peak entspricht.
Die zweite Unterteilteregiongruppeerzeugungseinheit 534 vergleicht sequenziell die zweiten repräsentativen Abstände 540 von nebeneinanderliegenden zweiten unterteilten Regionen 230 und gruppiert zweite unterteilte Regionen 230, die naheliegende zweite repräsentative Abstände 540 haben (zum Beispiel innerhalb eines Meters), um einen oder mehrere zweite Unterteilteregiongruppekandidaten 542 zu bilden. In diesem Fall, wenn drei oder mehr zweite unterteilte Regionen 230 nahe zweite repräsentative Abstände 540 haben, werden alle derartigen kontinuierlichen zweiten unterteilten Regionen 230 als ein zweiter Unterteilteregiongruppekandidat 542 gruppiert. Anschließend extrahiert die zweite Unterteilteregiongruppeerzeugungseinheit 534 einen zweiten Unterteilteregiongruppekandidat 542 mit einem relativen Abstand, der der kürzeste ist und dessen Differenz von dem ersten repräsentativen Abstand 214 gleich ist oder kleiner als der erste Grenzwert, von den zweiten Unterteilteregiongruppekandidaten 542 als eine zweite Unterteilteregiongruppe 234. Der erste Grenzwert ist ein Wert, bei dem das dreidimensionale Objekt angesehen werden kann als identisch mit dem dreidimensionalen Objekt, das den ersten repräsentativen Abstand 214 hat.
Spezifische Prozesse der Fahrzeugumfeldüberwachungsvorrichtung 530 werden nachfolgend beschrieben. Da jedoch der Gesamtablauf (9), der erste Repräsentativerabstandableiteprozess S300 (10) und der erste Unterteilteregiongruppeerzeugungsprozess S302 (11) des Fahrzeugumfeldüberwachungsverfahrens im Wesentlichen die gleichen sind, wird eine detaillierte Beschreibung hiervon nicht wiederholt. Es ist zu beachten, dass der zweite Unterteilteregiongruppeerzeugungsprozess S304 unter Bezug auf das Flussdiagramm gemäß 15 beschrieben wird und dass Prozesse, die im Wesentlichen die gleichen sind wie diejenigen in 12, mit den gleichen Bezugszeichen bezeichnet sind und deren Beschreibung weggelassen wird.
(Zweiter Unterteilteregiongruppeerzeugungsprozess S304)
Bezugnehmend auf 15 wird die erste Unterteilteregiongruppe 222 extrahiert (S450) und ein Histogramm der zweiten unterteilten Regionen 230, erhalten durch Unterteilung in der vertikalen Richtung, wird erzeugt (S462). Die zweite Repräsentativerabstandableiteeinheit 532 nimmt Bezug auf das erzeugte Histogramm und bestimmt, dass ein relativer Abstand einer Zone entspricht, wenn die Frequenz des Histogramms (Anzahl der relativen Abstände) gleich oder größer ist als ein vorbestimmter Grenzwert (geeignet gewählt) und den größten als den zweiten relativen Abstand (S550). Obwohl hierin der maximale Wert des Histogramms einfach als der zweite repräsentative Abstand definiert wird, kann der vorbestimmte Grenzwert variierend gewählt werden, abhängig von dem relativen Abstand, sodass ein Block mit einem kürzeren relativen Abstand, das heißt ein Block, von dem angenommen wird, dass er näher liegt, bevorzugt als der zweite repräsentative Abstand extrahiert wird.
Wenn die zweiten repräsentativen Abstände 540 für alle der zweiten unterteilten Regionen 230 abgeleitet werden (JA in S468) und der erste repräsentative Abstand 214 dahingehend bestimmt wird, kleiner als der zweite Grenzwert zu sein (JA in S470), geht der Prozess weiter zu einem zweiten Unterteilteregionspezifizierungsprozess S552.
Die zweite Unterteilteregiongruppeerzeugungseinheit 534 spezifiziert eine der zweiten unterteilten Region 230 von einer Vielzahl von zweiten unterteilten Regionen 230 sequenziell, zum Beispiel von unten in der vertikalen Richtung, und spezifiziert zudem eine zweite unterteilte Region 230 angrenzend an die eine der zweiten unterteilten Region 230 an deren oberen Seite in der vertikalen Richtung (S552). Die zweite Unterteilteregiongruppeerzeugungseinheit 534 bestimmt dann, ob ein zweiter repräsentativer Abstand 540 in jeder der spezifizierten zweiten unterteilten Regionen 230 vorhanden ist oder nicht (S554). Wenn kein zweiter repräsentativer Abstand 540 in den beiden zweiten unterteilten Regionen 230 vorhanden ist (NEIN in S554), werden der zweite Unterteilteregionspezifizierungsprozess S552 und anschließende Prozesse für die nächsten zweiten unterteilten Regionen 230 wiederholt. Andererseits, wenn ein zweiter repräsentativer Abstand 540 in jeder der zweiten unterteilten Regionen 230 vorhanden ist (JA in S554), werden die zweiten repräsentativen Abstände 540 von den beiden zweiten unterteilten Regionen 230 verglichen (S556).
Wenn der Unterschied zwischen den zweiten repräsentativen Abständen 540 gleich oder kleiner ist als ein vorbestimmter Grenzwert (ein Wert, bei dem der Abstand dahingehend bestimmt wird, zu dem gleichen dreidimensionalen Objekt zu gehören), werden die zweiten repräsentativen Abstände 540 als nahe angesehen. Die zweite Unterteilteregiongruppeerzeugungseinheit 534 gruppiert die ersten unterteilten Regionen 210, die erste repräsentative Abstände haben zwischen denen die Differenz gleich oder kleiner ist als ein vorbestimmter Grenzwert, und setzt die zweiten unterteilten Regionen 230, die die gruppierten zweiten repräsentativen Abstände 540 haben, als den zweiten Unterteilteregiongruppekandidat 542 (S558). Wenn in diesem Prozess eine der zweiten unterteilten Regionen 230 bereits als ein zweiter Unterteilteregiongruppekandidat 542 gesetzt ist, wird die andere zweite unterteilte Region 230 in den zweiten Unterteilteregiongruppekandidat 542 integriert.
In der Gruppierung wird ein relatives positionales Verhältnis der Vielzahl von Gruppen weiter bestimmt. Wenn beispielsweise Positionen von Endpunkten nahe zueinander sind und Übergänge von relativen Abständen in der horizontalen Richtung und der vertikalen Richtung in dreidimensionalen Objekten im Wesentlichen gleich (kontinuierlich) sind unter Gruppen von dreidimensionalen Objekten des gleichen Typs, werden die Gruppen dahingehend bestimmt, eine gleiche Oberfläche des gleichen dreidimensionalen Objektes zu repräsentieren und in eine Gruppe integriert. In diesem Prozess können die Übergänge der relativen Abstände in der horizontalen Richtung und der vertikalen Richtung in den dreidimensionalen Objekten definiert werden durch Approximation gerader Linien, erhalten durch die Houghtransformation oder das Verfahren der kleinsten Quadrate. In dem Fall eines vorausfahrenden Fahrzeugs kann eine Vielzahl von Gruppen auch in eine Gruppe integriert werden basierend auf der Tatsache, dass die relative Bewegungsgeschwindigkeit bezüglich der z-Koordinate gleich ist.
Daraufhin bestimmt die zweite Unterteilteregiongruppeerzeugungseinheit 534, ob die Erzeugung der zweiten Unterteilteregiongruppekandidaten 542 für alle zweiten unterteilten Regionen 230 durchgeführt ist (S560). Wenn die Erzeugung des zweiten Unterteilteregiongruppekandidaten 542 nicht für alle der zweiten unterteilten Regionen 230 abgeschlossen ist (NEIN in S560), werden der Spezifizierungsprozess S552 und anschließende Prozesse für neue zweite unterteilte Regionen 230 wiederholt. Andererseits, wenn die Erzeugung für alle zweiten unterteilten Regionen 230 abgeschlossen ist (JA in S560), extrahiert die zweite Unterteilteregiongruppeerzeugungseinheit 534 einen zweiten Unterteilteregiongruppekandidaten 542 mit einem relativen Abstand, der der kürzeste ist und dessen Differenz von dem ersten repräsentativen Abstand 214 gleich oder kleiner ist als der erste Grenzwert, von den zweiten Unterteilteregiongruppekandidaten 542 als eine zweite Unterteilteregiongruppe 234 (S562).
Schließlich bestimmt die zweite Unterteilteregiongruppeerzeugungseinheit 534, ob die Erzeugung der zweiten Unterteilteregiongruppe für alle der gesetzten ersten Unterteilteregiongruppen 222 ausgeführt ist (S476). Wenn die Erzeugung für alle der ersten unterteilten Regionen 210 ausgeführt ist (JA in S476), ist der zweite Unterteilteregiongruppeerzeugungsprozess S304 beendet.
Wie vorstehend beschrieben, kann gemäß der Fahrzeugumfeldüberwachungsvorrichtung 530 ein dreidimensionales Objekt unmittelbar vor dem Subjektfahrzeug 1 selbst dann korrekt erkannt werden, wenn es eine Vielzahl von relativen Abständen gibt, die Peakkandidaten in der Abstandsverteilung sind, durch Ableiten des ersten repräsentativen Abstands 214 nur für den vertikalen Bereich. Darüber hinaus kann in dem zweiten Ausführungsbeispiel ein dreidimensionales Objekt mit größerer Richtigkeit erkannt werden, da ein unmittelbar vor dem Subjektfahrzeug 1 befindliches dreidimensionales Objekt immer bei der Erzeugung einer zweiten Unterteilteregiongruppe 234 spezifiziert wird. Es ist zudem festzustellen, dass die ähnlich dem ersten Ausführungsbeispiel ausgeführte Konfiguration die gleichen Funktionen und Effekte in der zweiten Ausführungsform erzeugen kann wie in der ersten Ausführungsform.
Es sind zudem Programme bereitgestellt, die bewirken, dass ein Computersystem die Funktionen der Fahrzeugumfeldüberwachungsvorrichtungen 130 und 530 ausführt und verwirklicht, und ein computerlesbares Speichermedium wie beispielsweise eine Diskette, eine magnetooptische Platte, ein ROM, eine CD, eine DVD und eine BD hat derartige Programme gespeichert. Es ist zu beachten, dass ein Programm sich auf eine Datenverarbeitungseinrichtung bezieht, beschrieben in einer bestimmten Sprache und einem bestimmten Schreibverfahren.
Obwohl einige bevorzugte Ausführungsformen der vorliegenden Erfindung unter Bezug auf die Zeichnungen beschrieben wurden, ist die vorliegende Erfindung selbstverständlich nicht auf diese Ausführungsformen beschränkt. Es versteht sich für den Fachmann, dass zahlreiche Variationen und Modifikationen möglich sind innerhalb des Schutzumfangs, wie durch die Patentansprüche gegeben ist, und dass diese Variationen und Modifikationen innerhalb des technischen Umfangs der vorliegenden Erfindung liegen.
Obwohl die Konfigurationen des ersten und zweiten Ausführungsbeispiels zuvor separat beschrieben wurden, können sie auch ausschließlich parallel ausgeführt werden. Eine zweite Unterteilteregiongruppe 234 kann beispielsweise normal erzeugt werden, basierend auf einem ersten repräsentativen Abstand 214, ein zweiter repräsentativer Abstand 540 kann regulär erhalten werden gemäß der zweiten Ausführungsform, und ein unmittelbar vor dem Fahrzeug 1 befindliches dreidimensionale Objekt kann spezifiziert werden, um die positionale Relation bezüglich des dreidimensionalen Objektes in der Vorwärts-/ Rückwärtsrichtung zu korrigieren.
Wie zuvor beschrieben, kann in dem Prozess des Erzeugens einer zweiten Unterteilteregiongruppe 234 gemäß der ersten Ausführungsform die Prozesslast reduziert werden durch Erzeugen der zweiten Unterteilteregiongruppe 234, basierend auf dem ersten repräsentativen Abstand 214, und in dem Prozess des Erzeugens einer zweiten Unterteilteregiongruppe 234 gemäß der zweiten Ausführungsform kann ein dreidimensionales Objekt, das sich unmittelbar vor dem Subjektfahrzeug 1 befindet, in geeigneter Weise abgeleitet werden. Dementsprechend wird der Prozess des Erzeugens einer zweiten Unterteilteregiongruppe 234, basierend auf der zweiten Ausführungsform, intermittierend durchgeführt, um so die positionale Relation zwischen dem Subjektfahrzeug 1 und einem unmittelbar davor befindlichen dreidimensionalen Objekt korrekt zu erkennen. Zudem wird der Prozess des Erzeugens einer zweiten Unterteilteregiongruppe 234, basierend auf dem ersten Ausführungsbeispiel, normalerweise durchgeführt basierend auf der positionalen Relation, die so erhalten wird, um ein vorbestimmtes dreidimensionales Objekt zu extrahieren. Auf diese Weise ist es möglich, die Genauigkeit der Detektion eines dreidimensionalen Objektes unmittelbar vor dem Fahrzeug zu erhöhen, während die Prozesslast reduziert wird.
Obwohl in den zuvor beschriebenen Ausführungsformen die dreidimensionale Position eines dreidimensionalen Objektes abgeleitet wird unter Verwendung einer Mehrzahl von Bilderfassungsvorrichtungen 110 und basierend auf einer Parallaxe zwischen Bilddaten, ist die Art und Weise, in der die Position abgleitet wird, nicht hierauf beschränkt. Es können beispielsweise verschiedene bekannte Abstandsmessvorrichtungen wie beispielsweise eine Laserradarabstandsmessvorrichtung verwendet werden. Eine Laserradarabstandsmessvorrichtung projiziert einen Laserstrahl auf eine detektierte Region 122, empfängt Licht, welches der von dem Objekt reflektierte Laserstrahl ist, und misst den Abstand zu dem Objekt basierend auf der hierfür benötigten Zeit.
Zudem wird in den zuvor beschriebenen Ausführungsformen ein Beispiel gegeben, in dem die Positionsinformationeinholeinheit 160 Parallaxeinformationen von der Bildverarbeitungsvorrichtung 120 empfängt und dreidimensionale Positionsinformationen erzeugt. Alternativ kann jedoch die Bildverarbeitungsvorrichtung 120 dreidimensionale Positionsinformationen im Voraus erzeugen und die Positionsinformationeinholeinheit 160 kann die erzeugte dreidimensionale Positionsinformation erhalten. Auf diese Weise ist es möglich, die Funktionen zu verteilen, um die Prozesslasten auf die Fahrzeugumfeldüberwachungsvorrichtungen 130 und 530 zu reduzieren.
Zudem sind die Positionsinformationeinholeinheit 160, die erste Repräsentativerabstandableiteeinheit 162, die erste Unterteilteregiongruppeerzeugungseinheit 164, die zweiten Unterteilteregiongruppeerzeugungseinheiten 166 und 534 und die zweite Repräsentativerabstandableiteeinheit 532 so konfiguriert, mittels Software durch die zentrale Steuereinheit 154 in den zuvor beschriebenen Ausführungsbeispielen zu arbeiten. Die zuvor genannten funktionalen Einheiten können jedoch auch als Hardware konfiguriert sein.
Des Weiteren verwendet die erste Repräsentativerabstandableiteeinheit 162 in den zuvor beschriebenen Ausführungsformen den Peakwert der Abstandsverteilung 212 der relativen Abstände in der ersten unterteilten Region 210 als den ersten repräsentativen Abstand 214. Da in der vorliegenden Ausführungsform jedoch der Zielbereich auf den vertikalen Bereich begrenzt werden kann, kann ein Durchschnittswert von relativen Abständen in dem vertikalen Bereich, ein Medianwert der relativen Abstände in dem vertikalen Bereich oder der kürzeste relative Abstand in dem vertikalen Bereich als der erste repräsentative Abstand benutzt werden. Da der erste repräsentative Abstand mit einer solchen Konfiguration leicht abgeleitet werden kann, kann die Prozesslast reduziert werden.
Es ist zu beachten, dass das Fahrzeugumfeldüberwachungsverfahren, das hierin beschrieben ist, nicht notwendigerweise in der zeitlichen Abfolge verarbeitet werden muss, die in dem Ablaufdiagramm beschrieben ist, und dass es parallel verarbeitet werden kann oder Prozesse in Hilfsprogrammen ausführen kann.
Die vorliegende Erfindung kann ausgeführt werden in einer Fahrzeugumfeldüberwachungsvorrichtung und einem Fahrzeugumfeldüberwachungsverfahren zum Überwachen der Zustände beziehungsweise Bedingungen im Fahrzeugumfeld, das heißt außerhalb des Fahrzeugs, basierend auf einer Abstandsverteilung von dreidimensionalen Objekten, die sich in Bezug auf das Subjektfahrzeug außerhalb des Subjektfahrzeugs befinden.
ZUSAMMENFASSUNG DER OFFENBARUNG
Eine Fahrzeugumfeldüberwachungsvorrichtung 130 erhält Positionsinformationen eines dreidimensionalen Objektes, das sich in einer detektierten Region 122 befindet, unterteilt die detektierte Region 122 in Bezug auf eine horizontale Richtung in eine Vielzahl von ersten unterteilten Regionen 210, leitet einen ersten repräsentativen Abstand 214 ab, entsprechend einem Peak in der Abstandsverteilung von jeder der ersten unterteilten Regionen, basierend auf der Positionsinformation, gruppiert die ersten unterteilten Regionen basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen 222 zu erzeugen, unterteilt die erste Unterteilteregiongruppe bezüglich einer vertikalen Richtung in eine Vielzahl von zweiten unterteilten Regionen 230, gruppiert zweite unterteilte Regionen mit relativen Abständen nahe dem ersten repräsentativen Abstand, um eine zweite Unterteilteregiongruppe 234 zu bilden, und begrenzt einen Zielbereich, für den der erste repräsentative Abstand abgeleitet wird, innerhalb der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich, der der zweiten Unterteilteregiongruppe entspricht.

Claims

Fahrzeugumfeldüberwachungsvorrichtung, umfassend: eine Positionsinformationeinholeinheit, die Positionsinformationen eines dreidimensionalen Objektes einholt, das in einer detektierten Region vorhanden ist, wobei die Positionsinformationen einen relativen Abstand zu einem Subjektfahrzeug beinhalten, eine erste Repräsentativerabstandableiteeinheit, die die detektierte Region bezüglich einer horizontalen Richtung in eine Vielzahl von ersten unterteilten Regionen unterteilt und einen ersten repräsentativen Abstand ableitet entsprechend einem Peak in der Abstandsverteilung jeder der ersten unterteilten Regionen, basierend auf der Positionsinformation, eine erste Unterteilteregiongruppeerzeugungseinheit, die die ersten unterteilten Regionen gruppiert, basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen, und eine zweite Unterteilteregiongruppeerzeugungseinheit, die die erste Unterteilteregiongruppe unterteilt bezüglich der vertikalen Richtung in eine Vielzahl von zweiten unterteilten Regionen und zweite Unterteilteregiongruppen, die einen relativen Abstand haben, der nahe dem ersten repräsentativen Abstand ist, gruppiert, um eine zweite Unterteilteregiongruppe zu erzeugen, wobei die erste Repräsentativerabstandableiteeinheit einen Zielbereich, für den der erste repräsentative Abstand innerhalb der ersten Unterteilteregiongruppe abgeleitet wird, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich begrenzt, der der zweiten Unterteilteregiongruppe entspricht.
Fahrzeugumfeldüberwachungsvorrichtung nach Anspruch 1, wobei die zweite Unterteilteregiongruppeerzeugungseinheit die zweiten Unterteilteregiongruppen gruppiert, wenn ein vorbestimmter Anteil der relativen Abstände nahe dem ersten repräsentativen Abstand bezüglich der gesamten Anzahl von relativen Abständen in der zweiten unterteilten Region enthalten ist.
Fahrzeugumfeldüberwachungsvorrichtung, umfassend: eine Positionsinformationeinholeinheit, die Positionsinformationen eines dreidimensionalen Objektes einholt, das in einer detektierten Region ist, wobei die Positionsinformationen einen relativen Abstand bezüglich eines Subjektfahrzeugs beinhalten, eine erste Repräsentativerabstandableiteeinheit, die die detektierte Region unterteilt bezüglich einer horizontalen Richtung in eine Vielzahl von ersten unterteilten Regionen und einen ersten repräsentativen Abstand ableitet entsprechend einem Peak in der Abstandsverteilung von jeder der ersten unterteilten Regionen, basierend auf den Positionsinformationen, eine erste Unterteilteregiongruppeerzeugungseinheit, die die ersten unterteilten Regionen gruppiert, basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen, eine zweite Repräsentativerabstandableiteeinheit, die die erste Unterteilteregiongruppe unterteilt bezüglich einer vertikalen Richtung in eine Vielzahl von zweiten unterteilten Regionen und einen zweiten repräsentativen Abstand ableitet entsprechend einem Peak in der Abstandsverteilung jeder der zweiten unterteilten Regionen, basierend auf den Positionsinformationen, und eine zweite Unterteilteregiongruppeerzeugungseinheit, die die zweiten Unterteilteregiongruppen gruppiert, basierend auf dem zweiten repräsentativen Abstand, um eine zweite Unterteilteregiongruppe zu erzeugen, die einen relativen Abstand hat, der der kürzeste ist und dessen Differenz von dem ersten repräsentativen Abstand gleich oder kleiner ist als ein erster Grenzwert, wobei die erste Repräsentativerabstandableiteeinheit einen Zielbereich, für den der erste repräsentative Abstand abgeleitet wird innerhalb der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich begrenzt, der der zweiten Unterteilteregiongruppe entspricht.
Fahrzeugumfeldüberwachungsvorrichtung, umfassend: eine Positionsinformationeinholeinheit, dahingehend konfiguriert, Positionsinformationen eines dreidimensionalen Objektes einzuholen, das sich in einer detektierten Region befindet, wobei die Positionsinformationen einen relativen Abstand bezüglich eines Subjektfahrzeugs beinhalten, eine erste Repräsentativerabstandableiteeinheit, dahingehend konfiguriert, die detektierte Region bezüglich einer horizontalen Richtung in eine Vielzahl von ersten unterteilten Regionen zu unterteilen und einen ersten repräsentativen Abstand abzuleiten entsprechend einem Peak in der Abstandsverteilung jeder der ersten unterteilten Regionen, basierend auf den Positionsinformationen, eine erste Unterteilteregiongruppeerzeugungseinheit, dahingehend konfiguriert, die ersten unterteilten Regionen zu gruppieren, basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen, und eine zweite Unterteilteregiongruppeerzeugungseinheit, dahingehend konfiguriert, die erste Unterteilteregiongruppe bezüglich der vertikalen Richtung zu unterteilen in eine Vielzahl von zweiten unterteilten Regionen und exklusiv auszuführen einen Prozess des Gruppierens zweiter Unterteilteregiongruppen, die einen relativen Abstand haben nahe dem ersten repräsentativen Abstand, um eine zweite Unterteilteregiongruppe zu erzeugen, und einen Prozess des Gruppierens der zweiten unterteilten Regionen, basierend auf einem zweiten repräsentativen Abstand entsprechend einem Peak in der Abstandsverteilung von jeder der zweiten unterteilten Regionen, um eine zweite Unterteilteregiongruppe zu erzeugen, die solch einen relativen Abstand hat, der der kürzeste ist und bei dem ein Unterschied zwischen dem ersten repräsentativen Abstand und dem relativen Abstand gleich oder kleiner ist als ein erster Grenzwert, wobei die erste Repräsentativerabstandableiteeinheit einen Zielbereich, für den der erste repräsentative Abstand abgeleitet wird innerhalb der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt ist, auf einen vertikalen Bereich begrenzt, der der zweiten Unterteilteregiongruppe entspricht.
Fahrzeugumfeldüberwachungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die erste Repräsentativerabstandableiteeinheit den Zielbereich auf den entsprechenden vertikalen Bereich begrenzt, unabhängig für jede der ersten Unterteilteregiongruppen, in der die zweite Unterteilteregiongruppe erzeugt ist.
Fahrzeugumfeldüberwachungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die erste Repräsentativerabstandableiteeinheit einen Durchschnittswert der relativen Abstände innerhalb des vertikalen Bereichs, einen Medianwert der relativen Abstände innerhalb des vertikalen Bereichs oder einen kürzesten relativen Abstand innerhalb des vertikalen Bereichs als den ersten repräsentativen Abstand verwendet.
Fahrzeugumfeldüberwachungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die zweite Unterteilteregiongruppeerzeugungseinheit den vertikalen Bereich auf einen Bereich setzt, der um eine vorbestimmte Fläche vergrößert ist.
Fahrzeugumfeldüberwachungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die zweite Unterteilteregiongruppeerzeugungseinheit den vertikalen Bereich auf einen Bereich setzt, der zu dem unteren Ende der ersten Unterteilteregiongruppe verlängert ist.
Fahrzeugumfeldüberwachungsvorrichtung nach einem der Ansprüche 1 bis 8, wobei die zweite Unterteilteregiongruppeerzeugungseinheit den vertikalen Bereich nicht aktualisiert, wenn der erste repräsentative Abstand gleich oder größer ist als ein zweiter Grenzwert.
Fahrzeugumfeldüberwachungsverfahren, umfassend: Einholen von Positionsinformationen eines dreidimensionalen Objektes, das sich in einer detektierten Region befindet, wobei die Positionsinformationen einen relativen Abstand bezüglich eines Subjektfahrzeugs beinhalten; Unterteilen der detektierten Region bezüglich einer horizontalen Richtung in eine Vielzahl von ersten unterteilten Regionen; Ableiten eines ersten repräsentativen Abstandes entsprechend einem Peak in der Abstandsverteilung von jeder der ersten unterteilten Regionen, basierend auf den Positionsinformationen; Gruppieren der ersten unterteilten Regionen basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen; Unterteilen der ersten Unterteilteregiongruppe bezüglich der vertikalen Richtung in eine Vielzahl von zweiten unterteilten Regionen und Gruppieren der zweiten unterteilten Regionen mit relativen Abständen, die nahe dem ersten repräsentativen Abstand sind, um eine zweite Unterteilteregiongruppe zu erzeugen; und Begrenzen einer Zielregion, für die der erste repräsentative Abstand abgeleitet wird, innerhalb der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich, der der zweiten Unterteilteregiongruppe entspricht.
Fahrzeugumfeldüberwachungsverfahren, umfassend: Einholen von Positionsinformation eines dreidimensionalen Objekts, das sich in einer detektierten Region befindet, wobei die Positionsinformation einen relativen Abstand bezüglich eines Subjektfahrzeugs beinhaltet; Aufteilen der detektierten Region bezüglich einer horizontalen Richtung in eine Vielzahl von ersten unterteilten Regionen; Ableiten eines ersten repräsentativen Abstandes entsprechend einem Peak in der Abstandsverteilung von jeder der ersten unterteilten Regionen, basierend auf den Positionsinformationen; Gruppieren der ersten unterteilten Regionen basierend auf dem ersten repräsentativen Abstand, um eine oder mehrere erste Unterteilteregiongruppen zu erzeugen; Aufteilen der ersten Unterteilteregiongruppe bezüglich einer vertikalen Richtung in eine Vielzahl von zweiten unterteilten Regionen und Ableiten eines zweiten repräsentativen Abstands entsprechend einem Peak in der Abstandsverteilung von jeder der zweiten unterteilten Regionen, basierend auf den Positionsinformationen; Gruppieren der zweiten unterteilten Regionen basierend auf dem zweiten repräsentativen Abstand, um eine zweite Unterteilteregiongruppe zu erzeugen, die einen relativen Abstand hat, der der kürzeste ist und dessen Differenz von dem ersten repräsentativen Abstand gleich oder kleiner ist als ein erster Grenzwert; und Begrenzen einer Zielregion, für die der erste repräsentative Abstand abgeleitet wird, innerhalb der ersten Unterteilteregiongruppe, in der die zweite Unterteilteregiongruppe erzeugt wird, auf einen vertikalen Bereich entsprechend der zweiten Unterteilteregiongruppe.