DE112020004301T5

DE112020004301T5 - Objekterkennungsvorrichtung

Info

Publication number: DE112020004301T5
Application number: DE112020004301.0T
Authority: DE
Inventors: Takeshi Endo; Haruki Matono; Takeshi Nagasaki
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-10-08
Filing date: 2020-09-08
Publication date: 2022-08-25
Also published as: JP7225074B2; JP2021060844A; WO2021070537A1; US20220366700A1

Abstract

Es wird eine Objekterkennungsvorrichtung geschaffen, die zum genauen Schätzen eines Abstands von einem eigenen Fahrzeug zu einem Objekt wie z. B. einem Fußgänger fähig ist. Es sind vorgesehen: eine Teilspezifizierungseinheit 104, die einen spezifischen Teilbereich durch Analysieren eines Bildes eines Bereichs, der dem durch eine Objektdetektionseinheit 103 für überlappende Bereiche detektierten Objekt entspricht, bestimmt; eine Bildinformationsspeichereinheit 105, die Bildinformationen über den durch die Teilspezifizierungseinheit 104 bestimmten Teilbereich speichert; eine Erfassungseinheit 106 für dreidimensionale Informationen, die dreidimensionale Informationen über den durch die Teilspezifikationseinheit 104 spezifizierten Teilbereich auf der Basis der durch eine Abstandsinformationserfassungseinheit 102 erfassten Abstandsinformationen erfasst; eine Objektdetektionseinheit 107 für nicht. überlappende Bereiche, die den durch die Teilspezifikationseinheit 104 spezifizierten Teilbereich unter Bezugnahme auf die in der Bildinformationsspeichereinheit 105 für den nicht überlappenden Bereich gespeicherten Bildinformationen detektiert; und eine Abstandsberechnungseinheit 108, die einen Abstand zu einem Objekt, das den Teilbereich enthält, basierend auf den Detektionsbereichsinformationen auf einem Bild des Teilbereichs, die durch die Objektdetektionseinheit 107 für nicht überlappende Bereiche detektiert werden, und auf den dreidimensionalen Informationen, - die durch die Erfassungseinheit 106 für dreidimensionale Informationen erfasst werden, berechnet.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Objekterkennungsvorrichtung.
Stand der Technik
Um das automatische Fahren zu realisieren und Verkehrsunfälle zu vermeiden, besteht ein großes Interesse an einer automatischen Bremsfunktion, die einen Fußgänger erkennt und eine Bremssteuerung ausführt. Bei der automatischen Bremsfunktion ist es notwendig, den Abstand von dem eigenen Fahrzeug zu dem Fußgänger genau zu berechnen. Als ein Verfahren zur Berechnung des Abstands zu dem Fußgänger offenbart PTL 1 ein Verfahren zur Berechnung des Abstands aus der Position auf dem Boden des Fußgängers auf dem Bild und den Informationen über die Anbringungsposition der Bildaufnahmemittel an dem Fahrzeug.
Entgegenhaltungsliste
Patentliteratur
PTL 1: JP 2011-65338 A
Zusammenfassung der Erfindung
Technische Aufgabe
Bei dem in PTL 1 beschriebenen Verfahren ist es notwendig, die Bodenposition zwischen der Straßenoberfläche und dem Fuß zu schätzen. Jedoch ist es in einem Fall, in dem die Farben der Straßenoberfläche und der Hose des Fußgängers einander ähnlich sind, schwierig, eine Grenze zwischen dem Fuß und der Straßenoberfläche mit hoher Genauigkeit zu schätzen, weshalb das Problem besteht, dass die Abstandsgenauigkeit abnimmt.
In Anbetracht dieses Problems ist es eine Aufgabe der vorliegenden Erfindung, eine Objekterkennungsvorrichtung zu schaffen, die in der Lage ist, einen Abstand zwischen einem eigenen Fahrzeug und einem Objekt wie z. B. einem Fußgänger genau zu schätzen.
Lösung der Aufgabe
Um die vorstehend genannten Aufgaben zu lösen, enthält eine Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung: eine Sensorinformationserfassungseinheit, die Sensorinformationen, die durch Erfassen eines Umfelds erhalten werden, erfasst; eine Bilderfassungseinheit, die ein Bild, das durch Aufnehmen eines Bildes eines Umfelds erhalten wird, erfasst; eine Abstandsinformationserfassungseinheit, die Abstandsinformationen in Bezug auf einen überlappenden Bereich, in dem sich Erfassungsbereiche der Sensorinformationserfassungseinheit und der Bilderfassungseinheit überlappen, erfasst; eine Objektdetektionseinheit für überlappende Bereiche, die ein Objekt aus dem überlappenden Bereich auf der Basis der durch die Abstandsinformationserfassungseinheit erfassten Abstandsinformationen detektiert; eine Teilspezifizierungseinheit, die einen spezifischen Teilbereich in dem Objekt durch Analysieren eines Bildes eines Bereichs, der dem Objekt entspricht, das von der Objektdetektionseinheit für überlappende Bereiche erfasst wurde bestimmt; eine Bildinformationsspeichereinheit, die Bildinformationen, die einen durch die Teilspezifizierungseinheit bestimmten Teilbereich betreffen, speichert; eine Erfassungseinheit für dreidimensionale Informationen, die dreidimensionale Informationen über einen durch die Teilspezifikationseinheit spezifizierten Teilbereich basierend auf den durch die Abstandsinformationserfassungseinheit erfassten Abstandsinformationen erfasst; eine Objektdetektionseinheit für nicht überlappende Bereiche, die die in der Bildinformationsspeichereinheit gespeicherten Bildinformationen in Bezug auf einen nicht überlappenden Bereich, in dem die Erfassungsbereiche der Sensorinformationserfassungseinheit und der Bilderfassungseinheit nicht überlappen, referenziert und die einen ähnlichen Teilbereich detektiert, der einen durch die Teilspezifikationseinheit spezifizierten Teilbereich oder einen Teil eines durch die Teilspezifikationseinheit spezifizierten Teilbereichs aufweist; und eine Abstandsberechnungseinheit, die einen Abstand zu einem Objekt, das den Teilbereich oder den ähnlichen Teilbereich enthält, basierend auf Detektionsbereichsinformationen auf dem Bild des Teilbereichs oder des ähnlichen Teilbereichs, die durch die Objektdetektionseinheit für nicht überlappende Bereiche detektiert werden, und den dreidimensionalen Informationen, die durch die Erfassungseinheit für dreidimensionale Informationen erfasst werden, berechnet.
Vorteilhafte Effekte der Erfindung
Gemäß der vorliegenden Erfindung ist es möglich, einen Abstand von einem eigenen Fahrzeug zu einem Objekt, wie z. B. einem Fußgänger, genau zu schätzen.
Aufgaben, Konfigurationen und Effekte, die über die vorstehende Beschreibung hinausgehen, werden durch die Erläuterung der folgenden Ausführungsformen deutlich.
Kurzbeschreibung der Zeichnungen

[1] 1 ist ein Funktionsblockdiagramm, das eine Konfiguration einer Objekterkennungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung darstellt.
[2A] 2A ist eine Draufsicht, die eine Positionsbeziehung zwischen einem Fahrzeug und einem Fußgänger an einer Kreuzung (der Fußgänger befindet sich in einem überlappenden Bereich) zum Erläutern eines Betriebsbeispiels 1 der Objekterkennungsvorrichtung gemäß der ersten in 1 offenbarten ersten Ausführungsform darstellt.
[2B] 2B ist eine Draufsicht, die eine Positionsbeziehung zwischen dem Fahrzeug und dem Fußgänger an der Kreuzung (der Fußgänger befindet sich in einem nicht überlappenden Bereich) zum Erläutern eines Betriebsbeispiels 1 der Objekterkennungsvorrichtung gemäß der ersten in 1 offenbarten Ausführungsform darstellt.
[3A] 3A ist ein Diagramm, das eine Position (in dem überlappenden Bereich) des Fußgängers in einem Blickwinkel einer am Fahrzeug angebrachten Kamera zur Erläuterung von Betriebsbeispiel 1 der Objekterkennungsvorrichtung gemäß der in 1 offenbarten ersten Ausführungsform darstellt.
[3B] 3B ist ein Diagramm, das eine Position (in dem nicht überlappenden Bereich) des Fußgängers in einem Blickwinkel der am Fahrzeug angebrachten Kamera zur Erläuterung von Betriebsbeispiel 1 der Objekterkennungsvorrichtung gemäß der in 1 offenbarten ersten Ausführungsform darstellt.
[4] 4 ist ein Ablaufplan, der das Betriebsbeispiel 1 der Objekterkennungsvorrichtung gemäß der in 1 offenbarten ersten Ausführungsform darstellt.
[5] 5 ist ein Diagramm, das ein Verfahren zum Analysieren eines Luminanzwertes eines Bildes und Detektieren eines Änderungspunktes, an dem die Kontraständerung von Helligkeit und Dunkelheit groß ist, in der Objekterkennungsvorrichtung gemäß der in 1 offenbarten ersten Ausführungsform darstellt.
[6] 6 ist ein Diagramm, das ein Verfahren zum Schätzen eines Abstands zu dem Fußgänger in der Objekterkennungsvorrichtung gemäß der in 1 offenbarten ersten Ausführungsform darstellt.
[7] 7 ist ein Ablaufplan, der das Betriebsbeispiel 2 der Objekterkennungsvorrichtung gemäß der in 1 offenbarten ersten Ausführungsform, in der ein Abstand zu dem Fußgänger basierend auf einer Höhe oder einer Breite eines Teilbereichs geschätzt wird, darstellt.
[8] 8 ist ein Funktionsblockdiagramm, das eine Konfiguration einer Objekterkennungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung darstellt.
[9] 9 ist ein Ablaufplan, der ein Betriebsbeispiel der Objekterkennungsvorrichtung gemäß der in 8 offenbarten zweiten Ausführungsform darstellt.
[10A] 10A ist ein Diagramm zum Erläutern eines Betriebsbeispiels der Objekterkennungsvorrichtung gemäß der in 8 offenbarten zweiten Ausführungsform aus einem Blickwinkel der am Fahrzeug angebrachten Kamera.
[10B] 10B ist ein Diagramm, das ein Verfahren zur Berechnung der Neigung einer Straßenoberfläche in der Objekterkennungsvorrichtung gemäß der in 8 offenbarten zweiten Ausführungsform darstellt.
[11] 11 ist ein Diagramm, das ein Verfahren zum Schätzen eines Abstands zu dem Fußgänger in der Objekterkennungsvorrichtung gemäß der in 8 offenbarten zweiten Ausführungsform darstellt.
[12] 12 ist ein Funktionsblockdiagramm, das eine Konfiguration einer Objekterkennungsvorrichtung gemäß einer dritten Ausführungsform der vorliegenden Erfindung darstellt.
[13A] 13A ist ein Diagramm, das eine Position (in einem überlappenden Bereich) des Fußgängers in einem Blickwinkel der am Fahrzeug angebrachten Kamera zur Erläuterung eines Betriebsbeispiels der Objekterkennungsvorrichtung gemäß der in 12 offenbarten dritten Ausführungsform darstellt.
[13B] 13A ist ein Diagramm, das die Position (in dem nicht überlappenden Bereich) des Fußgängers in einem Blickwinkel der am Fahrzeug angebrachten Kamera zur Erläuterung des Betriebsbeispiels der Objekterkennungsvorrichtung gemäß der in 12 offenbarten dritten Ausführungsform darstellt.
[14] 14 ist ein Ablaufplan, der ein Betriebsbeispiel der Objekterkennungsvorrichtung gemäß der in 12 offenbarten dritten Ausführungsform darstellt.
[15] 15 ist ein Diagramm, das ein Verfahren zum Berechnen der Höhe ab der Straßenoberfläche für jeden Teilbereich des Fußgängers in der Objekterkennungsvorrichtung gemäß der in 12 offenbarten dritten Ausführungsform darstellt.
[16] 16 ist ein Diagramm, das ein Verfahren zum Aufteilen eines Fußgängerteilbereichs in der Objekterkennungsvorrichtung gemäß der in 12 offenbarten dritten Ausführungsform darstellt.

Beschreibung von Ausführungsformen
Nachstehend werden Ausführungsformen der vorliegenden Erfindung unter Verwendung der Zeichnungen genau beschrieben. In der folgenden Beschreibung der Ausführungsformen sind Teile, die dieselbe Funktion aufweisen, mit denselben oder verwandten Bezugszeichen bezeichnet, und ihre wiederholte Beschreibung kann weggelassen sein.
[Erste Ausführungsform] Eine Objekterkennungsvorrichtung 1 gemäß der vorliegenden Ausführungsform erfasst Sensorinformationen, die durch Erfassen (Überwachen oder Erkennen) eines Umfelds erhalten werden, von einem Sensor (nicht dargestellt), erfasst ein Bild, das durch Abbilden des Umfelds erhalten wird, von einer Kamera (nicht dargestellt), erkennt ein Objekt (wie z. B. einen Fußgänger) in dem Umfeld auf der Basis der erfassten Informationen und berechnet einen Abstand zu dem Objekt.
(Funktionsblockkonfigurationsbeispiel) 1 ist ein Funktionsblockdiagramm, das eine Konfiguration der Objekterkennungsvorrichtung 1 gemäß der ersten Ausführungsform darstellt.
Die Objekterkennungsvorrichtung 1 der vorliegenden Ausführungsform enthält eine Kamera, einen Computer, einen Speicher, eine Speichervorrichtung und dergleichen, und der Computer arbeitet als verschiedene Funktionseinheiten, indem er ein im Speicher gespeichertes Steuerprogramm oder dergleichen ausführt.
Wie in 1 dargestellt ist, enthält die Objekterkennungsvorrichtung 1 eine Sensorinformationserfassungseinheit 100, eine Bilderfassungseinheit 101, eine Abstandsinformationserfassungseinheit 102, eine Objektdetektionseinheit 103 für überlappende Bereiche, eine Teilspezifizierungseinheit 104, eine Bildinformationsspeichereinheit 105, eine Erfassungseinheit 106 für dreidimensionale Informationen, eine Objektdetektionseinheit 107 für nicht überlappende Bereiche und eine Abstandsberechnungseinheit 108 als Funktionseinheiten, die durch den Betrieb der Kamera oder des Computers realisiert sind.
Die Sensorinformationserfassungseinheit 100 erfasst und sammelt Sensorinformationen eines Zielsensors. Hier ist der Zielsensor eine Kamera, ein Millimeterwellenradar, ein Laserradar, eine Ferninfrarotkamera oder dergleichen. Nachstehend wird eine Beschreibung gegeben unter der Annahme, dass ein Zielsensor in der Sensorinformationserfassungseinheit 100 eine Kamera ist.
Die Bilderfassungseinheit 101 erfasst die durch die Kamera aufgenommenen Bilddaten.
In der vorliegenden Ausführungsform sind die Erfassungsbereiche (nachstehend manchmal als ein Gesichtsfeld bezeichnet) der (Zielkamera der) Sensorinformationserfassungseinheit 100 und (der Zielkamera der) Bilderfassungseinheit 101 so eingestellt, dass sie einander teilweise überlappen.
Hier sind die Sensorinformationserfassungseinheit 100 und die Bilderfassungseinheit 101 als von der Kamera, die ein optisches Objektiv, einen optischen Sensor und dergleichen enthält, getrennte Körper beschrieben, können jedoch in die Kamera integriert sein (mit anderen Worten können die Sensorinformationserfassungseinheit 100 oder die Bilderfassungseinheit 101 die Kamera selbst bilden).
Die Abstandsinformationserfassungseinheit 102 berechnet Abstandsinformationen für einen überlappenden Bereich, in dem die Erfassungsbereiche der Sensorinformationserfassungseinheit 100 und der Bilderfassungseinheit 101 überlappen. Bei der Berechnung der Abstandsinformationen können entweder die Sensorinformationserfassungseinheit 100 oder die Bilderfassungseinheit 101 oder beide verwendet werden. Wenn eine Kamera in der Sensorinformationserfassungseinheit 100 verwendet ist, kann ein Abstand durch Ausführen eines Stereoabgleichs auf einem Bereich (überlappenden Bereich), der ein Gesichtsfeld mit der Bilderfassungseinheit 101 gemeinsam hat, erhalten werden. Insbesondere wird eine Parallaxe berechnet, indem ein entsprechendes Pixel in den Bilddaten der Bilderfassungseinheit 101 für ein spezielles Pixel der Bilddaten, die die Sensorinformationen der Sensorinformationserfassungseinheit 100 sind, erhalten wird. Mit Bezug auf die erhaltene Parallaxe kann der Abstand aus der Positionsbeziehung, der Brennweite und den Pixelgrößen Informationen der Zielkamera der Sensorinformationserfassungseinheit 100 und der Bilderfassungseinheit 101 berechnet werden. Hier können zusätzlich zu dem Stereoabgleich auch andere beliebige Mittel zur Abstandsschätzung verwendet werden. Der überlappende Bereich der Gesichtsfelder ist nicht auf einen Bereich beschränkt, der durch eine integrierte Sensorvorrichtung gebildet ist, sondern ist auch ein Bereich des Gesichtsfeldes, der aus separaten Sensorvorrichtungen gebildet ist.
Die Objektdetektionseinheit 103 für überlappende Bereiche detektiert ein Objekt aus dem Bereich (überlappenden Bereich), in dem die Gesichtsfelder der Sensorinformationserfassungseinheit 100 und der Bilderfassungseinheit 101 gemeinsam verwendet sind, auf der Basis der durch die Abstandsinformationserfassungseiriheit 102 erfassten Abstandsinformationen. Insbesondere kann durch Verbinden von Pixeln, die ähnliche Parallaxenwerte aufweisen, ein Objekt aus dem überlappenden Bereich detektiert werden. Als ein weiteres Verfahren kann ein Objekt durch einen Diskriminator, der die statistische Tendenz der Parallaxenwertinformationen gelernt hat, detektiert werden. Zusätzlich können irgendwelche Mittel zur Objektdetektion verwendet werden. Nachstehend wird eine Beschreibung unter der Annahme gegeben, dass das durch die Objektdetektionseinheit 103 für überlappende Bereiche detektierte Objekt ein Fußgänger ist. Die Allgemeingültigkeit der vorliegenden Erfindung geht jedoch auch dann nicht verloren, wenn das zu detektierende Objekt ein anderes Objekt als ein Fußgänger ist.
Die Teilspezifizierungseinheit 104 bestimmt einen spezifischen Teilbereich in dem Fußgängers auf der Basis der Bildinformationen des Fußgängers, die durch die Objektdetektionseinheit 103 für überlappende Bereiche detektiert werden, mit anderen Worten durch Analysieren des Bildes des Bereichs, der dem Fußgänger, der durch die Detektionseinheit 103 für überlappende Bereiche detektiert wird, entspricht. Die hier verwendeten Bildinformationen sind Informationen der entweder Sensorinformationserfassungseinheit 100 oder der Bilderfassungseinheit 101 in einem Fall, in dem in der Sensorinformationserfassungseinheit 100 eine Kamera verwendet ist. Bei der Bestimmung des spezifischen Teilbereichs wird ein Kontraständerungspunkt in Bezug auf Helligkeit und Dunkelheit des durch die Objektdetektionseinheit 103 für überlappende Bereiche detektierten Objekts detektiert, und ein hell abgebildeter Bereich wird als Fußgängerteilbereich detektiert. Der Kontraständerungspunkt kann durch Berechnen eines Histogramms für jede Zeile in Bezug auf das Bild des Objektbereichs (Bereich, der dem Objekt entspricht), der durch die Objektdetektionseinheit 103 für überlappende Bereiche detektiert wird, und Erhalten eines Punktes, an dem der Änderungsbetrag des benachbarten Histogramms ein vorbestimmter Wert oder größer ist, detektiert werden.
Die Bildinformationsspeichereinheit 105 speichert die Bildinformationen über den Fußgängerteilbereich, der durch die Teilspezifikationseinheit 104 detektiert und bestimmt ist.
Die Erfassungseinheit 106 für dreidimensionale Informationen erfasst dreidimensionale Informationen über einen durch die Teilspezifikationseinheit 104 spezifizierten Teilbereich auf der Basis der durch die Abstandsinformationserfassungseinheit 102 erfassten Abstandsinformationen. Hier sind die dreidimensionalen Informationen die Höhe des spezifizierten Teilbereichs ab der Straßenoberfläche oder die tatsächliche Größe (tatsächliche Abmessung) der Höhe und Breite des Teilbereichs.
Die Objektdetektionseinheit 107 für nicht überlappende Bereiche bezieht sich auf die in der Bildinformationsspeichereinheit 105 gespeicherten Bildinformationen und detektiert den durch die Teilspezifikationseinheit 104 spezifizierten Teilbereich aus einem Bereich (nicht überlappenden Bereich), in dem die Sensorinformationserfassungseinheit 100 und die Bilderfassungseinheit 101 kein gemeinsames Gesichtsfeld verwenden. Als ein Verfahren zum Detektieren des Teilbereichs gibt es zum Beispiel einen Schablonenabgleich unter Verwendung der in der Bildinformationsspeichereinheit 105 gespeicherten Bildinformationen als eine Schablone. Es wird darauf hingewiesen, dass in einem Fall, in dem die Sensorinformationserfassungseinheit 100 keine Kamera verwendet, der durch die Teilespezifikationseinheit 104 spezifizierte Teilbereich unter Bezugnahme auf die in der Bildinformationsspeichereinheit 105 gespeicherten Bildinformationen in Bezug auf den nicht überlappenden Bereich, der die Bildinformationen enthält, die nicht mit dem Erfassungsbereich der Sensorinformationserfassungseinheit 100 in dem Gesichtsfeld (Erfassungsbereich) der Bilderfassungseinheit 101 überlappen, detektiert wird.
Die Abstandsberechnungseinheit 108 berechnet den Abstand zu dem Fußgänger, der den Teilbereich enthält, der von der Objektdetektionseinheit 107 für den nicht überlappenden Bereich erfasst wird, auf der Basis von Informationen über den Detektionsbereich (insbesondere Positionsinformationen und Größeninformationen) auf dem Bild des Teilbereichs, der von der Objektdetektionseinheit 107 für den nicht überlappenden Bereich detektiert wird, und der dreidimensionalen Informationen, die durch die Erfassungseinheit für dreidimensionale Informationen 106 erfasst werden.
(Betriebsbeispiel 1) Als Nächstes wird ein Betriebsbeispiel der Objekterkennungsvorrichtung 1 der vorliegenden Ausführungsform in den in 2A und 2B und 3A und 3B dargestellten Szenen unter Bezugnahme auf den Ablaufplan von 4 beschrieben. In dem folgenden Betriebsbeispiel ist angenommen, dass die Objekterkennungsvorrichtung 1 auf einem Fahrzeug montiert ist und zwei Zielkameras (beispielsweise eine Stereokamera, die eine rechte Kamera und eine linke Kamera enthält) der Sensorinformationserfassungseinheit 100 und der Bilderfassungseinheit 101 enthält. Daher erfassen im vorliegenden Betriebsbeispiel die Sensorinformationserfassungseinheit 100 und die Bilderfassungseinheit 101 ein Bild, das durch Aufnehmen des Fahrzeugumfelds erhalten wird.
Die 2A und 2B und die 3A und 3B stellen Szenen dar, in denen ein Fußgänger vor einem links abbiegenden Fahrzeug an einer Kreuzung die Straße überquert. Die 2A und 2B zeigen eine Sicht von oben, und die 3A und 3B sind Diagramme gesehen aus einem Blickwinkel der an dem Fahrzeug angebrachten Kamera. In den und und den 3A und 3B repräsentiert F101 einen überquerenden Fußgänger, und F102 repräsentiert ein Fahrzeug. V100, V101 und V102 repräsentieren Erfassungsbereiche (Gesichtsfelder), V101 und V102 repräsentieren nicht überlappende Bereiche der Gesichtsfelder, und V100 repräsentiert überlappende Bereiche der Gesichtsfelder. S100 in 2A ist eine Szene vor dem Linksabbiegen an der Kreuzung, und S101 in 2B ist eine Szene während des Linksabbiegens an der Kreuzung. G100 in 3A ist der Kamerablickwinkel in S100 in 2A, und G101 in 3B ist der Kamerablickwinkel in S101 in 2B.
In dem vorliegenden Betriebsbeispiel, wie in 4 dargestellt, führt die Objekterkennungsvorrichtung 1 sequentiell Bilderfassungsverarbeitung (R101), Abstandsbilderzeugungsverarbeitung (R102), Fußgängerdetektionsverarbeitung für überlappende Bereiche (R103), Luminanzanalyseverarbeitung (R104), Texturspeicherverarbeitung (R105), Höhenberechnungsverarbeitung ab einer Straßenoberfläche (R106), Teildetektionsverarbeitung (R107) und Abstandsschätzungsverarbeitung (R108) aus, erkennt einen Fußgänger an einer Kreuzung und berechnet einen Abstand von dem Fahrzeug und zu dem Fußgänger. Die vorstehend beschriebene Bilderfassungsverarbeitung (R101) wird durch die Sensorinformationserfassungseinheit 100 und die Bilderfassungseinheit 101 ausgeführt, die Abstandsbilderzeugungsverarbeitung (R102) wird durch die Abstandsinformationserfassungseinheit 102 ausgeführt, die Fußgängerdetektionsverarbeitung für überlappende Bereiche (R103) wird durch die Objektdetektionseinheit 103 für überlappende Bereiche ausgeführt, die Luminanzanalyseverarbeitung (R104) wird durch die Teilspezifizierungseinheit 104 ausgeführt, die Texturspeicherverarbeitung (R105) wird durch die Bildinformationsspeichereinheit 105 ausgeführt, die Höhenberechnungsverarbeitung ab der Straßenoberfläche (R106) wird durch die Erfassungseinheit 106 für dreidimensionale Informationen ausgeführt, die Teildetektionsverarbeitung (R107) wird durch die Objektdetektionseinheit 107 für nicht überlappende Bereiche ausgeführt, und die Abstandsschätzungsverarbeitung (R108) wird durch die Abstandsberechnungseinheit 108 ausgeführt. Nachstehend wir jeder Verarbeitungsinhalt beschrieben.
Die Objekterkennungsvorrichtung 1 erfasst aus jeder der beiden Kameras ein Bild (R101). Ein Abstandsbild als Abstandsinformationen wird durch eine Stereoabgleichverarbeitung auf einem überlappenden Bereich V100, der überlappende Gesichtsfelder in den beiden erfassten Bildern aufweist, ausgeführt (R102). Durch Bezugnahme auf das erzeugte Abstandsbild und Kombinieren von Pixeln, die ähnliche Abstände aufweisen, wird ein Fußgänger F101 als ein Objekt aus dem überlappenden Bereich V100 detektiert (R103).
Als Nächstes wird durch Analyse des Luminanzwerts des Bildes des detektierten Fußgängerbereichs (des Bereichs, der dem Fußgänger entspricht) ein Teilbereich, der hell und deutlich abgebildet ist, aus dem Fußgängerbereich extrahiert (R104). Die Extraktion des Teilbereichs wird mit Bezug auf 5 beschrieben. In 5 gibt F110 einen Fußgängerbereich an, der durch die Fußgängerdetektionsverarbeitung für überlappende Bereiche (R103) detektiert wurde. F111 ist eine Achse, die sich auf die Pixelposition in Längsrichtung des Fußgängerbereichs bezieht, und F112 ist eine Achse, die sich auf den Summenwert der Luminanzwerte in dem in F113 dargestellten rechteckigen Fenster bezieht. F114 gibt ein Histogramm an, das durch Durchsuchen des durch F113 angegebenen rechteckigen Fensters nach unten in dem Bild erfasst wurde. Der Oberkörper des in F110 erkannten Fußgängers ist hell aufgenommen, während der Unterkörper dunkel aufgenommen ist. Deshalb weist das in F114 dargestellte Histogramm einen hohen Wert für den Oberkörper und einen niedrigen Wert für den Unterkörper auf. In der Luminanzanalyseverarbeitung (R104) wird ein Histogramm gemäß der vorstehenden Prozedur berechnet, eine Nachbardifferenz in der vertikalen Richtung des Histogramms wird erfasst, und ein Änderungspunkt bezüglich des Kontrasts, an dem der Differenzwert ein vorbestimmter Wert oder größer ist, wird detektiert. F115 gibt einen detektierten Änderungspunkt an. In der Luminanzanalyseverarbeitung (R104) wird ein Änderungspunkt mit einer großen Kontraständerung in Helligkeit und Dunkelheit detektiert, ein Bereich mit einem hohen Histogrammwert wird als spezifischer Teilbereich detektiert, und Bildinformationen des Teilbereichs werden gespeichert (R105).
In der Höhenberechnungsverarbeitung ab der Straßenoberfläche (R106) wird die Höhe ab der Straßenoberfläche des in der Luminanzanalyseverarbeitung (R102) spezifizierten Teilbereichs unter Bezugnahme auf das in der Abstandsbilderzeugungsverarbeitung (R104) erzeugte Abstandsbild berechnet. Die Höhe H ab der Straßenoberfläche wird in einem Fall, in dem ein aus dem Abstandsbild berechneter Tiefenabstand Z, eine untere Endposition y in dem Bild des durch die Luminanzanalyseverarbeitung (R104) spezifizierten Teilbereichs, eine Brennweite f der Kamera und eine Pixelgröße w unter der Annahme eingestellt sind, dass keine Neigung der Straßenoberfläche vorhanden ist, nach einer Berechnungsformel H = (w*Z*y)/f berechnet.
Gemäß der vorstehenden Verarbeitung ist es, wenn der Fußgänger F101 in dem überlappenden Bereich V100 des Gesichtsfeldes wie in G100 von 3A dargestellt abgebildet wird, möglich, einen hell abgebildeten Teilbereich des Fußgängerbereichs zu spezifizieren. In der folgenden Verarbeitung werden die Abstandsinformationen des Fußgängers F101, die in G101 von 3B dargestellt sind, auf der Basis des Teilbereichs, der in der in G100 von 3A dargestellten Szene spezifiziert ist, geschätzt. Hier geht, wenn sich der Fußgänger F101 und/oder das Fahrzeug F102 an der Kreuzung bewegen, der in G101 von 3B dargestellte Fußgänger F101 (relativ) von dem durch G100 von 3A angegebenen überlappenden Bereich V100 der Gesichtsfelder zu dem nicht überlappenden Bereich V101 der Gesichtsfelder über (siehe auch 2A und 2B).
In der Teildetektionsverarbeitung (R107) wird auf die in der Texturspeicherverarbeitung (R105) gespeicherten Bildinformationen Bezug genommen, und der gleiche Abschnitt wie der in der Luminanzanalyseverarbeitung (R104) spezifizierte Fußgängerteilbereich wird in dem in dem nicht überlappenden Bereich V101 aufgenommenen Fußgänger F101 detektiert. Die in der Texturspeicherverarbeitung (R105) gespeicherten Bildinformationen werden als Schablone behandelt und durch Schablonenabgleich detektiert. Bei der Schablonenabgleichverarbeitung wird die Schablone in horizontaler und vertikaler Richtung des Bildes abgetastet, und für jede Koordinatenposition wird ein Korrelationswert mit der Schablone berechnet. Durch Detektieren des Spitzenwerts des Korrelationswerts wird der Teilbereich, der durch den Überlappungsbereich V100 spezifiziert ist, aus dem nicht überlappenden Bereich V101 detektiert. Wenn die Schablonenabgleichverarbeitung ausgeführt wird, werden Schablonen mit unterschiedlichen Größen verwendet. Als ein Ergebnis kann, selbst wenn sich der Abstand zwischen dem Fußgänger und dem Fahrzeug mit der Bewegung des Fahrzeugs ändert und sich die Größe des abzubildenden Fußgängers ändert, der Teilbereich mit hoher Genauigkeit detektiert werden.
In der Abstandsschätzungsverarbeitung (R108) wird der Tiefenabstand zu dem Fußgänger F101, der in dem nicht überlappenden Bereich V101 abgebildet ist, aus der Höhe des Teilbereichs ab der Straßenoberfläche, der in der Höhenberechnungsverarbeitung ab der Straßenoberfläche (R106) erfasst wurde, und den Positionsinformationen auf dem Bild des Teilbereichs, der in der Teildetektionsverarbeitung (R107) detektiert wurde, geschätzt. Ein Verfahren zum Schätzen des Tiefenabstands wird unter Bezugnahme auf 6 beschrieben. In 6 repräsentiert F121 einen Fußgänger, F122 repräsentiert ein Fahrzeug und F123 repräsentiert eine am Fahrzeug angebrachte Kamera. Der zu schätzende Tiefenabstand Z ist F120. Aus dem Anbringungswinkel der Kamera und den Positionsinformationen auf dem Bild des in der Teildetektionsverarbeitung (R107) detektierten Teilbereichs kann der Winkel α des Fußgängerteilbereichs in Bezug auf die in F124 dargestellte Kamera berechnet werden. Zusätzlich kann die durch F125 angegebene Kamerahöhe H aus der Anbringungsposition der Kamera erfasst werden. Die durch F126 angegebene Höhe P des Teilbereichs wird durch Höhenberechnungsverarbeitung (R106) ab der Straßenoberfläche erfasst. Mit Bezug auf die vorstehenden Informationen erfüllt der Tiefenabstand Z die Gleichung Z = (H - P)*Atan(α). In der Abstandsschätzungsverarbeitung (R108) wird der Abstand zu dem Fußgänger auf der Basis von H, P und α berechnet.
(Operationseffekte) Aus dem Vorstehenden spezifiziert beispielsweise die Objekterkennungsvorrichtung 1 der vorliegenden Ausführungsform einen Fußgängerteilbereich, der in dem überlappenden Bereich des Gesichtsfeldes hell und deutlich abgebildet ist, berechnet Höheninformationen ab der Straßenoberfläche, die dreidimensionale Informationen des spezifizierten Teilbereichs sind, und detektiert den in dem überlappenden Bereich des Gesichtsfeldes spezifizierten Teilbereich in dem nicht überlappenden Bereich (auch als ein monokularer Bereich bezeichnet) des Gesichtsfeldes und schätzt dadurch den Abstand zu dem Fußgänger. Als ein Ergebnis ist es möglich, den Abstand zu dem Fußgänger durch Detektieren eines beliebigen Fußgängerteilbereichs, der nicht der Fuß ist, in dem nicht überlappenden Bereich des Gesichtsfelds zu schätzen. Als ein Ergebnis kann selbst in einer Szene, in der die Farbe der Straßenoberfläche der Farbe der Hose oder dergleichen des Fußgängers ähnlich ist und die Fußposition nicht mit hoher Genauigkeit detektiert werden kann, der Abstand von dem eigenen Fahrzeug zu einem Objekt wie z. B. einem Fußgänger mit hoher Genauigkeit geschätzt werden.
(Betriebsbeispiel 2) Zusätzlich kann die Objekterkennungsvorrichtung 1, die die in 1 dargestellten Funktionsblöcke aufweist, eine Verarbeitung gemäß dem in 7 dargestellten Verarbeitungsablauf ausführen.
Ein Unterschied zwischen dem in 7 dargestellten Verarbeitungsablauf und dem vorstehend beschriebenen Verarbeitungsablauf in 4 besteht darin, dass die Höhenberechnungsverarbeitung ab der Straßenoberfläche (R106) durch die Erfassungseinheit 106 für dreidimensionale Informationen durch die Teilgrößenberechnungsverarbeitung (R116) ersetzt ist, und dementsprechend das Verfahren zum Berechnen des Abstands in der Abstandsschätzungsverarbeitung (R118) durch die Abstandsberechnungseinheit 108 anders ist. Nachstehend wird der Unterschied zwischen der Teilgrößenberechnungsverarbeitung (R116) und der Abstandsschätzungsverarbeitung (R118) in 7 beschrieben.
In der Teilgrößenberechnungsverarbeitung (R116) wird die tatsächliche Größe (tatsächliche Abmessung) des in der Luminanzanalyseverarbeitung (R114) detektierten Teilbereichs mit Bezug auf das in der Abstandsbilderzeugungsverarbeitung (R112) erzeugte Abstandsbild gemessen. Hier ist die tatsächliche Größe eine Höhe (Abmessung in Längsrichtung) oder eine Breite (Abmessung in Querrichtung) des Teilbereichs.
In der Abstandsschätzungsverarbeitung (R118) wird der Abstand zu dem Fußgänger F101 als ein Objekt auf der Basis der tatsächlichen Größe des Teilbereichs, die in der Teilgrößenberechnungsverarbeitung (R116) erfasst wird, und der Größe des Teilbereichs, die in der Teildetektionsverarbeitung (R117) auf dem Bild detektiert wird, geschätzt. Ein Verfahren zum Schätzen des Abstands wird beschrieben. Unter der Annahme, dass S die tatsächliche Größe des Teilbereichs ist, die in der Teilgrößenberechnungsverarbeitung (R116) erfasst wurde, dass s die Größe des Teilbereichs ist, die in der Teildetektionsverarbeitung (R117) auf dem Bild detektiert wurde, dass f die Brennweite der Kamera ist, dass w die Pixelgröße des Bildes ist und dass Z der zu schätzende Tiefenabstand ist, wird Z = (f*S)/(s*w) festgelegt. In der Abstandsschätzungsverarbeitung (R118) wird der Tiefenabstand Z auf der Grundlage von S, s, f und w geschätzt.
(Operationseffekte) Aus dem Vorstehenden kann die Objekterkennungsvorrichtung 1 der vorliegenden Ausführungsform den Abstand zu dem Objekt auf der Basis der tatsächlichen Größe des Teilbereichs und der Größe auf dem Bild durch Ausführen der Abstandsschätzung gemäß dem in 7 dargestellten Verarbeitungsablauf schätzen, ohne die Höhe des Objekts ab der Straßenoberfläche zu berechnen. Als ein Ergebnis kann der Abstand selbst in einer Szene, in der die Straßenoberfläche eine Neigung aufweist, ohne Verwendung der Informationen über die Straßenoberfläche geschätzt werden, und die Verarbeitungszeit kann reduziert werden.
[Zweite Ausführungsform] In der Objekterkennungsvorrichtung 1 der vorstehend beschriebenen ersten Ausführungsform ist keine Neigung der Straßenoberfläche vorhanden, eine Objekterkennungsvorrichtung 2 der vorliegenden Ausführungsform berechnet jedoch den Abstand zu einem in dem Umfeld existierenden Objekt (Fußgänger oder dergleichen) unter Berücksichtigung der Neigung der Straßenoberfläche.
(Funktionsblockkonfigurationsbeispiel) 8 ist ein Funktionsblockdiagramm, das eine Konfiguration der Objekterkennungsvorrichtung 2 gemäß der zweiten Ausführungsform darstellt.
Die Objekterkennungsvorrichtung 2 der vorliegenden Ausführungsform enthält eine Sensorinformationserfassungseinheit 200, eine Bilderfassungseinheit 201, eine Abstandsinformationserfassungseinheit 202, eine Objektdetektionseinheit 203 für überlappende Bereiche, eine Teilspezifizierungseinheit 204, eine Bildinformationsspeichereinheit 205, eine Erfassungseinheit 206für dreidimensionale Informationen, eine Objektdetektionseinheit 207 für nicht überlappende Bereiche, eine Abstandsberechnungseinheit 208 und eine Straßenoberflächenschätzungseinheit 209. Das heißt, ein Unterschied zwischen der Objekterkennungsvorrichtung 2 der zweiten Ausführungsform und der Objekterkennungsvorrichtung 1 der ersten Ausführungsform besteht darin, dass die Straßenoberflächenschätzungseinheit 209 hinzugefügt ist.
Die Sensorinformationserfassungseinheit 200 erfasst und sammelt Sensorinformationen eines Zielsensors. Die Bilderfassungseinheit 201 erfasst durch die Kamera aufgenommene Bilddaten. Die Abstandsinformationserfassungseinheit 202 berechnet Abstandsinformationen für einen überlappenden Bereich, in dem die Erfassungsbereiche der Sensorinformationserfassungseinheit 200 und der Bilderfassungseinheit 201 überlappen. Die Objektdetektionseinheit 203 für überlappende Bereiche detektiert ein Objekt aus dem Bereich (überlappenden Bereich), in dem die Gesichtsfelder der Sensorinformationserfassungseinheit 200 und der Bilderfassungseinheit 201 gemeinsam sind, auf der Basis der durch die Abstandsinformationserfassungseinheit 202 erfassten Abstandsinformationen. Die Teilspezifizierungseinheit 204 bestimmt einen spezifischen Teilbereich in dem Fußgänger auf der Basis der Bildinformationen des Fußgängers, die durch die Detektionseinheit 203 für überlappende Bereiche detektiert werden, mit anderen Worten durch Analysieren des Bildes des Bereichs, der dem Fußgänger entspricht, der durch die Objektdetektionseinheit 203 für überlappende Bereiche detektiert wurde. Die Bitdinformationsspeichereinheit 205 speichert die Bildinformationen über den Fußgängerteilbereich, der durch die Teilspezifikationseinheit 204 detektiert und bestimmt wird. Die Erfassungseinheit 206 für dreidimensionale Informationen erfasst dreidimensionale Informationen über einen durch die Teilspezifikationseinheit spezifizierten Teilbereich auf der Basis der durch die Abstandsinformationserfassungseinheit 202 erfassten Abstandsinformationen. Hier sind die dreidimensionalen Informationen die Höhe des spezifizierten Teilbereichs ab der Straßenoberfläche oder die tatsächliche Größe (tatsächliche Abmessung) der Höhe und Breite des Teilbereichs.
Die Straßenoberflächenschätzungseinheit 209 schätzt die Form der Straßenoberfläche, d. h. die Neigung, auf der Basis der durch die Abstandsinformationserfassungseinheit 202 erfassten Abstandsinformationen. Als ein Verfahren zum Schätzen der Neigung der Straßenoberfläche wird der Straßenoberflächenbereich aus dem Bild spezifiziert, und die Form der Straßenoberfläche wird mit Bezug auf das Abstandsbild in dem spezifizierten Straßenoberflächenbereich geschätzt. Beim Spezifizieren des Straßenoberflächenbereichs kann eine weiße Linie detektiert werden, und ein Bereich innerhalb der detektierten weißen Linie kann als Bereich der Straßenoberfläche eingestellt werden. Alternativ kann auch ein im Voraus im Bildbereich eingestellter Bereich als der Straßenoberflächenbereich eingestellt werden. Ein Verfahren zum Schätzen der Form der Straßenoberfläche aus dem eingestellten Straßenoberflächenbereich wird beschrieben. Für jedes vertikale Pixel wird ein mittlerer Abstand mit Bezug auf das Abstandsbild erfasst. Unter der Annahme, dass die vertikale Position des Zielpixels y ist, der berechnete mittlere Abstand z ist, die Brennweite f ist und die Pixelgröße w ist, erfüllt eine Höhe H der Straßenoberfläche die folgende Gleichung: H = (y*w*z)/f. Die Sträßenoberflächenschätzungseinheit 209 berechnet die Höhe der Straßenoberfläche für jedes vertikale Pixel gemäß dem oben beschriebenen Berechnungsverfahren. Ferner kann die Höhe der Straßenoberfläche jedes vertikalen Pixels für jedes benachbarte vertikale Pixel aufgrund des Einflusses von Rauschen in dem Abstandsbild sehr unterschiedlich sein. In diesem Fall kann der Einfluss von Rauschen durch Anlegen einer Geraden an die Höhe der Straßenoberfläche jedes vertikalen Pixels unterdrückt werden. Obwohl das Verfahren zum Schätzen der Neigung der Straßenoberfläche durch die Straßenoberflächenschätzungseinheit 209 vorstehend beschrieben worden ist, kann irgendein Verfahren zum Schätzen der Straßenoberflächenform in der Straßenoberflächenschätzungseinheit 209 angewendet werden.
Die Objekterkennungseinheit 207 für nicht überlappende Bereiche referenziert die in der Bildinformationsspeichereinheit 205 gespeicherten Bildinformationen und detektiert den durch die Teilspezifikationseinheit 204 angegebenen Teilbereich aus einem Bereich (nicht überlappenden Bereich), in dem die Sensorinformationserfassungseinheit 200 und die Bilderfassungseinheit 201 kein gemeinsames Gesichtsfeld haben.
Die Abstandsberechnungseinheit 208 berechnet den Abstand zu dem Fußgänger, der den Teilbereich enthält, der von der Objektdetektionseinheit 207 nicht überlappende Bereiche erfasst wurde, auf der Basis von Detektionsbereichsinformationen (insbesondere Positionsinformationen und Größeninformationen) auf dem Bild des Teilbereichs, der von der Objektdetektionseinheit 207 nicht überlappende Bereiche detektiert wurde, den dreidimensionalen Informationen, von der Erfassungseinheit 206 für dreidimensionale Informationen erfasst wurden, und Neigungsinformationen über die Straßenoberfläche, die durch die Straßenoberflächenschätzungseinheit 209 geschätzt wurden. Insbesondere werden die Winkelinformationen der Kamera und des Fußgängerteilbereichs und die Höhe der Straßenoberfläche, die den Fußgänger berührt, aus den Detektionsbereichsinformationen auf dem Bild des Teilbereichs, der durch die Objektdetektionseinheit 207 für nicht überlappende Bereiche detektiert wurde, und den Neigungsinformationen der Straßenoberfläche, die durch die Straßenoberflächenschätzungseinheit 209 geschätzt wurden, berechnet. Dann wird der Abstand von dem Fahrzeug und zu dem Fußgänger aus den berechneten Winkelinformationen der Kamera und dem Fußgängerteilbereich, der Höhe der Straßenoberfläche, die den Fußgänger berührt, und den durch die Erfassungseinheit 206 für dreidimensionale Informationen erfassten dreidimensionalen Informationen geschätzt.
(Betriebsbeispiel) Ein Betriebsbeispiel der Objekterkennungsvorrichtung 2 der vorliegenden Ausführungsform wird unter Bezugnahme auf einen Ablaufplan in 9 beschrieben. Die Zielszene ist eine Szene an der in den und dargestellten Kreuzung, und die Straßenoberfläche an der Kreuzung ist geneigt. In dem vorliegenden Betriebsbeispiel sind die Unterschiede zu der Verarbeitung, die durch den Ablaufplan von 4 in der vorstehend beschriebenen ersten Ausführungsform ausgeführt wird, die Straßenoberflächenneigungsschätzungsverarbeitung (R209) durch die Straßenoberflächenschätzungseinheit 209 von 9 und die Abstandsschätzungsverarbeitung (R208) durch die Abstandsberechnungseinheit 208. Deshalb werden nachstehend die Straßenoberflächenneigungsschätzungsverarbeitung (R209) und die Abstandsschätzungsverarbeitung (R208) in 9, die die Unterschiede sind, genau beschrieben.
In der Straßenoberflächenneigungsschätzungsverarbeitung (R209) wird die Höhe der Fahrbahnoberfläche vor dem Fahrzeug geschätzt. Die Straßenoberflächenneigungsschätzungsverarbeitung (R209) wird mit Bezug auf die 10A und 10B beschrieben. G101 in 10A gibt einen Kamerablickwinkel zur Zeit des Linksabbiegens an der in S101 in 2B dargestellten Kreuzung an. V100 gibt einen überlappenden Bereich des Gesichtsfeldes an, und V101 und V102 geben nicht überlappende Bereiche des Gesichtsfeldes an. F101 gibt einen Fußgänger an. In der Straßenoberflächenneigungsschätzungsverarbeitung (R209) wird der Straßenoberflächenbereich eingestellt, und die Höhe der Straßenoberfläche in Bezug auf jedes vertikale Pixel des Bildes wird berechnet. F200 in 10A gibt einen Straßenoberflächenbereich an. Als Straßenoberflächenbereich wird ein voreingestelltes Gebiet in dem überlappenden Bereich V100 des Gesichtsfeldes eingestellt. 10B stellt ein Schätzergebnis der Straßenoberflächenhöhe im dem Straßenoberflächenbereich F200 dar. F201 gibt jede vertikale Pixelposition des Bildes an, und F202 gibt die Höhe ab der Straßenoberfläche an. In der Straßenoberflächenneigungsschätzungsverarbeitung (R209) wird die Höhe ab der Straßenoberfläche unter Bezugnahme auf das Abstandsbild für jedes vertikale Pixel von F201 berechnet. In der Höhenberechnung wird der mittlere Abstand jedes vertikalen Pixels des Abstandsbildes berechnet, und die Höhe ab der Straßenoberfläche wird aus dem berechneten mittleren Abstand, der vertikalen Pixelposition, der Brennweite und der Pixelgröße berechnet. Die vorstehende Verarbeitung wird für jede vertikale Bildposition von F201 ausgeführt, und die Straßenoberflächenhöheninformationen für jede vertikale Bildposition, die in F203 dargestellt ist, werden berechnet. Als Nächstes wird unter Verwendung der Höheninformationen des Fußgängerteilbereichs, die in der Höhenberechnungsverarbeitung ab der Straßenoberfläche (R206) berechnet wurden, ein Versatz F204 zu den Höheninformationen der Straßenoberfläche für jede in F203 gezeigte vertikale Bildposition um die Höhe auf dem Bild des Fußgängerbereichs addiert, und das Ergebnis wird in Straßenoberflächenhöheninformationen in dem in F205 gezeigten Fußgängerteilbereich umgesetzt. Ein Verfahren zum Berechnen des Versatzes F204 wird beschrieben. Der Versatz F204 ist die Größe h auf dem Bild des Fußgängerteilbereichs. Wenn die Höhe des Fußgängerteilbereichs, die in der Höhenberechnungsverarbeitung ab der Straßenoberfläche (R206) berechnet ist, H ist, der mittlere Abstand jedes vertikalen Pixels des Abstandsbilds z ist, die Kamerabrennweite f ist und die Pixelgröße w ist, erfüllt die Teilgröße h auf dem Bild den folgenden Ausdruck h = (f*H)/(w*z). Deshalb wird für F204 der Versatzbetrag mit Bezug auf das vorstehend beschriebene Berechnungsverfahren berechnet, und die Straßenoberflächenhöheninformationen auf der Höhe jedes Fußgängerteilbereichs, der durch F205 angegeben ist, werden berechnet. Durch Addieren des Versatzes F204, wie durch F206 angegeben, können die Straßenoberflächenhöheninformationen aus der vertikalen Bildposition des Fußgängerteilbereichs in dem nicht überlappenden Bereich V101 des Gesichtsfeldes erfasst werden.
In der Abstandsschätzungsverarbeitung (R208) wird der Abstand von dem Fahrzeug zu dem Fußgänger aus der Höhe des Fußgängerteilbereichs ab der Straßenoberfläche, die in der Höhenberechnungsverarbeitung ab der Straßenoberfläche (R206) berechnet wird, den Detektionsbereichsinformationen auf dem Bild des Fußgängerteilbereichs, die in der Teildetektionsverarbeitung (R207) detektiert werden, und den Neigungsinformationen der Straßenoberfläche, die in der Straßenoberflächenneigungsschätzungsverarbeitung (R209) geschätzt werden, berechnet. Ein Verfahren zur Abstandsberechnung wird mit Bezug auf 11 beschrieben. in 11 gibt F211 einen Fußgänger an, F212 gibt ein Fahrzeug an, F213 gibt eine am Fahrzeug angebrachte Kamera an, F214 gibt Detektionsbereichsinformationen (Positionsinformationen) auf einem Bild des Fußgängerteilbereichs, der in der Teildetektionsverarbeitung (R207) detektiert wird, und einen Winkel α zu dem Fußgängerteilbereich in Bezug auf die Kamera, der aus den Anbringungswinkelinformationen der Kamera berechnet werden kann, an, F215 gibt eine Installationshöhe H der Kamera an, F216 gibt eine Höhe P des Fußgängerteilbereichs, die in der Höhenberechnungsverarbeitung ab der Straßenoberfläche (R206) berechnet ist, an, und F217 gibt Höheninformationen R der Straßenoberfläche, die in der Straßenoberflächenneigungsschätzungsverarbeitung (R209) erfasst werden, an. Hier ist der geschätzte Abstand Z zu dem Fußgänger durch F218 gegeben, der und die folgende Gleichung: Z = (H - P -R)*Atan(α) erfüllt. In der Abstandsschätzungsverarbeitung (R208) wird der Abstand zu dem Fußgänger gemäß dem vorstehenden Berechnungsverfahren berechnet.
(Operationseffekte) Wie vorstehend beschrieben, berechnet die Objekterkennungsvorrichtung 2 gemäß der vorliegenden Ausführungsform die Informationen über die Form (Neigung) der Straßenoberfläche und berechnet den Abstand zu dem Fußgänger unter Bezugnahme auf die berechneten Informationen über die Form (Neigung) der Straßenoberfläche. Das ermöglicht es, den Abstand von dem eigenen Fahrzeug und einem Objekt wie z. B. einem Fußgänger selbst dann genau ab zu schätzen, wenn die Straßenoberfläche geneigt ist.
[Dritte Ausführungsform] In der Objekterkennungsvorrichtung 1 der vorstehend beschriebenen ersten Ausführungsform ist eine Szene beschrieben worden, in der sich das Aussehen desselben Teils für jeden Rahmen nicht ändert oder kaum ändert. Beispielsweise in einem Fall, in dem der gleiche Teil bei Nacht durch einen Scheinwerfer beleuchtet wird, kann sich jedoch das Aussehen des gleichen Teils für jeden Rahmen ändern. Selbst in einer solchen Szene berechnet die Objekterkennungsvorrichtung 3 der vorliegenden Ausführungsform den Abstand zu einem im Umfeld vorhandenen Objekt (wie z. B. einem Fußgänger):
(Funktionsblockkonfigurationsbeispiel) 12 ist ein Funktionsblockdiagramm, das eine Konfiguration der Objekterkennungsvorrichtung 3 gemäß der dritten Ausführungsform darstellt.
Die Objekterkennungsvorrichtung 3 der vorliegenden Ausführungsform enthält eine Sensorinformationserfassungseinheit 300, eine Bilderfassungseinheit 301, eine Abstandsinformationserfassungseinheit 302, eine Objektdetektionseinheit 303 für überlappende Bereiche, eine Teilspezifizierungseinheit 304, eine Bildinformationsspeichereinheit 305, eine Erfassungseinheit 306 für dreidimensionale Informationen, eine Objektdetektionseinheit 307 für nicht überlappende Bereiche und eine Abstandsberechnungseinheit 308, und die Objektdetektionseinheit 307 für nicht überlappende Bereiche enthält eine Zeitreihenspezifikationseinheit 309 für ähnliche Teile. Das heißt, der Unterschied zwischen der Objekterkennungsvorrichtung 3 der dritten Ausführungsform und der Objekterkennungsvorrichtung 1 der ersten Ausführungsform ist der Verarbeitungsinhalt in der Objektdetektionseinheit 307 für nicht überlappende Bereiche.
Die Sensorinformationserfassungseinheit 300 erfasst und sammelt Sensorinformationen eines Zielsensors. Die Bilderfassungseinheit 301 erfasst durch die Kamera aufgenommene Bilddaten. Die Abstandsinformationserfassungseinheit 302 berechnet Abstandsinformationen für einen überlappenden Bereich, in dem die Erfassungsbereiche der Sensorinformationserfassungseinheit 300 und der Bilderfassungseinheit 301 überlappen. Die Objektdetektionseinheit 303 für nicht überlappende Bereiche detektiert ein Objekt aus einem Bereich (überlappenden Bereich), in dem die Gesichtsfelder der Sensorinformationserfassungseinheit 300 und der Bilderfassungseinheit 301 gemeinsam sind, auf der Basis der durch die Abstandsinformationserfassungseinheit 302 erfassten Abstandsinformationen. Die Teilspezifizierungseinheit 304 bestimmt einen spezifischen Teilbereich in dem Fußgänger auf der Basis der Bildinformationen des Fußgängers, der durch die Objektdetektionseinheit 303 für überlappende Bereiche detektiert wurde, mit anderen Worten, durch Analysieren des Bildes des Bereichs, der dem Fußgänger entspricht, der durch die Objektdetektionseinheit 303 für überlappende Bereiche detektiert wurde. Im vorliegenden Beispiel spezifiziert die Teilspezifikationseinheit 304 den gesamten Fußgängerbereich, sie kann jedoch auch einen Teil des Fußgängerbereichs spezifizieren (siehe 5). Die Bildinformationsspeichereinheit 305 speichert Bildinformationen über den Fußgängerteilbereich, der durch die Teilspezifikationseinheit 304 detektiert und bestimmt wird.
Basierend auf den durch die Abstandsinformationserfassungseinheit 302 erfassten Abstandsinformationen und den durch die Objektdetektionseinheit 303 für überlappende Bereiche erfassten Bildinformationen des Fußgängers berechnet die Erfassungseinheit 306 für dreidimensionale Informationen Höheninformationen ab der Straßenoberfläche, die dreidimensionale Informationen sind, jedes Teilbereichs im gesamten durch die Teilspezifikationseinheit 304 spezifizierten Fußgängerbereich.
Die Objektdetektionseinheit 307 für nicht überlappende Bereiche detektiert den Teilbereich des Fußgängers in dem nicht überlappenden Bereich des Gesichtsfelds auf der Basis der in der Bildinformationsspeichereinheit 305 gespeicherten Bildinformationen des Fußgängerteilbereichs. Insbesondere bezieht sich die Zeitreiherispezifikationseinheit 309 für ähnliche Teile der Objektdetektionseinheit 307 für nicht überlappende Bereiche auf die in der Bildinformationsspeichereinheit 305 gespeicherten Bildinformationen des früheren Fußgängerteilbereichs, bestimmt einen Teilbereich (ähnlichen Teilbereich), der ein ähnliches Aussehen aufweist, in dem aktuellen Rahmen aus einem Bereich (nicht überlappenden Bereich), in dem das Gesichtsfeld zwischen der Sensorinformationserfassungseinheit 300 und der Bilderfassungseinheit 301 nicht gemeinsam ist, und speichert die Bildinformationen des Teilbereichs (ähnlichen Teilbereichs), der in der Zeitreihe ähnlich ist, in der Bildinformationsspeichereinheit 305.
Die Abstandsberechnungseinheit 308 referenziert die Detektionsbereichsinformationen (insbesondere Positionsinformationen und Größeninformationen) auf dem Bild des Fußgängerteilbereichs, der durch die Objektdetektionseinheit 307 für nicht überlappende Bereiche detektiert wurde, und die Abstandsinformationen des gesamten Fußgängerbereichs, die von der Erfassungseinheit für dreidimensionale Informationen 306 berechnet wurden, und berechnet die Abstandsinformationen zu dem Fußgänger einschließlich des Fußgängerteilbereichs (insbesondere des ähnlichen Teilbereichs), der durch die Objekterfassungseinheit 307 für den nicht überlappenden Bereich erfasst wurde.
(Betriebsbeispiel) Ein Betriebsbeispiel der Objekterkennungsvorrichtung 3 der vorliegenden Ausführungsform wird mit Bezug auf einen Ablaufplan in 14 beschrieben. Die Zielszene ist eine Szene an der in den und gezeigten Kreuzung, und die Fahrumgebung ist in der Nacht. G110 in 13A repräsentiert einen Kamerablickwinkel vor dem Passieren der Kreuzung, und G111 in 13B repräsentiert einen Kamerablickwinkel zur Zeit des Linksabbiegens an der Kreuzung. In den 13A und 13B gibt F101 einen Fußgänger an, V101 und V102 geben nicht überlappende Bereiche von Gesichtsfeldern an, und V100 gibt überlappende Bereiche von Gesichtsfeldern an. J101 und J102 geben die Teile des Fußgängers F101, die durch den Scheinwerfer des Fahrzeugs beleuchtet werden, an. Der Grund, warum die mit dem Scheinwerfer bestrahlten Teile in J101 und J102 unterschiedlich sind, liegt darin, dass der Bestrahlungsbereich des Scheinwerfers aufgrund eines veränderten Abstands zwischen dem Fußgänger und dem Fahrzeug unterschiedlich ist.
Unterschiede zwischen der Verarbeitung, die durch den Ablaufplan von 14 in dem vorliegenden Betriebsbeispiel ausgeführt wird, und der Verarbeitung, die durch den Ablaufplan von 4 in der vorstehend beschriebenen ersten Ausführungsform ausgeführt wird, sind die Fußgängerhöhenberechnungsverarbeitung (R306) durch die Erfassungseinheit 306 für dreidimensionale Informationen in 14, die Mehrteilabtastverarbeitung (R307A) durch die (Zeitreihenspezifikationseinheit 309 für ähnliche Teile der) Objekterfassungseinheit 307 für nicht überlappende Bereiche, die Teilinformationsaktualisierungsverarbeitung (R307B) durch die Bildinformationsspeichereinheit 305 und die Abstandsschätzungsverarbeitung (R308) durch die Abstandsberechnungseinheit 308. Deshalb werden nachstehend die Fußgängerhöhenberechnung (R306), die Mehrteilabtastverarbeitung (R307A), die Teilinformationsaktualisierungsverarbeitung (R307B) und die Abstandsschätzungsverarbeitung (R308) in 14, die die Unterschiede sind, im Einzelnen beschrieben.
In der Fußgängerhöhenberechnungsverarbeitung (R306) werden Höheninformationen ab der Straßenoberfläche jedes Teilbereichs im gesamten Fußgängerbereich, der in der Luminanzanalyseverarbeitung (R302) spezifiziert wird, aus dem Abstandsbild, das in der Abstandsbilderzeugungsverarbeitung (R303) erzeugt wird, und den Fußgängerbereichsinformationen, die in der Fußgängerdetektionsverarbeitung für überlappende Bereiche (R304) detektiert werden, berechnet. 15 ist ein konzeptionelles Diagramm der Höheninformationen ab der Straßenoberfläche, die in der Fußgängerhöhenberechnungsverarbeitung (R306) berechnet werden. In 15 ist ein Fußgängerbereich, der in der Fußgängerdetektionsverarbeitungfür überlappende Bereiche (R303) für den Fußgänger F101 detektiert wurde, durch F301 angegeben. In der Fußgängerhöhenberechnungsverarbeitung (R306), wie in 15 dargestellt, werden Höheninformationen ab der Straßenoberfläche für jeden Teilbereich in dem Fußgängerbereich F301 berechnet, und jeder Teilbereich und Höheninformationen ab der Straßenoberfläche werden gespeichert. In 15 sind der Teilbereich und die Höheninformationen ab der Straßenoberfläche in gleichen Abständen dargestellt, jedoch können die Höheninformationen nicht in gleichen Abständen sein, und irgendeine Beziehung zwischen dem Teilbereich und der Höhe ab der Straßenoberfläche kann berechnet und Informationen können aufgezeichnet werden.
In der Mehrteilabtastverarbeitung (R307A) wird der Fußgängerteilbereich in dem aktuellen Rahmen aus dem nicht überlappenden Bereich V101 unter Verwendung der in der Texturspeicherverarbeitung (R305) gespeicherten früheren Informationen über Teile spezifiziert. Zu diesem Zeitpunkt werden die früheren Informationen über Teile in mehrere Teilbereiche unterteilt, eine Rasterabtastung wird auf dem aktuellen Rahmens ausgeführt, und Teilbereiche (ähnliche Teilbereiche), die sich in dem früheren Rahmen und im aktuellen Rahmen ähnlich sind, werden detektiert. Das heißt, dass der ähnliche Teilbereich, der einen Teil des Fußgängerteilbereichs in dem früheren Rahmen aufweist, der in der Texturspeicherverarbeitung (R305) gespeichert ist, in dem aktuellen Rahmen, aus dem nicht überlappenden Bereich V101 detektiert wird. 16 stellt ein konzeptionelles Diagramm der Aufteilung der Informationen über frühere Teile (Fußgängerteilbereich) dar. F101 gibt einen Fußgänger an, und J101 gibt einen hell abgebildeten Fußgängerteilbereich an, der in der Luminanzanalyseverarbeitung (R304) detektiert und in der Texturspeicherverarbeitung (R305) gespeichert wird. In der Mehrteilabtastverarbeitung (R307A) wird der Fußgängerteilbereich von J101 in mehrere Fußgängerteilbereiche aufgeteilt, wie durch T301 angegeben ist. In dem Aufteilungsverfahren kann der Teilbereich auf dem Bild entsprechend der Größe aufgeteilt werden oder kann klein in vertikaler Richtung durch ein Pixel ausgeschnitten werden. Bei der Mehrteilabtastverarbeitung (R307A) wird Rasterabtastung auf dem aktuellen Rahmen unter Verwendung mehrerer Fußgängerteilbereiche (aufgeteilte Fußgängerteilbereiche), die durch T301 angegeben sind, als eine Schablone ausgeführt. Durch Erhalten von Spitzenwerten für die Korrelationswerte der mehreren Schablonen wird der ähnliche Teilbereich in dem aktuellen Rahmen und in dem früheren Rahmen spezifiziert, und der ähnliche Teilbereich in dem aktuellen Rahmen wird detektiert. Wenn die Schablone abgetastet wird, wird die Größe der Schablone geändert, und es wird Rasterabtastung ausgeführt.
In der Teilinformationsaktualisierungsverarbeitung (R307B) werden die Bildinformationen des ähnlichen Teilbereichs in dem früheren Rahmen und in dem aktuellen Rahmen, die in der Mehrteilabtastverarbeitung (R307A) spezifiziert sind, gespeichert und aktualisiert.
In der Abstandsschätzungsverarbeitung (R308) wird der Abstand zu dem Fußgänger auf der Basis der Beziehung zwischen dem Teilbereich und der Höhe ab der Straßenoberfläche.im gesamten Fußgängerbereich, die in der Fußgängerhöhenberechnungsverarbeitung (R306) berechnet wurde, und der Teilbereichsinformation, die in der Mehrteilabtastverarbeitung (R307A) detektiert wurden, berechnet. Zuerst werden die Höheninformationen des Fußgängerbereichs ab der Straßenoberfläche in dem aktuellen Rahmen, die in der Mehrteilabtastverarbeitung (R307A) spezifiziert sind, erfasst. Insbesondere werden, wo der Teilbereich, der in dem aktuellen Rahmen detektiert wird, dem gesamten Fußgängerbereich entspricht, erhalten wird, und die Höheninformationen ab der Straßenoberfläche des Teilbereichs, der im aktuellen Bild spezifiziert sind, durch Bezugnahme auf die Beziehung zwischen dem Teilbereich und der Höhe ab der Straßenoberfläche, die in der Fußgängerhöhenberechnungsverarbeitung (R306) berechnet wurde, erfasst. Als Nächstes wird der Abstand zu dem Fußgänger aus der Höhe des im aktuellen Rahmen detektierten Teilbereichs ab der Straßenoberfläche, der in der Mehrteilabtastverarbeitung (R307A) geschätzten Position des Teilbereichs auf dem Bild und der Installationsposition und den Winkelinformationen der Kamera geschätzt.
(Operationseffekte)Aus dem Vorstehenden schätzt die Objekterkennungsvorrichtung 3 der vorliegenden Ausführungsform den Abstand zu dem Fußgänger unter Verwendung des Teilbereichs, der in dem früheren Rahmen und in dem aktuellen Rahmen gemeinsam ist, für jeden Rahmen in dem nicht überlappenden Bereich. Da unterschiedliche Teile eines Fußgängers oder dergleichen, der nachts von einem Scheinwerfer beleuchtet wird, mit Licht bestrahlt werden, wenn sich das Fahrzeug bewegt, ändert sich das Aussehen desselben Teils für jeden Rahmen. Deshalb besteht die Möglichkeit, dass es immer schwierig ist, denselben Abschnitt zu detektieren, aber durch Ausführen von Detektion unter Verwendung von Informationen über Teile (ähnliche Teilbereiche), die in dem früheren Rahmen und dem aktuellen Rahmen ein ähnliches Aussehen aufweisen, ist es möglich, selbst in einem Fall, in dem sich das Aussehen des Teils zeitlich ändert, stabil zu detektieren und den Abstand von dem eigenen Fahrzeug zu einem Objekt wie z. B. einem Fußgänger genau zu schätzen.
Es wird darauf hingewiesen, dass in der vorstehend beschriebenen Ausführungsform eine Monokularkamera als ein Zielsensor in der Sensorinformationserfassungseinheit angenommen ist, jedoch die vorliegende Erfindung auch auf eine Stereokamera, eine Millimeterwelle, ein Laserradar und dergleichen anwendbar ist. Obwohl die vorstehend beschriebenen Ausführungsformen unter der Annahme beschrieben worden sind, dass die Sensorinformationserfassungseinheit oder die Bilderfassungseinheit die Vorderseite des Fahrzeugs erfassen, ist die vorliegenden Erfindung nicht auf die Vorderseite beschränkt und kann auch auf die Rückseite oder die Seite angewendet werden.
Obwohl die vorliegende Erfindung unter Bezugnahme auf die erste Ausführungsform, die zweite Ausführungsform und die dritte Ausführungsform beschrieben worden ist, ist die vorliegende Erfindung nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt und enthält verschiedene Modifikationen, die von den Beteiligten innerhalb des Schutzbereichs der vorliegenden Erfindung verstanden werden können. Zum Beispiel wurden die oben beschriebenen Ausführungsformen der Erfindung im Einzelnen in einer klar verständlichen Weise beschrieben und sind nicht notwendigerweise auf diejenigen, die alle beschriebenen Konfigurationen aufweisen, beschränkt. Zusätzlich können einige der Konfigurationen einer bestimmten Ausführungsform durch die Konfigurationen der anderen Ausführungsformen ersetzt werden, und die Konfigurationen der anderen Ausführungsformen können zu den Konfigurationen der gegenständlichen Ausführungsform hinzugefügt werden. Zusätzlich können einige der Konfigurationen jeder Ausführungsform weggelassen, durch andere Konfigurationen ersetzt und zu anderen Konfigurationen hinzugefügt werden.
Jede der vorstehenden Konfigurationen, Funktionen, Verarbeitungseinheiten, Verarbeitungsmittel und dergleichen kann teilweise oder vollständig durch Hardware erreicht werden, beispielsweise durch Konstruieren einer integrierten Schaltung. Jede der vorstehenden Konfigurationen, Funktionen und dergleichen kann durch Software erreicht werden, indem ein Prozessor ein Programm, das die jeweilige Funktion erreicht, interpretiert und ausführt. Informationen wie z. B. ein Programm, eine Tabelle und eine Datei zum Erreichen jeder Funktion können in einer Speichervorrichtung wie z. B. einem Speicher, einer Festplatte oder einem Festkörperlaufwerk (SSD) oder einem Aufzeichnungsmedium wie z. B. einer Karte mit integrierter Schaltung (IC-Karte), einer sicheren digitalen Karte (SD-Karte) oder einer „Digital Versatile Disc“ (DVD) gespeichert sein.
Zusätzlich werden nur die Steuerleitungen und Datenleitungen, die als für die Erläuterung notwendig erachtet werden, abgebildet, jedoch sind nicht alle Steuerleitungen und Datenleitungen für ein Produkt abgebildet. In der Praxis können fast alle Konfigurationen als miteinander verbunden betrachtet werden.
Bezugszeichenliste

1: Objekterkennungsvorrichtung (erste Ausführungsform)
2: Objekterkennungsvorrichtung (zweite Ausführungsform)
3: Objekterkennungsvorrichtung (dritte Ausführungsform)
100, 200, 300: Sensorinformationserfassungseinheit
101, 201, 301: Bilderfassungseinheit
102, 202, 302: Abstandsinformationserfassungseinheit
103, 203, 303: Objektdetektionseinheit für überlappende Bereiche
104, 204, 304: Teilspezifikationseinheit
105, 205, 305: Bildinformationsspeichereinheit
106, 206, 306: Erfassungseinheit für dreidimensionale Informationen
107, 207, 307: Objektdetektionseinheit für nicht überlappende Bereiche
108, 208, 308: Abstandsberechnungseinheit
209: Straßenoberflächenschätzungseinheit
309: Zeitreihenspezifikationseinheit für ähnliche Teile

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2011065338 A [0003]

Claims

Objekterkennungsvorrichtung, die umfasst: eine Sensorinformationserfassungseinheit, die Sensorinformationen, die durch Erfassen eines Umfelds erhalten werden, erfasst; eine Bilderfassungseinheit, die ein Bild, das durch Aufnehmen eines Bildes eines Umfelds erhalten wird, erfasst; eine Abstandsinformationserfassungseinheit, die Abstandsinformationen in Bezug auf einen überlappenden Bereich, in dem die Erfassungsbereiche der Sensorinformationserfassungseinheit und der Bilderfassungseinheit überlappen, erfasst; eine Objektdetektionseinheit für überlappende Bereiche, die ein Objekt aus dem überlappenden Bereich auf der Basis der durch die Abstandsinformationserfassungseinheit erfassten Abstandsinformationen detektiert; eine Teilspezifizierungseinheit, die einen spezifischen Teilbereich in dem Objekt durch Analysieren eines Bildes eines Bereichs, der dem Objekt entspricht, das durch die Objektdetektionseinheit für überlappende Bereiche detektiert wird, bestimmt; eine Biidinformationsspeichereinheit, die Bildinformationen, die einen durch die Teilspezifikationseinheit bestimmten Teilbereich betreffen, speichert; eine Erfassungseinheit für dreidimensionale Informationen, die dreidimensionale Informationen über einen durch die Teilspezifikationseinheit spezifizierten Teilbereich auf der Basis durch die Abstandsinformationserfassungseinheit erfassten Abstandsinformationen erfasst; eine Objektdetektionseinheit für nicht überlappende Bereiche, die auf die in der Bildinformationsspeichereinheit gespeicherten Bildinformationen in Bezug auf einen nicht überlappenden Bereich, in dem die Erfassungsbereiche der Sensorinformationserfassungseinheit und der Bilderfassungseinheit nicht überlappen, referenziert und einen ähnlichen Teilbereich, der einen durch die Teilspezifikationseinheit spezifizierten Teilbereich oder einen Teil eines durch die Teilspezifikationseinheit spezifizierten Teilbereichs aufweist, detektiert; und eine Abstandsberechnungseinheit, die einen Abstand zu einem Objekt, das den Teilbereich oder den ähnlichen Teilbereich enthält, auf der Basis von Detektionsbereichsinformationen auf dem Bild des Teilbereichs oder des ähnlichen Teilbereichs, die durch die Objektdetektionseinheit für nicht überlappende Bereiche detektiert werden, und der dreidimensionalen Informationen, die durch die Erfassungseinheit für dreidimensionale Informationen erfasst werden, berechnet.
Objekterkennungsvorrichtung nach Anspruch 1, wobei die durch die Erfassungseinheit für dreidimensionale Informationen erfassten dreidimensionalen Informationen eine Höhe des durch die Teilespezifikationseinheit bestimmten Teilbereichs ab einer Straßenoberfläche ist.
Objekterkennungsvorrichtung nach Anspruch 2, die ferner umfasst: eine Straßenoberflächenschätzungseinheit, die eine Form einer Straßenoberfläche basierend auf durch die Abstandsinformationserfassungseinheit erfassten Abstandsinformationen schätzt, wobei eine Abstandsberechnungseinheit einen Abstand zu einem Objekt, das den Teilbereich oder den ähnlichen Teilbereich enthält, auf der Basis von Detektionsbereichsinformationen auf einem Bild des Teilbereichs oder des ähnlichen Teilbereichs, die durch die Objektdetektionseinheit für nicht überlappende Bereiche detektiert sind, dreidimensionalen Informationen, die durch die Erfassungseinheit für dreidimensionale Informationen erfasst sind, und Straßenoberflächenforminformationen, die durch die Straßenoberflächenschätzungseinheit geschätzt sind, berechnet.
Objekterkennungsvorrichtung nach Anspruch 1, wobei die dreidimensionalen Informationen, die durch die Erfassungseinheit für dreidimensionale Informationen erfasst werden, eine tatsächliche Größe einer Höhe oder einer Breite des durch die Teilspezifikationseinheit bestimmten Teilbereichs sind.
Objekterkennungsvorrichtung nach Anspruch 1, wobei die Teilespezifikationseinheit einen Luminanzwert eines Bildes analysiert und den Teilbereich auf der Basis einer Kontraständerung von Helligkeit und Dunkelheit bestimmt.
Objekterkennungsvorrichtung nach Anspruch 1, die ferner umfasst: eine Zeitreihenspezifikationseinheit für ähnliche Teile, die den ähnlichen Teilbereich bestimmt, der in einem aktuellen Rahmen ein ähnliches Aussehen wie ein Teilbereich eines in der Bildinformationsspeichereinheit gespeicherten früheren Rahmens hat, wobei die Bildinformationsspeichereinheit Bildinformationen des ähnlichen Teilbereichs, der durch die Zeitreihenspezifikationseinheit für ähnliche Teile bestimmt wird, speichert.
Objekterkennungsvorrichtung nach Anspruch 6, wobei die Zeitreihenspezifikationseinheit für ähnliche Teile einen Teilbereich eines früheren Rahmens, der in der Bildinformationsspeichereinheit gespeichert ist, in mehrere Teilbereiche aufteilt und den ähnlichen Teilbereich, der dem aufgeteilten Teilbereich in einem aktuellen Rahmen entspricht, bestimmt.