DE102015211874A1

DE102015211874A1 - Objekterkennungsvorrichtung

Info

Publication number: DE102015211874A1
Application number: DE102015211874.6A
Authority: DE
Inventors: Shun IWASAKI; Keisuke Miyagawa
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2014-06-30
Filing date: 2015-06-25
Publication date: 2015-12-31
Also published as: US9508000B2; JP2016012304A; US20150379334A1; JP6230498B2; CN105320930A; CN105320930B

Abstract

Eine Objekterkennungsvorrichtung 10 enthält eine Kandidatbild-Extraktionseinheit 12, die ein Kandidatbildteil 22 aus einem Aufnahmebild 21 extrahiert, eine Abstandsberechnungseinheit 13, die den Abstand D des Kandidatbildteils 22 berechnet, und eine Kandidatbild-Bestimmungseinheit 14, die bestimmt, dass in dem Fall, wo eine vorbestimmte Zahl k oder mehr der Kandidatbildteile 22, deren Realraum-Positionen zu einem Bestimmungsbereich R gehören, dessen Abstand innerhalb der Reichweite eines zweiten vorbestimmten Abstands, der einen ersten vorbestimmten Abstand überschreitet, und dessen Breite eine vorbestimmte Breite oder weniger hat, extrahiert werden, die Kandidatbildteile 22, die zu dem Bestimmungsbereich R gehören, weniger wahrscheinlich die Bildteile eines Fußgängers sind.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung, die konfiguriert ist, um auf der Basis eines Aufnahmebilds einer Kamera ein Objekt zu erkennen.
2. Beschreibung der verwandten Technik
Bislang ist eine Objekterkennungsvorrichtung bekannt geworden, die dazu ausgelegt ist, auf einem Bild einer Straße vor dem Fahrzeug, das von einer im Fahrzeug angebrachten Kamera erfasst wird, einen Fußgänger zu erkennen, mit dem ein Kontakt durch das Fahrzeug vermieden werden soll (siehe z. B. japanische Patentanmeldung-Offenlegung Nr. 2002-279808 ).
Gemäß der Objekterkennungsvorrichtung, die in der vorstehenden Publikation beschrieben ist, wird ein Bildteil eines Objekts, das sich in der Umgebung eines Fahrzeugs befindet (Kandidat eines Bildteils eines Fußgängers) aus einem von einer Kamera erfassten Bild extrahiert, und dann wird identifiziert, ob das Bildteil des Objekts ein Bildteil eines Fußgängers ist oder nicht. Danach wird die Orientierung des Fußgängers in dem Bildteil, das als das Bildteil des Fußgängers identifiziert worden ist, bestimmt, und es wird ferner bestimmt, ob der Kontakt des Fahrzeugs mit dem Objekt vermieden werden soll. Dann wird, auf der Basis des Ergebnisses der Bestimmung, einem Fahrer eine Meldung gegeben.
Eine Identifizierungstechnik wie etwa ein Verfahren zum Identifizieren, ob das Bildteil eines Objekts das Bildteil eines Fußgängers ist oder nicht, beruht auf den Charakteristiken, die die Form eines Objekts angeben, wie etwa dem Aspektverhältnis des Bildteils eines Objekts, dem Verhältnis zwischen der Fläche des Bildteils des Objekts und der Fläche eines das Bildteil des Objekts umschreibenden Vierecks, oder den Charakteristiken, wie etwa der Größe des Bildteils des Objekts und der Luminanzverteilung auf einem Grauwertbild.
Wenn jedoch ein Fußgänger aus einem Aufnahmebild einer Kamera erkannt wird, dann muss, falls mehrere Kandidaten der Bildteile des Fußgängers extrahiert werden, jeder der Kandidaten geprüft werden, zum Identifizieren, ob der Kandidat das Bildteil des Fußgängers ist oder nicht, was ein Problem einer verlängerten Zeit darstellt, die zum Erkennen des Fußgängers erforderlich ist.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung ist im Hinblick auf den vorstehenden Hintergrund gemacht worden, und Aufgabe der Erfindung ist es, eine Objekterkennungsvorrichtung anzugeben, die in der Lage ist, die Zeit zu verkürzen, die zum Erkennen eines Fußgängers erforderlich ist, wenn mehrere Kandidaten eines Bildteils des Fußgängers aus einem Aufnahmebild einer Kamera extrahiert werden.
Eine Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung enthält:
eine Kandidatbild-Extraktionseinheit, die ein Kandidatbildteil, das ein Bildteil eines Objekts ist, das ein Fußgänger sein könnte, aus einem Aufnahmebild einer Kamera extrahiert;
eine Abstandsberechnungseinheit, die einen Abstand zwischen einer entsprechenden Realraum-Position und der Kamera auf dem von der Kandidatbild-Extraktionseinheit extrahierten Kandidatbildteil berechnet; und
eine Kandidatbild-Bestimmungseinheit, die bestimmt, dass in einem Fall, wo eine erste vorbestimmte Anzahl oder mehr Kandidatbildteile, deren entsprechende Realraum-Positionen zu einem Bestimmungsbereich gehören, dessen Abstand von der Kamera in Abbildungsrichtung der Kamera innerhalb einer Reichweite eines ersten vorbestimmten Abstands oder mehr und eines zweiten vorbestimmten Abstands oder weniger liegt, und dessen Breite in horizontaler Richtung orthogonal zur Abbildungsrichtung eine vorbestimmte Breite oder weniger ist, von der Kandidatbild-Extraktionseinheit extrahiert werden, die Kandidatbildteile, deren entsprechende Realraum-Positionen zu dem Bestimmungsbereich gehören, eine niedrige Wahrscheinlichkeit haben, dass sie Bildteile eines Fußgängers sind.
Die Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung extrahiert zunächst die Kandidatbildteile, die Bildteile eines Objekts sind, das ein Fußgänger sein könnte, aus einem Aufnahmebild einer Kamera durch eine Kandidatbild-Extraktionseinheit.
Dann berechnet die Abstandsberechnungseinheit den Abstand, der entsprechend der Realraum-Position von der Kamera für die Kandidatbildteile, die von der Kandidatbild-Extraktionseinheit extrahiert wurden.
Als nächstes zählt die Kandidatbild-Bestimmungseinheit, unter den von der Kandidatbild-Extraktionseinheit extrahierten Kandidatbildteilen, die Kandidatbildteile, deren entsprechende Realraum-Positionen zu einem Bestimmungsbereich gehören, dessen Abstand von der Kamera in der Abbildungsrichtung der Kamera innerhalb einer Reichweite eines ersten vorbestimmten Abstands oder mehr und eines zweiten vorbestimmten Abstands oder weniger liegt, und dessen Breite in horizontaler Richtung orthogonal zur Bildaufnahmerichtung eine vorbestimmte Breite oder weniger ist. Wenn dann eine erste vorbestimmte Anzahl oder mehr der Kandidatbildteile, deren entsprechende Realraum-Position zu dem Bestimmungsbereich gehören, extrahiert werden, dann wird bestimmt, dass diese Kandidatbildteile eine niedrige Wahrscheinlichkeit haben, dass sie Bildteile eines Fußgängers sind.
Die Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung macht es möglich, die Kandidatbildteile zu identifizieren, die weniger wahrscheinlich Bildteile eines Fußgängers sind, durch einen einfachen arithmetischen Prozess, der von der Kandidatbild-Bestimmungseinheit durchgeführt wird, um es zu ermöglichen, die Zeit zu verkürzen, die zum Erkennen eines Fußgängers erforderlich ist, wenn eine Mehrzahl von Kandidatbildteilen extrahiert wird.
Der Bestimmungsbereich bezieht sich auf einen Bereich, der die vorstehenden Bedingungen in dem Aufnahmebild erfüllt, oder einen Bereich, der die vorstehenden Bedingungen erfüllt, wenn das Aufnahmebild in einen realen Raum umgewandelt wird.
Ferner wird der Fall, wo „Kandidatbildteile, deren entsprechende Realraum-Positionen zu einem Bestimmungsbereich gehören, dessen Abstand von der Kamera in der Abbildungsrichtung der Kamera innerhalb einer Reichweite eines ersten vorbestimmten Abstands oder mehr und eines zweiten vorbestimmten Abstands oder weniger liegen, und dessen Breite in horizontaler Richtung orthogonal zur Bildaufnahmerichtung eine vorbestimmte Breite oder weniger ist, extrahiert werden” durch einen Fall exemplifiziert, wo die Bildteile von mehreren Bäumen, eine Serie von Bergen oder dergleichen, die innerhalb der Distanz existieren, entsprechend einem Abstand innerhalb des Bereichs des ersten vorbestimmten Abstands oder mehr und des zweiten vorbestimmten Abstands oder weniger in der Bildaufnahmerichtung der Kamera existieren, Kandidatbildteile extrahiert werden.
Die Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung enthält bevorzugt eine Fußgängerbild-Identifizierungseinheit, die einen Fußgängeridentifizierungsprozess durchführt, zum Identifizieren, ob Kandidatbildteile, ausschließlich jener Kandidatbildteile, die unter den von der Kandidatbild-Extraktionseinheit extrahierten Kandidatbildteilen von der Kandidatbild-Bestimmungseinheit als solche identifiziert wurden, die mit geringer Wahrscheinlichkeit Bildteile eines Fußgängers sind, Bildteile eines Fußgängers sind oder nicht.
Mit dieser Anordnung führt die Fußgängerbild-Identifizierungseinheit, unter den Kandidatbildteilen, die von der Kandidatbild-Extraktionseinheit extrahiert wurden, den Bildidentifizierungsprozess an den verbleibende Kandidatbildteilen durch, nach Ausschluss der von der Kandidatbild-Bestimmungseinheit identifizierten Bildteile, die weniger wahrscheinlich die Bildteile eines Fußgängers sind. Dies macht es möglich, die Anzahl der Kandidatbildteile zu reduzieren, die im Fußgängeridentifizierungsprozess zu bearbeiten sind, um hierdurch die Zeit zu verkürzen, die zum Identifizieren eines Fußgängers erforderlich ist.
Ferner kann die Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung die Bestimmung unter Verwendung eines Einzelbilds, das zu einem Zeitpunkt erfasst wird, durchgeführt werden. Alternativ kann die Bestimmung jedoch auch unter Verwendung einer Mehrzahl von Aufnahmebildern erfolgen, die über die Zeit aufeinanderfolgend erfasst werden.
Zum Beispiel kann die Kandidatbild-Bestimmungseinheit den Typ des Objekts von Kandidatbildteilen in dem Bestimmungsbereich bestimmen, falls die erste vorbestimmte Anzahl oder mehr von Kandidatbildteilen in dem Bestimmungsbereich in jedem einer vorbestimmten Anzahl oder mehr von Aufnahmebildern, die kontinuierlich über die Zeit erfasst worden sind, extrahiert wurden, oder eine durchschnittliche Anzahl von Malen der Extraktion von Kandidatbildteilen, die in dem Bestimmungsbereich von jedem der Aufnahmebilder extrahiert wurden, eine zweite vorbestimmte Anzahl oder mehr ist.
Alternativ kann die Kandidatbild-Bestimmungseinheit einen Objekttyp der Kandidatbildteile in dem Bestimmungsbereich bestimmen, falls in einer vorbestimmten Anzahl oder mehr von Aufnahmebildern, die kontinuierlich über die Zeit erfasst worden sind, die erste vorbestimmte Anzahl oder mehr von Kandidatbildteilen in dem Bestimmungsbereich eines zu einem ersten Zeitpunkt erfassten Aufnahmebilds erfasst werden, und die erste vorbestimmte Zahl oder weniger und eine dritte vorbestimmte Anzahl oder mehr von Kandidatbildteilen in dem Bestimmungsbereich von jedem der zu unterschiedlichen Zeitpunkten nach dem ersten Zeitpunkt erfassten Aufnahmebilder extrahiert werden.
Gemäß diesen Verfahren kann die Genauigkeit der Bestimmung des Objekttyps verbessert werden, im Vergleich zu dem Fall, wo die Bestimmung nur mittels eines Aufnahmebilds erfolgt, das zu einem Zeitpunkt erfasst wird.
In diesem Fall kann die vorbestimmte Anzahl von Aufnahmebildern, die kontinuierlich über die Zeit erfasst werden, entsprechend der Fahrgeschwindigkeit des Fahrzeugs verändert werden, in dem die Kamera angebracht ist.
Ferner setzt die Kandidatbild-Bestimmungseinheit bevorzugt die Bestimmung des Objekttyps fort, bis nach der Bestimmung des Objekttyps Kandidatbildteile in dem Bestimmungsbereich eine vorbestimmte Zeit abgelaufen ist.
Mit dieser Anordnung lässt sich verhindern, dass sich die Bestimmung des Objekttyps innerhalb der vorbestimmten Zeit aufgrund des Einflusses von Rauschen oder dergleichen ändert, nachdem die Kandidatbild-Bestimmungseinheit den Objekttyp der Kandidatbildteile in dem Bestimmungsbereich bestimmt hat.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm einer Objekterkennungsvorrichtung;
2 ist ein Flussdiagramm eines von der Objekterkennungsvorrichtung durchgeführten Prozesses;
3 ist ein Erläuterungsdiagramm, das Kandidatbildteile in einem Aufnahmebild darstellt;
4A und 4B sind Erläuterungsdiagramme, die einen Prozess zum Berechnen eines Abstands darstellen, wobei 4A ein Aufnahmebild 21 darstellt und 4B ein Verfahren zum Berechnen eines Abstands darstellt; und
5A und 5B sind Erläuterungsdiagramme, die die Positionen von Koordinaten von Kandidatbildteilen in Aufnahmebildern darstellen, die in reale Koordinaten umgewandelt worden sind, wobei 5A ein zu einem Zeitpunkt t1 erfasstes Aufnahmebild darstellt und 5B ein zu einem Zeitpunkt t2 erfasstes Aufnahmebild darstellt.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGEN
Eine Ausführung einer Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung wird im Bezug auf 1 bis 5B beschrieben.
Im Bezug auf 1 ist eine Objekterkennungsvorrichtung 10 in einem Fahrzeug 1 angebracht, das mit einer Kamera 2 (Farbkamera) versehen ist.
Die Objekterkennungsvorrichtung 10 ist eine elektronische Einheit, die aus einer CPU, Speichern, verschiedenen Typen von Schnittstellen und dergleichen (nicht dargestellt) aufgebaut ist, und fungiert als Aufnahmebilderfassungseinheit 11, als Kandidatbild-Extraktionseinheit 12, Abstandsberechnungseinheit 13, Kandidatbild-Bestimmungseinheit 14, Fußgängerbild-Identifizierungseinheit 15, Fußgängerorientierungs-Bestimmungseinheit 16, Vermeidungs-Bestimmungseinheit 17 und Alarm-Ausgabeeinheit 18, durch Ausführung eines Objekterkennungsprogramms, das in einem Speicher gehalten wird, durch die CPU.
Gemäß dem in 2 angegebenen Flussdiagramm beschreibt das Folgende den Prozess zum Erkennen eines Objekts (einer Person, eines Fahrrads oder dergleichen), das auf einer Straße existiert, der von der Objekterkennungsvorrichtung 10 ausgeführt wird. Die Objekterkennungsvorrichtung 10 führt den Prozess bei jedem vorbestimmten Steuerzyklus gemäß dem Prozess des in 2 angegebenen Flussdiagramms durch, um ein Objekt (Fußgänger) zu erkennen, das auf der Straße existiert, auf der das Fahrzeug 1 fährt, bestimmen, ob das Objekt ein Objekt ist, mit dem das Fahrzeug 1 einen Kontakt vermeiden sollte, und einen Fahrer in Kenntnis zu setzen.
Der Prozess in Schritt 1 von 2 wird von der Aufnahmebild-Erfassungseinheit 11 ausgeführt. Die Aufnahmebild-Erfassungseinheit 11 empfängt Videosignale des das Fahrzeug 1 umgebenden Bereichs (vorderen Bereichs), die von der im Fahrzeug angebrachten Kamera 2 ausgegeben werden, und unterzieht die Farbkomponenten (R-Wert, G-Wert und B-Wert) der Videosignale einer Entmosaikisierung, um ein Farb-Aufnahmebild zu erfassen, dass den R-Wert, G-Wert und B-Wert als die Daten jedes Pixels aufweist. Die Daten des Farb-Aufnahmebilds vor dem Fahrzeug 1 werden in einem Bildspeicher 20 gehalten. Dann wird das Farb-Aufnahmebild gewandelt, um ein Grauwert-Aufnahmebild (nachfolgend als „das Aufnahmebild” bezeichnet) 21 zu erzeugen, und wird das erzeugte Aufnahmebild in dem Bildspeicher 20 gehalten.
Der Prozess im nächsten Schritt S2 wird von der Kandidatbild-Extraktionseinheit 12 ausgeführt. Die Kandidatbild-Extraktionseinheit 12 extrahiert Kandidatbildteile 22, die Bildteile eines Objekts sind, das ein Fußgänger sein kann, aus einem Aufnahmebild 21. Zum Beispiel stellt 3 die Bildteile eines fern liegenden Gebirges dar, das aus einer Mehrzahl von Kandidatbildteilen 22 extrahiert wird.
Die Kandidatbildteile 22 werden aus dem Aufnahmebild 21 zum Beispiel durch Absuchen nach Bereichen extrahiert, die die Quantität von Charakteristiken eines Fußgängers in dem Grauwert-Aufnahmebild 21 haben. Die Suche nach einem Fußgänger in Schritt S2 erfolgt unter Verwendung der Daten eines einfachen Nachschlagewerks, das lockerer gesetzt worden ist als im Prozess zum Identifizieren eines Fußgängers in Schritt 8, wie später diskutiert wird.
Anschließend wird der Prozess in Schritt 3 von der Abstandsberechnungseinheit 13 ausgeführt. Die Abstandsberechnungseinheit 13 berechnet den Abstand zwischen einer entsprechenden Realraum-Position der Kamera 2 an jedem der Kandidatbildteile 22.
Wie in 4A dargestellt, bestimmt die Abstandsberechnungseinheit 13 zunächst die Koordinate eines Straßenfluchtpunkts 32, der ein Punkt in der Unendlichkeit ist, aus dem Schnittpunkt von Bildteilen 31a, 31b von Fahrbahnmarkierungen (weißen Linien), die eine Fahrbahn in dem Aufnahmebild 21 der Kamera 2 definieren, und bestimmt eine Differenz Δy zwischen dem Pixel des Straßenfluchtpunkts 32 und dem Pixel des untersten Punkt des Kandidatbildteils 22. Dann berechnet, wie in 4B dargestellt, die Abstandsberechnungseinheit 13 einen Winkel θ relativ zum Unendlichkeitspunkt gemäß dem nachfolgend angegebenen Ausdruck (1) und berechnet einen Abstand D zwischen dem Fahrzeug 1, in dem die Kamera 2 angebracht ist, und einem Objekt 33, d. h. den Abstand zwischen dem Fahrzeug 1 und der entsprechenden Realraum-Position des Kandidatbildteils 22 gemäß dem nachfolgend angegebenen Ausdruck (2). H bezeichnet die Höhe der Kamera 2 und „focal” bezeichnet die Brennweite der Kamera 2. tanθ = Δy/focal (1) D = H/tanθ (2)
Der anschließende Prozess in Schritt 4 bis Schritt 7 wird von der Kandidatbild-Bestimmungseinheit 14 ausgeführt.
In Schritt 4 kartiert die Kandidatbild-Bestimmungseinheit 14 zuerst die Koordinatenpositionen der Kandidatbildteile 22 in dem Aufnahmebild 21 auf reale Koordinaten auf der Basis der von der Abstandsberechnungseinheit 13 berechneten Abstände und den Positionen der horizontalen Richtung im Aufnahmebild 21, wie in 5A dargestellt.
Als nächstes setzt die Kandidatbild-Bestimmungseinheit 14, als Bestimmungsbereiche R₁, R₂ (die schraffierten Abschnitte der Zeichnung nachfolgend, in einigen Fällen einfach als „die Bestimmungsbereiche R” bezeichnet), die Bereiche, deren Abstände von der Kamera 2 in der Fahrtrichtung des Fahrzeugs 1 (Bildaufnahmerichtung der Kamera 2) in der Reichweite eines ersten vorbestimmten Abstands oder mehr und eines zweiten vorbestimmten Abstands oder weniger liegen, und deren Breite in der horizontalen Richtung orthogonal zur Fahrtrichtung des Fahrzeugs 1 innerhalb einer vorbestimmten Breiten-Reichweite liegt, wie in 5A dargestellt. In der vorliegenden Ausführung werden zwei Bestimmungsbereiche R₁, R₂ gesetzt. Jedoch kann die Anzahl der Bestimmungsbereiche auch auf eins, drei oder mehr gesetzt werden. Ferner können alle von der Kamera 2 aufgenommenen Bereiche als einzelner Bestimmungsbereich gesetzt werden, insofern die Bereiche so sind, dass ihre Abstände von der Kamera 2 in der Fahrtrichtung des Fahrzeugs 1 innerhalb der Reichweite des ersten vorbestimmten Abstands oder mehr und des zweiten vorbestimmten Abstands oder weniger liegen, und deren Breiten in der horizontalen Richtung orthogonal zur Fahrtrichtung des Fahrzeugs 1 innerhalb der vorbestimmten Reichweite liegen.
Anschließend werden unter den von der Kandidatbild-Extraktionseinheit 12 extrahierten Kandidatbildteilen 22 die Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu jedem der Bestimmungsbereiche R₁, R₂ gehören, gezählt. Wenn es einen oder mehrere Bestimmungsbereich R gibt, deren jeder eine Zahl k enthält („k” entspricht einer ersten vorbestimmten Anzahl in der vorliegenden Erfindung) oder mehr der Kandidatbildteile 22 enthält, dann geht der Prozess zu Schritt 5 weiter. Wenn es keinen Bestimmungsbereich R gibt, der die Zahl k oder mehr der Kandidatbildteile 22 enthält, geht der Prozess zu Schritt 7 weiter.
In Schritt 5 bestimmt die Kandidatbild-Bestimmungseinheit 14, dass die Kandidatbildteile 22 in dem Bestimmungsbereich R (z. B. dem Bestimmungsbereich R₂), der die Zahl k oder mehr Kandidatbildteile 22 unter den von der Kandidatbild-Extraktionseinheit 12 extrahierten Kandidatbildteilen 22 enthält, die weniger wahrscheinlich ein Fußgänger sind, und geht zu Schritt 6 weiter, der die Kandidatbildteile 22 aus in dem Schritt 8 zu bearbeitenden ausschließt, was später diskutiert wird.
In Schritt 6 setzt die Kandidatbild-Bestimmungseinheit 14, als die in Schritt 8 zu bearbeitenden Bildteile, nur jene Kandidatbildteile 22 (22a in der Zeichnung) außer den Kandidatbildteilen 22, die in Schritt 5 ausgeschlossen worden sind, und geht zu Schritt 8 weiter.
In Schritt 7 setzt die Kandidatbild-Bestimmungseinheit 14, als die im nächsten Schritt 8 zu bearbeitenden Bildteile, alle von der Kandidatbild-Extraktionseinheit 12 extrahierten Kandidatbildteile 22 und geht zu Schritt 8 weiter.
Im anschließenden Schritt 8 wird der Prozess durch die Fußgängerbild-Identifizierungseinheit 15 durchgeführt. Die Fußgängerbild-Identifizierungseinheit 15 führt einen Fußgängeridentifizerungsprozess an jedem der Kandidatbildteile 22 durch, die in Schritt 6 oder Schritt 7 als zu bearbeitenden Bildteile gesetzt sind, um zu identifizieren, ob das Kandidatbildteil 22 ein Bildteil eines Fußgängers ist oder nicht. Das Kandidatbildteil 22, das als Bildteil eines Fußgängers bestimmt worden ist, wird dem in Schritt 9 durchgeführten Prozess unterzogen. Wenn das Kandidatbildteil 22 nicht als Bildteil eines Fußgängers bestimmt wird, dann wird der Prozess durch die Objekterkennungsvorrichtung 10 beendet.
Der Fußgängeridentifizierungsprozess wird zum Beispiel durch Absuchen nach Bereichen durchgeführt, die die Quantität von Charakteristiken eines Fußgängers in dem Grauwert-Aufnahmebild 21 haben.
Der Prozess in Schritt 9 wird von der Fußgängerorientierungs-Bestimmungseinheit 16 durchgeführt. Die Fußgängerorientierungs-Bestimmungseinheit 16 bestimmt die Orientierung eines Fußgängers auf jedem der Kandidatbildteile 22, die von der Fußgängerbild-Identifizierungseinheit 15 als Bildteile des Fußgängers bestimmt worden sind.
Der im anschließenden Schritt 10 durchgeführte Prozess wird von der Vermeidungs-Bestimmungseinheit 17 ausgeführt. An jedem der Kandidatbildteile 22, die als die Bildteile eines Fußgängers bestimmt worden sind, wird gemäß der von der Fußgängerorientierungs-Bestimmungseinheit 16 bestimmten Orientierung des Fußgängers bestimmt, ob eine Vermeidung notwendig ist oder nicht (ob es eine hohe Kollisionsmöglichkeit mit dem Fahrzeug 1 gibt). Zum Beispiel wird bestimmt, dass die Vermeidung notwendig ist, wenn der Fußgänger nach vorne weist (zum Fahrzeug 1 hin) oder der Fußgänger, der an der rechten Seite des Fahrzeugs 1 angeordnet ist, nach links weist (zum Fahrzeug 1 hin), wohingegen bestimmt wird, dass eine Vermeidung nicht notwendig ist, wenn der an der rechten Seite des Fahrzeugs 1 angeordnete Fußgänger nach rechts weist (vom Fahrzeug 1 weg). Wenn die Anzahl der Kandidatbildteile 22, die als Bildteile eines zu vermeidenden Objekts bestimmt worden sind, eins oder mehr ist, dann geht der Prozess zu Schritt 11 weiter, oder wenn ein solches Kandidatbildteil 22 vorhanden ist, dann wird der Prozess durch die Objekterkennungsvorrichtung 10 beendet.
Der Prozess in Schritt 11 wird von der Alarm-Ausgabeeinheit 18 durchgeführt. Die Alarm-Ausgabeeinheit 18 gibt einen Alarm für das Kandidatbildteil 22 aus, das von der Vermeidungs-Bestimmungseinheit 17 als Bildteil eines zu vermeidenden Objekts bestimmt worden ist, unter den Kandidatbildteilen, die als die Bildteile eines Fußgängers bestimmt worden sind. Der Alarm kann zum Beispiel in der Form einer Audio-Anleitung oder einer Anzeige auf einer Anzeigeeinheit ausgegeben werden.
Wie oben beschrieben, werden, gemäß der Objekterkennungsvorrichtung 10 der vorliegenden Ausführung, unter den von der Kandidatbild-Extraktionseinheit 12 extrahierten Kandidatbildteilen 22, jene Kandidatbildteile 22 in dem Bestimmungsbereich R, der die Zahl k oder mehr Kandidatbildteile 22 enthält, bestimmt, dass sie weniger wahrscheinlich die Bilder eines Fußgängers sind, und werden danach aus dem Prozess ausgeschlossen. Ferner wird unter den Kandidatbildteilen 22, die von der Kandidatbild-Extraktionseinheit 12 extrahiert sind, der anschließende Prozess (der Prozess durch die Fußgängerbild-Identifizierungseinheit 15 in Schritt 8) nur an dem Kandidatbildteil 22 (22a) durchgeführt, der nach dem Ausschluss verbleibt, wie oben beschrieben.
Ferner werden, gemäß der Objekterkennungsvorrichtung 10 der vorliegenden Ausführung, die entsprechenden Realraum-Positionen von jedem der Kandidatbildteile 22 auf reale Koordinaten in 5A kartiert, und dann wird die Anzahl der Kandidatbildteile 22, die entsprechende Realraum-Positionen haben, die in dem Bestimmungsbereich R liegen, gezählt. Als alternatives Verfahren kann ein Bestimmungsbereich R', dessen Realraum-Position so ist, dass der Abstand von der Kamera 2 in der Fahrtrichtung des Fahrzeugs 1 in der Reichweite des ersten vorbestimmten Abstands oder mehr eines vorbestimmten Abstands oder weniger liegt, und dessen Breite in der horizontalen Richtung orthogonal zur Fahrtrichtung innerhalb einer vorbestimmten Reichweite liegt, in dem Aufnahmebild 21 in 3 gesetzt werden, und dann kann die Anzahl von Kandidatbildteilen 22 gezählt werden, die zu dem Bestimmungsbereich R' in dem Aufnahmebild 21 gehören.
Ferner ist in der vorliegenden Ausführung die Kamera 2 in dem Fahrzeug 1 angebracht. Alternativ kann die Kamera jedoch auch an einer Seite einer Straße oder über einer Straße installiert werden.
Wenn es ferner, gemäß der Objekterkennungsvorrichtung 10 der vorliegenden Erfindung, einen oder mehrere Bestimmungsbereiche R gibt, deren jeder die Zahl k oder mehr Kandidatbildteile 22 enthält, in einem einzelnen Aufnahmebild 21, das zu einem Zeitpunkt aufgenommen wird, dann bestimmt die Kandidatbild-Bestimmungseinheit 14 in Schritt 4 bis Schritt 5, dass die Kandidatbildteile 22 in dem Bestimmungsbereich R weniger wahrscheinlich Bildteile eines Fußgängers sind. Als alternatives Verfahren kann auch eine Mehrzahl der Aufnahmebilder 21, die kontinuierlich über die Zeit aufgenommen werden, verwendet werden, um die Bestimmung auszuführen. Dieses Verfahren wird nachfolgend beschrieben.
Die Kandidatbild-Bestimmungseinheit 14 bestimmt zunächst, ob die Anzahl der Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu jedem der Bestimmungsbereiche R₁, R₂ gehören, die Zahl k oder mehr in einem Aufnahmebild 21 _t1 ist oder nicht, das zu einem Zeitpunkt t1 erfasst wird, wie in 5A dargestellt.
Wenn die Anzahl der Kandidatbildteile 22 die Zahl k oder mehr ist, dann bestimmt die Kandidatbild-Bestimmungseinheit 14, ob die Anzahl der Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu jedem der Bestimmungsbereiche R₁, R₂ gehören, eine Zahl p oder mehr ist oder nicht („p” entspricht einer dritten vorbestimmten Anzahl in der vorliegenden Erfindung), in einem Aufnahmebild 21 _t2, das zu einem Zeitpunkt t2 erfasst wird, wie in 5B dargestellt. „p” kann gleich k oder kleiner als k sein.
Wenn ferner die Anzahl der Kandidatbildteile 22 die Zahl p oder mehr ist, dann bestimmt die Kandidatbild-Bestimmungseinheit 14, ob die Anzahl der Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu jedem der Bestimmungsbereiche R₁, R₂ gehören, die Zahl p oder mehr in einem Aufnahmebild 21 _t2 ist oder nicht, das zum Zeitpunkt t2 erfasst wird.
Wenn ferner die Anzahl der Kandidatbildteile 22 die Zahl p oder mehr ist, dann bestimmt die Kandidatbild-Bestimmungseinheit 14, ob die Anzahl der Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu jedem der Bestimmungsbereiche R₁, R₂ gehören, die Zahl p oder mehr in einem Aufnahmebild 21 _t3 ist oder nicht, das zu einem Zeitpunkt t3 erfasst wird.
Die Kandidatbild-Bestimmungseinheit 14 wiederholt den obigen Prozess und bestimmt, dass die Kandidatbildteile 22, die zu dem Bestimmungsbereich R gehören, weniger wahrscheinlich Bildteile eines Fußgängers sind, wenn die Anzahl der Kandidatbildteile 22, deren entsprechende Realraum-Positionen zu dem Bestimmungsbereich R gehören, die Zahl p oder mehr in einem Aufnahmebild 21 _tq ist, das zu einem Zeitpunkt tq erfasst wird.
Gemäß dem Verfahren, in dem eine Mehrzahl von Aufnahmebildern 21 _t1, 21 _t2, 21 _t3 ..., 21 _tq, die kontinuierlich über die Zeit erfasst werden, wie oben beschrieben, dazu benutzt wird, eine niedrige Wahrscheinlichkeit bestimmen, dass Bildteile ein Fußgänger sind, kann die Genauigkeit eines Bestimmungsergebnisses weiter verbessert werden, im Vergleich zu dem Verfahren, in dem nur ein zu einem Zeitpunkt erfasstes Aufnahmebild 21 verwendet wird.
Im oben beschriebenen Verfahren wird die Anzahl der Kandidatbildteile 22 auf einer Zahl q bestimmt („q” entspricht einer vorbestimmten Erfassungsanzahl in der vorliegenden Erfindung) der Aufnahmebilder 21 _t1, 21 _t2, 21 _t3 ..., 21 _tq. Jedoch kann die vorbestimmte Erfassungsanzahl q der Aufnahmebilder 21 auch entsprechend der Fahrgeschwindigkeit des Fahrzeugs 1 verändert werden.
Zum Beispiel sind die Aufnahmebilder ab 21t₂ und danach, nämlich die Aufnahmebilder 21 _t2, 21 _t3 ..., 21 _tq, falls die Fahrgeschwindigkeit hoch ist, solche Aufnahmebereiche, die im Bezug auf die realen Raumpositionen weiter entfernt sind als die Aufnahmebilder 21 _t2, 21 _t3 ..., 21 _t, falls die Fahrgeschwindigkeit niedrig ist. Wenn daher Kandidatbilder auf Bereichen mit dem gleichen Abstand bestimmt werden, können die Kandidatbildteile 22 auch dann zuverlässig extrahiert werden, wenn die vorbestimmte Erfassungszahl q auf dem Aufnahmebild 21 reduziert wird, wenn die Fahrgeschwindigkeit zunimmt. Im Ergebnis ist in dem Fall, wo die Fahrgeschwindigkeit zunimmt, eine reduzierte Anzahl von Aufnahmebildern 21 erforderlich, um es möglich zu machen, die niedrige Wahrscheinlichkeit zu bestimmen, dass Bildteile ein Fußgänger sind, um es zu ermöglichen, die Zeit zur Durchführung der Bestimmung zu verkürzen.
Ferner ist das Verfahren zum Bestimmen der niedrigen Wahrscheinlichkeit, dass Bildteile ein Fußgänger sind, unter Verwendung der Mehrzahl von Aufnahmebildern 21 _t1, 21 _t2, 21 _t3 ..., 21 _tq, die kontinuierlich über die Zeit erfasst werden, nicht auf die vorstehenden Verfahren beschränkt. Zum Beispiel kann der Typ des Objekts der Kandidatbildteile 22 in den Bestimmungsbereich R auch bestimmt werden, wenn die Zahl k oder mehr der Kandidatbildteile 22 in dem Bestimmungsbereich R in jedem der Aufnahmebilder 21 _t1, 21 _t2, 21 _t3 ..., 21 _tq, extrahiert wird, oder die durchschnittliche Extraktionszahl der Kandidatbildteile 22, die in den Aufnahmebildern 21 _t1, 21 _t2, 21 _t3 ..., 21 _tq extrahiert werden, eine Zahl r oder mehr ist („r” entspricht einer zweiten vorbestimmten Anzahl in der vorliegenden Erfindung).
Ferner können in der Objekterkennungsvorrichtung 10 der vorliegenden Erfindung die Kandidatbildteile 22, die einmal durch die Kandidatbild-Bestimmungseinheit 14 als ein Objekt bestimmt worden sind, das weniger wahrscheinlich ein Fußgänger ist, in dem zu einem bestimmten Zeitpunkt erfassten Aufnahmebild 21 als ein Objekt bestimmt werden, das weniger wahrscheinlich ein Fußgänger ist, und zwar auch in den Aufnahmebildern 21, die danach erfasst werden, bis ab dem vorstehenden Zeitpunkt eine vorbestimmte Zeit abgelaufen ist. Hiermit lässt sich verhindern, dass das Ergebnis einer Bestimmung, dass Bildteile in dem zu einem bestimmten Zeitpunkt erfassten Aufnahmebild 21 weniger wahrscheinlich einen Fußgänger anzeigen, innerhalb einer vorbestimmten Zeit aufgrund des Einflusses von Rauschen oder dergleichen verändert wird.
Eine Objekterkennungsvorrichtung 10 enthält eine Kandidatbild-Extraktionseinheit 12, die ein Kandidatbildteil 22 aus einem Aufnahmebild 21 extrahiert, eine Abstandsberechnungseinheit 13, die den Abstand D des Kandidatbildteils 22 berechnet, und eine Kandidatbild-Bestimmungseinheit 14, die bestimmt, dass in dem Fall, wo eine vorbestimmte Zahl k oder mehr der Kandidatbildteile 22, deren Realraum-Positionen zu einem Bestimmungsbereich R gehören, dessen Abstand innerhalb der Reichweite eines zweiten vorbestimmten Abstands, der einen ersten vorbestimmten Abstand überschreitet, und dessen Breite eine vorbestimmte Breite oder weniger hat, extrahiert werden, die Kandidatbildteile 22, die zu dem Bestimmungsbereich R gehören, weniger wahrscheinlich die Bildteile eines Fußgängers sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2002-279808 [0002]

Claims

Objekterkennungsvorrichtung, welche aufweist: eine Kandidatbild-Extraktionseinheit (12), die ein Kandidatbildteil, das ein Bildteil (22) eines Objekts ist, das ein Fußgänger sein könnte, aus einem Aufnahmebild (21) einer Kamera (2) extrahiert; eine Abstandsberechnungseinheit (13), die einen Abstand (D) zwischen einer entsprechenden Realraum-Position und der Kamera (2) auf dem von der Kandidatbild-Extraktionseinheit (12) extrahierten Kandidatbildteil (22) berechnet; und eine Kandidatbild-Bestimmungseinheit (14), die bestimmt, dass in einem Fall, wo eine erste vorbestimmte Anzahl (k) oder mehr Kandidatbildteile (22), deren entsprechende Realraum-Positionen zu einem Bestimmungsbereich (R) gehören, dessen Abstand von der Kamera (2) in Abbildungsrichtung der Kamera (2) innerhalb einer Reichweite eines ersten vorbestimmten Abstands oder mehr und eines zweiten vorbestimmten Abstands oder weniger liegt, und dessen Breite in horizontaler Richtung orthogonal zur Abbildungsrichtung eine vorbestimmte Breite oder weniger ist, von der Kandidatbild-Extraktionseinheit (12) extrahiert werden, die Kandidatbildteile (22), deren entsprechende Realraum-Positionen zu dem Bestimmungsbereich (R) gehören, eine niedrige Wahrscheinlichkeit haben, dass sie Bildteile eines Fußgängers sind.
Objekterkennungsvorrichtung nach Anspruch 1, die ferner aufweist: eine Fußgängerbild-Identifizierungseinheit (15), die einen Fußgängeridentifizierungsprozess durchführt, zum Identifizieren, ob Kandidatbildteile (22), die nach Ausschluss von Kandidatbildteilen (22) verbleiben, die unter den von der Kandidatbild-Extraktionseinheit (12) extrahierten Kandidatbildteilen (22) von der Kandidatbild-Bestimmungseinheit (14) als solche identifiziert wurden, die mit geringer Wahrscheinlichkeit Bildteile eines Fußgängers sind, Bildteile eines Fußgängers sind oder nicht.
Objekterkennungsvorrichtung nach Anspruch 1 oder 2, wobei die Kandidatbild-Bestimmungseinheit (14) einen Typ des Objekts von Kandidatbildteilen (22) in dem Bestimmungsbereich (R) bestimmt, falls die erste vorbestimmte Zahl (k) oder mehr von Kandidatbildteilen (22) in dem Bestimmungsbereich (R) in jedem einer vorbestimmten Anzahl oder mehr von Aufnahmebildern (21), die kontinuierlich über die Zeit erfasst worden sind, erfasst werden, oder eine durchschnittliche Anzahl von Malen der Extraktion von Kandidatbildteilen (22), die in dem Bestimmungsbereich (R) von jedem der Aufnahmebilder (21) extrahiert wurden, eine zweite vorbestimmte Anzahl (r) oder mehr ist.
Objekterkennungsvorrichtung nach Anspruch 1 oder 2, wobei die Kandidatbild-Bestimmungseinheit (14) einen Objekttyp der Kandidatbildteile (22) in dem Bestimmungsbereich (R) bestimmt, falls in einer vorbestimmten Zahl oder mehr von Aufnahmebildern (21), die kontinuierlich über die Zeit erfasst worden sind, die erste vorbestimmte Anzahl (k) oder mehr von Kandidatbildteilen (22) in dem Bestimmungsbereich (R) eines zu einem ersten Zeitpunkt erfassten Aufnahmebilds (21) erfasst werden, und die erste vorbestimmte Anzahl (k) oder weniger und eine dritte vorbestimmte Zahl (p) oder mehr von Kandidatbildteilen (22) in dem Bestimmungsbereich (R) von jedem der zu unterschiedlichen Zeitpunkten nach dem ersten Zeitpunkt erfassten Aufnahmebilder (21) extrahiert werden.
Objekterkennungsvorrichtung nach Anspruch 3 oder 4, wobei die vorbestimmte Anzahl von kontinuierlich über die Zeit aufgenommenen Aufnahmebildern (21) entsprechend einer Fahrgeschwindigkeit eines Fahrzeugs verändert wird, in dem die Kamera (2) angebracht ist.
Objekterkennungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die Kandidatbild-Bestimmungseinheit (14) die Bestimmung des Objekttyps fortsetzt, bis nach Bestimmung des Objekttyps der Kandidatbildteile (22) in dem Bestimmungsbereich (R) eine vorbestimmte Zeit abgelaufen ist.