DE102011078615A1

DE102011078615A1 - Objekterfassungsvorrichtung und objekterfassungsprogramm

Info

Publication number: DE102011078615A1
Application number: DE102011078615A
Authority: DE
Inventors: Kunihiro Goto; Shigeyoshi Hiratsuka; Arata Takahashi; Mitsuhiko Ota; Masayuki Usami; Daisuke Konaka
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-07-04
Filing date: 2011-07-04
Publication date: 2013-01-10
Anticipated expiration: 2031-07-05
Also published as: DE102011078615B4

Abstract

In einer Objekterfassungsvorrichtung werden ein aufgenommenes Bild einer Szene um ein eigenes Fahrzeug herum, Informationen, die einen Fahrzustand des eigenen Fahrzeugs angeben, und Informationen, die eine Umgebungssituation um das eigene Fahrzeug herum angeben, beschafft; Risikobereiche, in denen jeweils ein Objekt wahrscheinlich existiert, und Bereichsrisikograde der Risikobereiche werden basierend auf den beschafften Informationen geschätzt; Haltungsrisikograde von entsprechenden Haltungen werden basierend auf einer Beziehung zwischen jedem der Risikobereiche und der Haltungen des Objekts, von dem angenommen wird, dass es in dem Risikobereich existiert, geschätzt; ein Fensterbild wird aus einem Suchgebiet in dem aufgenommenen Bild extrahiert, das jedem der Risikogebiete entspricht, gemäß einer absteigenden Reihenfolge von Gesamtrisikograden; und es wird identifiziert, ob das Fensterbild ein Bild ist, das das Objekt zeigt, durch Vergleichen eines Identifikationsmodells mit dem Fensterbild.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die Erfindung betrifft eine Objekterfassungsvorrichtung und ein Objekterfassungsprogramm und betrifft genauer eine Objekterfassungsvorrichtung, die ein Objekt von einem aufgenommenen Bild erfasst, und ein Objekterfassungsprogramm, das ein Objekt von einem aufgenommenen Bild erfasst.
2. Beschreibung des Standes der Technik
Die Anzahl von Fahrzeugen, die mit einer Objekterfassungsvorrichtung bereitgestellt ist, hat sich in letzter Zeit erhöht. Die Objekterfassungsvorrichtung führt eine Bildverarbeitung bezüglich eines Bildes einer Szene um das Fahrzeug aus, das durch eine fahrzeugseitige Kamera aufgenommen wird, erfasst ein Objekt, wie etwa einen Fußgänger, und gibt das Ergebnis einer Erfassung an einen Fahrer aus.
Zum Beispiel wurde eine Objektbestimmungsvorrichtung vorgeschlagen (siehe japanische Patentanmeldungsoffenlegungsschrift Nr. 2007-072665 ( JP-A-2007-072665 )). Bei der Objektbestimmungsvorrichtung wird eine Vielzahl von Vorlagen in unterschiedlichen Betriebsarten für entsprechende Entfernungen zu Objekten, die zu bestimmen sind, eingestellt; ein Objekt, das zu bestimmen ist, wird aus einem Bild unter Verwendung des Hintergrundunterscheidungsverfahrens (”background differencing method”) oder des Herausragungsberechnungsverfahrens (”saliency calculation method”) erfasst; eine Entfernung zu dem Objekt wird erfasst; eine Vorlage entsprechend der Entfernung wird ausgewählt; und das Objekt wird durch Anwenden der Vorlage auf das Objekt, das aus dem Bild als das zu bestimmende Objekt erfasst wurde, bestimmt.
In einem Fall, in dem es verschiedene Haltungen bzw. Stellungen eines Objekts, wie etwa eines Fußgängers gibt, ist es möglich, die Genauigkeit einer Erfassung des Objekts durch Anwenden der Vorlagen in verschiedenen Betriebsarten zu verbessern, wie bei der Objektbestimmungsvorrichtung, die in der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2007-072665 beschrieben ist. Wenn sich jedoch die Anzahl von Vorlagen erhöht, erhöht sich durch Anwenden aller dieser Vorlagen, um eine Erfassung durchzuführen, die Verarbeitungszeit, wenn auch durch Erhöhen der Arten von Vorlagen die Erfassungsgenauigkeit erhöht werden kann.
Folglich wurde eine Bilderkennungsvorrichtung vorgeschlagen (siehe zum Beispiel japanische Patentanmeldungsoffenlegungsschrift Nr. 2009-237897 ( JP-A-2009-237897 )). Bei der Bilderkennungsvorrichtung bestimmt ein Bewegungsrichtungsbestimmungsabschnitt eine Bewegungsrichtung eines Ziels; ein Fußgängermusterauswahlabschnitt wählt ein Bild eines Fußgängers, der sich in einer Bewegungshaltung und in die Bewegungsrichtung, die durch den Bewegungsrichtungsbestimmungsabschnitt bestimmt ist, bewegt, aus Bildern von Fußgängern, die sich in unterschiedliche Bewegungsrichtungen bewegen, die im Voraus in einem Fußgängermusterspeicherabschnitt gespeichert sind, aus. Ein Erkennungsverarbeitungsabschnitt vergleicht die Muster des Fußgängers, der sich in die ausgewählte Bewegungsrichtung bewegt, mit den Bildmustern des Ziels, das in einem Bild, das durch eine Kamera aufgenommen ist, zu erkennen ist, wodurch ein Fußgänger erkannt wird.
Weiterhin wurde eine Kandidatenobjektbereichserfassungsvorrichtung vorgeschlagen (siehe zum Beispiel japanische Patentanmeldungsoffenlegungsschrift Nr. 2007-328630 ( JP-A-2007-328630 )). Bei der Kandidatenobjektbereichserfassungsvorrichtung wird eine Vielzahl von unterschiedlichen Referenzmustern für entsprechende Hintergründe von Bildern (zum Beispiel Referenzmuster für einen Himmel, für eine Straße, und für einen Bereich außerhalb einer Straße) in einer Referenzmusterdatenbank gespeichert. Ein Hintergrundbereichsaufteilungsabschnitt teilt den Hintergrund eines eingegebenen Bildes unter Verwendung eines Fluchtpunktes und einer Fahrstreifenerkennung auf. Ein Referenzmusterauswahlabschnitt wählt ein Referenzmuster aus, das durch einen Kandidatenfußgängerbereichserfassungsabschnitt zu verwenden ist, gemäß einem Hintergrundbereich, von dem ein Bestimmungsbereich ausgeschnitten wird.
Ebenso wurde ein Fahrzeugumgebungserkennungssystem vorgeschlagen (siehe zum Beispiel japanische Patentanmeldungsoffenlegungsschrift Nr. 2006-178652 ( JP-A-2006-178652 )). Bei dem Fahrzeugumgebungserkennungssystem ruft ein Bildverarbeitungsabschnitt ein aufgenommenes Bild für einen Rahmen von einem Bildspeicher ab und ruft eine Fahrzeuggeschwindigkeit v, einen Lenkwinkel α und einen Neigungswinkel β von einem Speicherabschnitt in Synchronisation mit einer Rahmenrate ab. Weiterhin ermittelt der Bildverarbeitungsabschnitt Parameter zum Identifizieren eines Teilbildes durch Bezugnahme auf einen LUT, basierend auf der Fahrzeuggeschwindigkeit v, dem Lenkwinkel α und dem Neigungswinkel β und speichert das identifizierte Teilbild in einem Rahmenspeicher. Ein Fußgängererkennungsverarbeitungsabschnitt ruft das Teilbild, das in dem Rahmenspeicher gespeichert ist, ab und bestimmt den Grad einer Ähnlichkeit zwischen dem abgerufenen Teilbild und einem Standardmuster, das von einem Standardmusterabschnitt abgerufen wird.
Bei der Bilderkennungsvorrichtung, die in der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2009-237897 beschrieben ist, wird das Fußgängermuster, das zu verwenden ist, basierend auf der Bewegungsrichtung des Fußgängers ausgewählt. Es gibt ein Problem, dass diese Technologie nicht angewendet werden kann, wenn ein Objekt statisch ist, zum Beispiel wenn ein Fußgänger im Begriff ist, über eine Straße zu gehen, und statisch ist.
Ebenso werden bei der Kandidatenobjektbereichserfassungsvorrichtung, die in der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2007-238630 beschrieben ist, die Modelle für eine Straße und für einen Bereich außer der Straße wahlweise verwendet. Eine Aufmerksamkeit wird hierbei auf eine Vielzahl von Hintergrundmustern gerichtet, und eine Aufmerksamkeit wird nicht auf eine Vielzahl von Haltungen bzw. Stellungen eines Objekts gerichtet. Deshalb gibt es ein Problem, dass es eine Möglichkeit gibt, dass sich eine Robustheit gegenüber einer Änderung in der Haltung verringern kann. Ebenso, weil der Risikograd eines Bereichs und der Risikograd einer Haltung eines Objekts nicht in Betracht gezogen werden, gibt es ein Problem, dass es eine Möglichkeit gibt, dass das Fußgängermodell, dessen Risikograd für einen Fahrer nicht hoch ist, verwendet werden kann, in Abhängigkeit des Suchgebiets, in dem nach einem Objekt gesucht werden sollte.
Weiterhin wird bei dem Fahrzeugumgebungserkennungssystem, das in der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2006-178652 beschrieben ist, das Suchgebiet, in dem nach einem Objekt gesucht werden sollte, basierend auf der Geschwindigkeit, dem Lenkwinkel und Ähnlichem des eigenen Fahrzeugs eingestellt, und der Risikograd, wie etwa die Möglichkeit einer Kollision, wird nicht in Betracht gezogen. Es gibt ein Problem, dass es eine Möglichkeit gibt, dass das Fußgängermodell, dessen Risikograd für einen Fahrer nicht hoch ist, verwendet werden kann, in Abhängigkeit des Suchgebiets, in dem nach einem Objekt gesucht werden sollte.
KURZFASSUNG DER ERFINDUNG
Die Erfindung stellt eine Objekterfassungsvorrichtung bereit, die schnell und genau ein Objekt erfasst, das einen hohen Risikograd für einen Fahrer aufweist, und ein Objekterfassungsprogramm, das schnell und genau ein Objekt erfasst, das einen hohen Risikograd für einen Fahrer aufweist.
Eine Objekterfassungsvorrichtung gemäß einem ersten Aspekt der Erfindung ist derart konfiguriert, so dass es umfasst: einen Beschaffungsabschnitt, der ein aufgenommenes Bild einer Szene um ein eigenes Fahrzeug herum, Informationen, die einen Fahrzustand des eigenen Fahrzeugs angeben, und Informationen, die eine Umgebungssituation um das eigene Fahrzeug herum angeben, beschafft; einen Risikobereichschätzabschnitt, der Risikobereiche, in denen jeweils ein Objekt wahrscheinlich existiert, und Bereichsrisikograde, die Risikograde der Risikobereiche angeben, basierend auf den Informationen, die durch den Beschaffungsabschnitt beschafft werden, schätzt; einen Haltungsrisikogradschätzabschnitt, der Haltungsrisikograde, die Risikograde von entsprechenden Haltungen angeben, basierend auf einer Beziehung zwischen einer positionellen Beziehung zwischen jedem der Risikobereiche und dem eigenen Fahrzeug und den Haltungen der Objekte, von denen angenommen wird, dass sie in dem Risikobereich existieren, schätzt; einen Extrahierungsabschnitt, der einen Gesamtrisikograd von jeder der Haltungen des Objekts, von dem angenommen wird, dass es in jedem der Risikobereiche existiert, basierend auf dem entsprechenden Bereichsrisikograd und dem entsprechenden Haltungsrisikograd schätzt, die Risikobereiche gemäß der absteigenden Reihenfolge der Gesamtrisikograde auswählt und ein Fensterbild von einem Bereich in dem aufgenommenen Bild extrahiert, das jedem der ausgewählten Risikobereiche entspricht; und einen Identifikationsabschnitt, der identifiziert, ob das Fensterbild ein Bild ist, das das Objekt zeigt, basierend auf dem Fensterbild, das durch den Extrahierungsabschnitt extrahiert wird, und einem Identifikationsmodell, das aus Identifikationsmodellen, die im Voraus für entsprechende Haltungen des Objekts erzeugt werden, ausgewählt wird, um das Objekt zu identifizieren, gemäß der Haltung des Objekts, von dem angenommen wird, dass es in dem entsprechend ausgewählten Risikobereich existiert.
Gemäß dem ersten Aspekt der Erfindung beschafft der Beschaffungsabschnitt ein aufgenommenes Bild einer Szene um ein eigenes Fahrzeug, Informationen, die einen Fahrzustand des eigenen Fahrzeugs angeben, und Informationen, die eine Umgebungssituation um das eigene Fahrzeug herum angeben; der Risikobereichschätzabschnitt schätzt Risikobereiche, in denen jeweils ein Objekt wahrscheinlich existiert, und Bereichsrisikograde, die Risikograde der Risikobereiche angeben, basierend auf den Informationen, die durch den Beschaffungsabschnitt beschafft werden; und der Haltungsrisikogradschätzabschnitt schätzt Haltungsrisikograde, die Risikograde von entsprechenden Haltungen angeben, basierend auf einer Beziehung zwischen einer positionellen Beziehung zwischen jedem der Risikobereiche und des eigenen Fahrzeugs und der Haltungen des Objekts, Von dem angenommen wird, dass es in dem Risikobereich existiert. Der Extrahierungsabschnitt schätzt einen Gesamtrisikograd von jeder der Haltungen des Objekts, von dem angenommen wird, dass es in jedem der Risikobereiche existiert, basierend auf dem entsprechenden Bereichsrisikograd und dem entsprechenden Haltungsrisikograd, wählt die Risikobereiche gemäß der absteigenden Reihenfolge der Gesamtrisikograde aus und extrahiert ein Fensterbild von einem Bereich in dem aufgenommenen Bild, das jedem der ausgewählten Risikobereiche entspricht; und der Identifikationsabschnitt identifiziert, ob das Fensterbild ein Bild ist, das das Objekt zeigt, basierend auf dem Fensterbild, das durch den Extrahierungsabschnitt extrahiert wird, und einem Identifikationsmodell, das aus Identifikationsmodellen, die im Voraus für entsprechende Haltungen des Objekts erzeugt werden, ausgewählt wird, um das Objekt zu identifizieren, gemäß der Haltung des Objekts, von dem angenommen wird, dass es in dem entsprechend ausgewählten Risikobereich existiert.
Somit werden die Suchbereiche gemäß einer absteigenden Reihenfolge der Gesamtrisikograde basierend auf den Risikograden der entsprechenden Bereiche und den Risikograden der entsprechenden Haltungen des Objekts eingestellt und das geeignete Identifikationsmodell wird aus den Identifikationsmodellen für die entsprechenden Haltungen ausgewählt. Deshalb ist es möglich, schnell und genau das Objekt zu erfassen, das einen hohen Risikograd für einen Fahrer besitzt.
Ebenso kann der Risikobereichschätzabschnitt den Risikobereich, der den Bereichsrisikograd aufweist, der niedriger als ein vorbestimmter Bereichsrisikoschwellenwert ist, von Subjekten zur Verarbeitung ausschließen. Ebenso kann der Haltungsrisikogradschätzabschnitt die Haltung, die den Haltungsrisikograd aufweist, der niedriger als ein vorbestimmter Haltungsrisikogradschwellenwert ist, von den Subjekten zur Verarbeitung ausschließen. Ebenso kann der Extrahierungsabschnitt eine Kombination des Risikobereichs und der Haltung des Objekts, das den Gesamtrisikograd aufweist, der niedriger als der vorbestimmte Risikogradschwellenwert ist, von Subjekten zur Verarbeitung ausschließen. Ebenso kann der Risikobereichschätzabschnitt den Risikobereich, in dem, wenn das Objekt vorhanden ist, das Objekt unvermeidlich mit dem eigenen Fahrzeug kollidiert, von den Risikobereichen ausschließen. Somit, auch wenn eine Berechnungsressource begrenzt ist, ist es möglich, vorzugsweise das Objekt zu erfassen, das einen hohen Risikograd besitzt, das heißt das Objekt, das erfasst werden muss.
Ebenso kann der Risikobereichschätzabschnitt den Bereichsrisikograd des Risikobereichs entsprechend dem Fensterbild, das vorher durch den Identifikationsabschnitt als das Bild, das das Objekt zeigt, identifiziert wurde, vergrößern. Ebenso kann der Haltungsrisikogradschätzabschnitt den Haltungsrisikograd der Haltung des Objekts, die durch das Fensterbild gezeigt ist, das vorher durch den Identifikationsabschnitt als das Bild, das das Objekt zeigt, identifiziert wurde, unter den Haltungen des Objekts, von dem angenommen wird, dass es im Risikobereich entsprechend dem Fensterbild, das vorher durch den Identifikationsabschnitt als das Bild, das das Objekt zeigt, Identifiziert wurde, existiert, erhöhen. Durch Zurückführen des Identifikationsergebnisses auf diese Weise, wird die Genauigkeit einer Schätzung des Bereichsrisikogrades und des Haltungsrisikogrades erhöht.
Ebenso kann die Konfiguration derart sein, dass in einem Fall, in dem das Objekt ein Fußgänger ist, die Haltungen des Objekts zumindest eines einer Orientierung des Fußgängers, eines Winkel zwischen Beinen, einer Beziehung zwischen Händen und Beinen, eines statischen, gehenden oder laufenden Zustand, und einer Höhe des Fußgängers umfasst.
Ebenso kann die Konfiguration derart sein, dass die Informationen, die den Fahrzustand des Fahrzeugs angeben, zumindest eines einer Geschwindigkeit, eines Lenkwinkels, und eines Schwimmwinkels des eigenen Fahrzeugs umfasst.
Ebenso kann die Konfiguration derart sein, dass die Informationen, die die Umgebungssituation um das eigene Fahrzeug herum angeben, zumindest eines einer Position von jedem Umgebungsobjekt, das in einem Umgebungsbereich um das eigene Fahrzeug herum existiert, Informationen, die angeben, ob das Umgebungsobjekt sich bewegt oder statisch ist, Karteninformationen, und Informationen bezüglich eines Wetters um das eigene Fahrzeug herum umfassen.
Ebenso veranlasst ein Objekterfassungsprogramm gemäß einem zweiten Aspekt der Erfindung einen Computer dazu, zu arbeiten als: ein Beschaffungsabschnitt, der ein aufgenommenes Bild einer Szene um ein eigenes Fahrzeug herum, Informationen, die einen Fahrzustand des eigenen Fahrzeugs angeben, und Informationen, die eine Umgebungssituation um das eigene Fahrzeug herum angeben, beschafft; ein Risikobereichsschätzabschnitt, der Risikobereiche, in denen jeweils ein Objekt wahrscheinlich vorhanden ist, und Bereichsrisikograde, die Risikograde der Risikobereiche angeben, basierend auf den Informationen, die durch den Beschaffungsabschnitt beschafft werden, schätzt; ein Haltungsrisikogradschätzabschnitt, der Haltungsrisikograde, die Risikograde von entsprechenden Haltungen angeben, basierend auf einer Beziehung zwischen einer positionellen Beziehung zwischen jedem der Risikobereiche und dem eigenen Fahrzeug und den Haltungen des Objekts, von dem angenommen wird, dass es in dem Risikobereich existiert, schätzt; ein Extrahierungsabschnitt, der einen Gesamtrisikograd von jeder der Haltungen des Objekts, von dem angenommen wird, dass es in den Risikobereich existiert, basierend auf dem entsprechenden Bereichsrisikograd und dem entsprechenden Haltungsrisikograd schätzt, die Risikobereiche entsprechend der absteigenden Reihenfolge von Gesamtrisikograden auswählt und ein Fensterbild von einem Bereich in dem aufgenommenen Bild extrahiert, das jedem der ausgewählten Risikobereiche entspricht; und ein Identifikationsabschnitt, der identifiziert, ob das Fensterbild ein Bild ist, das das Objekt zeigt, basierend auf dem Fensterbild, das durch den Extrahierungsabschnitt extrahiert wird, und einem Identifikationsmodell, das aus Identifikationsmodellen, die im Voraus für die entsprechenden Haltungen des Objekts erzeugt werden, ausgewählt wird, um das Objekt zu identifizieren, gemäß der Haltung des Objekts, von dem angenommen wird, das es in dem entsprechend ausgewählten Risikobereich existiert.
Ein Speichermedium, das das Programm gemäß dem zweiten Aspekt speichert, ist nicht besonders beschränkt und kann eine Festplatte oder ein ROM sein. Ebenso kann das Speichermedium eine CD-ROM, eine DVD-Disk, eine magnetisch optische Disk, oder eine IC-Karte sein. Weiterhin kann das Programm von, zum Beispiel, einem Server, der mit einem Netzwerk verbunden ist, heruntergeladen werden.
Wie vorstehend beschrieben, werden gemäß den Aspekten die Suchgebiete gemäß der absteigenden Reihenfolge der Gesamtrisikograde basierend auf den Risikograden der entsprechenden Bereiche und den Risikograden der entsprechenden Haltungen eingestellt und das geeignete Identifikationsmodell wird von den Identifikationsmodellen für die entsprechenden Haltungen ausgewählt. Deshalb ist es möglich, einfach und schnell das Objekt, das einen hohen Risikograd für einen Fahrer besitzt, zu erfassen.
KURZE BESCHREIBUNGEN DER ZEICHNUNGEN
Merkmale, Vorteile und eine technische und industrielle Bedeutung der beispielhaften Ausführungsbeispiele der Erfindung werden nachstehend mit Bezug auf die anhängigen Zeichnungen beschrieben, in denen gleiche Bezugszeichen gleiche Elemente bezeichnen, und in denen zeigen:
1 ein Blockdiagramm, das die Konfiguration einer Objekterfassungsvorrichtung gemäß einem Ausführungsbeispiel zeigt;
2 ein Diagramm, das ein Beispiel einer Risikobereichsübersicht zeigt;
3A ein Diagramm, das verwendet wird, um einen Fall zu erklären, in dem ein Haltungsrisikograd niedrig ist, und 3B ein Diagramm, das verwendet wird, um einen Fall zu erklären, in dem ein Haltungsrisikograd hoch ist;
4 ein Ablaufdiagramm, das den Inhalt einer Objekterfassungsverarbeitungsroutine in der Objekterfassungsvorrichtung gemäß dem Ausführungsbeispiel zeigt; und
5 ein Diagramm, das ein Beispiel von Ergebnissen des Schätzens bezüglich eines Bereichsrisikogrades, des Haltungsrisikogrades und eines Gesamtrisikogrades zeigt.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Nachstehend wird ein Ausführungsbeispiel der Erfindung detailliert mit Bezug auf die Zeichnungen beschrieben. In dem Ausführungsbeispiel wird ein Fall beschrieben, in dem die Erfindung auf eine Objekterfassungsvorrichtung angewendet wird. Die Objekterfassungsvorrichtung ist in einem Fahrzeug bereitgestellt und erfasst einen Fußgänger als ein Objekt.
Wie in 1 gezeigt ist, umfasst eine Objekterfassungsvorrichtung 10 gemäß dem Ausführungsbeispiel eine Bildaufnahmeeinrichtung 12, die ein Bild eines Gebiets aufnimmt, das einen Bereich, der zu identifizieren ist, umfasst; einen Fahrzustanderfassungsabschnitt 14, der den Fahrzustand eines eigenen Fahrzeugs erfasst; einen Umgebungssituationserfassungsabschnitt 16, der eine Umgebungssituation um das eigene Fahrzeug herum erfasst; einen Computer 18, der eine Objekterfassungsverarbeitungsroutine ausführt, die einen Fußgänger basierend auf dem aufgenommenen Bild, das von der Bildaufnahmevorrichtung 12 ausgegeben wird, erfasst; und eine Anzeigeeinrichtung 20, die das Ergebnis der Verarbeitung, die durch den Computer 18 ausgeführt, anzeigt.
Die Bildaufnahmevorrichtung 12 umfasst einen (nicht gezeigten) Bildaufnahmeabschnitt, der das Bild des Gebiets aufnimmt, das den Bereich, der zu identifizieren ist, umfasst, und erzeugt ein Bildsignal; einen (nicht gezeigten) A/D-Umwandlungsabschnitt, der das Bildsignal, das ein analoges Signal ist, das durch den Bildaufnahmeabschnitt erzeugt wird, in ein digitales Signal umwandelt; und einen (nicht gezeigten) Bildspeicher, der das Bildsignal, das der A/D-Wandlung unterzogen wurde, vorübergehend speichert.
Der Fahrzustanderfassungsabschnitt 14 ist derart konfiguriert, dass er einen Fahrzeuggeschwindigkeitssensor, der die Geschwindigkeit des eigenen Fahrzeugs erfasst; einen Lenkwinkelsensor, der einen Lenkwinkel erfasst; und einen Gyro-Sensor, der Schwimmwinkel des eigenen Fahrzeugs (einen Anstellwinkel, einen Gierwinkel und einen Wankwinkel) erfasst, umfasst. Die Erfassungswerte, die durch die Sensoren erfasst werden, werden in den Computer 18 eingegeben.
Der Umgebungssituationserfassungsabschnitt 16 ist derart konfiguriert, dass er umfasst, ein Laserradar, das einen Laserstrahl in einen Bereich vor dem eigenen Fahrzeug aussendet, während einem Abtasten, und die zweidimensionale Position eines Objektes, das mit dem Laserstrahl bestrahlt wird, unter Verwendung der Reflexion des Laserstrahls erfasst; eine GPS-Einrichtung, die die Position des eigenen Fahrzeugs basierend auf Satellitensignalen von GPS-Satelliten erfasst; eine Kartendatenbank, die elektronisch Karteninformationen speichert, die Straßenkonfigurationen (zum Beispiel eine Linienführung, Krümmung, und Kreuzung) und Straßenarten (zum Beispiel ein Stadtviertel und eine Schnellstraße) umfasst; und einen Wettersensor, der derart konfiguriert ist, dass er einen Sonne-Regen-Sensor, einen Temperatursensor und einen Feuchtigkeitssensor und ähnliches umfasst. Die Erfassungswerte, die durch die Einrichtungen und Sensoren erfasst werden, werden in den Computer 18 eingegeben.
Der Computer 18 umfasst eine CPU, die die gesamte Objekterfassungsvorrichtung 10 steuert; einen ROM, der ein Speichermedium ist, das ein Programm der Objekterfassungsverarbeitungsroutine (nachstehend beschrieben), und ähnliches speichert; einen RAM, der als ein Arbeitsbereich dient und Daten vorübergehend speichert; und einen Bus, der diese verbindet. In dieser Konfiguration ist das Programm zum Implementieren der Funktionen von Bestandteilen in dem Speichermedium, wie etwa dem ROM oder einer HDD gespeichert, und die CPU führt das Programm aus, und somit werden die Funktionen implementiert.
Der Computer 18 wird mit Bezug auf funktionale Blöcke beschrieben, die entsprechende Funktionsimplementierungsphasen darstellen, die basierend auf Hardware und Software bestimmt sind. Wie in 1 gezeigt ist, kann die Konfiguration des Computers 18 als die Konfiguration dargestellt werden, die einen Risikobereichschätzabschnitt 22, einen Haltungsrisikogradschätzabschnitt 24, einen Suchgebieteinstellabschnitt 26, einen Fensterbildextrahierungsabschnitt 28, einen Identifikationsmodellspeicherabschnitt 30 und einen Fußgängeridentifikationsabschnitt 32 umfasst. Der Risikobereichschätzabschnitt 22 schätzt Risikobereiche und Bereichsrisikograde der Risikobereiche basierend auf dem aufgenommenen Bild, dem Fahrzustand des eigenen Fahrzeugs und der Umgebungssituation um das eigene Fahrzeug herum. Der Haltungsrisikogradschätzabschnitt 24 schätzt Haltungsrisikograde von Haltungen eines Fußgängers, von dem angenommen wird, dass er in jedem Risikobereich existiert. Der Suchgebieteinstellabschnitt 26 stellt Suchgebiete ein, in denen nach einem Fußgänger gesucht werden sollte, in dem aufgenommenen Bild, und weist zu den Suchgebieten Prioritäten zu, basierend auf Gesamtrisikograden basierend auf den Bereichsrisikograden und den Haltungsrisikograden. Der Fensterbildextrahierungsabschnitt 28 extrahiert ein Fensterbild mit einer vorbestimmten Größe von jedem der Bereiche, in denen das Suchgebiet in dem aufgenommenen Bild eingestellt ist, gemäß der Reihenfolge der Prioritäten. Der Identifikationsmodellspeicherabschnitt 30 speichert Identifikationsmodelle für entsprechende Haltungen eines Fußgängers. Der Fußgängeridentifikationsabschnitt 32 identifiziert einen Fußgänger in dem aufgenommenen Bild durch Vergleichen des Fensterbildes, das durch den Fensterbildextrahierungsabschnitt 28 extrahiert wird, mit dem Identifikationsmodell für die Haltung.
Der Risikobereichschätzabschnitt 22 beschafft die Erfassungswerte, die durch den Fahrzustanderfassungsabschnitt 14 und den Umgebungssituationserfassungsabschnitt 16 erfasst werden, wodurch die Positionen von Objekten, die um das eigenen Fahrzeug herum existieren, erfasst werden, wie in 2 gezeigt ist. Der Risikobereichschätzabschnitt 22 bestimmt ebenso die Arten des Objekts (ein vorausfahrendes Fahrzeug, ein entgegenkommendes Fahrzeug, ein Gebäude, ein angehaltenes Fahrzeug, eine Leitplanke, ein Randstein, ein Straßenbaum, ein Telefonmasten, ein Fahrstreifen, ein querender Fußgänger, und ähnliches), und bestimmt, ob jedes Objekt ein sich bewegendes Objekt oder ein statisches Objekt ist, wobei das Erkennungsergebnis, das durch Ausführen einer Bilderkennungsverarbeitung bezüglich des aufgenommenen Bildes erhalten wird, in Betracht gezogen wird. Basierend auf den Informationen schätzt der Risikobereichsschätzabschnitt 22 Risikobereiche, in denen jeweils ein Fußgänger wahrscheinlich vorhanden ist. Weiterhin schätzt der Risikobereichsschätzabschnitt 22 die Wahrscheinlichkeit des Vorhandenseins eines Fußgängers in jedem Risikobereich und den Bereichsrisikograd von jedem Risikobereich, der die Möglichkeit angibt, dass ein Fußgänger nach mehreren Sekunden mit dem eigenen Fahrzeug kollidieren wird, unter der Annahme, dass der Fußgänger in dem Risikobereich existiert. Genauer schätzt der Risikobereichsschätzabschnitt 22 den Bereichsrisikograd von jedem Risikobereich basierend auf Informationen wie etwa der positionellen Beziehung zwischen dem Risikobereich und der Position des eigenen Fahrzeugs nach einer vorbestimmten Zeit, die basierend auf der Entfernung zwischen dem eigenen Fahrzeug und dem Risikobereich, der Position des Risikobereichs, der Geschwindigkeit des eigenen Fahrzeugs, dem Lenkwinkel, der Straßenkonfiguration und Ähnlichem, Informationen diesbezüglich, ob jedes der Objekte in der Nähe des Risikobereichs sich bewegt oder statisch ist, und ob jedes der Objekte, das den Risikobereich bildet, sich bewegt oder statisch Ist, und Information diesbezüglich, ob der Risikobereich ein Stadtviertel oder eine Schnellstraße ist, geschätzt wird.
In einem Fall zum Beispiel, in dem Bereiche A bis F als Risikobereiche geschätzt werden, wie in 2 gezeigt ist, in Bereichen vor dem eigenen Fahrzeug, ist die Wahrscheinlichkeit einer Kollision in dem Bereich, wenn ein Objekt in dem Bereich vorhanden ist, höher, je näher der Bereich zu dem eigenen Fahrzeug liegt. Somit ist der Bereichsrisikograd des Bereichs nahe dem eigenen Fahrzeug erhöht. Insbesondere ist der Bereich A in dem Fahrstreifen in einer Fahrzeugfahrtrichtung, in die das eigene Fahrzeug fährt, und deshalb ist der Bereichsrisikograd des Bereichs A erhöht. Der Bereich B ist ein Gehweg nahe dem eigenen Fahrzeug. Da jedoch eine Leitplanke zwischen dem eigenen Fahrzeug und dem Bereich B gibt, ist eine Möglichkeit einer Kollision gering, auch wenn ein Fußgänger in dem Bereich B existiert. Deshalb ist der Bereichsrisikograd des Bereichs B verringert. In einem Bereich jedoch, in dem es eine Lücke zwischen Leitplanken gibt, wie in dem Bereich C, gibt es eine hohe Möglichkeit, dass ein Fußgänger durch die Lücke zwischen den Leitplanken gehen könnte und die Straße queren könnte. Deshalb ist der Bereichsrisikograd des Bereichs C erhöht. Weil der Bereich F in der Nähe eines angehaltenen Fahrzeugs liegt, gibt es eine hohe Möglichkeit, dass ein Fußgänger plötzlich aus einem toten Winkel hinter dem angehaltenen Fahrzeug erscheint oder ein Fußgänger in oder aus dem angehaltenen Fahrzeug steigen könnte. Deshalb ist der Bereichsrisikograd des Bereichs F erhöht. Ebenso gibt es offensichtlich eine hohe Wahrscheinlichkeit, dass ein Fußgänger in einen Bereich in der Nähe einer Position existiert, in der ein Fußgänger durch eine Erfassungsverarbeitung, die in einem vorhergehenden Rahmen durchgeführt wurde, erfasst wurde, und deshalb ist der Bereichsrisikograd des Bereichs erhöht. In einem Fall zum Beispiel, in dem ein Fußgänger, der nach Links gerichtet ist, in einem vorhergehenden Rahmen in einem Bereich erfasst wurde, der in 2 durch gestrichelte Linien definiert ist, gibt es eine hohe Wahrscheinlichkeit, dass der Fußgänger in einem momentanen Rahmen in dem Bereich E existiert. Deshalb ist der Bereichsrisikograd des Bereichs E erhöht.
Wenn der Bereichsrisikograd eines Bereichs niedriger als ein vorbestimmter Bereichsrisikogradschwellenwert ist, schließt der Risikobereichsschätzabschnitt 22 den Bereich von den Risikobereichen aus. Ebenso schließt der Risikobereichsschätzabschnitt 22 von den Risikobereichen den Bereich aus, bei dem, wenn ein Fußgänger existiert, der Fußgänger unvermeidlich mit dem eigenen Fahrzeug kollidiert. Es gibt den Bereich, der extrem nahe zu dem eigenen Fahrzeug liegt, und in dem, wenn ein Fußgänger existiert, der Fußgänger unvermeidlich mit dem eigenen Fahrzeug kollidiert, wie etwa ein Bereich X in 2. In einem Fall zum Beispiel, in dem ein Fußgänger basierend auf einem Ergebnis einer Erfassung, die vorher durch die Vorrichtung gemäß dem Ausführungsbeispiel durchgeführt wurde, erfasst wurde, und eine Warnung an den Fahrer ausgegeben wurde, wird angenommen, dass das eigene Fahrzeug den Fußgänger bereits gemieden hat, und es wird angenommen, dass sich dieser in solch eine Richtung bewegt hat, dass der Fußgänger den unvermeidlichen Bereich nicht betritt. Ebenso ist die Wahrscheinlichkeit, dass ein Fußgänger in dem unvermeidlichen Bereich plötzlich erscheint, extrem gering. Wenn ein Fußgänger in dem unvermeidlichen Bereich existiert, ist ein Risiko signifikant hoch. Da jedoch die Wahrscheinlichkeit, dass ein Fußgänger in dem unvermeidlichen Bereich existiert, extrem gering ist, wird der unvermeidliche Bereich aus den Suchgebieten, in denen nach einem Fußgänger gesucht werden sollte, ausgeschlossen.
Der Haltungsrisikogradschätzabschnitt 24 schätzt die Haltungsrisikograde in jedem Risikobereich basierend auf der Beziehung zwischen der positionellen Beziehung zwischen dem Risikobereich und dem eigenen Fahrzeug und Haltungen eines Fußgängers, von dem angenommen wird, dass er in dem Risikobereich existiert. Wie zum Beispiel in 3A gezeigt ist, wenn ein Fußgänger auf einem Gehweg auf der linken Seite des eigenen Fahrzeugs nach vorne gerichtet ist (das heißt, eine Rückseite des Fußgängers zu dem eigenen Fahrzeug gerichtet ist), wird angegeben, dass der Fußgänger sich parallel mit der Straße bewegt, und deshalb ist ein Risiko einer Kollision zwischen dem Fußgänger und dem eigenen Fahrzeug gering. Andererseits, auch wenn ein Fußgänger auf dem Gehweg auf der linken Seite des eigenen Fahrzeugs existiert, wenn der Fußgänger nach rechts gerichtet ist, wie in 3B gezeigt ist, gibt es eine große Möglichkeit, dass der Fußgänger im Begriff ist, die Straße vor dem eigenen Fahrzeug zu queren, und deshalb ist das Risiko einer Kollision zwischen dem Fußgänger und dem eigenen Fahrzeug hoch. Somit ist der Haltungsrisikograd derart eingestellt, dass er sich in Abhängigkeit der Beziehung zwischen der positionellen Beziehung zwischen dem eigenen Fahrzeug und dem Risikobereich und der Haltung eines Fußgängers ändert. In dem Ausführungsbeispiel gibt der Ausdruck ”ein Fußgänger ist nach links gerichtet” an, dass ein Fußgänger mit Bezug auf die Fahrzeugbewegungsrichtung, wenn ein Fahrer den Fußgänger sieht, nach links gerichtet ist, der Ausdruck ein Fußgänger ist nach rechts gerichtet” gibt an, dass ein Fußgänger mit Bezug auf die Fahrzeugbewegungsrichtung, wenn ein Fahrer den Fußgänger sieht, nach rechts gerichtet ist, der Ausdruck ”ein Fußgänger ist nach hinten gerichtet” gibt an, dass ein Fußgänger in eine Richtung entgegengesetzt zu der Fahrzeugbewegungsrichtung gerichtet ist, wenn ein Fahrer den Fußgänger sieht, und der Ausdruck ”ein Fußgänger ist nach vorne gerichtet” gibt an, dass ein Fußgänger in die Fahrzeugbewegungsrichtung gerichtet ist, wenn ein Fahrer den Fußgänger sieht.
Weil zum Beispiel der Bereich A, der in 2 gezeigt ist, in der Straße vor dem eigenen Fahrzeug liegt, gibt es ein Risiko unabhängig von der Haltung des Fußgängers wenn ein Fußgänger in dem Bereich A existiert. Jedoch ist die Möglichkeit, dass ein Fußgänger, der nach vorne oder nach hinten gerichtet ist, in diesem Bereich A existiert, gering, und es gibt eine hohe Möglichkeit, dass ein Fußgänger, der diesen Bereich quert, vorhanden sein kann, das heißt ein Fußgänger, der nach rechts oder links gerichtet ist, kann in diesem Bereich existieren. Weiterhin, wenn ein Fußgänger, der diesen Bereich quert, existiert, gibt es eine hohe Möglichkeit einer Kollision zwischen dem Fußgänger und dem eigenen Fahrzeug und deshalb ist der Haltungsrisikograd der Haltung, die nach rechts oder links gerichtet ist, in dem Bereich A erhöht. Weil der Bereich C auf der linken Seite des eigenen Fahrzeugs liegt, wenn es einen Fußgänger gibt, der den Bereich C zu der rechten Seite queren will, ist das Risiko hoch und deshalb ist der Haltungsrisikograd der Haltung, die nach rechts gerichtet ist, in dem Bereich C erhöht. Im Gegensatz dazu, weil der Bereich D auf der rechten Seite des eigenen Fahrzeugs liegt, ist der Haltungsrisikograd der Haltung, die nach links gerichtet ist, in dem Bereich D erhöht. In einem Fall, in dem ein Fußgänger durch die Erfassungsverarbeitung, die in dem vorhergehenden Rahmen ausgeführt wurde, erfasst wurde, gibt es eine hohe Möglichkeit, dass ein Fußgänger in der Haltung, die in dem vorhergehenden Rahmen erfasst wurde, vorhanden ist. Deshalb ist der Haltungsrisikograd der Haltung des Fußgängers, die in dem vorhergehenden Rahmen erfasst wurde, erhöht. In einem Fall zum Beispiel, in dem ein Fußgänger, der nach links gerichtet ist, in dem vorhergehenden Rahmen in dem Bereich, der durch gestrichelte Linie in 2 definiert ist, erfasst wurde, gibt es eine hohe Wahrscheinlichkeit, dass der Fußgänger, der nach links gerichtet ist, in dem Bereich E in dem momentanen Rahmen existiert. Deshalb ist der Haltungsrisikograd der Haltung, die nach links gerichtet ist, in dem Bereich E erhöht.
Ebenso schließt der Haltungsrisikogradschätzabschnitt 24 die Haltung, die einen Haltungsrisikograd aufweißt, der niedriger als ein vorbestimmter Haltungsrisikogradschwellenwert ist, von den Subjekten zur Verarbeitung aus.
Der Suchgebieteinstellabschnitt 26 schätzt den Gesamtrisikograd von jeder Haltung in jedem Risikobereich durch Multiplizieren des Bereichsrisikogrades, der durch den Risikobereichsschätzabschnitt 22 geschätzt wird, mit dem Haltungsrisikograd, der durch den Haltungsrisikogradschätzabschnitt 24 geschätzt wird. Zum Beispiel kann jeder des Bereichsrisikogrades und des Haltungsrisikogrades durch irgendeinen von fünf Graden (1 bis 5) auf solch eine Weise angegeben werden, dass eine höhere Zahl einen höheren Risikograd angibt. In diesem Fall, wenn der Bereichsrisikograd des Bereichs C gleich 4 ist, und der Haltungsrisikograd der Haltung, die nach rechts gerichtet ist, in dem Bereich C gleich 5 ist, ist der Gesamtrisikograd gleich 20. Der Suchgebieteinstellabschnitt 26 stellt Suchgebiete zu Bereichen in dem aufgenommenen Bild ein, die den Risikobereichen entsprechen, während Prioritäten gemäß der absteigenden Reihenfolge von Gesamtrisikograden eingestellt werden. Die Gesamtrisikograde von Haltungen eines Fußgängers in dem gleichen Risikobereich können voneinander verschieden sein. Deshalb, nachdem ein Bereich einmal als der Suchbereich eingestellt wurde, kann der gleiche Bereich erneut als das Suchgebiet eingestellt werden, basierend auf einer unterschiedlichen Haltung.
Ebenso schließt der Suchgebieteinstellabschnitt 26 den Fall, in dem der Gesamtrisikograd niedriger als ein vorbestimmter Risikogradschwellenwert ist (das heißt die Kombination des Risikobereichs und der Haltung des Objekts, die einen Gesamtrisikograd aufweist, der niedriger als der vorbestimmte Risikogradschwellenwert ist), von den Subjekten zur Verarbeitung aus.
Der Fensterbildextrahierungsabschnitt 28 schneidet ein Bild aus dem Bereich, der als das Suchgebiet in dem aufgenommen Bild eingestellt ist, gemäß der Priorität aus, während ein Bild mit einer vorbestimmten Größe (nachstehend als ”Suchfenster” bezeichnet) um einen vorbestimmten Bewegungsbetrag pro Schritt (nachstehend als ”Suchschritt” bezeichnet) bewegt wird. Das Fenster, das herausgeschnitten wurde, wird als ”Fensterbild” bezeichnet.
Der Identifikationsmodellspeicherabschnitt 30 speichert Identifikationsmodelle, die im Voraus durch Lernen erzeugt werden. Wenn der Fußgängeridentifikationsabschnitt 32 einen Fußgänger identifiziert, nimmt der Fußgängeridentifikationsabschnitt 32 Bezug auf die Identifikationsmodelle. Die Identifikationsmodelle werden für entsprechende Haltungen eines Fußgängers (die Haltung, die nach links gerichtet ist, die Haltung, die nach rechts gerichtet ist, die Haltung, die nach hinten gerichtet ist, und die Haltung, die nach vorne gerichtet ist, in diesem Fall) erzeugt und gespeichert.
Der Fußgängeridentifikationsabschnitt 32 ruft aus dem Identifikationsmodelspeicherabschnitt 30 das Identifikationsmodell entsprechend der Haltung eines Fußgängers in dem Suchgebiet, das gemäß der Priorität ausgewählt wird, ab. Der Fußgängeridentifikationsabschnitt 32 vergleicht das Identifikationsmodell, das abgerufen wurde, mit dem extrahierten Fensterbild, wodurch identifiziert wird, ob das Fensterbild ein Bild ist, das einen Fußgänger zeigt. Es ist möglich, bekannte Verfahren als das Identifikationsverfahren einzusetzen. Zum Beispiel ist es möglich, die Vorlagenübereinstimmung (”template matching”) und die Unterstützungsvektormaschine (SVM, ”support vector machine”) einzusetzen. Ebenso steuert der Fußgängeridentifikatiansabschnitt 32 die Anzeigeeinrichtung 20, um das Identifikationsergebnis auf eine Weise anzuzeigen, so dass das Identifikationsergebnis auf dem aufgenommenen Bild überlagert wird. Zusätzlich speichert der Fußgängeridentifikationsabschnitt 32 das Identifikationsergebnis in einem vorbestimmten Speicherbereich, so dass das Identifikationsergebnis in einer Verarbeitung in einem nächsten Rahmen verwendet wird. Das gespeicherte Identifikationsergebnis wird zu dem Risikobereichsschätzabschnitt 22 und dem Haltungsrisikogradschätzabschnitt 24 zurückgeführt.
Als nächstes wird die Objekterfassungsverarbeitungsroutine, die durch den Computer 18 der Objekterfassungsvorrichtung 10 gemäß dem Ausführungsbeispiel ausgeführt wird, mit Bezug auf 4 beschrieben.
In Schritt 100 werden das aufgenommene Bild, das durch die Bildaufnahmeeinrichtung 12 aufgenommen wird, und die Erfassungswerte, die durch den Fahrzustanderfassungsabschnitt 14 und den Umgebungssituationserfassungsabschnitt 16 erfasst werden, erhalten. Ebenso wird das Identifikationsergebnis bezüglich des vorhergehenden Rahmens, das in dem vorbestimmten Bereich gespeichert wurde, erhalten.
Dann werden in Schritt 102 die Positionen von umgebenden Objekten, die um das eigene Fahrzeug herum existieren, basierend auf dem aufgenommenen Bild, den Erfassungswerten und dem Identifikationsergebnis bezüglich des vorhergehenden Rahmens, die in Schritt 100 erhalten wurden, erfasst. Zusätzlich werden die Arten der Objekte unter Berücksichtigung des Erkennungsergebnisses, das durch die Bilderkennungsverarbeitung, die bezüglich des aufgenommenen Bildes ausgeführt wird, erhalten wird, bestimmt. Basierend auf den Informationen werden die Risikobereiche, in denen jeweils ein Fußgänger wahrscheinlich existiert, geschätzt. Somit wird zum Beispiel eine Risikobereichsübersicht, wie in 2 gezeigt ist, erzeugt.
Dann wird in Schritt 104 der Bereichsrisikograd von jedem Risikobereich basierend auf Informationen, wie etwa der positionellen Beziehung zwischen dem Risikobereich und der Position des eigenen Fahrzeugs nach einer vorbestimmten Zeit, die basierend auf der Entfernung des eigenen Fahrzeug und dem Risikobereich, der Position des Risikobereichs, der Geschwindigkeit des eigenen Fahrzeugs, dem Lenkwinkel, der Straßenkonfiguration und Ähnlichem, Informationen diesbezüglich, ob jedes der Objekte in der nähe des Risikobereichs sich bewegt oder statisch ist, und ob jedes von Objekten, das den Risikobereich bildet, sich bewegt oder statisch ist, und Informationen diesbezüglich, ob der Bereich ein Stadtteil oder eine Schnellstraße ist, geschätzt wird, geschätzt. In einem Fall zum Beispiel, in dem die Risikobereichsübersicht, wie in 2 gezeigt ist, erzeugt wird, wird der Risikobereichsgrad durch irgendeinen von 5 Graden (1 bis 5) auf solch eine Weise angegeben, dass eine höhere Zahl einen höheren Risikograd angibt, kann der Bereichsrisikograd des Bereichs A auf ”5” geschätzt werden, kann der Bereichsrisikograd des Bereichs B auf ”2” geschätzt werden, kann der Bereichsrisikograd des Bereichs C auf ”4” geschätzt werden, und kann der Bereichsrisikograd des Bereichs F auf ”3” geschätzt werden, wie in 5 gezeigt ist.
Dann, in Schritt 106, wenn der Bereichsrisikograd eines Bereichs, der in Schritt 104 geschätzt wird, niedriger als ein vorbestimmter Bereichsrisikogradschwellenwert ist, wird der Bereich von den Risikobereichen ausgeschlossen. In dem Beispiel, das in 5 gezeigt ist, zum Beispiel in einem Fall, in dem der Bereichsrisikogradschwellenwert gleich ”3” ist, wird der Bereich B, dessen Bereichsrisikograd gleich ”2” ist, von den Risikobereichen ausgeschlossen. Ebenso wird der unvermeidliche Bereich, in dem, wenn ein Fußgänger existiert, der Fußgänger unvermeidlich mit dem eigenen Fahrzeug kollidiert, ebenso von den Risikobereichen ausgeschlossen.
Dann werden in Schritt 108 die Haltungsrisikograde in jedem Risikobereich basierend auf der Beziehung zwischen der positionellen Beziehung zwischen dem Risikobereich und dem eigenen Fahrzeug und den Haltungen eines Fußgängers, von dem angenommen wird, das er in dem Risikobereich existiert, geschätzt. In dem Beispiel, das in 2 gezeigt ist, in einem Fall, in dem der Haltungsrisikograd durch irgendeinen von fünf Graden (1 bis 5) auf solch eine Weise angegeben wird, dass eine höhere Zahl einen höheren Risikograd angibt, kann der Haltungsrisikograd der Haltung, die nach links gerichtet ist, in dem Bereich A auf ”5” geschätzt werden, kann der Haltungsrisikograd der Haltung, die nach rechts gerichtet ist, in dem Bereich A auf ”5” geschätzt werden, kann der Haltungsrisikograd der Haltung, die nach hinten gerichtet ist, auf ”1” eingeschätzt werden, kann der Haltungsgrad der Haltung, die nach vorne gerichtet ist, auf ”1” geschätzt werden, wie in 5 bezeichnet. Der Haltungsrisikograd von jeder Haltung in jedem von anderen Risikobereichen wird ebenso basierend auf der Beziehung zwischen der Haltung und dem Risikobereich geschätzt. Weil der Bereich B und der Bereich X bereits aus den Risikobereichen ausgeschlossen wurden, wird der Prozess in diesem Schritt für den Bereich B und den Bereich X nicht ausgeführt.
Dann, in Schritt 110, wenn der Haltungsrisikograd einer Haltung, der in Schritt 108 geschätzt wird, niedriger als ein vorbestimmter Haltungsgradschwellenwert ist, wird die Haltung von den Subjekten für die Verarbeitung ausgeschlossen. In dem Beispiel, das in 5 gezeigt ist, in einem Fall, in dem der Haltungsrisikogradschwellenwert gleich ”2” ist, werden zum Beispiel die Haltung, die nach hinten gerichtet ist, und die Haltung, die nach vorne gerichtet ist, in dem Bereich A von den Subjekten für die Verarbeitung ausgeschlossen, weil der Haltungsrisikograd der Haltung, die nach hinten gerichtet ist, in dem Bereich A und der Haltungsrisikograd der Haltung, die nach vorne gerichtet ist, in dem Bereich A, gleich ”1” ist.
Dann wird in Schritt 112 der Gesamtrisikograd von jeder Haltung in jedem Risikobereich durch Multiplizieren des Bereichsrisikogrades, der in Schritt 104 geschätzt wird, mit dem Haltungsrisikograd, der in Schritt 108 geschätzt wird, geschätzt. Der Prozess in diesem Schritt wird nicht Für den Bereich (die Bereiche), der (die) bereits von den Risikobereichen ausgeschlossen wurde (wurden), ausgeführt, und die Haltung(en), die bereits von den Subjekten für die Verarbeitung ausgeschlossen wurde (wurden). Der Fall, der einen Gesamtrisikograd aufweißt, der niedriger als der vorbestimmte Risikogradschwellenwert Ist (die Kombination des Risikobereichs und der Haltung des Objekts, dessen Gesamtrisikobereich niedriger als der vorbestimmte Risikogradschwellenwert ist), wird ausgeschlossen. Die Suchbereiche werden auf Bereiche in dem aufgenommenen Bild eingestellt, die den entsprechenden Risikobereichen entsprechen, auf eine solche Weise, dass die Priorität höher wird, wenn der Gesamtrisikograd höher wird. Nachstehend wird jede Haltung in jedem Risikobereich in der Form von ”die Kombination des Risikobereichs × die Haltung (zum Beispiel, die Kombination des Bereichs A × die Haltung, die nach links gerichtet ist)” dargestellt.
In dem Beispiel, das in 5 gezeigt ist, ist zum Beispiel der Gesamtrisikograd der Kombination des Bereichs A × der Haltung, die nach links gerichtet ist, gleich 25 (der Bereichsrisikograd ”5” des Bereichs A × der Haltungsrisikograd ”5” der Haltung, die nach links gerichtet ist in dem Bereich A = 25). In einem Fall, in dem der Risikogradschwellenwert gleich ”8” ist, wird die Kombination des Bereichs F × die Haftung, die nach rechts gerichtet ist, die den Gesamtrisikograd ”6” aufweißt, von den Subjekten für die Verarbeitung ausgeschlossen. Prioritäten i (i 1 bis N: N ist die Gesamtzahl der Kombinationen des Risikobereich × Haltung, welche die Subjekte für die Verarbeitung sind) werden an die anderen Kombinationen von Risikobereich × Haltung gemäß der absteigenden Reihenfolge der Gesamtrisikograde zugewiesen. Zum Beispiel wird im Voraus eine Bedingung, dass, wenn die Kombinationen den gleichen Gesamtrisikograd aufweisen, eine höhere Priorität zu der Kombination zugewiesen wird, die einen höheren Bereichsrisikograd aufweist, oder eine Bedingung, dass, wenn die Kombinationen den gleichen Gesamtrisikograd aufweisen, eine höhere Priorität der Kombination zugewiesen wird, die einen höheren Haltungsrisikograd aufweist, eingestellt. Somit werden die Prioritäten gemäß der Bedingung eingestellt. In diesem Beispiel wird eine erste Priorität 1 der Kombination des Bereichs A × der Haltung, die nach links gerichtet ist, zugewiesen, wird eine zweite Priorität 2 der Kombination des Bereichs A × die Haltung, die nach rechts gerichtet ist, zugewiesen, wird eine dritte Priorität 3 der Kombination des Bereichs C × der Haltung, die nach rechts gerichtet ist, zugewiesen, wird eine vierte Priorität 4 der Kombination des Bereichs F × der Haltung, die nach links gerichtet ist, zugewiesen und wird eine fünfte Priorität 5 der Kombination des Bereichs C × der Haltung, die nach rechts gerichtet ist, zugewiesen.
Dann wird in Schritt 114 die Variable i, die die Priorität angibt, auf 1 eingestellt. Dann wird in Schritt 116 die Kombination von Risikobereich × Haltung, die die Priorität i aufweist, ausgewählt. Dann wird der Fensterbereich aus dem Suchgebiet in dem aufgenommenen Bild extrahiert, der dem Risikobereich in der ausgewählten Kombination von Risikobereich × Haltung, der die Priorität i aufweist, entspricht. Das Suchgebiet in dem aufgenommenen Bild, das dem Risikobereich entspricht, ist ein Gebiet, das in dem aufgenommenen Bild eingestellt ist, um dem Risikobereich zu entsprechen, basierend auf der geschätzten Größe und Position des Risikobereichs, oder ein Gebiet, das durch Hinzufügen eines Spielraums zu dem Gebiet, das basierend auf der geschätzten Größe und Position des Risikobereichs eingestellt ist, erhalten wird. Während das Suchgebiet unter Verwendung des Suchfensters abgetastet wird, wird das Fensterbild extrahiert.
Dann wird in Schritt 118 das Identifikationsmodell entsprechend der Haltung in der ausgewählten Kombination von Risikobereich × Haltung, die die Priorität i aufweist, aus dem Identifikationsmodellspeicherabschnitt 30 abgerufen, und das abgerufene Identifikationsmodell wird mit dem Fensterbild, das in Schritt 116 extrahiert wird, verglichen, um zu identifizieren, ob das Fensterbild ein Bild ist, dass einen Fußgänger zeigt. Zum Beispiel wird das Identifikationsmodell für die Haltung, die nach links gerichtet ist, für die Kombination des Bereichs A × Haltung, die nach links gerichtet ist, verwendet.
Dann wird in Schritt 120 bestimmt, ob das Fensterbild als ein Bild identifiziert wurde, das einen Fußgänger zeigt, als ein Ergebnis des Identifikationsprozesses, der in Schritt 118 durchgeführt wird. Wenn das Fensterbild einen Fußgänger zeigt, geht die Routine über zu Schritt 122, und wenn das Fensterbild keinen Fußgänger zeigt, überspringt die Routine Schritt 122 und geht zu Schritt 124 über.
In Schritt 122 werden die Position und Größe des Fensterbildes und die Haltung des verwendeten Identifikationsmodells als das Identifikationsergebnis in dem vorbestimmten Speicherbereich gespeichert. Das Identifikationsergebnis wird als das Identifikationsergebnis bezüglich des vorhergehenden Rahmens in Schritt 100 in der Verarbeitung bezüglich des nächsten Rahmens erhalten. Weiterhin wird basierend auf dem Identifikationsergebnis die Anzeigeeinrichtung 20 gesteuert, um den erfassten Fußgänger auf solch eine Weise anzuzeigen, dass der Fußgänger durch ein Fenster in dem aufgenommenen Bild umgeben ist. Gleichzeitig kann zum Beispiel ebenso ein Pfeil, der die Orientierung des Fußgängers zeigt, angezeigt werden.
In Schritt 124 wird bestimmt, ob die Verarbeitung bezüglich der Suchgebiete, die basierend auf allen Kombinationen von Risikobereich × Haltung eingestellt werden, ausgeführt wurden, durch Bestimmen, ob die Variable i gleich N wurde. Wenn die Variable i nicht gleich N ist (i ≠ N), geht die Routine über zu Schritt 126. In Schritt 126 wird die Variable i um 1 erhöht. Dann kehrt die Routine zurück zu Schritt 116 und die Verarbeitung wird wiederholt. Wenn die Variable gleich N ist (i = N), wird die Verarbeitung beendet.
Wie vorstehend beschrieben werden in der Objekterfassungsvorrichtung gemäß dem Ausführungsbeispiel die Suchgebiete gemäß einer absteigenden Reihenfolge der Gesamtrisikograde basierend auf den Bereichsrisikograden und den Haltungsrisikograden eingestellt und wird das geeignete Identifikationsmodell aus den Identifikationsmodellen für die entsprechenden Haltungen ausgewählt. Deshalb ist es möglich, schnell und genau einen Fußgänger zu erfassen, der ein hohes Risiko für einen Fahrer besitzt.
Ebenso werden der Risikobereich, der den Bereichsrisikograd aufweist, der niedriger als der entsprechende vorbestimmte Schwellenwert ist, die Haltung, die den Haltungsrisikograd aufweist, der niedriger als der entsprechende vorbestimmte Schwellenwert ist, die Kombination des Risikobereichs und der Haltung, die den Gesamtrisikograd aufweisen, der niedriger als der entsprechende vorbestimmte Schwellenwert ist, und der unvermeidliche Bereich aus den Subjekten für die Verarbeitung ausgeschlossen. Deshalb, auch wenn eine Verarbeitungsressource beschränkt ist, ist es möglich, Berechnungskosten zu reduzieren und schnell und genau einen Fußgänger zu erfassen, der eine hohe Priorität aufweist, das heißt einen Fußgänger, der erfasst werden muss.
Weiterhin wurde in dem Ausführungsbeispiel der Fall beschrieben, in dem das Objekt, das zu erfassen ist, ein Fußgänger ist. Das Objekt, das zu erfassen ist, kann jedoch zum Beispiel ein Fahrrad sein. In dem Fall, in dem das Objekt ein Fahrrad ist, können die Haltungen zum Beispiel die Orientierung eines Fahrrads, einen statischen Zustand eines Fahrrads und einen sich bewegenden Zustand eines Fahrrads umfassen.
Weiterhin wurde in dem Ausführungsbeispiel der Fall beschrieben, in dem jedes Subjekt, das den Risikograd aufweist, der niedriger als der entsprechende Schwellenwert ist, von den Subjekten für die Verarbeitung ausgeschlossen wurde. In einem Fall jedoch, in dem es seine ausreichende Berechnungsressource gibt, können alle geschätzten Kombinationen von Risikobereich × Haltung der Verarbeitung unterzogen werden, ohne einen Ausschluss durchzuführen. Ebenso kann nur der Ausschluss basierend auf dem Bereichsrisikograd durchgeführt werden, kann nur der Ausschluss basierend auf dem Haltungsrisikograd durchgeführt werden, oder kann nur der Ausschluss basierend auf dem Gesamtrisikograd durchgeführt werden.
Weiterhin wurde in dem Ausführungsbeispiel der Fall beschrieben, in dem die Haltungen eines Fußgängers die Haltung, die nach links gerichtet ist, die Haltung, die nach rechts gerichtet ist, die Haltung, die nach hinten gerichtet ist, und die Haltung, die nach vorne gerichtet ist, umfassen. Es können jedoch Orientierungen verwendet werden, die in mehreren Kategorien klassifiziert sind. Die Haltungen können basierend auf dem Winkel zwischen Beinen, der Beziehung zwischen Händen und Beinen, ob ein Fußgänger sich in einem statischen, einem gehenden oder einem laufenden Zustand befindet, und ob ein Fußgänger ein Erwachsener oder ein Kind ist (zum Beispiel basierend auf einer Größe bzw. Höhe des Fußgängers) klassifiziert werden. Das Ausmaß einer Bewegung eines Fußgängers kann basierend auf dem Winkel zwischen Beinen und der Beziehung zwischen Händen und Beinen bestimmt werden. Deshalb, wenn der Winkel zwischen Beinen groß ist, kann der Haltungsrisikograd erhöht werden. Wenn ein Fußgänger geht, kann der Haltungsrisikograd auf einen höheren Grad eingestellt werden, als wenn der Fußgänger statisch ist bzw. steht. Wenn ein Fußgänger läuft, kann der Haltungsrisikograd auf einen höheren Grad eingestellt werden, als wenn der Fußgänger geht. Ebenso, weil ein Kind üblicherweise weniger vorsichtig bezüglich eines Fahrzeugs Ist als ein Erwachsener, kann der Haltungsrisikograd erhöht werden, wenn ein Fußgänger ein Kind ist (das heißt wenn eine Größe bzw. Höhe eines Fußgängers klein ist).
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem der Gesamtrisikograd durch Multiplizieren des Bereichsrisikogrades mit dem Haltungsrisikograd geschätzt wird. Jedoch kann der Gesamtrisikograd als die Summe des Bereichsrisikogrades und des Haltungsrisikogrades oder das Mittel des Bereichsrisikogrades und des Haltungsrisikogrades geschätzt werden. Der Gesamtrisikograd kann durch Gewichtung des Bereichsrisikogrades und des Haltungsrisikogrades, und Berechnen der Summe, des Produkts, oder des Mittels des gewichteten Bereichsrisikogrades und des gewichteten Haltungsrisikogrades geschätzt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007-072665 A [0003]
JP 2007-072665 [0004]
JP 2009-237897 A [0005]
JP 2007-328630 A [0006]
JP 2006-178652 A [0007]
JP 2009-237897 [0008]
JP 2007-238630 [0009]
JP 2006-178652 [0010]

Claims

Objekterfassungsvorrichtung, gekennzeichnet durch: einen Beschaffungsabschnitt, der ein aufgenommenes Bild einer Szene um ein eigenes Fahrzeug herum, Informationen, die einen Fahrzustand des eigenen Fahrzeugs angeben, und Informationen, die eine Umgebungssituation um das eigene Fahrzeug herum angeben, beschafft; einen Risikobereichschätzabschnitt, der Risikobereiche, in denen jeweils ein Objekt wahrscheinlich existiert, und Risikobereichsgrade, die Risikograde der Risikobereiche angeben, basierend auf den Informationen, die durch den Beschaffungsabschnitt beschafft werden, schätzt; einen Haltungsrisikogradschätzabschnitt, der Haltungsrisikograde, die Risikograde von entsprechenden Haltungen angeben, basierend auf einer Beziehung zwischen einer positionellen Beziehung zwischen jedem der Risikobereiche und dem eigenen Fahrzeug und der Haltungen des Objekts, von dem angenommen wird, dass es in dem Risikobereich existiert, schätzt; einen Extrahierungsabschnitt, der einen Gesamtrisikograd von jeder der Haltungen des Objekts, von dem angenommen wird, dass es in jedem der Risikobereiche existiert, basierend auf dem entsprechenden Bereichsrisikograd und dem entsprechenden Haltungsrisikograd schätzt, die Risikobereiche entsprechend einer absteigenden Reihenfolge der Gesamtrisikograde auswählt und ein Fensterbild von einem Bereich in dem aufgenommenen Bild, das jedem der ausgewählten Risikobereiche entspricht, extrahiert; und einen Identifikationsabschnitt, der identifiziert, ob das Fensterbild ein Bild ist, das das Objekt zeigt, basierend auf dem Fensterbild, das durch den Extrahierungsabschnitt extrahiert wird, und einem Identifikationsmodell, das aus Identifikationsmodellen, die im Voraus für die entsprechenden Haltungen des Objekts erzeugt werden, ausgewählt wird, um das Objekt zu identifizieren, gemäß der Haltung des Objekts, von dem angenommen wird, dass es in dem entsprechend ausgewählten Risikobereich existiert.
Objekterfassungsvorrichtung gemäß Anspruch 1, wobei der Risikobereichschätzabschnitt den Risikobereich, der den Bereichsrisikograd aufweist, der niedriger als ein vorbestimmter Bereichsrisikogradschwellenwert ist, von den Subjekten zur Verarbeitung ausschließt.
Objekterfassungsvorrichtung gemäß Anspruch 1 oder 2, wobei der Haltungsrisikogradschätzabschnitt die Haltung, die den Haltungsrisikograd aufweist, der niedriger als ein vorbestimmter Haltungsrisikogradschwellenwert ist, von den Subjekten zur Verarbeitung ausschließt.
Objekterfassungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei der Extrahierungsabschnitt eine Kombination des Risikobereichs und der Haltung des Objekts, die den Gesamtrisikograd aufweist, der niedriger als ein vorbestimmter Risikogradschwellenwert ist, von den Subjekten zur Verarbeitung ausschließt.
Objekterfassungsvorrichtung gemäß einem der Ansprüche 1 bis 4, wobei der Risikobereichschätzabschnitt den Risikobereich, in dem, wenn das Objekt vorhanden ist, das Objekt unvermeidlich mit dem eigenen Fahrzeug kollidiert, von den Risikobereichen ausschließt.
Objekterfassungsvorrichtung gemäß einem der Ansprüche 1 bis 5, wobei der Risikobereichschätzabschnitt den Bereichsrisikograd des Risikobereichs entsprechend dem Fensterbild, das vorher als das Bild, das das Objekt zeigt, durch den Identifikationsabschnitt identifiziert wurde, erhöht.
Objekterfassungsvorrichtung gemäß einem der Ansprüche 1 bis 6, wobei der Haltungsrisikogradschätzabschnitt den Haltungsrisikograd der Haltung des Objekts, die durch das Fensterbild gezeigt ist, das vorher durch den Identifikationsabschnitt als das Bild, das das Objekt zeigt, identifiziert wurde, unter den Haltungen des Objekts, von dem angenommen wird, dass es in dem Risikobereich entsprechend dem Fensterbild, das vorher durch den Identifikationsabschnitt als das Bild, das das Objekt zeigt, identifiziert wurde, existiert, erhöht.
Objekterfassungsvorrichtung gemäß einem der Ansprüche 1 bis 7, wobei in einem Fall, in dem das Objekt ein Fußgänger ist, die Haltungen des Objekts zumindest eines einer Orientierung des Fußgängers, eines Winkels zwischen Beinen, einer Beziehung zwischen Händen und Beinen, eines statischen, eines gehenden, oder eines laufenden Zustands, und einer Größe des Fußgängers umfasst.
Objekterkennungsvorrichtung gemäß einem der Ansprüche 1 bis 8, wobei die Informationen, die den Fahrzustand des Fahrzeugs angeben, zumindest eines einer Geschwindigkeit, eines Lenkwinkels, und eines Schwimmwinkels des eigenen Fahrzeugs umfassen.
Objekterfassungsvorrichtung gemäß einem der Ansprüche 1 bis 9, wobei die Informationen, die die Umgebungssituation um das eigene Fahrzeug herum angeben, zumindest eines einer Position von jedem umgebenden Objekt, das in einem Umgebungsbereich um das eigene Fahrzeug herum existiert, Informationen, die angeben, ob das Umgebungsobjekt sich bewegt oder statisch ist, Karteninformationen, und Informationen bezüglich des Wetters um das eigene Fahrzeug herum umfassen.
Objekterfassungsprogramm, das einen Computer veranlasst, um zu arbeiten als: ein Beschaffungsabschnitt, der ein aufgenommenes Bild einer Szene um ein eigenes Fahrzeug herum, Informationen, die einen Fahrzustand des eigenen Fahrzeugs angeben, und Informationen, die eine Umgebungssituation um das eigene Fahrzeug herum angeben, beschafft; einen Risikobereichsschätzabschnitt, der Risikobereiche, in denen jeweils ein Objekt wahrscheinlich existiert, und Bereichsrisikograde, die Risikograde der Risikobereiche angeben, basierend auf den Informationen, die durch den Beschaffungsabschnitt beschafft werden, schätzt; ein Haltungsrisikogradschätzabschnitt, der Haltungsrisikograde, die Risikograde von entsprechenden Haltungen angeben, basierend auf einer Beziehung zwischen einer positionellen Beziehung zwischen jedem der Risikobereiche und des eigenen Fahrzeugs und der Haftungen des Objekts, von dem angenommen wird, dass es in dem Risikobereich existiert, schätzt; ein Extrahierungsabschnitt, der einen Gesamtrisikograd von jeder der Haltungen des Objekts, von dem angenommen wird, dass es in den Risikobereichen existiert, basierend auf dem entsprechenden Bereichsrisikograd und dem entsprechenden Haltungsrisikograd schätzt, die Risikobereiche entsprechend der absteigenden Reihenfolge der Gesamtrisikograde auswählt und ein Fensterbild von einem Bereich in dem aufgenommenen Bild auswählt, das jedem der ausgewählten Risikobereiche entspricht; und ein Identifikationsabschnitt, der identifiziert, ob das Fensterbild ein Bild ist, das das Objekt zeigt, basierend auf dem Fensterbild, das durch den Extrahierungsabschnitt extrahiert wird, und einem Identifikationsmodell, das von den Identifikationsmodellen, die im Voraus für die entsprechenden Haltungen des Objekts erzeugt werden, ausgewählt ist, um das Objekt zu identifizieren, gemäß der Haltung des Objekts, von dem angenommen wird, dass es in dem entsprechenden ausgewählten Risikobereich existiert.
Objekterfassungsprogramm, das den Computer veranlasst, um als jeder der Abschnitte, die die Objekterfassungsvorrichtung gemäß einem der Ansprüche 1 bis 10 bilden, zu arbeiten.