DE102007014012A1 - Fahrzeugumgebung-Überwachungsgerät, Fahrzeugumgebung-Überwachungsverfahren und Fahrzeugumgebung-Überwachungsprogramm - Google Patents

Fahrzeugumgebung-Überwachungsgerät, Fahrzeugumgebung-Überwachungsverfahren und Fahrzeugumgebung-Überwachungsprogramm Download PDF

Info

Publication number
DE102007014012A1
DE102007014012A1 DE102007014012A DE102007014012A DE102007014012A1 DE 102007014012 A1 DE102007014012 A1 DE 102007014012A1 DE 102007014012 A DE102007014012 A DE 102007014012A DE 102007014012 A DE102007014012 A DE 102007014012A DE 102007014012 A1 DE102007014012 A1 DE 102007014012A1
Authority
DE
Germany
Prior art keywords
vehicle
processing unit
pedestrian
posture
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102007014012A
Other languages
English (en)
Other versions
DE102007014012B4 (de
Inventor
Takayuki Wako Tsuji
Nobuharu Wako Nagaoka
Yoichi Wako Sugimoto
Morimichi Wako Nishigaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2006082956A external-priority patent/JP4476957B2/ja
Priority claimed from JP2006101838A external-priority patent/JP4173896B2/ja
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of DE102007014012A1 publication Critical patent/DE102007014012A1/de
Application granted granted Critical
Publication of DE102007014012B4 publication Critical patent/DE102007014012B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Ein Fahrzeugumgebungs-Überwachungsgerät, ein Fahrzeugumgebungs-Überwachungsverfahren und ein Fahrzeugumgebungs-Überwachungsprogramm, die aus einem Bild der Umgebung des Fahrzeugs ein zu vermeidendes Objekt, wie beispielsweise einen Fußgänger, rasch bestimmen können und dem Fahrer Informationen bereitstellen oder das Fahrzeugverhalten steuern können. Das Fahrzeugumgebungs-Überwachungsgerät schließt eine Objektextraktions-Verarbeitungseinheit (11) ein, die aus von Infrarotkameras (2R, 2L) aufgenommenen Bildern um ein Fahrzeug (10) herum vorhandene Objekt extrahiert, eine Fußgängerextraktions-Verarbeitungseinheit (12), die aus den extrahierten Objekten einen Fußgänger extrahiert, eine Körperhaltungsbestimmungs-Verarbeitungseinheit (13), welche die Körperhaltung des extrahierten Fußgängers bestimmt, eine Vermeidungsobjektbestimmungs-Verarbeitungseinheit (14), die mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der von der Körperhaltungsbestimmungs-Verarbeitungseinheit (13) bestimmten Körperhaltung des Fußgängers einschließt, bestimmt, ob das extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug (10) in Kontakt zu treten, und eine Fahrzeugausstattungssteuerungs-Verarbeitungseinheit (15), welche die Ausstattung des Fahrzeugs (10) zumindest gemäß dem Bestimmungsergebnis der Vermeidungsobjektbestimmungs-Verarbeitungseinheit (14) steuert.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf ein Fahrzeugumgebungs-Überwachungsgerät, ein Fahrzeugumgebungs-Überwachungsverfahren und ein Fahrzeugumgebungs-Überwachungsprogramm, die auf Grundlage eines von einer auf einem Fahrzeug montierten Kamera aufgenommenen Bilds die Umgebung eines Fahrzeugs überwachen.
  • 2. Beschreibung des verwandten Stands der Technik
  • In den letzten Jahren ist eine Technologie bekannt geworden, bei welcher mit einer auf einem Fahrzeug montierten Kamera, wie beispielsweise einer CCD-Kamera, ein Bild der Umgebung des Fahrzeugs aufgenommen wird und ein Objekt, wie beispielsweise ein Fußgänger, bestimmt wird, das mit dem Fahrzeug wahrscheinlich in Kontakt tritt, indem auf Grundlage des aufgenommenen Bilds die Position des um das Fahrzeug vorhandenen Objekts, wie beispielsweise des Fußgängers, detektiert wird und einem Fahrer Informationen bereitgestellt werden (siehe zum Beispiel die japanische Patentoffenlegungsschrift Nr. 2001-6096 (hinfort als Patentdokument 1 bezeichnet)).
  • Bei dem Fahrzeugumgebungs-Überwachungsgerät im Patentdokument 1 ist eine aus zwei Infrarotkameras gebildete, stereoskopische Kamera auf einem Fahrzeug montiert und wird auf Grundlage eines Unterschieds (Parallaxe) zwischen von den beiden Infrarotkameras aufgenommenen Bildern eine relative Position eines um das Fahrzeug herum vorhandenen Objekts bezüglich des Fahrzeugs als Positionsdaten detektiert. Danach wird auf Grundlage von Zeitreihendaten der Objektposition ein Bewegungsvektor des Objekts relativ zum Objekt berechnet und wird auf Grundlage der Positionsdaten und des Bewegungsvektors des Objekts das mit dem Fahrzeug wahrscheinlich in Kontakt tretende Objekt bestimmt.
  • Bei dieser Bestimmung setzt das Fahrzeugumgebungs-Überwachungsgerät in einer Aufmerksammachungs-Bestimmungsfläche, die sich innerhalb eines vorbestimmten Abstands vor dem Fahrzeug befindet (einer Fläche entsprechend, die gemäß einer Relativgeschwindigkeit des Objekts bezüglich des Fahrzeugs bestimmt ist), eine einer Straße, auf welcher das Fahrzeug fährt, entsprechende Nahobjekt-Bestimmungsfläche AR1 und Näherungsobjekt-Bestimmungsflächen AR2 und AR3 fest, die sich auf der Außenseite in seitlicher Richtung der Nahobjekt-Bestimmungsfläche AR1 befinden. Falls das Objekt in der Nahobjekt-Bestimmungsfläche AR1 vorhanden ist, ist das Objekt ein sich auf der Straße befindender Fußgänger oder dergleichen und wird bestimmt, dass das Objekt mit dem Fahrzeug wahrscheinlich in Kontakt tritt. Falls das Objekt in der Näherungsobjekt-Bestimmungsfläche AR2 oder AR3 vorhanden ist, ist das Objekt außerdem ein auf der Straße vorhandener Fußgänger oder dergleichen. Daher wird auf Grundlage des Bewegungsvektors des Objekts die Näherungsobjekt-Kontaktbestimmung durchgeführt, um zu bestimmen, ob eine Möglichkeit des Kontakts zwischen dem Objekt und dem Fahrzeug besteht. Dabei wird bestimmt, dass es unwahrscheinlich ist, dass ein normal am Straßenrand gehender Fußgänger mit dem Fahrzeug in Kontakt tritt, wohingegen bestimmt wird, dass ein sich zum Überqueren der Straße vom Straßenrand bewegender Fußgänger wahrscheinlich mit dem Fahrzeug in Kontakt tritt, und werden dem Fahrer entsprechende Informationen bereitgestellt.
  • Andererseits kann ein sich am Straßenrand befindender Fußgänger beispielsweise plötzlich auf die Straße laufen. In diesem Fall ist es wünschenswert, dass dem Fahrer Informationen bereitgestellt werden oder dass das Fahrzeugverhalten so rasch wie möglich gesteuert wird. Bei dem Fahrzeugumgebungs-Überwachungsgerät im Patentdokument 1 wird die Möglichkeit des Kontakts zwischen dem Fahrzeug und dem in der Näherungsobjekt-Bestimmungsfläche vorhandenen Objekt jedoch auf Grundlage des aus einer Mehrzahl von Zeitreihenpositionsdaten berechneten Bewegungsvektors bestimmt, was für das Bestimmen, dass das Objekt mit dem Fahrzeug wahrscheinlich in Kontakt tritt, viel Zeit erfordert. Falls der sich am Straßenrand befindende Fußgänger plötzlich auf die Straße läuft, kann das Gerät dem Fahrer die Informationen daher nicht rasch bereitstellen oder wird das Fahrzeugverhalten unvorteilhaft gesteuert.
  • ABRISS DER ERFINDUNG
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein Fahrzeugumgebungs-Überwachungsgerät vorzusehen, welches in der Lage ist, das vorstehende Problem zu lösen und einem Fahrer Informationen bereitzustellen oder das Fahrzeugverhalten zu steuern, indem aus einem Bild der Umgebung des Fahrzeugs rasch ein Fußgänger bestimmt wird, der ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten.
  • Um die vorstehende Aufgabe zu erfüllen, ist gemäß einem ersten Gesichtspunkt der vorliegenden Erfindung ein Fahrzeugumgebungs-Überwachungsgerät vorgesehen, welches aus einem von einer auf dem Fahrzeug montierten Kamera aufgenommenen Bild die Umgebung eines Fahrzeugs überwacht, umfassend: eine Objektextraktions-Verarbeitungseinheit, die aus dem von der Kamera aufgenommenen Bild ein um das Fahrzeug herum vorhandenes Objekt extrahiert; eine Fußgängerextraktions-Verarbeitungseinheit, die aus dem von der Objektextraktions-Verarbeitungseinheit extrahierten Objekt einen Fußgänger extrahiert; eine Körperhaltungsbestimmungs-Verarbeitungseinheit, welche die Körperhaltung des von der Fußgängerextraktions-Verarbeitungseinheit extrahierten Fußgängers bestimmt; eine Vermeidungsobjektbestimmungs-Verarbeitungseinheit, die mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der von der Körperhaltungsbestimmungs-Verarbeitungseinheit bestimmten Körperhaltung des Fußgängers einschließt, bestimmt, ob das von der Objektextraktions-Verarbeitungseinheit extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten; und eine Fahrzeugausstattungssteuerungs-Verarbeitungseinheit, welche die Ausstattung des Fahrzeugs zumindest gemäß einem Bestimmungsergebnis der Vermeidungsobjektbestimmungs-Verarbeitungseinheit steuert (Erste Erfindung).
  • Bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß der ersten Erfindung extrahiert die Objektextraktions-Verarbeitungseinheit aus dem von der Kamera aufgenommenen Bild das um das Fahrzeug herum vorhandene Objekt und extrahiert die Fußgängerextraktions-Verarbeitungseinheit aus dem Objekt den Fußgänger. Falls der sich am Straßenrand befindende Fußgänger plötzlich auf die Straße läuft, besteht ein Bedarf, dem Fahrer Informationen bereitzustellen, wie beispielsweise das Aufmerksam-Machen des Fahrers oder dergleichen, oder das Fahrzeugverhalten so rasch wie möglich zu steuern. Es ist daher erforderlich, vorab rasch vorauszusagen, dass der Fußgänger sich anschickt, die Straße zu überqueren. In dieser Situation ist man allgemein der Ansicht, dass sich die Körperhaltung des Fußgängers, der sich anschickt, die Straße zu überqueren, bezüglich der Richtung oder der Neigung des Körpers von derjenigen anderer Fußgänger unterscheidet, und zwar zu dem Zeitpunkt, zu welchem sie sich am Straßenrand befinden. Falls der Fußgänger sich zu bewegen beginnt oder sich anschickt, auf die Straße zu laufen, neigt sich seine Rumpfachse in die Bewegungsrichtung. Falls der Fußgänger andererseits anhält oder sich weiterhin entlang der Straße bewegt, neigt sich seine Rumpfachse unter einem ausreichend kleinen Winkel.
  • Daher bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit aus dem von der Kamera aufgenommenen Bild die Körperhaltung des Fußgängers. Es ist möglich, aus der, wie oben beschrieben, bestimmten Körperhaltung des Fußgängers das Verhalten des Fußgängers, wie beispielsweise das Überqueren der Straße, vorab rasch vorauszusagen. Da der von der Vermeidungsobjektbestimmungs-Verarbeitungseinheit durchgeführte Bestimmungsalgorithmus die erste Bestimmungsverarbeitung bezüglich der Körperhaltung des Fußgängers einschließt, kann die Vermeidungsobjektbestimmungs-Verarbeitungseinheit beim Bestimmen, ob das Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten, rasch ein Bestimmungsergebnis bestimmen. Daher steuert die Fahrzeugausstattungssteuerungs-Verarbeitungseinheit die Fahrzeugausstattung gemäß dem Bestimmungsergebnis der Vermeidungsobjektbestimmungs-Verarbei tungseinheit, wodurch die Fahrzeugausstattung rasch gesteuert werden kann, so dass die Vermeidung des Objekts bewerkstelligt wird.
  • Bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß der ersten Erfindung schließt die von der Fahrzeugausstattungssteuerungs-Verarbeitungseinheit gesteuerte Ausstattung außerdem vorzugsweise eine Vorrichtung ein, die in der Lage ist, einen Fahrzeugfahrer aufmerksam zu machen (Zweite Erfindung).
  • Dementsprechend kann die Vermeidungsobjektbestimmungs-Verarbeitungseinheit rasch bestimmen, ob das Objekt ein zu vermeidendes Objekt ist. Daher kann die Fahrzeugausstattungssteuerungs-Verarbeitungseinheit das Aufmerksam-Machen des Fahrers rasch durchführen, so dass die Vermeidung des Objekts bewerkstelligt wird (den Fahrer auf das Objekt aufmerksam machen).
  • Bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß der ersten oder zweiten Erfindung schließt die von der Fahrzeugausstattungssteuerungs-Verarbeitungseinheit gesteuerte Ausstattung außerdem vorzugsweise eine Vorrichtung ein, die in der Lage ist, das Fahrverhalten des Fahrzeugs zu steuern (Dritte Erfindung).
  • Dementsprechend kann die die Vermeidungsobjektbestimmungs-Verarbeitungseinheit rasch bestimmen, ob das Objekt ein zu vermeidendes Objekt ist, und kann die Fahrzeugausstattungssteuerungs-Verarbeitungseinheit das Fahrverhalten des Fahrzeugs daher rasch steuern, so dass die Vermeidung des Objekts bewerkstelligt wird.
  • Außerdem umfasst das Fahrzeugumgebungs-Überwachungsgerät gemäß einer der ersten bis dritten Erfindungen: eine Relativpositionsdetektier-Verarbeitungseinheit, die Relativpositionen des von der Objektextraktions-Verarbeitungseinheit extrahierten Objekts bezüglich des Fahrzeugs sequenziell detektiert; und eine Bewegungsrichtungsmerkmalswertberechnungs-Verarbeitungseinheit, die auf Grundlage der Zeitreihen der von der Relativpositionsdetektier-Verarbeitungseinheit in längeren Zeitintervallen als die Durchführungsperiode der Bestimmungsverarbeitung der Körperhaltungsbestimmungs-Verarbeitungseinheit detektierten Relativposition des Objekts einen Bewegungsrichtungsmerkmalswert berechnet, der eine Bewegungs richtung des Objekts relativ zum Fahrzeug darstellt, wobei der von der Vermeidungsobjektbestimmungs-Verarbeitungseinheit durchgeführte Bestimmungsalgorithmus eine zweite Bestimmungsverarbeitung bezüglich des von der Bewegungsrichtungsmerkmalswertberechnungs-Verarbeitungseinheit berechneten Bewegungsrichtungsmerkmalswerts des Objekts sowie die erste Bestimmungsverarbeitung einschließt; wobei die erste Bestimmungsverarbeitung durchgeführt wird, um zu bestimmen, ob die Körperhaltung des Fußgängers eine erste vorbestimmte Bedingung erfüllt; und die zweite Bestimmungsverarbeitung durchgeführt wird, um zu bestimmen, ob der Bewegungsrichtungsmerkmalswert des Objekts eine zweite vorbestimmte Bedingung erfüllt, und wobei die Vermeidungsobjektbestimmungs-Verarbeitungseinheit bestimmt, dass das Objekt ein zu vermeidendes Objekt ist-; wenn das Bestimmungs- ergebnis der zweiten Bestimmungsverarbeitung bezüglich des Bewegungsrichtungsmerkmalswerts des Objekts die zweite Bedingung erfüllt oder wenn das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung die zweite Bedingung nicht erfüllt und ferner das Bestimmungsergebnis der ersten Bestimmungsverarbeitung bezüglich der Körperhaltung des Fußgängers die erste Bedingung erfüllt (Vierte Erfindung).
  • Dementsprechend schließt der von der Vermeidungsobjektbestimmungs-Verarbeitungseinheit durchgeführte Bestimmungsalgorithmus die zweite Bestimmungsverarbeitung bezüglich des Bewegungsrichtungsmerkmalswerts ein und wird daher ein sehr zuverlässiges Bestimmungsergebnis bereitgestellt. Der Bewegungsrichtungsmerkmalswert wird hingegen in längeren Zeitintervallen als die Durchführungsperiode der Bestimmungsverarbeitung der Körperhaltungsbestimmungs-Verarbeitungseinheit berechnet, und daher erfordert es viel Zeit, um das Bestimmungsergebnis der Vermeidungsobjektbestimmungs-Verarbeitungseinheit zu erhalten. Andererseits schließt der von der Vermeidungsobjektbestimmungs-Verarbeitungseinheit durchgeführte Bestimmungsalgorithmus auch die erste Bestimmungsverarbeitung bezüglich der Körperhaltung des Fußgängers ein und ist es daher möglich, das Bestimmungsergebnis rasch zu erhalten. Daher bestimmt die Vermeidungsobjektbestimmungs-Verarbeitungseinheit, dass das Objekt ein zu vermeidendes Objekt ist, wenn das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung bezüglich des Bewegungsrichtungsmerkmalswerts des Objekts die zweite Bedingung erfüllt oder wenn das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung die zweite Bedingung nicht erfüllt und ferner das Bestimmungsergebnis der ersten Bestimmungsverarbeitung bezüglich der Körperhaltung des Fußgängers die erste Bedingung erfüllt.
  • Wenn das zuverlässige Bestimmungsergebnis auf Grundlage des Bewegungsrichtungsmerkmalswerts erhalten wird, kann die Vermeidungsobjektbestimmungs-Verarbeitungseinheit gemäß dem Bestimmungsergebnis dementsprechend bestimmen, ob das Objekt ein zu vermeidendes Objekt ist, und kann sie beispielsweise im Fall von zuwenig Zeit zum Berechnen des Bewegungsrichtungsmerkmalswerts gemäß dem raschen Bestimmungsergebnis auf Grundlage der Körperhaltung des Fußgängers bestimmen, ob das Objekt ein zu vermeidendes Objekt ist. Daher ist es möglich, zuverlässiger zu bestimmen, ob das Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten.
  • Die zweite Bedingung besteht beispielsweise darin, dass die Bewegungsrichtung des Objekts eine Richtung ist, in welcher sich das Objekt in Richtung des Subjektfahrzeugs bewegt. Die erste Bedingung besteht beispielsweise darin, dass das Objekt ein Fußgänger ist und dass der Fußgänger eine in Richtung der Mitte der Fahrbahn, auf welcher das Subjektfahrzeug fährt, nach vorne geneigte Körperhaltung einnimmt.
  • Bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß der vierten Erfindung steuert die Fahrzeugausstattungssteuerungs-Verarbeitungseinheit die Fahrzeugausstattung außerdem vorzugsweise in verschiedenen Modi, und zwar zwischen, wenn das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung bezüglich des Bewegungsrichtungsmerkmalswerts des Objekts die zweite Bedingung erfüllt, oder, wenn das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung die zweite Bedingung nicht erfüllt und ferner das Bestimmungsergebnis der ersten Bestimmungsverarbeitung bezüglich der Körperhaltung des Fußgängers die erste Bedingung erfüllt (Fünfte Erfindung).
  • Insbesondere variiert die Zuverlässigkeit des von der Vermeidungsobjektbestimmungs-Verarbeitungseinheit bestimmten, endgültigen Bestimmungsergebnisses oder des Vermeidungsnotfallgrads zwischen dem Fall, in dem das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung bezüglich des Bewegungsrichtungsmerkmals werts des Objekts die zweite Bedingung erfüllt, und dem Fall, in dem das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung die zweite Bedingung nicht erfüllt und ferner das Bestimmungsergebnis der ersten Bestimmungsverarbeitung bezüglich der Körperhaltung des Fußgängers die erste Bedingung erfüllt. Daher steuert die Fahrzeugausstattungssteuerungs-Verarbeitungseinheit die Fahrzeugausstattung in jedem Fall in einem verschiedenen Modus, wodurch es auf geeignetere Art und Weise möglich wird, dem Fahrer Informationen bereitzustellen und ebenso das Fahrzeugverhalten zu steuern.
  • Falls die von der Fahrzeugausstattungssteuerungs-Verarbeitungseinheit gesteuerte Ausstattung in der Lage ist, den Fahrzeugfahrer aufmerksam zu machen, kann die Fahrzeugausstattungssteuerungs-Verarbeitungseinheit den Fahrer beispielsweise auf eine für jeden Fall verschiedene Art des Aufmerksam-Machens aufmerksam machen.
  • Bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß einer der ersten bis fünften Erfindungen bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit außerdem vorzugsweise einen Grad der Symmetrie des Fußgängers in der Fahrzeugbreitenrichtung im Bild, wobei die Symmetrie als Merkmalswert betrachtet wird, welcher die Körperhaltung des Fußgängers darstellt (Sechste Erfindung).
  • Insbesondere nimmt der Fußgänger, der sich anschickt, die Straße zu überqueren, eine in Richtung der Mitte der Fahrbahn, auf welcher das Subjektfahrzeug fährt, nach vorne geneigte Körperhaltung ein. Man ist der Meinung, dass der Grad der Symmetrie in dieser Situation in dem dem Fußgänger entsprechenden Bereich zwischen den Abschnitten in der Nähe und gegenüber der Mitte der Fahrbahn relativ niedrig ist, wobei sich die Mitte in dem von der auf dem Fahrzeug montierten Kamera aufgenommenen Bild am Kopf des Fußgängers befindet. Mit anderen Worten ist die Symmetrie des Fußgängers in der Fahrzeugbreitenrichtung im Bild ein Merkmalswert, der in einer engen Beziehung dazu steht, ob der Fußgänger eine Körperhaltung annimmt, in welcher er sich anschickt, die Straße zu überqueren (ob sich der Fußgänger nach vorne neigt). Daher hat es sich unter Verwendung des Grads der Symmetrie erwiesen, dass sich der Fußgänger beispielsweise in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug fährt, nach vorne neigt, wodurch das Ver halten des Fußgängers, wie beispielsweise das Überqueren der Straße, rasch vorausgesagt werden kann. Entsprechend bestimmt die Vermeidungsobjektbestimmungs-Verarbeitungseinheit gemäß dem von der Körperhaltungsbestimmungs-Verarbeitungseinheit in der ersten Bestimmungsverarbeitung bestimmten Grad der Symmetrie, ob der Fußgänger ein zu vermeidendes Objekt ist, wodurch es möglich wird, das Verhalten des Fußgängers, wie beispielsweise das Überqueren der Straße, rasch vorauszusagen und dabei rasch zu bestimmen, ob der Fußgänger ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten.
  • Alternativ bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß einer der ersten bis fünften Erfindungen vorzugsweise einen Neigungsgrad einer Rumpfachse des Fußgängers, wobei die Neigung der Rumpfachse als Merkmalswert betrachtet wird, welcher die Körperhaltung des Fußgängers darstellt (Siebte Erfindung).
  • Insbesondere ist die Neigung der Rumpfachse (die Richtung oder der Winkel der Rumpfachse) des Fußgängers ein Merkmalswert, der die Körperhaltung bezüglich der Neigung der Rumpfachse des Fußgängers darstellt, und zeigt der Neigungsgrad beispielsweise an, ob der Fußgänger sich in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug fährt, nach vorne neigt. in dieser Situation neigt sich der Fußgänger, der sich anschickt, die Straße zu überqueren, im Allgemeinen in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug fährt, nach vorne (die Körperhaltung, in welcher sich die Rumpfachse des Fußgängers in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug fährt, nach vorne neigt). Daher kann das Verhalten des Fußgängers, wie beispielsweise das Überqueren der Straße, aus dem Neigungsgrad der Rumpfachse rasch vorausgesagt werden. Entsprechend bestimmt die Vermeidungsobjektbestimmungs-Verarbeitungseinheit gemäß dem von der Körperhaltungsbestimmungs-Verarbeitungseinheit in der ersten Bestimmungsverarbeitung bestimmten Neigungsgrad der Rumpfachse, ob der Fußgänger ein zu vermeidendes Objekt ist, wodurch es möglich wird, das Verhalten des Fußgängers, wie beispielsweise das Überqueren der Straße, rasch vorauszusagen und dabei rasch zu bestimmen, ob der Fußgänger ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten.
  • Außerdem umfasst das Fahrzeugumgebungs-Überwachungsgerät gemäß einer der ersten bis fünften Erfindungen vorzugsweise ferner: eine Binärdarstellungsübertragungs-Verarbeitungseinheit, die mittels Übertragen des von der Kamera aufgenommenen Bilds in Binärdarstellung eine Binärfläche extrahiert, in welcher der Helligkeitswert eines Pixels im Bild größer oder gleich einem vorbestimmten Schwellenwert ist; und eine Lauflängendatenerzeugungs-Verarbeitungseinheit, welche aus der von der Binärdarstellungsübertragungs-Verarbeitungseinheit extrahierten Binärfläche Lauflängendaten erzeugt, und wobei die Objektextraktions-Verarbeitungseinheit auf Grundlage der von der Lauflängendatenerzeugungs-Verarbeitungseinheit erzeugten Lauflängendaten im Bereich der Straße vorhandene Objekte extrahiert und die Körperhaltungsbestimmungs-Verarbeitungseinheit auf Grundlage der von der Lauflängendatenerzeugungs-Verarbeitungseinheit erzeugten Lauflängendaten die Körperhaltung des von Fußgängerextraktions-Verarbeitungseinheit extrahierten Fußgängers bestimmt (Achte Erfindung).
  • Dementsprechend bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit auf Grundlage der Lauflängendaten die Körperhaltung des extrahierten Fußgängers. In dieser Verarbeitung stehen die Punktsequenzdaten eines vorbestimmten Punkts (beispielsweise ein Mittelpunkt) auf jeder Linie der Lauflängendaten in einer engen Beziehung zur Neigung der Rumpfachse des Fußgängers. Daher können die Lauflängendaten dazu verwendet werden, die Körperhaltung des Fußgängers bezüglich der Neigung der Rumpfachse zu bestimmen. Danach kann beispielsweise aus der, wie oben beschrieben, bestimmten Körperhaltung des Fußgängers das Verhalten des Fußgängers, wie beispielsweise das Überqueren der Straße, vorab rasch vorausgesagt werden. Die Lauflängendaten können, wie oben beschrieben, aus lediglich einem einrahmigen Bild berechnet werden. Daher braucht man weniger Zeit, um die Körperhaltung zu bestimmen als beispielsweise bei der Bestimmung auf Grundlage von Zeitreihendaten oder der dergleichen des Bilds. Zudem werden die Lauflängendaten in der Verarbeitung des Extrahierens des Fußgängers aus dem Bild berechnet, und verringert sich die zum Bestimmen der Körperhaltung notwendige Rechenlast, indem die Lauflängendaten zur Bestimmung verwendet werden. Daher ist es möglich, mittels einer einfachen Verarbeitung unter Verwendung der Körper haltungsbestimmungs-Verarbeitungseinheit die Körperhaltung des Fußgängers sicher und rasch zu bestimmen.
  • Außerdem schließt die Körperhaltungsbestimmungs-Verarbeitungseinheit bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß der achten Erfindung vorzugsweise ein: eine Verarbeitungseinheit, die aus den von der Lauflängendatenerzeugungs-Verarbeitungseinheit erzeugten Lauflängendaten Punktsequenzdaten berechnet, die aus Pixelkoordinaten von Mittelpunkten von jeweiligen Linien der Lauflängendaten gebildet sind; eine Verarbeitungseinheit, die eine Näherungsgerade berechnet, die den berechneten Punktsequenzdaten nahe kommt; und eine Verarbeitungseinheit, welche auf Grundlage der berechneten Näherungsgeraden die Körperhaltung des Fußgängers bestimmt (Neunte Erfindung).
  • Dementsprechend berechnet die Körperhaltungsbestimmungs-Verarbeitungseinheit die Punktsequenzdaten, die aus den Pixelkoordinaten von Mittelpunkten der jeweiligen Linien der Lauflängendaten gebildet sind, und berechnet die Näherungsgerade, welche den berechneten Punktsequenzdaten nahe kommt. In dieser Verarbeitung entspricht die berechnete, Näherungsgerade der Rumpfachse des Fußgängers. Daher bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit die Körperhaltung des Fußgängers auf Grundlage der Näherungsgeraden, mittels welcher die Körperhaltung des Fußgängers (die Körperhaltung bezüglich der Neigung der Rumpfachse des Fußgängers) sicher und rasch bestimmt werden kann.
  • Insbesondere bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß der neunten Erfindung auf Grundlage eines Winkels zwischen der Näherungsgeraden und einer Vertikalachse im Bild die Körperhaltung des Fußgängers (Zehnte Erfindung).
  • Mit anderen Worten kann die Näherungsgerade der Rumpfachse des Fußgängers entsprechen und kann man daher aus dem Winkel zwischen der Näherungsgeraden und der Vertikalachse die Richtung und den Winkel der Neigung der Rumpfachse des Fußgängers erkennen. Dann kann aus der, wie oben beschrieben, bestimmten Körperhaltung des Fußgängers (die Körperhaltung bezüglich der Neigung der Rumpfachse des Fußgängers) das Verhalten des Fußgängers, wie beispielsweise das Überqueren der Straße, vorab rasch vorausgesagt werden.
  • Gemäß einem zweiten Gesichtspunkt der vorliegenden Erfindung ist nachfolgend ein Fahrzeugumgebungs-Überwachungsgerät vorgesehen, welches einen Computer aufweist, der eine Schnittstellenschaltung zum Zugriff auf Daten eines Bilds einschließt, welches von einer auf einem Fahrzeug montierten Kamera erhalten worden ist, wobei das Gerät mittels einer arithmetischen Verarbeitung vom Computer die Umgebung des Fahrzeugs überwacht, wobei der Computer ausführt: eine Objektextraktionsverarbeitung, um ein um das Fahrzeug vorhandenes Objekt aus dem von der Kamera aufgenommenen Bild zu extrahieren; eine Fußgängerextraktionsverarbeitung, um aus dem in der Objektextraktionsverarbeitung extrahierten Objekt einen Fußgänger zu extrahieren; eine Körperhaltungsbestimmungsverarbeitung, um die Körperhaltung des in der Fußgängerextraktionsverarbeitung extrahierten Fußgängers zu bestimmen; eine Vermeidungsobjekt-Bestimmungsverarbeitung, um mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der in der Körperhaltungsbestimmungsverarbeitung bestimmten Körperhaltung des Fußgängers einschließt, zu bestimmen, ob das in der Objektextraktionsverarbeitung extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten; und eine Fahrzeugausstattungs-Steuerungsverarbeitung, um die Ausstattung des Fahrzeugs zumindest gemäß einem Bestimmungsergebnis der Vermeidungsobjektbestimmungsverarbeitung zu steuern (Elfte Erfindung).
  • Gemäß dem Fahrzeugumgebungs-Überwachungsgerät des zweiten Gesichtspunkts der vorliegenden Erfindung erzeugt die arithmetische Verarbeitung des Computers die bezüglich des Fahrzeugumgebungs-Überwachungsgeräts der ersten Erfindung beschriebenen Wirkungsweisen.
  • Gemäß der vorliegenden Erfindung ist nachfolgend ein Fahrzeugumgebungs-Überwachungsverfahren vorgesehen, um aus einem von einer auf dem Fahrzeug montierten Kamera aufgenommen Bild die Umgebung eines Fahrzeugs zu überwachen, umfassend: einen Objektextraktionsschritt, um aus dem von der Kamera aufgenommenen Bild ein um das Fahrzeug vorhandenes Objekt zu extrahieren; einen Fußgän gerextraktionsschritt, um aus dem im Objektextraktionsschritt extrahierten Objekt einen Fußgänger zu extrahieren; einen Körperhaltungsbestimmungsschritt, um die Körperhaltung des im Fußgängerextraktionsschritt extrahierten Fußgängers zu bestimmen; einen Vermeidungsobjekt-Bestimmungsschritt, um mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der im Körperhaltungsbestimmungsschritt bestimmten Körperhaltung des Fußgängers einschließt, zu bestimmen, ob das im Objektextraktionsschritt extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten; und einen Fahrzeugausstattungs-Steuerungsschritt, um die Ausstattung des Fahrzeugs zumindest gemäß einem Bestimmungsergebnis des Vermeidungsobjektbestimmungsschritts zu steuern (Zwölfte Erfindung).
  • Gemäß dem Fahrzeugumgebungs-Überwachungsverfahren kann beispielsweise aus der im Körperhaltungsbestimmungsschritt, wie bezüglich des Fahrzeugumgebungs-Überwachungsgeräts gemäß der ersten Erfindung oben beschrieben, bestimmten Körperhaltung des Fußgängers das Verhalten des Fußgängers, wie beispielsweise das Überqueren der Straße, vorab rasch vorausgesagt werden. Der im Vermeidungsobjekt-Bestimmungsschritt durchgeführte Bestimmungsalgorithmus schließt die erste Bestimmungsverarbeitung bezüglich der Körperhaltung des Fußgängers ein. Daher kann im Vermeidungsobjekt-Bestimmungsschritt das Bestimmungsergebnis rasch bestimmt werden, wenn bestimmt worden ist, ob das Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten. Im Fahrzeugausstattungs-Steuerungsschritt, mittels welchem die Fahrzeugausstattung rasch gesteuert werden kann, so dass die Vermeidung des Objekts bewerkstelligt wird, wird die Fahrzeugausstattung daher gemäß dem Bestimmungsergebnis des Vermeidungsobjekt-Bestimmungsschritts gesteuert.
  • Gemäß der vorliegenden Erfindung ist nachfolgend ein Fahrzeugumgebungs-Überwachungsprogramm vorgesehen, um einen Computer zu veranlassen, eine Verarbeitung auszuführen, in welcher aus einem von einer auf dem Fahrzeug montierten Kamera aufgenommen Bild die Umgebung eines Fahrzeugs überwacht wird, wobei das Programm den Computer veranlasst auszuführen: eine Objektextraktionsverarbeitung, um aus dem von der Kamera aufgenommenen Bild ein um das Fahrzeug vorhandenes Objekt zu extrahieren; eine Fußgängerextraktionsverarbeitung, um aus den in der Objektextraktionsverarbeitung extrahierten Objekten einen Fußgänger zu extrahieren; eine Körperhaltungsbestimmungsverarbeitung, um die Körperhaltung des in der Fußgängerextraktionsverarbeitung extrahierten Fußgängers zu bestimmen; eine Vermeidungsobjekt-Bestimmungsverarbeitung, um mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der in der Körperhaltungsbestimmungsverarbeitung bestimmten Körperhaltung des Fußgängers einschließt, zu bestimmen, ob das in der Objektextraktionsverarbeitung extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten; und eine Fahrzeugausstattungs-Steuerungsverarbeitung, um die Ausstattung des Fahrzeugs gemäß zumindest einem Bestimmungsergebnis der Vermeidungsobjektbestimmungsverarbeitung zu steuern (Dreizehnte Erfindung).
  • Gemäß dem Fahrzeugumgebungs-Überwachungsprogramm ist es möglich, den Computer zu veranlassen, die Verarbeitungen auszuführen, welche die bezüglich des Fahrzeugumgebungs-Überwachungsgeräts gemäß der ersten Erfindung beschriebenen Wirkungsweisen erzeugen.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein Funktionsblockdiagramm eines Fahrzeugumgebungs-Überwachungsgeräts einer ersten Ausführungsform der vorliegenden Erfindung.
  • 2 ist ein erläuterndes Diagramm, welches einen Zustand zeigt, in welchem das in 1 gezeigte Fahrzeugumgebungs-Überwachungsgerät auf einem Fahrzeug montiert ist.
  • 3 ist ein Flussdiagramm, welches einen Objektdetektions- und Aufmerksammachungsbetrieb in dem in 1 gezeigten Fahrzeugumgebungs-Überwachungsgerät zeigt.
  • 4 ist ein Diagramm, welches ein in dem in 3 gezeigten Objektdetektions- und Aufmerksammachungsbetrieb verarbeitetes Bild darstellt.
  • 5 ist ein erläuterndes Diagramm der Verarbeitung zum Erzeugen von Lauflängendaten und zum Extrahieren eines Objekts in dem in 3 gezeigten Objektdetektions- und Aufmerksammachungsbetrieb.
  • 6 ist ein Flussdiagramm einer Vermeidungsbestimmungsverarbeitung in dem in 3 gezeigten Objektdetektions- und Aufmerksammachungsbetrieb.
  • 7 ist ein erläuterndes Diagramm, welches Flächenabschnitte vor dem Fahrzeug in der in 6 gezeigten Vermeidungsbestimmungsverarbeitung zeigt.
  • 8 ist ein erläuterndes Diagramm der Verarbeitung zum Bestimmen der Körperhaltung eines Fußgängers in der in 6 gezeigten Vermeidungsbestimmungsverarbeitung.
  • 9 ist ein erläuterndes Diagramm der Verarbeitung zum Bestimmen der Körperhaltung eines Fußgängers in der Vermeidungsbestimmungsverarbeitung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung.
  • AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • [Erste Ausführungsform]
  • Mit Bezug auf 1 bis 8 wird zuerst eine erste Ausführungsform der vorliegenden Erfindung beschrieben.
  • Mit Bezug auf 1 und 2 ist auf einem Fahrzeug 10 ein Fahrzeugumgebungs-Überwachungsgerät gemäß dieser Ausführungsform montiert, welches eine Bildverarbeitungseinheit 1 einschließt, die eine elektronische Einheit ist. Die Bildverarbeitungseinheit 1 ist mit zwei auf dem Fahrzeug 10 montierten Infrarotkameras 2R und 2L, mit einem Gierratensensor 3, der eine Gierrate des Fahrzeugs 10 detektiert, mit einem Fahrzeuggeschwindigkeitssensor 4, der eine Fahrgeschwindigkeit (Fahr zeuggeschwindigkeit) des Fahrzeugs 10 detektiert, und mit einem Bremssensor 5 verbunden, der einen Bremsvorgang des Fahrzeugs 10 detektiert.
  • Zudem ist die Bildverarbeitungseinheit 1 mit einem Lautsprecher 6 verbunden, der zum Ausgeben hörbarer Informationen verwendet wird, die mittels Stimme oder dergleichen aufmerksam machen, und mit einer Anzeigevorrichtung 7, die zum Anzeigen der von den Infrarotkameras 2R und 2L aufgenommenen Bilder und von visuellen Informationen zum Aufmerksam-Machen verwendet wird, wobei diese im Fahrzeugumgebungs-Überwachungsgerät vorgesehen sind. Die Anzeigevorrichtung 7 schießt beispielsweise eine Head-up-Anzeigevorrichtung (HUD) 7a ein, die auf der Frontscheibe des Fahrzeugs 10 ein Bild oder andere Informationen anzeigt. Die HUD 7a ist derart vorgesehen, dass die Anzeige mittels des Bildschirms an einer Stelle der Frontscheibe des Fahrzeugs 10 erfolgt, an welcher das Frontsichtfeld des Fahrers nicht beeinträchtigt wird.
  • Die Infrarotkameras 2R und 2L können einen Ferninfrarotstrahl detektieren, wobei jede eine Charakteristik aufweist, gemäß welcher der ausgegebene Signalwert höher wird (die Helligkeit ansteigt), wenn die Temperatur des Objekts ansteigt. Die Infrarotkameras 2R und 2L entsprechen beide der Kamera der vorliegenden Erfindung.
  • Wie in 2 gezeigt, befinden sich die Infrarotkameras 2R und 2L auf der rechten Seite bzw. der linken Seite des vorderen Teils des Fahrzeugs 10, so dass sie bezüglich der Mitte des Fahrzeugs 10 in der Fahrzeugbreitenrichtung im Wesentlichen symmetrisch sind. Die Infrarotkameras 2R und 2L sind derart am Fahrzeug 10 befestigt, dass die optischen Achsen der beiden Infrarotkameras 2R und 2L zueinander parallel verlaufen und dass beide auf gleicher Höhe von der Straßenoberfläche aus angeordnet sind.
  • Obgleich eine ausführliche Darstellung hier weggelassen worden ist, schließt die Bildverarbeitungseinheit 1 einen A/D-Wandler ein, der ein eingegebenes, analoges Signal in ein digitales Signal umwandelt, einen Bildspeicher, der ein digitalisiertes Bildsignal speichert, und einen Computer (ein arithmetischer Verarbeitungskreis, der eine CPU, einen Speicher, Ein-/Ausgabeschaltkreise und dergleichen einschließt, oder ein Mikrocomputer, in welchem diese Funktionen konzentriert gesammelt sind), der eine Schnittstellenschaltung zum Zugriff (Lesen und Schreiben) auf im Bildspeicher gespeicherte Daten aufweist, um dadurch verschiedene arithmetische Verarbeitungsvorgänge für das im Bildspeicher gespeicherte Bild auszuführen. Die Bildverarbeitungseinheit 1 wandelt von den Infrarotkameras 2R und 2L, vom Gierratensensor 3, vom Fahrzeuggeschwindigkeitssensor 4 und vom Bremssensor 5 ausgegebene Signale in digitale Signale um und gibt diese in den Computer ein.
  • Die Bildverarbeitungseinheit 1 führt dann auf Grundlage der eingegebenen Daten eine Verarbeitung des Detektierens eines Objekts, wie beispielsweise eines Fußgängers, aus oder führt eine Verarbeitung des Bestimmens, ob eine Bedingung des detektierten Objekts erfüllt ist, und des Aufmerksam-Machens des Fahrers durch den Lautsprecher 6 oder die Anzeige 7 aus, falls die Bedingung erfüllt ist.
  • Insbesondere schließt die Bildverarbeitungseinheit 1 als ihre Funktionen eine Objektextraktions-Verarbeitungseinheit 11 ein, die aus dem erhaltenen Bild ein um das Fahrzeug 10 herum vorhandenes Objekt extrahiert, eine Fußgängerextraktions-Verarbeitungseinheit 12, die aus dem extrahierten Objekt einen Fußgänger extrahiert, eine Körperhaltungsbestimmungs-Verarbeitungseinheit 13, welche die Körperhaltung des extrahierten Fußgängers bestimmt, eine Vermeidungsobjektbestimmungs-Verarbeitungseinheit 14, die bestimmt, ob das extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug 10 in Kontakt zu treten, und eine Fahrzeugausstattungssteuerungs-Verarbeitungseinheit 15, welche die Ausstattung des Fahrzeugs 10 gemäß dem Bestimmungsergebnis der Vermeidungsobjektbestimmungs-Verarbeitungseinheit 14 steuert. Zudem schließt die Bildverarbeitungseinheit 1 als ihre Funktionen eine Relativpositionsdetektier-Verarbeitungseinheit 16 ein, die eine Relativposition des Objekts bezüglich des Fahrzeugs 10 sequenziell detektiert, und eine Bewegungsrichtungsmerkmalswertberechnungs-Verarbeitungseinheit 17, die einen Bewegungsrichtungsmerkmalswert des Objekts berechnet. Außerdem schließt die Bildverarbeitungseinheit 1 als ihre Funktionen eine Binärdarstellungsübertragungs-Verarbeitungseinheit, die aus dem erhaltenen Bild eine Binärfläche extrahiert, und eine Lauflängendatenerzeugungs-Verarbeitungseinheit ein, welche aus extrahierten Binärfläche Lauflängendaten erzeugt.
  • Diese Verarbeitungseinheiten werden von der Bildverarbeitungseinheit 1 konfiguriert, die ein vorab in den Speicher der Bildverarbeitungseinheit 1 implementiertes Programm durchführt. Dieses Programm schließt ein Fahrzeugumgebungs-Überwachungsprogramm der vorliegenden Erfindung ein. Das Programm kann über ein Aufzeichnungsmittel, wie beispielsweise eine CD-ROM, im Speicher gespeichert werden. Zudem kann das Programm über ein Netzwerk oder einen Satelliten von einem externen Server zugeführt oder übertragen und im Speicher gespeichert werden, nachdem es von einer auf dem Fahrzeug 10 montierten Kommunikationsvorrichtung empfangen worden ist.
  • Die Objektextraktions-Verarbeitungseinheit 11 extrahiert aus von den Infrarotkameras 2R und 2L aufgenommenen Bildern ein um das Fahrzeug 10 herum vorhandenes Objekt. Insbesondere überträgt die Objektextraktions-Verarbeitungseinheit 11 in den von den Infrarotkameras 2R und 2L aufgenommenen Bildern unter Verwendung der Binärdarstellungsübertragungs-Verarbeitungseinheit ein vorbestimmtes Standardbild (ein in dieser Ausführungsform von der Infrarotkamera 2R aufgenommenes Bild) in Binärdarstellung und extrahiert dann eine Binärfläche, in welcher der Helligkeitswert eines Pixels im Standardbild größer oder gleich einem vorbestimmten Schwellenwert ist. Außerdem erzeugt die Objektextraktions-Verarbeitungseinheit 11 mittels der Lauflängendatenerzeugungs-Verarbeitungseinheit aus der Binärfläche Lauflängendaten und extrahiert mittels Versehen mit einer Bezeichnung oder mittels anderen Verarbeitungen auf Grundlage der Lauflängendaten das Objekt.
  • Die Relativpositionsdetektier-Verarbeitungseinheit 16 durchsucht das von der Infrarotkamera 2L aufgenommene Bild nach einem Objekt, welches dem von der Objektextraktions-Verarbeitungseinheit 11 aus dem Standardbild extrahierten Objekt entspricht, detektiert auf Grundlage eines Unterschieds (Parallaxe) zwischen den Objekten in den von den beiden Infrarotkameras 2R und 2L aufgenommenen Bildern einen Abstand des Objekts bezüglich des Fahrzeugs 10 und wandelt den Abstand in Realraumkoordinaten um, um die Relativposition des Objekts bezüglich des Fahrzeugs 10 zu detektieren. Eine bestimmte Technik zum Detektieren der Relativposition des Objekts auf Grundlage des Bilds kann beispielsweise die in dem vorstehenden Patentdokument 1 offenbarte Technik sein.
  • Die Bewegungsrichtungsmerkmalswertberechnungs-Verarbeitungseinheit 17 berechnet auf Grundlage der Zeitreihen der von der Relativpositionsdetektier-Verarbeitungseinheit 16 detektierten Relativposition des Objekts den Bewegungsrichtungsmerkmalswert, der die Bewegungsrichtung des Objekts relativ zum Fahrzeug 10 darstellt. Insbesondere berechnet die Bewegungsrichtungsmerkmalswertberechnungs-Verarbeitungseinheit 17 aus den Zeitreihendaten der Relativposition des Objekts bezüglich des Fahrzeugs 10 den Bewegungsvektor des Objekts relativ zum Fahrzeug 10 als den Bewegungsrichtungsmerkmalswert. Die Berechnung des Bewegungsvektors erfordert Zeitreihendaten einer vorbestimmten Periode.
  • Die Fußgängerextraktions-Verarbeitungseinheit 12 extrahiert aus dem von der Objektextraktions-Verarbeitungseinheit 11 extrahierten Objekt einen Fußgänger. Als Verfahren zum Extrahieren des Fußgängers wird ein Verfahren verwendet, in welchem auf Grundlage eines die Gestalt des Objekts darstellenden Merkmals, wie beispielsweise ein Seitenverhältnis des Objekts oder ein Verhältnis zwischen der Objektfläche und der Fläche eines das Objekt umschreibenden Rechtecks, oder auf Grundlage eines Merkmals, wie beispielsweise die Größe des Objekts, oder einer Helligkeitsverteilung in einem Grauskalabild bestimmt wird, ob das Objekt ein Fußgänger ist.
  • Die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 legt die Neigung der Rumpfachse des von der Fußgängerextraktions-Verarbeitungseinheit 12 extrahierten Fußgängers als einen die Körperhaltung des Fußgängers darstellenden Merkmalswert fest und bestimmt den Neigungsgrad der Rumpfachse. Als Verfahren zum Berechnen der Rumpfachse des Fußgängers wird beispielsweise ein Verfahren verwendet, in welchem zuerst aus einer von der Binärdarstellungsübertragungs-Verarbeitungseinheit extrahierten Binärfläche, in welcher der Helligkeitswert eines Pixels im erhaltenen Bild größer oder gleich dem vorbestimmten Schwellenwert ist, von der Lauflängendatenerzeugungs-Verarbeitungseinheit Lauflängendaten erzeugt und danach Punktsequenzdaten berechnet werden, die aus Pixelkoordinaten von Mittelpunkten der jeweiligen Linien der erzeugten Lauflängendaten gebildet sind, wobei eine Näherungsgerade, die den Punktsequenzdaten nahe kommt, als Rumpfachse des Fußgängers betrachtet wird. Die Bestimmungsverarbeitung von der Körperhaltungsbestimmungs-Verarbeitungseinheit 13 wird sequenziell ausgeführt (für jede arithmetische Verarbeitungsperiode).
  • Die Vermeidungsobjektbestimmungs-Verarbeitungseinheit 14 bestimmt, ob das von der Objektextraktions-Verarbeitungseinheit 11 extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug 10 in Kontakt zu treten. Der von der Vermeidungsobjektbestimmungs-Verarbeitungseinheit 14 durchgeführte Bestimmungsalgorithmus schließt eine erste Bestimmungsverarbeitung an der von der Körperhaltungsbestimmungs-Verarbeitungseinheit 13 bestimmten Körperhaltung des Fußgängers und eine zweite Bestimmungsverarbeitung an dem von der Bewegungsrichtungsmerkmalswertberechnungs-Verarbeitungseinheit 17 berechneten Bewegungsrichtungsmerkmalswert des Objekts ein.
  • Die Fahrzeugausstattungssteuerungs-Verarbeitungseinheit 15 macht den Fahrer des Fahrzeugs 10 auf das Objekt aufmerksam, welches von der Vermeidungsobjektbestimmungs-Verarbeitungseinheit 14 als ein zu vermeidendes Objekt bestimmt worden ist. Insbesondere gibt die Fahrzeugausstattungssteuerungs-Verarbeitungseinheit 15 durch den Lautsprecher 6 eine Stimmenführung aus oder gibt ein beispielsweise von der Infrarotkamera 2R aufgenommenes Bild an die Anzeigevorrichtung 7 aus, um dem Fahrer des Fahrzeugs 10 das Bild bereitzustellen, welches das darauf hervorgehobene Objekt, wie beispielsweise den Fußgänger, einschließt, der ein zu vermeidendes Objekt ist. Der Lautsprecher 6 und die Anzeigevorrichtung 7 entsprechen der von der Fahrzeugausstattungssteuerungs-Verarbeitungseinheit gemäß der vorliegenden Erfindung gesteuerten Ausstattung.
  • Mit Bezug auf das in 3 gezeigte Flussdiagramm wird nachfolgend der allgemeine Betrieb (der Objektdetektions- und Aufmerksammachungsbetrieb) des Fahrzeugumgebungs-Überwachungsgeräts dieser Ausführungsform beschrieben. Mit Bezug auf 3 wiederholt die Bildverarbeitungseinheit 1 die Verarbeitung von Schritt 001 bis Schritt 020 für jede vorbestimmte arithmetische Verarbeitungsperiode, wodurch der Objektdetektions- und Aufmerksammachungsbetrieb ausgeführt wird.
  • Zuerst erhält die Bildverarbeitungseinheit 1 in Schritt 001 Infrarotbilder, die Ausgabesignale der Infrarotkameras 2R und 2L sind. Als Nächstes A/D-wandelt die Bildverar beitungseinheit 1 in Schritt 002 das Bildsignal (analoges Signal) jedes Pixels der erfassten Infrarotbilder. Als Nächstes speichert die Bildverarbeitungseinheit 1 in Schritt 003 die mittels der A/D-Wandlung erhaltenen, digitalen Daten (ein aus Pixeldaten gebildetes Grauskalabild) in einem nicht gezeigten Bildspeicher. Das rechte Bild wird von der Infrarotkamera 2R erhalten und das linke Bild wird von der Infrarotkamera 2L erhalten. Die horizontale (x-Richtung) Position im Bild des gleichen Objekts ist zwischen dem rechten Bild und dem linken Bild unterschiedlich. Daher kann anhand des Unterschieds (Parallaxe) der Abstand bis zum Objekt berechnet werden.
  • Als Nächstes überträgt die Bildverarbeitungseinheit 1 in Schritt 004 das Bildsignal des Standardbilds (das in dieser Ausführungsform von der Infrarotkamera 2R aufgenommene Bild) in den Grauskalabildern in Binärdarstellung. Mit anderen Worten setzt sie einen Wert "1" (weiß) fest, falls der Helligkeitswert des Pixels größer oder gleich einem Schwellenwert Ith ist und setzt für das Standardbild anderenfalls "0" (schwarz) fest. Der Schwellenwert Ith ist ein auf experimenteller Basis vorab bestimmter Wert.
  • Mit Bezug auf 4(a) ist ein in Binärdarstellung übertragenes Bild des von der Infrarotkamera 2R aufgenommenen Bilds dargestellt. In 4(a) verkörpert eine schraffierte Fläche eine schwarze Fläche und verkörpern von dicken, durchgezogenen Linien umgebene Flächen weiße Flächen. Die von den dicken, durchgezogenen Linien umgebenen Flächen weisen in dem von der Infrarotkamera 2 aufgenommenen Bild alle einen Bereich hoher Helligkeit (hohe Temperatur) auf und sind Flächen von Objekten, die auf dem Bildschirm weiß angezeigt sind. Das Beispiel in 4(a) zeigt eine Situation, in welcher ein Fußgänger links vor dem Fahrzeug 10 vorhanden ist, vor dem Fahrzeug 10 ein weiteres Fahrzeug vorhanden ist, und der Fußgänger sich anschickt, die Straße zu überqueren.
  • In Schritt 005 erzeugt die Bildverarbeitungseinheit 1 aus der mittels Übertragen in Binärdarstellung auf "weiß" festgesetzten Fläche (Binärfläche) als Nächstes Lauflängendaten. Bei der Binärfläche, die von einem Satz von Linien verkörpert wird, die in der Horizontalrichtung des Bilds eindimensional verbundene Pixel sind, stellen die erzeugten Lauflängendaten mittels der Koordinaten des Anfangspunkts der Linie und der Länge (Anzahl von Pixeln) der Linie vom Anfangspunkt bis zum Endpunkt jede der die Binärfläche bildenden Linien dar.
  • Eine Beschreibung mit Bezug auf 5(a) gebend, zeigt 5(a) die Binärfläche, welche von den Linien L1 bis L8 verkörpert wird, die eindimensional verbundene Pixel sind. Obgleich die Linien L1 bis L8 in der y-Richtung (Vertikalrichtung) alle eine Breite von einem Pixel aufweisen und sie tatsächlich derart angeordnet sind, dass zwischen ihnen in der y-Richtung kein Platz mehr vorhanden ist, sind sie zur Klarheit der Beschreibung voneinander beabstandet gezeigt. Außerdem weisen die Linien L1 bis L8 in der x-Richtung (Horizontalrichtung) jeweilige Längen von zwei Pixeln, zwei Pixeln, drei Pixeln, acht Pixeln, sieben Pixeln, acht Pixeln, acht Pixeln und acht Pixeln auf. Die Lauflängendaten stellen jede der Linien L1 bis L8 mittels der Koordinaten des Anfangspunkts (der linke Endpunkt jeder Linie) und der Länge (der Anzahl von Pixeln) vom Anfangspunkt bis zum Endpunkt (der rechte Endpunkt jeder Linie) dar. Die Linie L3 ist beispielsweise aus drei Pixeln (x3, y5), (x4, y5) und (x5, y5) gebildet und wird daher von Lauflängendaten (x3, y5, 3) dargestellt.
  • Als Nächstes führt die Bildverarbeitungseinheit 1 in Schritt 006 auf Grundlage der erzeugten Lauflängendaten das Versehen des Objekts mit einer Bezeichnung aus. Dann extrahiert die Bildverarbeitungseinheit 1 in Schritt 007 auf Grundlage der beigefügten Bezeichnung das Objekt. Linien unter den von den Lauflängendaten verkörperten Linien, die einander in der Vertikalrichtung (y-Richtung) des Bilds überlappen, werden insbesondere als ein Objekt betrachtet, und wird das Objekt mit einer Bezeichnung (Identifikationsmerkmal) versehen, mittels welcher die verbundene Fläche im Bild als das Objekt extrahiert wird. Eine Beschreibung mit Bezug auf 5(b) gebend, werden in den in 5(a) gezeigten Linien L1 bis L8 die einander in der y-Richtung überlappenden Linien L1 bis L3 als ein Objekt 1 betrachtet und werden die einander in der y-Richtung überlappenden Linien L4 bis L8 als ein Objekt 2 betrachtet, wodurch den Lauflängendaten die Objektbezeichnungen 1 und 2 beigefügt werden. Dies ermöglicht das Extrahieren der Objekte 1 und 2 aus der Binärfläche.
  • In der vorstehenden Verarbeitung der Schritte 005 bis 007 werden aus der in 4(a) gezeigten Binärfläche Objekte (Binärobjekte) T1 bis T6 extrahiert, wie in 4(b) gezeigt. Dabei wird das Objekt mit der Bezeichnung T1 beispielsweise von n Lauflängendaten L1 bis Ln verkörpert. Die extrahierten Objekte (Binärobjekte) schließen in Nachbarschaft der Straße beispielsweise sowohl ein anderes Fahrzeug und künstliche Strukturen, wie beispielsweise einen Stromversorgungsmast und einen Warenautomaten, als auch Fußgänger ein. In dem in 4(b) gezeigten Fall ist das Objekt T1 ein Binärobjekt, welches einem links vor dem Fahrzeug 10 vorhandenen Fußgänger entspricht, und sind die Objekte T2 bis T6 Binärobjekte, die einem vor dem Fahrzeug 10 vorhandenen, anderen Fahrzeug entspricht.
  • Als Nächstes berechnet die Bildverarbeitungseinheit 1 in Schritt 008 die Fläche S und den Schwerpunkt G des extrahierten Objekts und das Seitenverhältnis ASPECT des das Objekt umschreibenden Rechtecks. Insbesondere wird die Fläche S des Objekts T1 mittels Integrieren der Längen der von den Lauflängendaten Li (i = 1, ---, n) verkörperten Linien bezüglich der n Lauflängendaten des Objekts T1 berechnet. Die Koordinaten des Schwerpunkts G des Objekts T1 werden alle dadurch berechnet, dass die Länge der von jedem Lauflängendatum Li angezeigten Linie mit jeder der Koordinaten (x[i], y[i]) des Mittelpunkts der Linie des Lauflängendatums Li multipliziert wird, dass die Ergebnisse der Multiplikation bezüglich der n Lauflängendaten des Objekts T1 integriert werden, und dass das Ergebnis der Integration durch die Fläche S dividiert wird. Das Seitenverhältnis ASPECT des Objekts T1 wird als Verhältnis Dy/Dx der Länge Dy in der Vertikalrichtung zur Länge Dx in der Horizontalrichtung des das Objekt T1 umschreibenden Rechtecks berechnet.
  • Als Nächstes macht die Bildverarbeitungseinheit 1 in Schritt 009 in Zeitabständen das Objekt ausfindig, das heißt, dass sie für jede Betriebsperiode der Bildverarbeitungseinheit 1 identische Objekte erkennt. Unter der Annahme, dass in der Verarbeitung von Schritt 007 zum Zeitpunkt (Diskretzeit) k in einer gewissen arithmetischen Verarbeitungsperiode ein Objekt A extrahiert wird und dass zum Zeitpunkt k + 1 in der nächsten arithmetischen Verarbeitungsperiode der Verarbeitung von Schritt 007 ein Objekt B extrahiert wird, wird bei dem Ausfindig-Machen in Zeitabständen die Identität zwischen den Objekten A und B bestimmt. Die Identität kann beispielsweise auf Grundlage des Schwerpunkts G, der Fläche S und des Seitenverhältnisses ASPECT von sowohl Objekt A als auch Objekt B bestimmt werden. Falls bestimmt wird, dass die Objekte A und B zueinander identisch sind, wird die Bezeichnung des zum Zeitpunkt k + 1 extrahierten Objekts B in die gleiche Bezeichnung wie diejenige des Objekts A umgeändert. Das Ausfindig-Machen in Zeitabständen wird für das in Binärdarstellung übertragene Standardbild ausgeführt.
  • Als Nächstes liest die Bildverarbeitungseinheit 1 in Schritt 010 die vom Fahrzeuggeschwindigkeitssensor 4 detektierte Fahrzeuggeschwindigkeit VCAR und die vom Gierratensensor 3 detektierte Gierrate YR und integriert die Gierrate YR über die Zeit, um den Drehwinkel θr des Fahrzeugs 10 zu berechnen.
  • Parallel zu der Verarbeitung der Schritte 009 und 010 wird in den Schritten 011 bis 014 andererseits ein Abstand z zwischen dem Objekt und dem Fahrzeug 10 (der Abstand in der Vor-Zurück-Richtung des Fahrzeugs 10) berechnet. Diese Berechnung benötigt eine längere Zeitdauer als die Verarbeitung der Schritte 009 und 010 und wird daher während einer längeren Zeitdauer durchgeführt als jene der Verarbeitung der Schritte 009 und 010 (beispielsweise ungefähr dreimal so lang wie die Durchführungsdauer der Verarbeitung der Schritte 001 bis 010).
  • In Schritt 011 extrahiert die Bildverarbeitungseinheit 1 aus dem Standardbild zuerst ein Zielbild R1 (wobei angenommen wird, dass die gesamte Fläche, die von dem das Objekt umschreibenden Rechteck umgeben ist, das Zielbild ist), indem eines der Objekte, die an Hand des Binärbilds im Standardbild ausfindig gemacht worden sind, ausgewählt wird.
  • Als Nächstes setzt die Bildverarbeitungseinheit 1 in Schritt 012 im Referenzbild (das vom Standardbild in dem von den Infrarotkameras 2R und 2L aufgenommenen rechten Bild und linken Bild verschiedene Bild) eine Suchfläche fest, um nach einem Bild (hinfort als "entsprechendes Bild" bezeichnet) zu suchen, welches dem Zielbild R1 entspricht, und extrahiert unter Ausführung eines Korrelationsvorgangs das entsprechende Bild. Insbesondere setzt die Bildverarbeitungseinheit 1 auf Grundlage der Koordinaten jedes Scheitelpunkts des Zielbilds R1 im Referenzbild eine Suchfläche R2 fest und setzt in der Suchfläche R2 eine örtliche Fläche R3 fest, welche die gleiche Gestalt aufweist wie das Zielbild R1, wobei die Koordinaten (x0, y0) als Basispunkt (der obere linke Scheitelpunkt der Fläche) festgelegt sind. Dann bewegt sie die örtliche Fläche R3 in der Suchfläche R2, indem sie die Koordinaten (x0, y0) des Ba sispunkts ändert, während sie die Summe der absoluten Unterschiede (SAD) berechnet, nämlich C(x0, y0), des Helligkeitswerts, die den Grad der Korrelation zwischen der örtlichen Fläche R3 und dem Zielbild R1 anzeigen, und zwar mittels folgender Gleichung (1):
    Figure 00250001
  • Die Summe der absoluten Unterschiede C(x0, y0) wird vorstehend erhalten, indem ein Absolutwert eines Unterschieds zwischen einem Helligkeitswert IR eines Pixels der Koordinaten (m, n) im Zielbild R1 und einem Helligkeitswert IL eines Pixels der Koordinaten (x0 + m, y0 + n) in der örtlichen Fläche R3 genommen wird, wobei die Koordinaten (x0, y0) in der Suchfläche R3 den Basispunkt darstellen, und der Summenwert der Absolutwerte des Unterschieds bezüglich sämtlicher Pixel (m = 0, ---, M – 1, n = 0, ---, N – 1) im Zielbild R1 und in der örtlichen Fläche R3 berechnet wird. Ein kleinerer Wert der Summe der absoluten Unterschiede C(x0, y0) zeigt einen höheren Grad der Korrelation zwischen dem Zielbild R1 und der örtlichen Fläche R3 an. Entsprechend werden die Koordinaten (x0, y0) des Basispunkts erhalten, indem die Summe der absoluten Unterschiede C(x0, y0) minimiert wird, um dadurch die örtliche Fläche R3 an dieser Stelle dadurch als das entsprechende Bild R4 zu extrahieren. Der Korrelationsvorgang wird unter Verwendung von Grauskalabildern anstelle von Binärbildern ausgeführt. In der Verarbeitung der Schritte 011 und 012 werden im Standardbild das Zielbild R1 und im Referenzbild das entsprechende Bild R4 extrahiert.
  • Als Nächstes berechnet die Bildverarbeitungseinheit 1 in Schritt 013 auf Grundlage der Position des Schwerpunkts des Zielbilds R1 und der Position des Schwerpunkts des entsprechenden Bilds R4 eine Parallaxe Δd (die Anzahl von Pixeln). Danach berechnet die Bildverarbeitungseinheit 1 unter Verwendung der berechneten Parallaxe Δd den Abstand z zwischen dem Fahrzeug 10 und dem Objekt, und zwar mittels folgender Gleichung (2) (Schritt 014): z = B·F/(Δd·p) (2)wobei B die Basislänge (Abstand zwischen den optischen Achsen) der Infrarotkameras 2R und 2L ist, F die Brennweite der Linsen der Infrarotkameras 2R und 2L ist und p ein Raumabstand zwischen Pixeln ist.
  • Nach Beendigung der Verarbeitung von Schritt 010 und Schritt 014 wandelt die Bildverarbeitungseinheit 1 in Schritt 015 die Koordinaten (x, y) und den Abstand z im Bild in Realraumkoordinaten um, um die Realraumposition zu berechnen, welche die Position des Objekts im Realraum (die relative Position bezüglich des Fahrzeugs 10) ist. Man beachte hier, dass die Realraumposition eine Position (X, Y, Z) im Realraum-Koordinatensystem (XYZ-Koordinatensystem) ist, welches am Mittelpunkt (die für das Fahrzeug 10 festgelegte Position) von Montageorten, an welchen die Infrarotkameras 2R und 2L montiert sind, festgesetzt ist, wobei dieser als Ursprung des Realraum-Koordinatensystems festgelegt ist, wie in 2 gezeigt. Die X-Richtung bzw. die Y-Richtung des Realraum-Koordinatensystems entspricht der Horizontalrichtung (Fahrzeugbreitenrichtung) bzw. der Vertikalrichtung des Fahrzeugs 10. Die X-Richtung bzw. die Y-Richtung ist gleich der x-Richtung (Horizontalrichtung) bzw. der y-Richtung (Vertikalrichtung) des rechten bzw. linken Bilds. Die Z-Richtung des Realraum-Koordinatensystems entspricht der Vor-Zurück-Richtung des Fahrzeugs 10. Die Realraumposition (X, Y, Z) wird mittels folgender Gleichungen (3), (4) bzw. (5) berechnet: X = x·z·p/f (3) Y = y·z·p/f (4) Z = z (5)
  • Um die Genauigkeit der Realraumposition des Objekts zu verbessern, berichtigt die Bildverarbeitungseinheit 1 in Schritt 016 unter Verwendung des in Schritt 010 berechneten Drehwinkels θr als Nächstes die Realraumposition des Objekts, indem die Auswirkung der Änderung des Drehwinkels des Fahrzeugs 10 kompensiert wird. Die vom Drehwinkel abhängige Berichtigung ist die Verarbeitung zum Berichtigen einer Verlagerung des Bilds in der x-Richtung, die beispielsweise dann in den von den Infrarotkameras 2R und 2L aufgenommenen Bildern vorkommt, wenn das Fahrzeug 10 während der Periode vom Zeitpunkt k bis zum Zeitpunkt (k + 1) um den Drehwinkel θr nach links wendet. In der folgenden Beschreibung bedeutet der Begriff "Realraumposition des Objekts" eine Realraumposition des Objekts, bei welcher die vom Drehwinkel abhängige Berichtigung bereits angewandt worden ist.
  • Als Nächstes bestimmt die Bildverarbeitungseinheit 1 in Schritt 017 einen Bewegungsvektor des Objekts bezüglich des Fahrzeugs 10. Insbesondere bestimmt sie über eine vorbestimmte Periode (eine Periode vom augenblicklichen Zeitpunkt bis zu einem eine Periode früheren Zeitpunkt) von der Realraumposition eines identischen Objekts eine gerade Linie als Näherung der Zeitreihendaten und bestimmt dann als den Bewegungsvektor des Objekts einen Vektor von der Position des Objekts auf der geraden Linie zu dem einem vorbestimmten Zeitpunktvorhergehenden Zeitpunkt (Koordinaten Pv1 = (Xv1, Yv1, Zv1) in Richtung der Position des Objekts auf der geraden Linie zum augenblicklichen Zeitpunkt (Koordinaten Pv0 = (Xv0, Yv0, Zv0). Man beachte hier, dass die im vorstehend beschriebenen Patentdokument 1 offenbarte Technik für die bestimmte Berechnungsverarbeitung der Näherungsgeraden verwendet wird. Falls der Bewegungsvektor nicht berechnet werden kann, da die Zeitreihendaten der Realraumposition nicht vorhanden sind, weil die vorbestimmte arithmetische Verarbeitungsdauer noch nicht verstrichen ist, nachdem das Objekt in dieser Verarbeitung detektiert worden ist, geht die Steuerung direkt zu Schritt 018 über.
  • Als Nächstes führt die Bildverarbeitungseinheit 1 in Schritt 018 eine Vermeidungsbestimmungsverarbeitung aus, in welcher bestimmt wird, ob das detektierte Objekt ein zu vermeidendes Objekt ist (ein Objekt, welches den Kontakt mit dem Fahrzeug 10 vermeiden sollte). Die Vermeidungsbestimmungsverarbeitung wird später ausführlich beschrieben. Falls in Schritt 018 bestimmt wird, dass das Objekt kein zu vermeidendes Objekt ist (falls das Bestimmungsergebnis von Schritt 018 NEIN ist), kehrt die Bildverarbeitungseinheit 1 zu Schritt 001 zurück, um die vorstehende Verarbeitung zu wiederholen. Falls bestimmt wird, dass das Objekt ein zu vermeidendes Objekt ist (falls das Bestimmungsergebnis von Schritt 018 JA ist), geht die Steuerung zu einer Aufmerksammachungsausgabe-Bestimmungsverarbeitung von Schritt 019 über.
  • In Schritt 019 führt die Bildverarbeitungseinheit 1 die Aufmerksammachungsausgabe-Bestimmungsverarbeitung aus, um zu bestimmen, ob tatsächlich auf das Objekt aufmerksam gemacht wird. In dieser Aufmerksammachungsausgabe-Bestimmungsverarbeitung wird auf Grundlage einer Ausgabe BR des Bremssensors 5 überprüft, ob der Fahrer einen Vorgang zum Bremsen des Fahrzeugs 10 ausführt, und wird bestimmt, dass das Aufmerksam-Machen nicht ausgeführt werden sollte, falls die Verzögerung (positiv in der Verzögerungsrichtung der Fahrzeuggeschwindigkeit) des Fahrzeugs 10 größer ist als ein vorbestimmter Schwellenwert (>0). Falls der Fahrer den Bremsvorgang nicht durchführt oder falls die Verzögerung des Fahrzeugs 10 kleiner oder gleich dem vorbestimmten Schwellenwert ist, obwohl der Fahrer den Bremsvorgang durchführt, bestimmt die Bildverarbeitungseinheit 1, dass das Aufmerksam-Machen ausgeführt werden sollte.
  • Falls die Bildverarbeitungseinheit 1 bestimmt, dass das Aufmerksam-Machen ausgeführt werden sollte (falls das Bestimmungsergebnis von Schritt 019 JA ist), geht sie zu Schritt 020 über, um eine Aufmerksammachungs-Ausgabeverarbeitung auszuführen, in welcher durch den Lautsprecher 6 und die Anzeigevorrichtung 7 das Aufmerksam-Machen des Fahrers des Fahrzeugs 10 ausgeführt wird, und kehrt dann zu Schritt 001 zurück, um die vorstehende Verarbeitung zu wiederholen. Die Aufmerksammachungs-Ausgabeverarbeitung wird später ausführlich beschrieben. Falls in Schritt 019 bestimmt wird, dass das Aufmerksam-Machen nicht ausgeführt werden sollte (falls für alle Objekte bestimmt wird, dass das Aufmerksam-Machen nicht ausgeführt werden sollte), ist das Bestimmungsergebnis von Schritt 019 NEIN. In diesem Fall kehrt die Bildverarbeitungseinheit 1 direkt zu Schritt 001 zurück, um die vorstehende Verarbeitung zu wiederholen.
  • Das Vorstehende ist der Objektdetektions- und Aufmerksammachungsbetrieb der Bildverarbeitungseinheit 1 des Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform. Auf Grundlage der Infrarotbilder der Umgebung des Fahrzeugs 10 und der Signale, die den Fahrzustand des Fahrzeugs 10 anzeigen, wird dadurch das Detektieren der vor dem Fahrzeug 10 vorhandenen Objekte, wie beispielsweise eines Fußgänger und dergleichen, und das Aufmerksam-Machen des Fahrers auf das zu vermeidende Objekt ermöglicht.
  • In dieser Ausführungsform entsprechen die Schritte 004 bis 008 der Objektextraktions-Verarbeitungseinheit 11; entsprechen die Schritte 011 bis 016 der Relativpositionsdetektier-Verarbeitungseinheit 16; entspricht der Schritt 017 der Bewegungsrichtungsmerkmalswertberechnungs-Verarbeitungseinheit 17; entspricht der Schritt 018 der Fußgängerextraktions-Verarbeitungseinheit 12, der Körperhaltungsbestimmungs-Verarbeitungseinheit 13 und der Vermeidungsobjektbestimmungs-Verarbeitungseinheit 14; und entsprechen die Schritte 019 und 020 der Fahrzeugausstattungssteuerungs-Verarbeitungseinheit 15. Außerdem entspricht der Schritt 004 der Binärdarstellungsübertragungs-Verarbeitungseinheit und entspricht der Schritt 005 der Lauflängendatenerzeugungs-Verarbeitungseinheit. Desweiteren entspricht die Verarbeitung der Schritte 004 bis 008 dem Objektextraktionsschritt des Fahrzeugumgebungs-Überwachungsverfahrens gemäß der vorliegenden Erfindung; entspricht die Verarbeitung von Schritt 018 dem Fußgängerextraktionsschritt, dem Körperhaltungsbestimmungsschritt und dem Vermeidungsobjekt-Bestimmungsschritt; und entspricht die Verarbeitung der Schritte 019 und 020 dem Fahrzeugausstattungs-Steuerungsschritt.
  • Mit Bezug auf das in 6 gezeigte Flussdiagramm wird im Folgenden die Vermeidungsbestimmungsverarbeitung in Schritt 018 des in 3 gezeigten Flussdiagramms ausführlich beschrieben. Die Vermeidungsbestimmungsverarbeitung wird ausgeführt, um zu bestimmen, ob das Objekt ein zu vermeidendes Objekt ist, und zwar mittels Bestimmen der Möglichkeit eines Kontakts zwischen dem detektierten Objekt und dem Fahrzeug 10 und mittels Bestimmen des Objekttyps durch eine Kontaktbestimmungsverarbeitung, durch eine Bestimmungsverarbeitung, ob sich das Objekt in der Nahobjekt-Bestimmungsfläche befindet, durch eine Näherungsobjekt-Kontaktbestimmungsverarbeitung (auf Grundlage eines Bewegungsvektors oder einer Körperhaltung), durch eine Fußgängerbestimmungsverarbeitung und durch eine Kunststruktur-Bestimmungsverarbeitung, die nachstehend beschrieben werden.
  • Mit Bezug auf 6 führt die Bildverarbeitungseinheit 1 als eine der Verarbeitungen zum Bestimmen des Grads der Möglichkeit, dass das Objekt mit dem Fahrzeug 10 in Kontakt tritt, in Schritt 101 zuerst die Kontaktbestimmungsverarbeitung aus. Die Kontaktbestimmungsverarbeitung ist eine Verarbeitung zum Berechnen einer Relativgeschwindigkeit Vs in der Z-Richtung zwischen dem Objekt und dem Fahrzeug 10, um dadurch zu bestimmen, ob zwischen diesen innerhalb einer Vorgabezeit T eine Kontaktmöglichkeit besteht, wobei angenommen wird, dass beide eine Höhe aufweisen, die kleiner oder gleich H ist, und sich mit einer Relativgeschwindigkeit Vs konstant bewegen. Falls der augenblickliche Koordinatenwert (Abstand) Zv0 in der Z-Richtung des Objekts kleiner oder gleich Vs·T ist und der Koordinatenwert (Höhe) Yv0 in der Y-Richtung des Objekts kleiner oder gleich H ist, wird insbesondere bestimmt, dass die Möglichkeit eines Kontakts zwischen dem Objekt und dem Fahrzeug 10 besteht.
  • Mit Bezug auf 7 ist ein Diagramm einer von oben betrachteten Straße gezeigt, auf welcher das Fahrzeug 10 fährt, wobei der Flächenabschnitt vor dem Fahrzeug 10 dargestellt ist. Unter der Annahme, dass die von einer dicken, durchgezogenen Linie umgebene, äußere dreieckige Fläche AR0 diejenige Fläche ist, die von den Infrarotkameras 2R und 2L überwacht werden kann, ist, wie in 7 gezeigt, die bezüglich des Fahrzeugs 10 in der Fläche AR0 näher als Z1 (= Vs·T) liegende Fläche eine Fläche, in welcher die Möglichkeit eines Kontakts zwischen dem Objekt und dem Fahrzeug 10 besteht. Die Höhe H ist eine vorbestimmte Höhe, die den Bereich in der Höhenrichtung festlegt: Sie ist beispielsweise auf die etwa doppelte Fahrzeughöhe des Fahrzeugs 10 festgelegt.
  • Falls das Bestimmungsergebnis in Schritt 101 NEIN ist (falls innerhalb der Vorgabezeit T keine Möglichkeit eines Kontakts zwischen dem Objekt und dem Fahrzeug 10 besteht), bedeutet dies eine Situation, in welcher mittels Steuern und Bremsen des Fahrzeugs 10 der Kontakt zwischen dem Objekt und dem Fahrzeug 10 lange vorab vermieden werden kann. In diesem Fall geht die Steuerung zu Schritt 108 über, in welchem die Bildverarbeitungseinheit 1 bestimmt, dass das Objekt kein zu vermeidendes Objekt ist, und die Vermeidungsbestimmungsverarbeitung beendet.
  • Falls das Bestimmungsergebnis in Schritt 101 JA ist (falls innerhalb der Vorgabezeit T die Möglichkeit eines Kontakts zwischen dem Objekt und dem Fahrzeug 10 besteht), geht die Steuerung zu Schritt 102 über, in welchem die Bildverarbeitungseinheit 1 als eine der Verarbeitungen zum Bestimmen des Grads der Möglichkeit, dass das Objekt mit dem Fahrzeug 10 in Kontakt tritt, eine Verarbeitung zum Bestimmen ausführt, ob das Objekt in der Nahobjekt-Bestimmungsfläche AR1 vorhanden ist. Wie in 7 gezeigt, ist die Nahobjekt-Bestimmungsfläche AR1 eine Fläche, welche eine Breite (α + 2β) aufweist, die die Breite α des Fahrzeugs 10 plus zulässige Abweichungen β beidseits des Fahrzeugs 10 ist, und in der Fläche vorhanden ist, die innerhalb der Fläche AR0 näher zum Fahrzeug 10 liegt als Z1. Die Nahobjekt-Bestimmungsfläche AR1 weist ebenfalls die vorbestimmte Höhe H auf.
  • Falls das Bestimmungsergebnis in Schritt 102 JA ist (falls das Objekt in der Nahobjekt-Bestimmungsfläche AR1 vorhanden ist), tritt das Objekts wahrscheinlich mit dem Fahrzeug 10 in Kontakt, wobei angenommen wird, dass sich das Objekt weiterhin an der augenblicklichen Realraumposition befindet. In diesem Fall geht die Steuerung zu Schritt 103 über, in welchem die Bildverarbeitungseinheit 1 eine Fußgängerbestimmungsverarbeitung ausführt, um zu bestimmen, ob das Objekt wahrscheinlich ein Fußgänger ist. Die Fußgängerbestimmungsverarbeitung wird ausgeführt, um anhand von Objektmerkmalen, wie beispielsweise der Gestalt, der Größe, der Helligkeitsverteilung im Grauskalabild oder dergleichen, zu bestimmen, ob das Objekt ein Fußgänger ist. Eine bestimmte Technik der Fußgängerbestimmungsverarbeitung kann beispielsweise die in der japanischen Patentoffenlegungsschrift Nr. 2003-284057 der vorliegenden Anmelderin offenbarte Technik sein.
  • Falls das Bestimmungsergebnis in Schritt 103 JA ist (falls das Objekt wahrscheinlich ein Fußgänger ist), geht die Steuerung zu Schritt 104 über, in welchem die Bildverarbeitungseinheit 1 eine Kunststruktur-Bestimmungsverarbeitung ausführt, um zu bestimmen, ob das Objekt eine künstliche Struktur ist, um die Zuverlässigkeit der Bestimmung bezüglich der Möglichkeit, dass das Objekt ein Fußgänger ist, zu erhöhen. Die Kunststruktur-Bestimmungsverarbeitung ist eine Verarbeitung des Bestimmens, dass das Objekt eine künstliche Struktur ist, und des Ausschließens des Objekts aus den Zielen des Aufmerksam-Machens, falls ein Merkmal detektiert wird, welches anzeigt, dass das Objekt kein Fußgänger ist, wie beispielsweise eine Gestalt, die mit derjenigen einer vorab im Objektbild erfassten, künstlichen Struktur übereinstimmt.
  • Falls das Bestimmungsergebnis in Schritt 104 NEIN ist (falls das Objekt keine künstliche Struktur ist), geht die Steuerung zu Schritt 107 über, in welchem die Bildverarbeitungseinheit 1 bestimmt, dass das Objekt ein zu vermeidendes Objekt ist, und die Vermeidungsbestimmungsverarbeitung beendet. Falls das Objekt in der Nahobjekt- Bestimmungsfläche AR1 vorhanden ist, besteht eine hohe Möglichkeit, dass das Objekt ein Fußgänger ist, und falls bestimmt wird, dass das Objekt keine künstliche Struktur ist, wird das Objekt daher als zu vermeidendes Objekt bestimmt.
  • Falls das Bestimmungsergebnis in Schritt 103 NEIN ist (falls keine Möglichkeit besteht, dass das Objekt ein Fußgänger ist) oder falls das Bestimmungsergebnis in Schritt 104 JA ist (falls das Objekt eine künstliche Struktur ist), geht die Steuerung zudem zu Schritt 108 über, in welchem die Bildverarbeitungseinheit 1 bestimmt, dass das Objekt nicht ein zu vermeidendes Objekt ist, und die Vermeidungsbestimmungsverarbeitung beendet.
  • Falls das Bestimmungsergebnis in Schritt 102 NEIN ist (falls das Objekt nicht in der Nahobjekt-Bestimmungsfläche AR1 vorhanden ist), geht die Steuerung andererseits zu Schritt 105 über, in welchem die Bildverarbeitungseinheit 1 die Näherungsobjekt-Kontaktbestimmungsverarbeitung ausführt, um zu bestimmen, ob eine Möglichkeit besteht, dass das Objekt in die Nahobjekt-Bestimmungsfläche AR1 eintreten und mit dem Fahrzeug 10 in Kontakt treten kann (Schritte 105 und 106). Wie in 7 gezeigt, werden die sich innerhalb der Fläche AR0 befindenden Flächen AR2 und AR3 (seitlich außerhalb des Nahobjekt-Bestimmungsfläche AR1), von welchen jede einen größeren Absolutwert der X-Koordinate aufweist als die Nahobjekt-Bestimmungsfläche AR1, hier als Näherungsobjekt-Bestimmungsflächen festgelegt. Die Näherungsobjekt-Kontaktbestimmungsverarbeitung ist eine Verarbeitung zum Bestimmen, ob ein in der Näherungsobjekt-Bestimmungsflächen AR2 oder AR3 vorhandenes Objekt mittels Bewegung in die Nahobjekt-Bestimmungsfläche AR1 eintritt und mit dem Fahrzeug 10 in Kontakt tritt. Die Näherungsobjekt-Bestimmungsflächen AR2 oder AR3 weisen ebenfalls die vorbestimmte Höhe H auf.
  • In Schritt 105 führt die Bildverarbeitungseinheit 1 auf Grundlage des Bewegungsvektors des Objekts zuerst die Näherungsobjekt-Kontaktbestimmungsverarbeitung aus. Die auf dem Bewegungsvektor des Objekts beruhende Näherungsobjekt-Kontaktbestimmungsverarbeitung entspricht der von der Vermeidungsobjektbestimmungs-Verarbeitungseinheit gemäß der vorliegenden Erfindung durchgeführten, zweiten Bestimmungsverarbeitung des Bestimmungsalgorithmus. Außerdem besteht die zweite Bedingung des Bestimmens, dass das Objekt zu vermeiden ist (es kommt wahrscheinlich mit dem Fahrzeug 10 in Kontakt), darin, dass die Objektbewegungsrichtung in Richtung des Fahrzeugs 10 weist. Falls die X-Koordinate (die Position in der Fahrzeugbreitenrichtung) des Schnittpunkts zwischen der XY-Ebene (die zur Vor-Zurück-Richtung des Fahrzeugs 10 orthogonal verlaufende Ebene) in der vorderen Fläche des Fahrzeugs 10 und der den Bewegungsvektor des Objekts einschließenden, geraden Linie in einem vorbestimmten Bereich vorhanden ist, der geringfügig breiter ist als die Fahrzeugbreite α des Fahrzeugs 10 (das Objekt bewegt sich relativ in Richtung des Fahrzeugs 10), bestimmt die Bildverarbeitungseinheit 1 insbesondere, dass das Objekt wahrscheinlich mit dem Fahrzeug 10 in Kontakt tritt. Falls der Bewegungsvektor in Schritt 017 nicht berechnet werden kann, ist das Bestimmungsergebnis in Schritt 105 NEIN.
  • Falls das Bestimmungsergebnis in Schritt 105 JA ist, tritt das Objekt hernach wahrscheinlich mit dem Fahrzeug 10 in Kontakt. In diesem Fall geht die Steuerung daher zu Schritt 108 über, in welchem die Bildverarbeitungseinheit 1 bestimmt, dass das Objekt ein zu vermeidendes Objekt ist, und die Vermeidungsbestimmungsverarbeitung beendet.
  • Falls das Bestimmungsergebnis in Schritt 105 NEIN ist, geht die Steuerung zu Schritt 106 über, in welchem die Bildverarbeitungseinheit 1 auf Grundlage der Körperhaltung die Näherungsobjekt-Kontaktbestimmungsverarbeitung ausführt. Die auf der Körperhaltung beruhende Näherungsobjekt-Kontaktbestimmungsverarbeitung entspricht der von der Vermeidungsobjektbestimmungs-Verarbeitungseinheit durchgeführten, ersten Bestimmungsverarbeitung des Bestimmungsalgorithmus. Eine erste Bedingung des Bestimmens, dass das Objekt ein zu vermeidendes Objekt ist (es besteht eine hohe Kontaktmöglichkeit), besteht darin, dass das Objekt ein Fußgänger ist und dass sich der Fußgänger in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug 10 fährt, nach vorne neigt. Die auf der Körperhaltung beruhende Näherungsobjekt-Kontaktbestimmungsverarbeitung wird später ausführlich beschrieben. Falls das Bestimmungsergebnis in Schritt 106 JA ist, tritt das Objekt hernach wahrscheinlich mit dem Fahrzeug 10 in Kontakt. In diesem Fall geht die Steuerung daher zu Schritt 107 über, in welchem die Bildverarbeitungseinheit 1 bestimmt, dass das Objekt ein zu vermeidendes Objekt ist, und die Vermeidungsbestimmungsverarbeitung beendet. Falls das Bestimmungsergebnis in Schritt 106 NEIN ist, ist es un wahrscheinlich, dass das Objekt mit dem Fahrzeug 10 in Kontakt tritt. Daher geht die Steuerung zu Schritt 108 über, in welchem die Bildverarbeitungseinheit 1 bestimmt, dass das Objekt kein zu vermeidendes Objekt ist, und die Vermeidungsbestimmungsverarbeitung beendet.
  • Vorstehend wurden die Einzelheiten der Vermeidungsbestimmungsverarbeitung aufgeführt.
  • Im Folgenden wird die Aufmerksammachungs-Ausgabeverarbeitung in Schritt 020 des in 3 gezeigten Flussdiagramms ausführlich beschrieben. In der Aufmerksammachungs-Ausgabeverarbeitung zeigt die Anzeigevorrichtung 7 das Standardbild an, wobei im Standardbild das Bild des zu vermeidenden Objekts hervorgehoben ist. Außerdem informiert der Lautsprecher 6 den Fahrer mit einer Stimmenführung über das Vorhandensein des zu vermeidenden Objekts. Dadurch wird der Fahrer auf das zu vermeidende Objekt aufmerksam gemacht. Das Aufmerksam-Machen des Fahrers kann auch nur mittels des Lautsprechers 6 oder der Anzeigevorrichtung 7 ausgeführt werden.
  • In dieser Verarbeitung macht die Bildverarbeitungseinheit 1 den Fahrer in verschiedenen Modi aufmerksam, und zwar in Unterscheidung zwischen dem Fall bei der Vermeidungsbestimmungsverarbeitung im vorstehenden Schritt 018, in welchem das Bestimmungsergebnis in Schritt 105 JA ist und das Objekt dadurch als zu vermeiden bestimmt wird (hinfort als Fall 1 bezeichnet), und dem Fall, in welchem das Bestimmungsergebnis in Schritt 106 JA ist und das Objekt dadurch als zu vermeiden bestimmt wird (hinfort als Fall 2 bezeichnet). Wenn das zu vermeidende Objekt im Bild der Anzeigevorrichtung 7 beispielsweise hervorgehoben wird, werden im Fall 1 und im Fall 2 insbesondere verschiedene Farben verwendet; wird für den Fall 2 eine hellere Farbe verwendet als für den Fall 1; oder wird für den Fall 2 ein dünnerer Rahmen verwendet als für den Fall 1. Beim Vorsehen der Stimmenführung über den Lautsprecher 6 verwendet die Bildverarbeitungseinheit 1 für die Stimmenführung außerdem für den Fall 1 und für den Fall 2 ein verschiedenes Führungssatzmuster oder sie verwendet für den Fall 1 und für den Fall 2 einen verschiedenen Stimmentyp (beispielsweise eine Frequenz) von Stimmenführung. Alternativ ist im Fall 1 sowohl die Stimmenführung über den Lautsprecher 6 als auch das Hervorheben auf der An zeigevorrichtung 7 vorgesehen, wohingegen im Fall 2 lediglich das Hervorheben auf der Anzeigevorrichtung 7 ausgeführt wird. Dadurch wird ein geeigneteres Aufmerksam-Machen ermöglicht, so dass der Fahrer den Unterschied zwischen den Fällen bezüglich der Zuverlässigkeit des Bestimmungsergebnisses des zu vermeidenden Objekts oder bezüglich des Vermeidungsnotfallgrads verstehen kann.
  • Vorstehend wurden die Einzelheiten der Aufmerksammachungs-Ausgabeverarbeitung aufgeführt.
  • Nachfolgend wird die auf der Körperhaltung beruhende Näherungsobjekt-Kontaktbestimmungsverarbeitung in Schritt 106 des in 6 gezeigten Flussdiagramms beschrieben. Die auf der Körperhaltung beruhende Näherungsobjekt-Kontaktbestimmungsverarbeitung wird ausgeführt, um in dem Fall, in welchem das Objekt in der Näherungsobjekt-Bestimmungsfläche AR2 oder AR3 ein Fußgänger ist, zu bestimmen, ob der Fußgänger ein zu vermeidendes Objekt ist (ob die Möglichkeit eines Kontakts mit dem Fahrzeug 10 besteht), indem das Verhalten des Fußgängers auf Grundlage der Körperhaltung des Fußgängers (der Körperhaltung bezüglich der Neigung der Rumpfachse des Fußgängers) vorausgesagt wird. Die folgende Beschreibung erfolgt unter Verwendung des in 4(a) gezeigten Falls (der Fall, in welchem links vor dem Fahrzeug 10 ein Fußgänger vorhanden ist, vor dem Fahrzeug 10 ein weiteres Fahrzeug vorhanden ist und der Fußgänger sich anschickt, die Straße zu überqueren).
  • In Schritt 106 extrahiert die Fußgängerextraktions-Verarbeitungseinheit 12 aus den detektierten Objekten zuerst den Fußgänger. Falls das Seitenverhältnis ASPECT des Objekts und ein Verhältnis SA/SB zwischen der Fläche SA des Objekts und der Fläche SB des das Objekt umschreibenden Rechtecks alle in einem vorbestimmten Bereich liegen, bestimmt die Bildverarbeitung 1 in dieser Verarbeitung, dass das Objekt ein Fußgänger ist, und wird das Objekt als Fußgänger extrahiert. Der vorbestimmte Bereich wird vorab als Wert bestimmt, bei welchem das Objekt dem Oberkörper oder dem ganzen Körper des Fußgängers entspricht. Wie in 4(b) gezeigt, wird aus den Objekten T1 bis T6 das vom Rahmen R1 umgebene Objekt T1 als Fußgänger extrahiert. Falls kein Fußgänger extrahiert wird, ist das Bestimmungsergebnis in Schritt 106 NEIN. Es ist in der Fußgängerextraktions-Verarbeitung auch möglich, eine andere Technik zu verwenden, wie beispielsweise die in der Fußgängerbestimmungsverarbeitung in Schritt 103 verwendete Technik.
  • Falls der Fußgänger extrahiert wird, führt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 anschließend die Verarbeitung des Bestimmens der Körperhaltung des extrahierten Fußgängers T1 aus. Die folgende Beschreibung erfolgt mit Bezug auf die 8(a) und 8(b). Die 8(a) und 8(b) zeigen beide eine in 4(b) gezeigte, vom Rahmen R1 umgebene Fläche (einschließlich des Fußgängers T1).
  • Zuerst berechnet die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 die Rumpfachse des Fußgängers T1. Insbesondere berechnet die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 zuerst Punktsequenzdaten P_T1, die aus Pixelkoordinaten von Mittelpunkten derjenigen Linien gebildet sind, die von den Lauflängendaten Li aus den Lauflängendaten L1 bis Ln des extrahierten Fußgängers T1 verkörpert werden. Mit Bezug auf 8(a) wird eine dem als Fußgänger T1 extrahierten Objekt entsprechende Binärfläche, wie gezeigt, von n Lauflängendaten L1 bis Ln verkörpert. 8(b) zeigt die Lauflängendaten L1 bis Ln und deren Mittelpunkte M1 bis Mn. Die Punktsequenzdaten P_T1 sind von den Koordinatendaten {(X1, Y1)}, (X2, Y2), ---, (Xn, Yn)} der Mittelpunkte M1 bis Mn gebildet. In 8(b) sind die Koordinatenachsen X und Y wie gezeigt festgesetzt. In dieser Situation verläuft die X-Achse parallel zur Horizontalrichtung des Fahrzeugs 10 und ist die Y-Achse die Vertikalachse im Bild.
  • Anschließend berechnet die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 eine Näherungsgerade S1, die den berechneten Punktsequenzdaten P_T1 nahe kommt. Zu dieser Berechnung wird für die Näherung die Methode der kleinsten Quadrate verwendet. Wie in 8(b) gezeigt, wird dadurch die Näherungsgerade S1 = aX + b berechnet. Die Näherungsgerade S1 entspricht der Rumpfachse des Fußgängers T1.
  • Danach bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 auf Grundlage der berechneten Näherungsgeraden S1 den Neigungsgrad der Rumpfachse des Fußgängers T1. Insbesondere bestimmt die Körperhaltungsbestimmungs- Verarbeitungseinheit 13 in dieser Ausführungsform, ob sich die Rumpfachse des Fußgängers T1 in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug 10 fährt, nach vorne neigt (ob sich der Fußgänger T1 nach vorne neigt, um auf die Fahrbahn zuzuhalten, auf welcher das Fahrzeug 10 fährt). Wie in 8(b) gezeigt, berechnet die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 zwischen der Näherungsgeraden S1 und der Vertikalachse Y zuerst einen Winkel θ = tan-1a. Anschließend bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 auf Grundlage des Winkels θ, ob sich die Rumpfachse des Fußgängers T1 in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug 10 fährt, nach vorne neigt. In dieser Ausführungsform wird der Winkel θ derart festgesetzt, dass die Vertikalachse Y in der 0°-Orientierung ausgerichtet ist und dass die Winkelrichtung in einer Richtung von der Vertikalachse Y in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug 10 fährt, positiv ist (dass die Uhrzeigersinnrichtung in dem in 8(b) gezeigten Fall positiv ist).
  • Falls der Winkel θ größer oder gleich einem Schwellenwert θ1 und kleiner oder gleich einem Schwellenwert θ2 (0<θ1<θ2) ist, wird bestimmt, dass sich der Fußgänger in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug 10 fährt, nach vorne neigt. Die Schwellenwerte θ1 und θ2 werden vorab als Werte bestimmt, die alle den Bereich eines allgemein in der Bewegungsrichtung gebildeten Winkels der Rumpfachse anzeigen, wenn sich der Fußgänger bewegt. Ein Verhalten des Fußgängers T1, wie beispielsweise ein Überqueren der Straße, wird auf Grundlage des Ergebnisses des Bestimmens der Körperhaltung des Fußgängers T1 vorab und rasch vorausgesagt. In dem in 8(b) gezeigten Fall, ist die Bedingung θ1≤θ≤θ2 erfüllt und wird bestimmt, dass sich der Fußgänger T1 in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug 10 fährt, nach vorne neigt. Dadurch wird vorausgesagt, dass der Fußgänger T1 sich anschickt, die Straße zu überqueren.
  • Anschließend bestimmt die Vermeidungsobjektbestimmungs-Verarbeitungseinheit 14 auf Grundlage des von der Körperhaltungsbestimmungs-Verarbeitungseinheit 13 erhaltenen Ergebnisses des Bestimmens der Körperhaltung des Fußgängers T1, ob der Fußgänger T1 ein zu vermeidendes Objekt ist. Falls sich der Fußgänger T1 in dieser Verarbeitung beispielsweise in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug 10 fährt, nach vorne neigt (falls das Bestimmungsergebnis in Schritt 106 JA ist), wird vorausgesagt, dass der Fußgänger T1 sich anschickt, die Straße zu überqueren, und wird das Objekt in Schritt 107 daher als zu vermeiden bestimmt. Falls der in der Näherungsobjekt-Bestimmungsfläche AR2 oder AR3 vorhandene Fußgänger T1 beispielsweise plötzlich auf die Straße läuft, führt die Bildverarbeitungseinheit 1 daher rasch die Aufmerksammachungs-Ausgabebestimmung und die Aufmerksammachungsausgabe der in 3 gezeigten Schritte 019 und 020 aus.
  • Gemäß dieser Ausführungsform ermöglicht die vorstehende Verarbeitung auf Grundlage der von den Infrarotkameras 2R und 2L aufgenommenen Bildern und des Aufmerksam-Machens des Fahrers des Fahrzeugs 10 die rasche Bestimmung des zu vermeidenden Fußgängers unter den um das Fahrzeug 10 vorhandenen Fußgängern.
  • [Zweite Ausführungsform]
  • Anschließend wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben. Diese Ausführungsform unterscheidet sich von der ersten Ausführungsform lediglich im Betrieb der Körperhaltungsbestimmungs-Verarbeitungseinheit 13 und der Vermeidungsobjektbestimmungs-Verarbeitungseinheit 14, die Funktionen der Bildverarbeitungseinheit 1 sind, wohingegen das Funktionsblockdiagramm des Fahrzeugumgebungs-Überwachungsgeräts in dieser Ausführungsform demjenigen in 1 gleich ist. In der nachstehenden Beschreibung bezeichnen die gleichen Bezugszeichen die gleichen Bestandteile wie in der ersten Ausführungsform und wird deren Beschreibung hier weggelassen.
  • Bei dem Fahrzeugumgebungs-Überwachungsgerät dieser Ausführungsform bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 als Funktion der Bildverarbeitungseinheit 1 in der Horizontalrichtung des Fahrzeugs 10 im Bild einen Grad der Symmetrie des von der Fußgängerextraktions-Verarbeitungseinheit 12 extrahierten Fußgängers, wobei die Symmetrie als Merkmalswert betrachtet wird, der die Körperhaltung des Fußgängers darstellt. Als Verfahren zum Berechnen der Symmetrie des Fußgängers in der Horizontalrichtung des Fahrzeugs 10 im Bild wird beispielsweise ein Verfahren verwendet, in welchem die Symmetrie mittels eines Korrelationsvorgangs zwischen der rechten Fläche und der linken Fläche berechnet wird, nachdem die Kopffläche des Fußgängers auf Grundlage der Helligkeitsvertei lung im Grauskalabild festgesetzt worden ist und die rechte Fläche und die linke Fläche zusammen mit der Kopffläche als Standard festgesetzt worden sind. Alle vorstehend nicht beschriebenen Merkmale sind denjenigen der ersten Ausführungsform gleich.
  • Anschließend erfolgt die Beschreibung des gesamten Betriebs (der Objektdetektions- und Aufmerksammachungsbetrieb) des Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform. Der Objektdetektions- und Aufmerksammachungsbetrieb des Fahrzeugumgebungs-Überwachungsgeräts dieser Ausführungsform unterscheidet sich von der ersten Ausführungsform lediglich in der Verarbeitung des Ausführens der Näherungsobjekt-Kontaktbestimmung durch Bestimmen der Körperhaltung des Fußgängers in der Vermeidungsbestimmungsverarbeitung (Schritt 106 in 6). Das Flussdiagramm der Vermeidungsbestimmungsverarbeitung dieser Ausführungsform ist demjenigen in 6 gleich. Daher erfolgt die folgende Beschreibung mit Bezug auf das in 6 gezeigte Flussdiagramm. Gleichermaßen, wie in der ersten Ausführungsform, erfolgt die folgende Beschreibung unter Verwendung des in 4(a) gezeigten Falls (in welchem der Fußgänger links vor dem Fahrzeug 10 vorhanden ist, vor dem Fahrzeug 10 ein weiteres Fahrzeug vorhanden ist und der Fußgänger sich anschickt, die Straße zu überqueren).
  • Auf gleiche Art und Weise wie bei der ersten Ausführungsform extrahiert die Fußgängerextraktions-Verarbeitungseinheit 12 in Schritt 106 aus detektierten Objekten zuerst einen Fußgänger. Wie in 4(b) gezeigt, wird dadurch aus Objekten T1 bis T6 ein von einem Rahmen R1 umgebenes Objekt T1 als Fußgänger extrahiert. Falls kein Fußgänger extrahiert wird, ist das Bestimmungsergebnis in Schritt 106 NEIN.
  • Falls dann ein Fußgänger extrahiert wird, bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 die Körperhaltung des extrahierten Fußgängers T1. Hinfort erfolgt die Beschreibung mit Bezug auf 9. 9 zeigt eine Fläche, die im Grauskalabild der Fläche (einschließlich des Fußgängers T1) entspricht, die von dem in 4(b) gezeigten Rahmen R1 umgeben ist.
  • Zuerst berechnet die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 die Symmetrie des Fußgängers T1 in der Horizontalrichtung des Fahrzeugs 10 im Bild.
  • In dieser Verarbeitung setzt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 zuerst eine Kopffläche TH1 des im Grauskalabild extrahierten Fußgängers T1 fest. Insbesondere setzt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 in der Fläche, die dem im Grauskalabild extrahierten Fußgänger T1 entspricht, eine Projektionsfläche fest und berechnet eine vertikale Helligkeitsprojektion (eine horizontale Verteilung der integrierten Helligkeit, die mittels Integrieren der Helligkeitswerte der jeweiligen Pixel in der Vertikalrichtung erhalten wird), um dadurch die Horizontalkoordinate zu detektieren, bei welcher die integrierte Helligkeit den maximalen Spitzenwert im Grauskalabild erreicht. Danach setzt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 um die detektierte Horizontalkoordinate herum diejenige Fläche als Kopffläche TH1 fest, die als der Kopfposition des Fußgängers T1 entsprechend geschätzt wird, wie in 9 gezeigt.
  • Anschließend setzt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 in der vom Rahmen R1 umgebenen Fläche sowohl auf der rechten Seite als auch auf der linken Seite des bezüglich der Kopffläche TH1 unteren Teils eine rechte Fläche TR1 und eine linke Fläche TL1 fest, wie in 9 gezeigt. Die rechte Fläche TR1 und die linke Fläche TL1 werden derart festgesetzt, dass sie die rechte bzw. linke Schulter des Fußgängers einschließen, falls die Vor-Zurück-Richtung des Fahrzeugs 10 derjenigen des Fußgängers gleich ist (falls die Fahrtrichtung des Fahrzeugs 10 der Bewegungsrichtung des Fußgängers im Wesentlichen gleich ist). In dem in 9 gezeigten Fall weist die Bewegungsrichtung des Fußgängers T1 nach rechts (in Richtung der Mitte der Fahrbahn) und ist die rechte Fläche TR1 der Mitte der Fahrbahn verhältnismäßig nahe.
  • Dann berechnet die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 die Summe der absoluten Unterschiede des Helligkeitswerts, die einen Grad der Korrelation zwischen dem spiegelverkehrten Bild der rechten Fläche TR1 und dem linken Bild TL1 anzeigt. Die Summe der absoluten Unterschiede zeigen den Grad der Symmetrie des Fußgängers T1 in der Horizontalrichtung des Fahrzeugs 10 im Bild an.
  • Danach bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 auf Grundlage der Summe der absoluten Unterschiede den Grad der Symmetrie des Fußgängers T1 in der Horizontalrichtung des Fahrzeugs 10 im Bild. Insbesondere wird in dieser Ausführungsform bestimmt, ob der Grad der Symmetrie niedrig ist (ob sich der Fußgänger T1 nach vorne neigt). Falls die berechnete Summe der absoluten Unterschiede größer oder gleich dem vorbestimmten Wert ist (falls der Grad der Korrelation niedrig ist), bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13, dass der Grad der Symmetrie niedrig ist. In dem in 9 gezeigten Beispiel ist die berechnete Summe der absoluten Differenzen größer oder gleich dem vorbestimmten Wert und bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 daher, dass der Grad der Symmetrie niedrig ist. Dadurch ist klar, dass sich der Fußgänger T1 in Richtung der Mitte der Fahrbahn oder in Richtung der gegenüberliegenden Seite nach vorne neigt.
  • Falls bestimmt wird, dass der Grad der Symmetrie niedrig ist, bestimmt die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 auf Grundlage der Helligkeitsverteilungen in der rechten Fläche TR1 und in der linken Fläche TL1 außerdem, ob sich der Fußgänger T1 in Richtung der Mitte der Fahrbahn nach vorne neigt. Die Körperhaltungsbestimmungs-Verarbeitungseinheit 13 berechnet beispielsweise den Mittelwert der Helligkeitswerte in der rechten Fläche TR1 und in der linken Fläche TL1: Falls der Mittelwert in der bezüglich der Mitte der Fahrbahn näheren Fläche niedriger ist als der Mittelwert in der gegenüberliegenden Fläche, wird bestimmt, dass sich der Fußgänger T1 in Richtung der Mitte der Fahrbahn nach vorne neigt. In dem in 9 gezeigten Fall ist die bezüglich der Mitte der Fahrbahn nähere Fläche die rechte Fläche TR1 und ist der berechnete Mittelwert der rechten Fläche TR1 kleiner als der Mittelwert der linken Fläche TL1. Daher wird bestimmt, dass sich der Fußgänger T1 in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug 10 fährt, nach vorne neigt. Dadurch wird vorhergesagt, dass der Fußgänger T1 sich anschickt, die Straße zu überqueren.
  • Dann bestimmt die Vermeidungsobjektbestimmungs-Verarbeitungseinheit 14 auf Grundlage des von der Körperhaltungsbestimmungs-Verarbeitungseinheit 13 erhaltenen Ergebnisses der Bestimmung der Körperhaltung des Fußgängers T1, ob der Fußgänger T1 ein zu vermeidendes Objekt ist. Falls sich der Fußgänger T1 beispielsweise in Richtung der Mitte der Fahrbahn, auf welcher das Fahrzeug 10 fährt, nach vorne neigt (falls das Bestimmungsergebnis in Schritt 106 JA ist), wird in diesem Fall vorausgesagt, dass der Fußgänger T1 sich anschickt, die Straße zu überqueren, wodurch die Vermeidungsobjektbestimmungs-Verarbeitungseinheit 14 in Schritt 107 bestimmt, dass das Objekt zu vermeiden ist. Dies ermöglicht in Schritt 019 und Schritt 020 eine rasche Aufmerksammachungs-Ausgabebestimmung und Aufmerksammachungsausgabe, falls der in der Näherungsobjekt-Bestimmungsfläche AR2 oder AR3 vorhandene Fußgänger T1 beispielsweise plötzlich auf die Straße läuft. Die sich von den vorstehend beschriebenen unterscheidenden Vorgänge sind denjenigen der ersten Ausführungsform gleich.
  • Auf gleiche Art und Weise wie bei der ersten Ausführungsform, ermöglicht die vorstehende Verarbeitung gemäß dieser Ausführungsform auf Grundlage der von den Infrarotkameras 2R und 2L aufgenommenen Bildern und des Bereitstellens von Informationen an den Fahrer des Fahrzeugs 10 die rasche Bestimmung des zu vermeidenden Fußgängers unter den um das Fahrzeug 10 vorhandenen Fußgängern.
  • Obgleich die Bildverarbeitungseinheit 1 in der ersten bzw. zweiten Ausführungsform als die Näherungsobjekt-Kontaktbestimmungsverarbeitung in der Vermeidungsbestimmungsverarbeitung in Schritt 018 sowohl die Näherungsobjekt-Kontaktbestimmungsverarbeitung auf Grundlage des Bewegungsvektors des Objekts (Schritt 105) als auch die Näherungsobjekt-Kontaktbestimmungsverarbeitung auf Grundlage der Körperhaltung des Fußgängers (Schritt 106) ausgeführt hat, ist es in einer anderen Ausführungsform auch möglich, beispielsweise nur die Näherungsobjekt-Kontaktbestimmungsverarbeitung auf Grundlage der Körperhaltung des Fußgängers (Schritt 106) auszuführen.
  • Außerdem hat die Bildverarbeitungseinheit 1 den Fahrer des Fahrzeugs 10 auf das in Schritt 018 der ersten bzw. zweiten Ausführungsform als zu vermeiden bestimmte Objekt aufmerksam gemacht. Falls das Fahrzeug 10 beispielsweise unter Verwendung eines Aktuators entweder eine Lenkungsvorrichtung, eine Bremsvorrichtung oder eine Beschleunigungsvorrichtung bedienen kann (oder falls das Fahrverhalten des Fahrzeugs 10 gesteuert werden kann), ist es in einer anderen Ausführungsform hingegen auch möglich, die Lenkungsvorrichtung, die Bremsvorrichtung oder die Beschleunigungsvorrichtung des Fahrzeugs 10 derart zu steuern, dass der Kontakt mit dem in Schritt 018 als zu vermeiden bestimmte Objekt verhindert oder die Vermeidung erleichtert wird.
  • Die Beschleunigungsvorrichtung wird beispielsweise derart gesteuert, dass die vom Fahrer auf das Beschleunigungspedal ausgeübte Kraft größer ist als in dem Fall, in welchem kein zu vermeidendes Objekt vorhanden ist (normaler Zustand), um dadurch die Beschleunigung zu vermindern. Alternativ wird ein Drehmoment, welches benötigt wird, um ein Lenkrad in Richtung der Fahrtrichtung der Lenkungsvorrichtung zu bewegen, welche zur Vermeidung des Kontakts zwischen dem zu vermeidenden Objekt und dem Fahrzeug 10 benötigt wird, niedriger festgesetzt als das Drehmoment, welches benötigt wird, um das Lenkrad in Richtung der gegenüberliegenden Seite zu bewegen, um dadurch die Bedienung des Lenkrads in Richtung der Fahrtrichtung zu erleichtern. Alternativ wird die vom Maß des Niederdrückens eines Bremspedals der Bremsvorrichtung abhängige, ansteigende Geschwindigkeit einer Bremskraft des Fahrzeugs 10 höher festgesetzt als im Normalzustand. Dies erleichtert das Fahren des Fahrzeugs 10, um zu vermeiden, mit dem zu vermeidenden Objekt in Kontakt zu treten.
  • Im Fall der vorstehend beschriebenen Steuerung der Lenkvorrichtung, der Beschleunigungsvorrichtung oder der Bremsvorrichtung des Fahrzeugs 10 entsprechen diese Vorrichtungen der von der Fahrzeugausstattungssteuerungs-Verarbeitungseinheit der vorliegenden Erfindung zu steuernden Fahrzeugausstattung. Zudem ist es möglich, die vorstehend beschriebene Steuerung der Lenkvorrichtung bzw. das Aufmerksam-Machen durch die Anzeigevorrichtung 7 oder den Lautsprecher 6 parallel zueinander auszuführen.
  • Obgleich in der ersten bzw. zweiten Ausführungsform als Kameras Infrarotkameras verwendet worden sind, ist es beispielsweise auch möglich, normale CCD-Kameras oder dergleichen zu verwenden, die nur sichtbares Licht detektieren können. Es sollte jedoch beachtet werden, dass die Verarbeitung des Extrahierens eines Fußgängers, eines fahrenden Fahrzeugs oder dergleichen bei Verwendung der Infrarotkameras vereinfacht sein kann, wodurch die vorliegende Erfindung unter Verwendung einer arithmetischen Einheit verwirklicht werden kann, deren arithmetisches Leistungsvermögen verhältnismäßig niedrig ist.
  • Ein Fahrzeugumgebungs-Überwachungsgerät, ein Fahrzeugumgebungs-Überwachungsverfahren und ein Fahrzeugumgebungs-Überwachungsprogramm, die aus einem Bild der Umgebung des Fahrzeugs ein zu vermeidendes Objekt, wie beispielsweise einen Fußgänger, rasch bestimmen können und einem Fahrer Informationen bereitstellen oder das Fahrzeugverhalten steuern können. Das Fahrzeugumgebungs-Überwachungsgerät schließt eine Objektextraktions-Verarbeitungseinheit (11) ein, die aus von Infrarotkameras (2R, 2L) aufgenommenen Bildern um ein Fahrzeug (10) herum vorhandene Objekte extrahiert, eine Fußgängerextraktions-Verarbeitungseinheit (12), die aus den extrahierten Objekten einen Fußgänger extrahiert, eine Körperhaltungsbestimmungs-Verarbeitungseinheit (13), welche die Körperhaltung des extrahierten Fußgängers bestimmt, eine Vermeidungsobjektbestimmungs-Verarbeitungseinheit (14), die mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der von der Körperhaltungsbestimmungs-Verarbeitungseinheit (13) bestimmten Körperhaltung des Fußgängers einschließt, bestimmt, ob das extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug (10) in Kontakt zu treten, und eine Fahrzeugausstattungssteuerungs-Verarbeitungseinheit (15), welche die Ausstattung des Fahrzeugs (10) zumindest gemäß dem Bestimmungsergebnis der Vermeidungsobjektbestimmungs-Verarbeitungseinheit (14) steuert.

Claims (13)

  1. Fahrzeugumgebungs-Überwachungsgerät, welches aus einem von einer auf dem Fahrzeug montierten Kamera aufgenommenen Bild die Umgebung eines Fahrzeugs überwacht, umfassend: eine Objektextraktions-Verarbeitungseinheit, die aus dem von der Kamera aufgenommenen Bild ein um das Fahrzeug herum vorhandenes Objekt extrahiert; eine Fußgängerextraktions-Verarbeitungseinheit, die aus dem von der Objektextraktions-Verarbeitungseinheit extrahierten Objekt einen Fußgänger extrahiert; eine Körperhaltungsbestimmungs-Verarbeitungseinheit, welche die Körperhaltung des von der Fußgängerextraktions-Verarbeitungseinheit extrahierten Fußgängers bestimmt; eine Vermeidungsobjektbestimmungs-Verarbeitungseinheit, die mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der von der Körperhaltungsbestimmungs-Verarbeitungseinheit bestimmten Körperhaltung des Fußgängers einschließt, bestimmt, ob das von der Objektextraktions-Verarbeitungseinheit extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten; und eine Fahrzeugausstattungssteuerungs-Verarbeitungseinheit, welche die Ausstattung des Fahrzeugs zumindest gemäß einem Bestimmungsergebnis der Vermeidungsobjektbestimmungs-Verarbeitungseinheit steuert.
  2. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, bei welchem die von der Fahrzeugausstattungssteuerungs-Verarbeitungseinheit gesteuerte Ausstattung eine Vorrichtung einschließt, die in der Lage ist, einen Fahrzeugfahrer aufmerksam zu machen.
  3. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, bei welchem die von der Fahrzeugausstattungssteuerungs-Verarbeitungseinheit gesteuerte Ausstattung eine Vorrichtung einschließt, die in der Lage ist, das Fahrverhalten des Fahrzeugs zu steuern.
  4. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, welches ferner umfasst: eine Relativpositionsdetektier-Verarbeitungseinheit, die Relativpositionen des von der Objektextraktions-Verarbeitungseinheit extrahierten Objekts bezüglich des Fahrzeugs sequenziell detektiert; und eine Bewegungsrichtungsmerkmalswertberechnungs-Verarbeitungseinheit, die auf Grundlage der Zeitreihen der von der Relativpositionsdetektier-Verarbeitungseinheit in längeren Zeitintervallen als die Durchführungsperiode der Bestimmungsverarbeitung der Körperhaltungsbestimmungs-Verarbeitungseinheit detektierten Relativposition des Objektseinen Bewegungsrichtungsmerkmalswert berechnet, der eine Bewegungsrichtung des Objekts relativ zum Fahrzeug darstellt, wobei der von der Vermeidungsobjektbestimmungs-Verarbeitungseinheit durchgeführte Bestimmungsalgorithmus eine zweite Bestimmungsverarbeitung bezüglich des von der Bewegungsrichtungsmerkmalswertberechnungs-Verarbeitungseinheit berechneten Bewegungsrichtungsmerkmalswerts des Objekts sowie die erste Bestimmungsverarbeitung einschließt; wobei die erste Bestimmungsverarbeitung durchgeführt wird, um zu bestimmen, ob die Körperhaltung des Fußgängers eine erste vorbestimmte Bedingung erfüllt; und die zweite Bestimmungsverarbeitung durchgeführt wird, um zu bestimmen, ob der Bewegungsrichtungsmerkmalswert des Objekts eine zweite vorbestimmte Bedingung erfüllt, und wobei die Vermeidungsobjektbestimmungs-Verarbeitungseinheit bestimmt, dass das Objekt ein zu vermeidendes Objekt ist, wenn das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung bezüglich des Bewegungsrichtungsmerkmalswerts des Objekts die zweite Bedingung erfüllt oder wenn das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung die zweite Bedingung nicht erfüllt und ferner das Bestimmungsergebnis der ersten Bestimmungsverarbeitung bezüglich der Körperhaltung des Fußgängers die erste Bedingung erfüllt.
  5. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, bei welchem die Fahrzeugausstattungssteuerungs-Verarbeitungseinheit die Fahrzeugausstattung in verschiedenen Modi steuert, und zwar zwischen, wenn das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung bezüglich des Bewegungsrichtungsmerkmalswerts des Objekts die zweite Bedingung erfüllt, und, wenn das Bestimmungsergebnis der zweiten Bestimmungsverarbeitung die zweite Bedingung nicht erfüllt und ferner das Bestimmungsergebnis der ersten Bestimmungsverarbeitung bezüglich der Körperhaltung des Fußgängers die erste Bedingung erfüllt.
  6. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, bei welchem die Körperhaltungsbestimmungs-Verarbeitungseinheit einen Grad der Symmetrie des Fußgängers in der Fahrzeugbreitenrichtung im Bild bestimmt, wobei die Symmetrie als Merkmalswert betrachtet wird, welcher die Körperhaltung des Fußgängers darstellt.
  7. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, bei welchem die Körperhaltungsbestimmungs-Verarbeitungseinheit einen Neigungsgrad einer Rumpfachse des Fußgängers bestimmt, wobei die Neigung der Rumpfachse als Merkmalswert betrachtet wird, welcher die Körperhaltung des Fußgängers darstellt.
  8. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, welches ferner umfasst: eine Binärdarstellungsübertragungs-Verarbeitungseinheit, die mittels Übertragen des von der Kamera aufgenommenen Bilds in Binärdarstellung eine Binärfläche extrahiert, in welcher ein Helligkeitswert eines Pixels im Bild größer oder gleich einem vorbestimmten Schwellenwert ist; und eine Lauflängendatenerzeugungs-Verarbeitungseinheit, welche aus der von der Binärdarstellungsübertragungs-Verarbeitungseinheit extrahierten Binärfläche Lauflängendaten erzeugt, wobei die Objektextraktions-Verarbeitungseinheit auf Grundlage der von der Lauflängendatenerzeugungs-Verarbeitungseinheit erzeugten Lauflängendaten im Bereich der Straße vorhandene Objekte extrahiert, und wobei die Körperhaltungsbestimmungs-Verarbeitungseinheit auf Grundlage der von der Lauflängendatenerzeugungs-Verarbeitungseinheit erzeugten Lauflängendaten die Körperhaltung des von Fußgängerextraktions-Verarbeitungseinheit extrahierten Fußgängers bestimmt.
  9. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 8, bei welchem die Körperhaltungsbestimmungs-Verarbeitungseirheit einschließt: eine Verarbei tungseinheit, die aus den von der Lauflängendatenerzeugungs-Verarbeitungseinheit erzeugten Lauflängendaten Punktsequenzdaten berechnet, die aus Pixelkoordinaten von Mittelpunkten von jeweiligen Linien der Lauflängendaten gebildet sind; eine Verarbeitungseinheit, die eine Näherungsgerade berechnet, die den berechneten Punktsequenzdaten nahe kommt; und eine Verarbeitungseinheit, welche auf Grundlage der berechneten Näherungsgeraden die Körperhaltung des Fußgängers bestimmt.
  10. Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 9, bei welchem die Körperhaltungsbestimmungs-Verarbeitungseinheit auf Grundlage eines Winkels zwischen der Näherungsgeraden und einer Vertikalachse im Bild die Körperhaltung des Fußgängers bestimmt.
  11. Fahrzeugumgebungs-Überwachungsgerät, welches einen Computer aufweist, der eine Schnittstellenschaltung zum Zugriff auf Daten eines Bilds einschließt, welches von einer auf einem Fahrzeug montierten Kamera erhalten worden ist, wobei das Gerät mittels einer arithmetischen Verarbeitung vom Computer die Umgebung des Fahrzeugs überwacht, wobei der Computer ausführt: eine Objektextraktionsverarbeitung, um Objekte, die um das Fahrzeug vorhanden sind, aus dem von der Kamera aufgenommenen Bild zu extrahieren; eine Fußgängerextraktionsverarbeitung, um aus den in der Objektextraktionsverarbeitung extrahierten Objekten einen Fußgänger zu extrahieren; eine Körperhaltungsbestimmungsverarbeitung, um die Körperhaltung des in der Fußgängerextraktionsverarbeitung extrahierten Fußgängers zu bestimmen; eine Vermeidungsobjekt-Bestimmungsverarbeitung, um mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der in der Körperhaltungsbestimmungsverarbeitung bestimmten Körperhaltung des Fußgängers einschließt, zu bestimmen, ob das in der Objektextraktionsverarbeitung extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten; und eine Fahrzeugausstattungs-Steuerungsverarbeitung, um die Ausstattung des Fahrzeugs zumindest gemäß einem Bestimmungsergebnis der Vermeidungsobjektbestimmungsverarbeitung zu steuern.
  12. Fahrzeugumgebungs-Überwachungsverfahren, um aus einem von einer auf dem Fahrzeug montierten Kamera aufgenommen Bild die Umgebung eines Fahrzeugs zu überwachen, umfassend: einen Objektextraktionsschritt, um aus dem von der Kamera aufgenommenen Bild ein um das Fahrzeug vorhandenes Objekt zu extrahieren; einen Fußgängerextraktionsschritt, um aus dem im Objektextraktionsschritt extrahierten Objekt einen Fußgänger zu extrahieren; einen Körperhaltungsbestimmungsschritt, um die Körperhaltung des im Fußgängerextraktionsschritt extrahierten Fußgängers zu bestimmen; einen Vermeidungsobjekt-Bestimmungsschritt, um mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der im Körperhaltungsbestimmungsschritt bestimmten Körperhaltung des Fußgängers einschließt, zu bestimmen, ob das im Objektextraktionsschritt extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten; und einen Fahrzeugausstattungs-Steuerungsschritt, um die Ausstattung des Fahrzeugs zumindest gemäß einem Bestimmungsergebnis des Vermeidungsobjektbestimmungsschritts zu steuern.
  13. Fahrzeugumgebungs-Überwachungsprogramm, um einen Computer zu veranlassen, eine Verarbeitung auszuführen, in welcher aus einem von einer auf dem Fahrzeug montierten Kamera aufgenommen Bild die Umgebung eines Fahrzeugs überwacht wird, wobei das Programm den Computer veranlasst auszuführen: eine Objektextraktionsverarbeitung, um aus dem von der Kamera aufgenommenen Bild ein um das Fahrzeug vorhandenes Objekt zu extrahieren; eine Fußgängerextraktionsverarbeitung, um aus dem in der Objektextraktionsverarbeitung extrahierten Objekt einen Fußgänger zu extrahieren; eine Körperhaltungsbestimmungsverarbeitung, um die Körperhaltung des in der Fußgängerextraktionsverarbeitung extrahierten Fußgängers zu bestimmen; eine Vermeidungsobjekt-Bestimmungsverarbeitung, um mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der in der Körperhaltungsbestimmungsverarbeitung bestimmten Körperhaltung des Fußgängers einschließt, zu bestimmen, ob das in der Objektextraktionsver arbeitung extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten; und eine Fahrzeugausstattungs-Steuerungsverarbeitung, um die Ausstattung des Fahrzeugs gemäß zumindest einem Bestimmungsergebnis der Vermeidungsobjektbestimmungsverarbeitung zu steuern.
DE102007014012A 2006-03-24 2007-03-23 Fahrzeugumgebung-Überwachungsgerät, Fahrzeugumgebung-Überwachungsverfahren und Fahrzeugumgebung-Überwachungsprogramm Expired - Fee Related DE102007014012B4 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006082956A JP4476957B2 (ja) 2006-03-24 2006-03-24 姿勢判別装置
JP2006-82956 2006-03-24
JP2006-101838 2006-04-03
JP2006101838A JP4173896B2 (ja) 2006-04-03 2006-04-03 車両周辺監視装置

Publications (2)

Publication Number Publication Date
DE102007014012A1 true DE102007014012A1 (de) 2007-10-31
DE102007014012B4 DE102007014012B4 (de) 2011-07-07

Family

ID=38532769

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007014012A Expired - Fee Related DE102007014012B4 (de) 2006-03-24 2007-03-23 Fahrzeugumgebung-Überwachungsgerät, Fahrzeugumgebung-Überwachungsverfahren und Fahrzeugumgebung-Überwachungsprogramm

Country Status (2)

Country Link
US (1) US7671725B2 (de)
DE (1) DE102007014012B4 (de)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008062916A1 (de) * 2008-12-23 2010-06-24 Continental Safety Engineering International Gmbh Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeuges mit einem Lebewesen
DE102008062915A1 (de) * 2008-12-23 2010-07-01 Continental Safety Engineering International Gmbh Erkennung von Personen, insbesondere von Fußgängern
DE102012000813A1 (de) 2012-01-17 2012-09-06 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Fahrzeugumgebung
DE102011078615A1 (de) * 2011-07-04 2013-01-10 Toyota Jidosha K.K. Objekterfassungsvorrichtung und objekterfassungsprogramm
DE112010000802B4 (de) * 2009-02-09 2014-12-11 Toyota Jidosha Kabushiki Kaisha Vorrichtung zum vorhersagen der bewegung eines mobilen körpers
US8994823B2 (en) 2011-07-05 2015-03-31 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and storage medium storing object detection program
US10692379B2 (en) 2015-09-29 2020-06-23 Sony Corporation Image processing device and image processing method
US10949656B2 (en) 2015-09-29 2021-03-16 Sony Corporation Information processing apparatus and information processing method
US20220139217A1 (en) * 2019-08-08 2022-05-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for traffic violation detection
DE112014007249B4 (de) 2014-12-10 2022-11-03 Mitsubishi Electric Corporation Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
DE102007052093B4 (de) 2007-10-31 2023-08-10 Bayerische Motoren Werke Aktiengesellschaft Erkennung von spontanen Bewegungsänderungen von Fußgängern

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155826B2 (en) * 2007-03-30 2012-04-10 Aisin Aw Co., Ltd. Vehicle behavior learning apparatuses, methods, and programs
JP4349452B2 (ja) * 2007-08-27 2009-10-21 トヨタ自動車株式会社 行動予測装置
EP2055835A1 (de) * 2007-10-30 2009-05-06 Saab Ab Verfahren und Anordnung zur Bestimmung der relativen Position von Fahrzeugen
TW200922660A (en) * 2007-11-22 2009-06-01 Univ Nat Central Interactive guide toy vehicle apparatus
TW200922659A (en) * 2007-11-22 2009-06-01 Univ Nat Central Carrier device of guide toy with automatic positioning functions
US20100079267A1 (en) * 2008-09-29 2010-04-01 Tsun-Huang Lin Automobile Anti-Collision Early-Warning Device
JP4680294B2 (ja) * 2008-12-26 2011-05-11 トヨタ自動車株式会社 物体検出装置および物体検出方法
WO2010086895A1 (ja) * 2009-01-29 2010-08-05 トヨタ自動車株式会社 物体認識装置および物体認識方法
JP5503728B2 (ja) * 2010-03-01 2014-05-28 本田技研工業株式会社 車両の周辺監視装置
WO2012029518A1 (ja) * 2010-08-31 2012-03-08 オムロン株式会社 挙動解析装置
CN103797528A (zh) * 2011-09-28 2014-05-14 本田技研工业株式会社 生物体识别装置
US10099614B2 (en) * 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
JP5459324B2 (ja) * 2012-01-17 2014-04-02 株式会社デンソー 車両周辺監視装置
CN104160434A (zh) * 2012-03-12 2014-11-19 本田技研工业株式会社 车辆周围监视装置
US9292751B2 (en) * 2012-09-14 2016-03-22 Honda Motor Co., Ltd. Object identifier
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
DE102013113054B4 (de) * 2012-12-03 2022-01-27 Denso Corporation Zielerfassungsvorrichtung zum Vermeiden einer Kollision zwischen einem Fahrzeug und einem durch einen an dem Fahrzeug montierten Sensor erfassten Ziel
CN105393293B (zh) * 2013-07-18 2017-05-03 歌乐株式会社 车载装置
JP5979096B2 (ja) * 2013-08-06 2016-08-24 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6669948B2 (ja) 2014-09-08 2020-03-18 日本電産株式会社 移動体制御装置及び移動体
US10493985B2 (en) 2014-12-19 2019-12-03 Hitachi, Ltd. Travel control device
CA2983682C (en) * 2015-04-23 2018-06-12 Nissan Motor Co., Ltd. Occlusion control device
WO2017090097A1 (ja) 2015-11-25 2017-06-01 株式会社日立製作所 車両用外界認識装置
JP6318183B2 (ja) * 2016-01-20 2018-04-25 株式会社Ｓｕｂａｒｕ 画像処理装置
JP2017157066A (ja) * 2016-03-03 2017-09-07 株式会社東芝 情報処理装置、情報処理方法、および、情報処理プログラム
WO2017158983A1 (ja) * 2016-03-18 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
US10082796B2 (en) * 2016-10-27 2018-09-25 Ford Global Technologies, Llc Pedestrian face detection
EP3550261A4 (de) * 2016-12-05 2019-12-25 Panasonic Intellectual Property Management Co., Ltd. Bilderfassungsvorrichtung und darin verwendetes bilderfassungselement
JP7100998B2 (ja) * 2018-03-08 2022-07-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7259939B2 (ja) * 2019-03-28 2023-04-18 日産自動車株式会社 挙動予測方法及び挙動予測装置並びに車両制御装置
CN111368688A (zh) * 2020-02-28 2020-07-03 深圳市商汤科技有限公司 行人监测方法及相关产品
US11647686B2 (en) * 2020-03-26 2023-05-16 Deere & Company System and method for communicating the presence of proximate objects in a working area
US11661085B2 (en) * 2020-06-04 2023-05-30 Baidu Usa Llc Locked pedestrian detection and prediction for autonomous vehicles
US11661722B2 (en) 2020-11-19 2023-05-30 Deere & Company System and method for customized visualization of the surroundings of self-propelled work vehicles
US11879231B2 (en) 2021-04-19 2024-01-23 Deere & Company System and method of selective automation of loading operation stages for self-propelled work vehicles
US11953337B2 (en) 2021-05-12 2024-04-09 Deere & Company System and method for assisted positioning of transport vehicles for material discharge in a worksite
US11965308B2 (en) 2021-05-12 2024-04-23 Deere & Company System and method of truck loading assistance for work machines
US11966220B2 (en) 2021-05-25 2024-04-23 Deere & Company Method and user interface for selectively assisted automation of loading operation stages for work vehicles
US11892837B2 (en) 2021-06-14 2024-02-06 Deere & Company Telematics system and method for conditional remote starting of self-propelled work vehicles

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004303251A (ja) 1997-11-27 2004-10-28 Matsushita Electric Ind Co Ltd 制御方法
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP2002272796A (ja) 2001-03-19 2002-09-24 Atr Media Integration & Communications Res Lab 歩行装置のベルト速度制御装置
JP4162868B2 (ja) 2001-06-28 2008-10-08 本田技研工業株式会社 対象物抽出装置
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
JP4060159B2 (ja) 2002-01-18 2008-03-12 本田技研工業株式会社 車両周辺監視装置
DE10325762A1 (de) * 2003-06-05 2004-12-23 Daimlerchrysler Ag Bildverarbeitungssystem für ein Fahrzeug
CA2441644A1 (en) * 2003-09-17 2005-03-17 Michael Perri Pedestrian presence indicator
JP4134891B2 (ja) 2003-11-28 2008-08-20 株式会社デンソー 衝突可能性判定装置
JP2005271745A (ja) 2004-03-25 2005-10-06 Mitsubishi Electric Corp 車両用乗員検知装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007052093B4 (de) 2007-10-31 2023-08-10 Bayerische Motoren Werke Aktiengesellschaft Erkennung von spontanen Bewegungsänderungen von Fußgängern
DE102008062915B4 (de) 2008-12-23 2019-10-24 Continental Safety Engineering International Gmbh Erkennung von Personen, insbesondere von Fußgängern
DE102008062915A1 (de) * 2008-12-23 2010-07-01 Continental Safety Engineering International Gmbh Erkennung von Personen, insbesondere von Fußgängern
DE102008062916A1 (de) * 2008-12-23 2010-06-24 Continental Safety Engineering International Gmbh Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeuges mit einem Lebewesen
DE112010000802B4 (de) * 2009-02-09 2014-12-11 Toyota Jidosha Kabushiki Kaisha Vorrichtung zum vorhersagen der bewegung eines mobilen körpers
DE102011078615A1 (de) * 2011-07-04 2013-01-10 Toyota Jidosha K.K. Objekterfassungsvorrichtung und objekterfassungsprogramm
DE102011078615B4 (de) 2011-07-04 2022-07-14 Toyota Jidosha Kabushiki Kaisha Objekterfassungsvorrichtung und objekterfassungsprogramm
US8994823B2 (en) 2011-07-05 2015-03-31 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and storage medium storing object detection program
DE102012000813A1 (de) 2012-01-17 2012-09-06 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Fahrzeugumgebung
DE112014007249B4 (de) 2014-12-10 2022-11-03 Mitsubishi Electric Corporation Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
US10692379B2 (en) 2015-09-29 2020-06-23 Sony Corporation Image processing device and image processing method
US10949656B2 (en) 2015-09-29 2021-03-16 Sony Corporation Information processing apparatus and information processing method
US11915522B2 (en) 2015-09-29 2024-02-27 Sony Corporation Information processing apparatus and information processing method
US20220139217A1 (en) * 2019-08-08 2022-05-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for traffic violation detection
US11790699B2 (en) * 2019-08-08 2023-10-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for traffic violation detection

Also Published As

Publication number Publication date
DE102007014012B4 (de) 2011-07-07
US7671725B2 (en) 2010-03-02
US20070222566A1 (en) 2007-09-27

Similar Documents

Publication Publication Date Title
DE102007014012B4 (de) Fahrzeugumgebung-Überwachungsgerät, Fahrzeugumgebung-Überwachungsverfahren und Fahrzeugumgebung-Überwachungsprogramm
DE102007002419B4 (de) Fahrzeugumgebungsüberwachungsgerät, -verfahren und -programm
DE102005056645B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102007002345B4 (de) Fahrzeugumgebungs-Überwachungsvorrichtung
DE10251880B4 (de) Bilderkennungsvorrichtung
DE69932021T2 (de) Dreidimensionales Darstellungssystem mit einer einzelnen Kamera für Fahrzeuge
DE10030421B4 (de) Fahrzeugumgebungsüberwachungssystem
DE60215718T2 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE60005426T2 (de) Rückblicksüberwachungssystem für Fahrzeuge
DE102014115399B4 (de) Vorrichtung und Verfahren zur Einparkhilfe
DE102005056647B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102005056429B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102016212405A1 (de) Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem
DE112013007129T5 (de) Bewegungstrajektorienvorhersagevorrichtung und Bewegungstrajektorienvorhersageverfahren
DE102007011616A1 (de) Fahrzeugumgebung-Überwachungsgerät
WO2018103795A1 (de) Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
DE102021131051B4 (de) Bildaufnahmesystem und Bildaufnahmevorrichtung
DE102007019491A1 (de) Fahrzeugumgebungs-Überwachungsvorrichtung, Fahrzeug, Fahrzeugumgebungs-Überwachungsverfahren und Fahrzeugumgebungs-Überwachungsprogramm
DE102019108610A1 (de) Verbesserung des fahrzeugverhaltens unter verwendung von informationen aus anderen fahrzeugleuchten
DE102005056616A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
EP2023265A1 (de) Verfahren für eine Erkennung eines Gegenstandes
DE102018127605A1 (de) Informationsverarbeitungsvorrichtung, fahrerüberwachungssystem, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
DE102020126804A1 (de) Im fahrzeug befindliches bildgebungssystem
DE102005056664B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20111008

R084 Declaration of willingness to licence
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee