DE112013003276T5

DE112013003276T5 - Objekterkennungseinrichtung

Info

Publication number: DE112013003276T5
Application number: DE112013003276.7T
Authority: DE
Inventors: c/o HONDA R&D CO. LTD. Matsuda Kodei; c/o HONDA R&D CO. LTD. Takatsudo Izumi; c/o HONDA R&D CO. LTD. Hattori Hiroshi
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2012-06-26
Filing date: 2013-03-15
Publication date: 2015-03-26
Also published as: WO2014002534A1; CN104335244A; JPWO2014002534A1; US20150169980A1; JP5809751B2

Abstract

Eine Objekterkennungseinrichtung, umfassend eine Binarisierung-Verarbeitungseinheit 32, die Pixel klassifiziert, welche erhalten werden, indem Pixel mit Luminanzwerten ausgeschlossen werden, die gleich oder niedriger sind als ein vorbestimmter Wert Yex, was Pixel angibt, auf welche der Himmel in einem durch eine Infrarotkamera 11R aufgenommenen Bild projiziert wird, in Pixel niedriger Luminanz und Pixel hoher Luminanz, gemäß einem zweiten Binarisierungsverwendung-Schwellenwert Yth2 (> Yex), und eine Objektbild-Extraktionseinheit 35, die einen Bildabschnitt von einer Bildregion extrahiert, die aus den Pixeln niedriger Luminanz zusammengesetzt ist.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Einrichtung zum Erkennen eines zu überwachenden Objekts, etwa eines lebenden Körpers, unter Verwendung eines Bildes, das durch eine Infrarotkamera aufgenommen wird.
Technischer Hintergrund
Üblicherweise ist eine Einrichtung zum Erkennen eines zu überwachenden Objektes bekannt, welches in einer Erfassungsregion einer Infrarotkamera vorliegt, die an einem Fahrzeug angebracht ist, indem ein um das Fahrzeug herum unter Verwendung der Infrarotkamera erfasstes Bild beschafft wird und dann ein Bildabschnitt des zu überwachenden Objekts auf Basis eines binären Bilds extrahiert wird, das erzeugt wird, indem das erfasste Bild binarisiert wird.
Beispielsweise beschreibt Patentliteratur 1 eine Technik, um einen lebenden Körper, etwa eine Person, als ein zu überwachendes Objekt zu erkennen, das in einer Erfassungsregion einer Infrarotkamera vorliegt, indem ein Bild des lebenden Körpers von einer Region hoher Luminanz (einer Region, die aus Pixeln mit hohen Luminanzwerten zusammengesetzt ist) in dem oben beschriebenen binären Bild extrahiert wird.
Zitat-Liste
Patentliteratur

Patentliteratur 1: japanische Patentanmeldung Offenlegungsschrift Nummer 2003-284057

Überblick über die Erfindung
Technisches Problem
Falls ein lebender Körper, etwa eine Person, als ein zu überwachendes Objekt in einer Erfassungsregion einer Infrarotkamera vorliegt, die an einem Fahrzeug montiert ist, weist der lebende Körper im Allgemeinen im Verhältnis höhere Temperaturen auf als Gegenstände (eine Straßenoberfläche, eine Wandfläche einer Struktur oder dergleichen) in der Umgebung (Hintergrund) des lebenden Körpers in einer normalen Umgebung.
In diesem Fall weist das Bild des lebenden Körpers in dem durch die Infrarotkamera erfassten Bild eine im Verhältnis hohe Luminanz im Vergleich zu dem Hintergrundbild auf. Daher ist es in der normalen Umgebung möglich, ein Bild des lebenden Körpers aus der Region hoher Luminanz des durch die Infrarotkamera erfassten Bildes zu extrahieren.
Falls jedoch die Umgebungstemperatur hoch ist, ist die Temperatur des lebenden Körpers manchmal im Verhältnis niedriger als die Temperaturen der Hintergrundgegenstände. In solch einem Fall weist das Bild von dem lebenden Körper in dem durch die Infrarotkamera erfassten Bild eine im Verhältnis niedrige Luminanz im Vergleich zu dem Hintergrundbild auf.
Um daher die Erkennung des lebenden Körpers zu ermöglichen, der in der Erfassungsregion der Infrarotkamera in einer Situation vorliegt, in der die Temperatur des lebenden Körpers möglicherweise im Verhältnis niedriger ist als die Temperaturen der Hintergrundgegenstände, ziehen die vorliegenden Erfinder in Betracht, dass das Bild des lebenden Körpers aus einer Region niedriger Luminanz extrahiert wird, die aus Pixeln zusammengesetzt ist, welche im Verhältnis eine niedrige Luminanz in dem Bild aufweisen, das durch die Infrarotkamera aufgenommen wird.
In diesem Fall haben die vorliegenden Erfinder jedoch herausgefunden, dass es manchmal schwierig ist, das Bild des lebenden Körpers aus der Region niedriger Luminanz des Bilds zu extrahieren, das durch die Infrarotkamera erfasst wird, als Ergebnis von verschiedenen Experimenten und Untersuchungen, die durch die vorliegenden Erfinder durchgeführt wurden.
Insbesondere umfasst das Bild, das durch die Infrarotkamera aufgenommen wird, die an dem Fahrzeug montiert ist, üblicherweise eine Bildregion, auf welche der Himmel projiziert ist. Da der auf die Bildregion projizierte Himmel unabhängig von der Umgebungstemperatur oder dergleichen eine niedrige Temperatur aufweist, ist die Bildregion des Himmels eine Bildregion niedriger Luminanz.
Falls daher der Luminanz-Schwellenwert zum Binarisieren des erfassten Bilds nicht geeignet ist, könnte das Bild des lebenden Körpers mit einer im Verhältnis niedrigeren Temperatur als der Temperatur des Hintergrundes von der Region niedriger Luminanz in einigen Fällen ausgeschlossen sein. Weiterhin besteht in diesem Fall ein Problem, dass der Bildabschnitt des lebenden Körpers, welcher die im Verhältnis niedrige Temperatur aufweist, nicht in geeigneter Weise von der Region niedriger Luminanz extrahiert werden kann.
Die vorliegende Erfindung wurde im Hinblick auf den obigen Hintergrund durchgeführt. Daher ist es eine Aufgabe der vorliegenden Erfindung, eine Objekterkennungseinrichtung bereitzustellen, die dazu in der Lage ist, ein Objekt, etwa einen lebenden Körper, das eine im Verhältnis niedrigere Temperatur aufweist als die Temperatur des Hintergrunds, in geeigneter Weise auf Basis des Bilds zu erkennen, welches durch eine Infrarotkamera erfasst wird.
Lösung für das Problem
Um die obige Aufgabe zu lösen, wird gemäß einem Aspekt der vorliegenden Erfindung eine Objekterkennungseinrichtung bereitgestellt, die eine Funktion aufweist, ein Objekt zu erkennen, welches in einer Erfassungsregion einer Infrarotkamera vorliegt und im Verhältnis eine niedrigere Temperatur aufweist als die Temperatur eines Hintergrunds, auf Basis eines Bilds, welches durch die Infrarotkamera erfasst wird, wobei die Objekterkennungseinrichtung umfasst: ein Binarisierung-Verarbeitungselement, welches dazu konfiguriert ist, Pixel, die erhalten werden, indem Pixel ausgeschlossen werden, die Luminanzwerte aufweisen, die gleich oder niedriger sind als ein vorbestimmter Wert, was Pixel angibt, auf welche der Himmel in dem erfassten Bild projiziert wird, in Pixel niedriger Luminanz zu klassifizieren, die Luminanzwerte aufweisen, die gleich oder niedriger sind als ein Binarisierungsverwendung-Schwellenwert, der auf einen Luminanzwert eingestellt ist, der höher ist als der vorbestimmte Wert, und in Pixel hoher Luminanz zu klassifizieren, welche Luminanzwerte aufweisen, die höher sind als der Binarisierungsverwendung-Schwellenwert, und ein Objektbild-Extraktionselement, welches dazu konfiguriert ist, einen Bildabschnitt des Objekts aus einer Bildregion zu extrahieren, die aus den Pixeln niedriger Luminanz in dem erfassten Bild zusammengesetzt ist (erster Aspekt der Erfindung).
Gemäß dem ersten Aspekt der Erfindung klassifiziert das Binarisierung-Verarbeitungselement Pixel, die erhalten werden, indem Pixel ausgeschlossen werden, welche Luminanzwerte aufweisen, die gleich oder kleiner sind als ein vorbestimmter Wert, was Pixel angibt, auf welche der Himmel in dem erfassten Bild projiziert wird, in Pixel niedriger Luminanz, die Luminanzwerte aufweisen, welche gleich oder kleiner sind als ein Binarisierungsverwendung-Schwellenwert, und in Pixel hoher Luminanz, welche Luminanzwerte aufweisen, die höher sind als der Binarisierungsverwendung-Schwellenwert.
In diesem Fall wird der Binarisierungsverwendung-Schwellenwert auf einen Luminanzwert eingestellt, der höher ist als der vorbestimmte Wert. Falls daher ein Objekt existiert, das eine im Verhältnis niedrigere Temperatur aufweist als die Temperatur des Hintergrunds in der Erfassungsregion der Infrarotkamera, sind die Pixel von dem Bildabschnitt des Objekts (einem Bild von dem ganzen Objekt oder einem Teil davon) in dem erfassten Bild dazu in der Lage, Pixeln niedriger Luminanz unter den Pixeln niedriger Luminanz und den Pixeln hoher Luminanz zu sein, wie oben beschrieben.
Falls daher ein Objekt existiert, welches eine im Verhältnis niedrigere Temperatur aufweist als die Temperatur des Hintergrunds in der Erfassungsregion der Infrarotkamera, ist das Objektbild-Extraktionselement dazu in der Lage, den Bildabschnitt des Objekts aus der Bildregion zu extrahieren, die aus den Pixeln niedriger Luminanz zusammengesetzt ist (nachfolgend manchmal bezeichnet als Bildregion niedriger Luminanz). Daher ermöglicht dies die Erkennung, dass das Objekt in der Erfassungsregion der Infrarotkamera vorliegt.
Gemäß dem ersten Aspekt der Erfindung ist es daher möglich, in geeigneter Weise ein Objekt, etwa einen lebenden Körper, mit einer im Verhältnis niedrigeren Temperatur als der Temperatur des Hintergrunds aus dem durch die Infrarotkamera erfassten Bild zu erkennen.
In dieser Hinsicht sind die Luminanzwerte der Pixel in der Bildregion des Himmels, projiziert auf das durch die Infrarotkamera erfasste Bild, normalerweise niedriger als die Luminanzwerte anderer Bildregionen (Bildregionen, auf welche irgend ein Objekt projiziert ist), während einige Variationen vorliegen, gemäß dem Zustand des Himmels, etwa der Anwesenheit oder der Abwesenheit von Wolken. Weiterhin tritt in dem Fall, in dem ein Bereich der Bildregion des auf das erfasste Bild projizierten Himmels groß ist, eine Varianz in der Luminanz der Pixel der Himmel-Bildregion auf einfachere Weise auf als in dem Fall, in welchem der Bereich der Himmel-Bildregion klein ist.
Entsprechend ist es bei dem ersten Aspekt der Erfindung bevorzugt, weiter ein Ausschlussverwendung-Luminanzwert-Einstellelement zu umfassen, das dazu konfiguriert ist, den vorbestimmten Wert so einzustellen, dass der vorbestimmte Wert gemäß einem Bereich der Bildregion variiert wird, in welche der Himmel projiziert wird, oder einem repräsentativen Luminanzwert der Bildregion in dem erfassten Bild (zweiter Aspekt der Erfindung).
Es ist festzuhalten, dass der vorgenannte repräsentative Luminanzwert einen repräsentativen Wert der Luminanz der Bildregion bedeutet, auf welche der Himmel projiziert ist. Als den repräsentativen Wert ist es beispielsweise möglich, den Mittelwert, den maximalen Wert oder dergleichen von der Luminanz des oberen Teils des durch die Infrarotkamera erfassten Bildes zu verwenden (eines Teils, für welchen erwartet wird, dass der Himmel darauf projiziert wird).
Gemäß dem zweiten Aspekt der Erfindung kann der vorbestimmte Wert in geeigneter Weise eingestellt werden, so dass der vorbestimmte Wert die Variation in der Luminanz der Pixel der Bildregion widerspiegelt, auf welche der Himmel projiziert wird.
Beispielsweise ist das Ausschlussverwendung-Luminanzwert-Einstellelement dazu konfiguriert, den vorbestimmten Wert auf einen größeren Wert einzustellen, wenn der Bereich der Bildregion, auf welche der Himmel projiziert wird, größer ist, oder wenn der repräsentative Luminanzwert der Bildregion größer ist (dritter Aspekt der Erfindung). Dies verhindert so sehr wie möglich, dass die Pixel, die erhalten werden, indem Pixel ausgeschlossen werden, welche Luminanzwerte aufweisen, die gleich oder kleiner sind als der vorbestimmte Wert, die Pixel umfassen, auf welche der Himmel projiziert wird.
Daher ist es möglich, zu verhindern, dass der Bildabschnitt, welcher nicht dem Objekt entspricht, als der Bildabschnitt des Objekts extrahiert wird, indem die Verarbeitung des Objektbild-Extraktionselements durchgeführt wird, nämlich die Verarbeitung, bei der der Bildabschnitt des Objekts aus der Bildregion niedriger Luminanz extrahiert wird. Folglich kann die Zuverlässigkeit der Verarbeitung des Objektbild-Extraktionselements erhöht werden.
In dem ersten bis dritten Aspekt der Erfindung umfasst bevorzugt das Binarisierung-Verarbeitungselement ein Binarisierungsverwendung-Schwellenwert-Einstellelement, welches dazu konfiguriert ist, den Binarisierungsverwendung-Schwellenwert auf Basis von einem Histogramm einzustellen, welches eine Beziehung repräsentiert zwischen den Luminanzwerten und der Pixelzahl in der Bildregion, die aus Pixeln zusammengesetzt ist, welche erhalten werden, indem die Pixel ausgeschlossen werden, die Luminanzwerte aufweisen, die gleich oder niedriger sind als der vorbestimmte Wert, in dem erfassten Bild (vierter Aspekt der Erfindung).
Falls ein Objekt mit einer im Verhältnis niedrigeren Temperatur als der Temperatur des Hintergrunds in der Erfassungsregion der Infrarotkamera vorliegt, kann gemäß dem vierten Aspekt der Erfindung der Binarisierungsverwendung-Schwellenwert in geeigneter Weise eingestellt werden, so dass die Pixel von dem Bildabschnitt des Objekts in dem erfassten Bild mit hoher Gewissheit Pixel niedriger Luminanz sind, unter den Pixeln niedriger Luminanz und den Pixeln hoher Luminanz, die oben beschrieben wurden.
Kurzbeschreibung der Figuren
1 ist ein Diagramm, welches ein Fahrzeug illustriert, das mit einer Objekterkennungseinrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ausgestattet ist.
2 ist ein Blockdiagramm, welches die Konfiguration der Objekterkennungseinrichtung illustriert, die in 1 illustriert ist.
3 ist ein Flussdiagramm, welches die Verarbeitung der Objekterkennungseinrichtung illustriert, die in 1 illustriert ist.
4 ist ein Diagramm, welches ein Beispiel von einem Histogramm illustriert, das in den Prozessen von Schritten 2, 6 und 7 in 3 verwendet wird.
5A ist ein Diagramm, welches ein Beispiel eines erfassten Bildes illustriert und 5B ist ein Diagramm, welches ein Beispiel eines binären Bildes illustriert, in welchem das erfasste Bild in 5A binarisiert ist.
Beschreibung von Ausführungsbeispielen
Ein Ausführungsbeispiel einer Objekterkennungseinrichtung gemäß der vorliegenden Erfindung wird unter Bezugnahme auf 1 bis 5 beschrieben. Unter Bezugnahme auf 1 ist eine Objekterkennungseinrichtung 10 gemäß diesem Ausführungsbeispiel an einem Fahrzeug 1 angebracht. Zusätzlich zu der Objekterkennungseinrichtung 10, ist das Fahrzeug 1 mit zwei Kameras 11L und 11R ausgestattet, die eine Stereokamera bilden, um Bilder einer vorbestimmten Überwachungsregion AR0) eines Sichtwinkelbereichs zwischen geraden Linien L1 und L2 in 1) um das Fahrzeug 1 herum zu erfassen, mit einer Anzeigeeinheit 12, durch welche der Fahrer von dem Fahrzeug 1 sichtbar Anzeigeinformationen anzeigt, etwa ein Bild, das durch eine der Kameras 11L und 11R aufgenommen wird (beispielsweise durch die Kamera 11R), und mit einem Lautsprecher 13, der akustische Informationen (Stimme, Alarmsignal oder dergleichen) ausgibt, über die der Fahrer des Fahrzeugs 1 benachrichtigt wird.
Die Anzeigeeinheit 12 umfasst eine Flüssigkristall-Anzeige, die in dem Fahrzeugabteil vor dem Fahrersitz des Fahrzeugs 1 installiert ist, ein Head-Up-Display, das ein projiziertes Bild anzeigt, indem ein Videobild auf die Windschutzscheibe des Fahrzeugs 1 projiziert wird, oder dergleichen. Zusätzlich kann die Anzeigeeinheit 12 eine sein, die dazu in der Lage ist, in geeigneter Weise Navigationsinformationen (eine Karte usw.), Audioinformationen und dergleichen zusätzlich zu dem durch die Kamera 11R aufgenommenen Bild anzuzeigen.
Beide Kameras 11L und 11R sind Infrarotkameras mit einer Empfindlichkeit im Infrarot-Wellenlängenbereich. Weiterhin geben die Kameras 11L und 11R jeweils ein Videosignal aus, welches die Luminanz von jedem der Pixel angibt, die ein Bild aufbauen, das durch jede Kamera 11L oder 11R aufgenommen wird. Die Überwachungsregion AR0 (nachfolgend manchmal als Erfassungsregion AR0 bezeichnet), die durch die Kamera 11L oder 11R erfasst wird, ist in diesem Ausführungsbeispiel eine Region auf der Vorderseite des Fahrzeugs 1. Um die Überwachungsregion AR0 zu erfassen, sind die Kameras 11L und 11R in dem vorderen Abschnitt des Fahrzeugs 1 angebracht.
In diesem Fall, sind die Kameras 11L und 11R parallel in der Fahrzeugbreitenrichtung des Fahrzeugs 1 in den Positionen angeordnet, die im Wesentlichen symmetrisch in Bezug auf die zentrale Achse sind (die Z-Achse in 1) in der Fahrzeugbreitenrichtung (der X-Achsen-Richtung von 1) des Fahrzeugs 1. Weiterhin sind die Kameras 11L und 11R an dem vorderen Abschnitt des Fahrzeugs 1 angebracht, so dass die optischen Achsen der Kamera 11L und 11R parallel zueinander sind und die Höhen von der Straßenoberfläche aus gleich sind.
Jede der Kameras 11L und 11R weist Eigenschaften auf, die unten beschrieben sind, in der Luminanz von dem erfassten Bild, definiert durch die Videosignale der Kamera 11L oder 11R in Bezug auf den Verteilungszustand der Temperaturen des gesamten Gegenstands in der Erfassungsregion AR0 in dem erfassten Bild. Die Eigenschaften sind derart, dass die Luminanz des Bildes von einem beliebigen Objekt in der Erfassungsregion AR0 (die Luminanz des Bildes der Umgebung von der Projektionsregion des Objekts) nicht die Luminanz ist, die den Grad der Temperatur selbst entspricht, sondern die Luminanz ist, die einer relativen Temperaturdifferenz zwischen dem Objekt und dem Hintergrund davon entspricht (wobei die Gegenstände (die Wandfläche eines Gebäudes, eine Straßenoberfläche oder dergleichen) hinter dem Objekt vorliegen, gesehen von der Kamera 11L oder 11R) (nachfolgend werden die Eigenschaften als die AC-Eigenschaften bezeichnet).
In den AC-Eigenschaften nimmt die Luminanz von dem Bild des Objekts zu, wenn die Temperatur von dem beliebigen Objekt in der Erfassungsregion AR0 höher ist als die Temperatur von dem Hintergrund des Objekts. Weiterhin nimmt die Luminanz von dem Bild des Objekts ab, wenn die Temperatur des Objekts niedriger ist, als die Temperatur von dem Hintergrund des Objekts.
Das durch die Kamera 11L oder 11R erfasste Bild mit den obigen AC-Eigenschaften ist, in anderen Worten, ein erfasstes Bild mit einer Luminanz-Änderung, die in einem Bildabschnitt betont ist, der einen Abschnitt mit einer relativ signifikanten Temperaturänderung (einer räumlichen Temperaturänderung) umfasst, in dem gesamten Gegenstand innerhalb von der Erfassungsregion AR0. Weiterhin ist in dem erfassten Bild die Luminanz von dem Bildabschnitt, der einen Abschnitt umfasst, welcher eine gleichförmige Temperatur aufweist (einen Abschnitt, dessen Unterabschnitte Temperaturen aufweisen, die im Wesentlichen einander gleich sind) im Wesentlichen die gleiche Luminanz, unabhängig von dem Grad der Temperatur (der absoluten Temperatur).
Die Kameras 11L und 11R von diesem Ausführungsbeispiel haben die AC-Eigenschaften, wie sie oben beschrieben sind.
Zusätzlich müssen die jeweiligen Kameras 11L und 11R selbst nicht die AC-Eigenschaften aufweisen. Insbesondere kann jede Kamera 11L oder 11R Eigenschaften aufweisen, dass die Luminanz von jedem Pixel, definiert durch ein Videosignal, das von der Kamera ausgegeben wird, die Luminanz ist, die dem Grad der Temperatur von dem Gegenstand entspricht, der auf die Pixel projiziert ist (je höher die Temperatur ist, desto höher ist die Luminanz). In diesem Fall, kann ein erfasstes Bild mit den vorgenannten AC-Eigenschaften erhalten werden, indem eine Video Filterung an dem erfassten Bild durchgeführt wird, das durch die Videosignale von der Kamera 11L oder 11R definiert ist.
In der folgenden Beschreibung wird eine der Kameras 11L und 11R, die die Stereokamera bilden, beispielsweise die Kamera 11R zur rechten Hand, manchmal als Referenz-Kamera 11R bezeichnet.
Die Objekterkennungseinrichtung 10 ist eine elektrische Schaltungseinheit, umfassend eine CPU, einen Speicher, eine Schnittstellenschaltung und dergleichen, die nicht illustriert sind. Die Objekterkennungseinrichtung 10 führt eine vorbestimmte Steuer-/Regelverarbeitung durch, indem ein installiertes Programm unter Verwendung der CPU durchgeführt wird.
Insbesondere erkennt die Objekterkennungseinrichtung 10 vorbestimmte Typen von zu überwachenden Objekten, die in der Erfassungsregion AR0 vorliegt, auf der Basis des Bildes, das durch die Kamera 11L oder 11R erfasst wird. Das Objekt ist ein lebender Körper, etwa ein Fußgänger (Person) oder ein Wildtier.
Die Objekterkennungseinrichtung 10 verfolgt die Position des Objekts (die relative Position in Bezug auf das Fahrzeug 1), während sie einen Abstand zwischen dem Fahrzeug 1 und dem vor dem Fahrzeug 1 vorliegenden Objekt detektiert, für jeden vorbestimmten Steuer-/Regelverarbeitungszyklus. Falls weiterhin das Objekt ein lebender Körper ist, von dem bestimmt wird, dass es wahrscheinlich ist, dass dieser in Kontakt mit dem Fahrzeug 1 kommt, führt die Objekterkennungseinrichtung 10 eine Aufmerksamkeitserregung-Verarbeitung durch, in der ein Alarm auf der Anzeigeeinheit 12 ausgegeben wird, und ein Alarmgeräusch (oder eine Alarm-Stimme) von dem Lautsprecher 13 ausgegeben wird, um die Aufmerksamkeit des Fahrers von dem Fahrzeug 1 auf das Objekt (den lebenden Körper) zu lenken.
Die obige Objekterkennungseinrichtung 10 wird in mehr Details unter Bezug auf 2 beschrieben. Die Objekterkennungseinrichtung 10 empfängt Eingaben von Videosignalen von der Kamera 11L oder 11R und Eingaben von Detektionssignalen von verschiedenen Sensoren, die an dem Fahrzeug 1 angebracht sind.
In diesem Ausführungsbeispiel empfängt die Objekterkennungseinrichtung 10 Eingaben von Detektionssignalen von einem Gierraten-Sensor 21, der die Gierrate des Fahrzeugs 1 detektiert, einem Fahrzeuggeschwindigkeit-Sensor 22, der die Fahrzeuggeschwindigkeit des Fahrzeugs 1 detektiert, einem Brems-Sensor 23, der eine Bremsbetätigung eines Fahrers (das Herunterdrücken eines Bremspedals) detektiert, einem Umgebungstemperatursensor 24, der eine Umgebungstemperatur detektiert, einem Scheibenwischer-Sensor 25, der den Betriebszustand eines (nicht Illustrierten) Scheibenwischers der Windschutzscheibe von dem Fahrzeug 1 detektiert (oder ein Betätigung-Befehl-Signal des Scheibenwischers).
Weiterhin ist die Objekterkennungseinrichtung 10 mit der Anzeigeeinheit 12 und dem Lautsprecher 13 verbunden. Die Objekterkennungseinrichtung 10 steuert/regelt dann die Anzeige auf der Anzeigeeinheit 12 und die akustische Ausgabe von dem Lautsprecher 13.
Zusätzlich, als Funktionen, die implementiert sind, indem installierte Programme unter Verwendung der CPU durchgeführt werden (Funktionen, die durch die Software-Konfiguration implementiert sind), oder als Hauptfunktionen, die durch die Hardware-Konfiguration implementiert sind (eine Eingabe/Ausgabe-Schaltung, eine Arithmetik-Schaltung und dergleichen), umfasst die Objekterkennungseinrichtung 10 eine erfasstes-Bild-Beschaffungseinheit 31, die ein erfasstes Bild beschafft (ein erfasstes Bild mit den vorgenannten AC-Eigenschaften) von der Kamera 11L oder 11R, eine Binarisierung-Verarbeitungseinheit 32, die eine Binarisierungsverarbeitung durchführt, um das erfasste Bild zu binarisieren, eine Objektbild-Extraktionseinheit 35, die einen Bildabschnitt eines Objekts extrahiert, von dem wahrscheinlich ist, dass es ein lebender Körper ist (ein Objekt, um ein Kandidat für einen lebenden Körper zu sein), unter Verwendung eines binären Bilds, welches durch die Binarisierungsverarbeitung erhalten wird, und eine Kontaktvermeidung-Verarbeitungseinheit 36, welche bestimmt, ob das Objekt, dessen Bildabschnitt durch die Objektbild-Extraktionseinheit 35 extrahiert worden ist, ein lebender Körper ist, von dem wahrscheinlich ist, dass er in Kontakt mit dem Fahrzeug 1 kommen wird, und welche die Aufmerksamkeit-Verarbeitung in dem Fall durchführt, in dem ein Ergebnis der Bestimmung zustimmend ist.
In diesem Fall, entsprechen die Binarisierung-Verarbeitungseinheit 32 und die Objektbild-Extraktionseinheit 35 jeweils einem Binarisierung-Verarbeitungselement und einem Objektbild-Extraktionselement der vorliegenden Erfindung. Zusätzlich umfasst die Binarisierung-Verarbeitungseinheit 32 Funktionen als eine Ausschlussverwendung-Luminanzwert-Einstelleinheit 33, entsprechend einem Ausschlussverwendung-Luminanzwert-Einstellelement der vorliegenden Erfindung und als eine Binarisierungsverwendung-Schwellenwert-Einstelleinheit 34 entsprechend einem Binarisierungsverwendung-Schwellenwert-Einstellelement der vorliegenden Erfindung.
Das Folgende beschreibt die Verarbeitung der Objekterkennungseinrichtung 10 in Bezug auf ein Flussdiagramm aus 3. Die Objekterkennungseinrichtung 10 erkennt ein Objekt, das in der Überwachungsregion (Erfassungsregion) AR0 vorliegt, die vor dem Fahrzeug 1 existiert, indem für jeden vorbestimmten Steuer-/Regelzyklus eine Verarbeitung durchgeführt wird, die in dem Flussdiagramm aus 3 illustriert ist.
Die Objekterkennungseinrichtung 10 führt die Verarbeitung aus Schritt 1 unter Verwendung der erfasstes-Bild-Beschaffungseinheit 31 zuerst durch. Bei dieser Verarbeitung beschafft die erfasstes-Bild-Beschaffungseinheit 31 ein Bild, welches durch die Kamera 11L oder 11R erfasst wird.
Genauer bewirkt die erfasstes-Bild-Beschaffungseinheit 31, dass die Kamera 11L oder 11R Bilder von dem Erfassungsbereich AR0 erfasst. Dann beschafft die erfasstes-Bild-Beschaffungseinheit 31 ein erfasstes Bild (das erfasste Bild mit den AC-Eigenschaften, die oben beschrieben sind), wobei der Luminanzwert von jedem Pixel durch einen digitalen Wert für jede Kamera 11L oder 11R repräsentiert wird, durch A-D-Konvertierung der Videosignale, die von der Kamera 11L oder 11R ausgegeben werden, gemäß der Erfassung. Danach speichert die erfasstes-Bild-Beschaffungseinheit 31 das beschaffte Bild, das durch die Kamera 11L oder 11R erfasst wurde, in dem Bildspeicher und behält es (nicht illustriert).
Es ist festzuhalten, dass die erfasstes-Bild-Beschaffungseinheit 31 bewirkt, dass der Bildspeicher eine Mehrzahl von erfassten Bildern für eine Zeitdauer bis zu einer vorbestimmten Zeit speichert und behält, einschließlich dem neuesten erfassten Bild.
Falls zusätzlich die Kamera 11L oder 11R die AC-Eigenschaften nicht aufweist, kann die erfasstes-Bild-Beschaffungseinheit 31 ein erfasstes Bild mit den AC-Eigenschaften beschaffen, indem eine Video-Filterverarbeitung auf das erfasste Bild angewendet wird, das durch die Videosignale der Infrarotkameras definiert ist.
Nachfolgend führt die Objekterkennungseinrichtung 10 die Prozesse von Schritten 2 bis 4 aus, unter Verwendung der Binarisierung-Verarbeitungseinheit 32 und der Objektbild-Extraktionseinheit 35.
Schritte 2 und 3 sind die Prozesse der Binarisierung-Verarbeitungseinheit 32. Im Schritt 2 führt die Binarisierung-Verarbeitungseinheit 32 die Verarbeitung der Binarisierungsverwendung-Schwellenwert-Einstelleinheit 34 durch. Bei dieser Verarbeitung stellt die Binarisierungsverwendung-Schwellenwert-Einstelleinheit 34 einen ersten Binarisierungsverwendung-Schwellenwert Yth1 ein, um das durch die Referenz-Kamera 11R erfasste Bild zu binarisieren. In diesem Fall stellt die Binarisierungsverwendung-Schwellenwert-Einstelleinheit 34 den ersten Binarisierungsverwendung-Schwellenwert Yth1 auf der Basis von einem Histogramm ein, welches die Beziehung zwischen den Luminanzwerten der jeweiligen Pixel des durch die Referenz-Kamera 11R erfassten Bilds und der Pixelzahl (Frequenz) angibt (nachfolgend wird das Histogramm als erstes Luminanz-Histogramm bezeichnet).
Der erste Binarisierungsverwendung-Schwellenwert Yth1 wird so eingestellt, dass die Luminanz von dem Bildabschnitt eines lebenden Körpers in dem durch die Kamera 11L oder 11R erfassten Bild höher als der erste Binarisierungsverwendung-Schwellenwert Yth1 ist, wobei der lebende Körper eine Person oder dergleichen ist, als ein Objekt, das zu überwachen ist, und in der Erfassungsregion AR0 der Kamera 11L oder 11R vorliegt, falls die Temperatur des lebenden Körpers höher ist als die Temperaturen der Gegenstände auf dem Hintergrund von dem lebenden Körper.
Der erste Binarisierungsverwendung-Schwellenwert Yth1 wird in einem so genannten P-Tile-Verfahren auf der Basis von dem ersten Luminanz-Histogramm eingestellt. Insbesondere wird in dem ersten Luminanz-Histogramm der erste Binarisierungsverwendung-Schwellenwert Yth1 so eingestellt, dass die Gesamtzahl von Pixeln gleich oder höher als der erste Binarisierungsverwendung-Schwellenwert Yth1 gleich der Anzahl von Pixeln mit einem vorbestimmten Prozentsatz der Gesamtzahl von Pixeln des erfassten Bildes ist.
Falls beispielsweise das erste Luminanz-Histogramm so ist, wie in 4 illustriert, wird YTH1 in 4 als ein erster Binarisierungsverwendung-Schwellenwert eingestellt.
Nachfolgend, im Schritt 3, erzeugt die Binarisierung-Verarbeitungseinheit 32 ein erstes binäres Bild, durch Binarisieren des Bildes, das durch die Referenz-Kamera 11R erfasst wird, gemäß dem ersten Binarisierungsverwendung-Schwellenwert Yth1, eingestellt wie oben beschrieben.
Insbesondere binarisiert die Binarisierung-Verarbeitungseinheit 32 das erfasste Bild durch Klassifizieren der Pixel des durch die Referenzkamera 11R erfassten Bildes in zwei Typen: Pixel mit hohen Luminanzwerten, die gleich oder höher sind als Yth1, und Pixel mit niedrigen Luminanzwerten, die kleiner sind als Yth1. Dann definiert die Binarisierung-Verarbeitungseinheit 32 die Pixel mit den hohen Luminanzwerten als weiße Pixel und die Pixel mit den niedrigen Luminanzwerten als schwarze Pixel, wodurch das erste binäre Bild generiert wird.
Falls das erste binäre Bild als solches erzeugt wird und herausgefunden wird, dass ein lebender Körper, etwa eine Person, als ein zu überwachendes Objekt in der Erfassungsregion AR0 der Kamera 11L oder 11R vorliegt, und die Temperatur des lebenden Körpers höher ist als die Temperaturen der Hintergrundgegenstände (in dem Normalfall), so erscheint der Bildabschnitt des lebenden Körpers als eine lokale weiße Region in dem ersten binären Bild.
Zusätzlich kann das erste binäre Bild erzeugt werden, indem die Pixel mit den hohen Luminanzwerten gleich oder höher als Yth1 als schwarze Pixel definiert werden und die Pixel mit den niedrigen Luminanzwerten, die kleiner als Yth1 sind, als weiße Pixel definiert werden.
Der nächste Schritt 4 ist ein Prozess der Objektbild-Extraktionseinheit 35. In diesem Schritt 4 extrahiert die Objektbild-Extraktionseinheit 35 den Bildabschnitt von einem Objekt als einen Kandidat für einen lebenden Körper aus der weißen Region (einer Bildregion, die aus weißen Pixeln zusammengesetzt wird [Pixeln mit hohen Luminanzwerten gleich oder höher als Yth1]) in dem ersten binären Bild.
Im Schritt 4 ist der Bildabschnitt des zu extrahierenden Objekts ein Bildabschnitt, in dem beispielsweise die longitudinalen und lateralen Breiten, ein Verhältnis dieser Breiten, die Höhe von der Straßenoberfläche aus, ein mittlerer Luminanzwert, die Luminanz-Varianz und dergleichen innerhalb von einem zuvor eingestellten Bereich liegen (innerhalb von einem Bereich, der unter der Annahme eingestellt wird, dass das Objekt ein lebender Körper, etwa eine Person oder ein Wildtier ist).
Falls entsprechend ein lebender Körper existiert, etwa eine Person, als ein zu überwachendes Objekt, das in der Erfassungsregion AR0 der Kamera 11L oder 11R vorliegt, und wobei die Temperatur des lebenden Körpers höher ist als die Temperaturen der Hintergrundgegenstände (in dem Normalfall), wird der Bildabschnitt des lebenden Körpers im Schritt 4 extrahiert.
Falls zusätzlich das erste binäre Bild erzeugt wird, indem die Pixel mit hohen Luminanzwerten gleich oder höher als Yth1 als schwarze Pixel definiert werden und die Pixel mit niedrigen Luminanzwerten kleiner als Yth1 als weiße Pixel definiert werden, kann der Bildabschnitt des Objekts als ein Kandidat für einen lebenden Körper aus der schwarzen Region in dem ersten binären Bild extrahiert werden.
Nachfolgend führt die Objekterkennungseinrichtung 10 einen Bestimmungsprozess von Schritt 5 aus. Im Schritt 5 bestimmt die Objekterkennungseinrichtung 10 den aktuellen Umgebungszustand. Der Bestimmungsprozess wird durchgeführt, um zu bestimmen, ob von dem Zustand, dass die aktuelle Umgebungstemperatur eine hohe Temperatur, gleich oder höher als einer vorbestimmten Temperatur ist, und dem Zustand, dass das aktuelle Wetter regnerisch ist, einer erfüllt ist, oder nicht.
In diesem Fall bestimmt die Objekterkennungseinrichtung 10, ob die Umgebungstemperatur eine hohe Temperatur ist oder nicht, die gleich oder höher ist als die vorbestimmte Temperatur, auf der Basis von einem Detektionswert der Umgebungstemperatur, der durch den Umgebungstemperatur-Sensor 24 detektiert wird.
Weiterhin bestimmt die Objekterkennungseinrichtung 10, ob das aktuelle Wetter regnerisch ist oder nicht, auf der Basis von dem Betriebszustand des Scheibenwischers, der angegeben wird durch die Ausgabe von dem Scheibenwischersensor 25 (oder ein Betätigung-Befehl-Signal des Scheibenwischers). Genauer bestimmt die Objekterkennungseinrichtung 10, dass das aktuelle Wetter regnerisch ist, wenn der Scheibenwischer in Betrieb ist, und bestimmt, dass das aktuelle Wetter nicht regnerisch ist, wenn der Scheibenwischer nicht in Betrieb ist.
Es ist festzuhalten, dass ein Regentropfen-Sensor verwendet werden kann, um zu detektieren, ob das aktuelle Wetter regnerisch ist, oder nicht. Alternativ können Wetterinformationen durch eine Kommunikation empfangen werden, um zu erkennen, ob das aktuelle Wetter regnerisch ist, oder nicht.
Nebenbei bemerkt, ist die Temperatur des lebenden Körpers, etwa einer Person (eines Fußgängers), in einer normalen Umgebung höher als die Temperatur der Straßenoberfläche oder anderer umgebender Objekte um den lebenden Körper herum (in einer Umgebung, in welcher die Umgebungstemperatur nicht zu hoch ist). Falls daher ein lebender Körper in der Erfassungsregion (dem erfassten Bild mit den AC-Eigenschaften) der Kamera 11L oder 11R enthalten ist, die eine Infrarotkamera ist, ist die Luminanz des Bilds des lebenden Körpers im Allgemeinen höher als die Luminanz der Bilder der Gegenstände (der Straßenoberfläche, der Wandfläche eines Gebäudes oder dergleichen) auf dem Hintergrund von dem lebenden Körper.
Falls andererseits die Umgebungstemperatur hoch ist, oder das aktuelle Wetter regnerisch ist, oder dergleichen, ist die Temperatur des lebenden Körpers, etwa einer Person (eines Fußgängers), manchmal niedriger als die Temperatur der umgebenden Objekte. In diesem Fall ist die Luminanz des Bildabschnitts von dem lebenden Körper in dem Bild, das durch die Kamera 11L oder 11R erfasst wird, niedriger als die Luminanz der Bilder der Gegenstände (der Straßenoberfläche, der Wandfläche eines Gebäudes oder dergleichen) auf dem Hintergrund des lebenden Körpers.
Weiterhin ist in diesem Fall der Bildabschnitt des lebenden Körpers ein schwarzes Bild (ein Bild, welches niedrige Luminanzwerte aufweist) in dem ersten binären Bild. Daher kann in dem obigen Schritt 4 der Bildabschnitt des lebenden Körpers nicht extrahiert werden.
Wenn daher das Bestimmungsergebnis von dem obigen Schritt 5 zustimmend ist, in anderen Worten falls angenommen wird, dass die Temperatur des lebenden Körpers, der in der Erfassungsregion AR0 der Kamera 11L oder 11R vorliegt, im Verhältnis niedriger ist als die Temperaturen der umgebenden Objekte (der Hintergrund-Gegenstände) führt die Objekterkennungseinrichtung 10 weiter die Prozesse von Schritten 6 bis 9 unter Verwendung der Binarisierung-Verarbeitungseinheit 32 und der Objektbild-Extraktionseinheit 35 aus, um den Bildabschnitt des Objekts als einen Kandidat für den lebenden Körper zu extrahieren.
Schritte 6 bis 8 sind Prozesse der Binarisierung-Verarbeitungseinheit 32. Im Schritt 6 führt die Binarisierung-Verarbeitungseinheit 32 die Verarbeitung der Ausschlussverwendung-Luminanzwert-Einstelleinheit 33 aus. Bei dieser Verarbeitung stellt die Ausschlussverwendung-Luminanzwert-Einstelleinheit 33 einen Ausschlussverwendung-Luminanzwert Yex ein, der verwendet wird, um Pixel auszuschließen, auf welche der Himmel projiziert wird, von den Zielen für eine Binarisierung auf der Basis des Bilds, welches durch die Referenz-Kamera 11R erfasst wird. Der Ausschlussverwendung-Luminanzwert Yex entspricht einem ”vorbestimmten Wert” der vorliegenden Erfindung.
Hierbei wird normalerweise ein Videobild des Himmels auf das durch die Kamera 11L oder 11R erfasste Bild projiziert. Zusätzlich ist die Temperatur des Himmels im Allgemeinen niedriger als die von anderen Gegenständen (der Straßenoberfläche, einer Struktur, einem lebenden Körper und dergleichen). Daher sind die Luminanzwerte der Pixel von der ganzen Bildregion oder dem größten Teil davon, auf welche der Himmel projiziert wird, in dem Bild, das durch die Kamera 11L oder 11R erfasst wird, niedriger als bestimmte Luminanzwerte.
Der Ausschlussverwendung-Luminanzwert Yex ist prinzipiell ein Luminanzwert, der so eingestellt ist, dass die Luminanzwerte der Pixel, auf welche der Himmel in dem durch die Kamera 11L oder 11R erfassten Bild projiziert wird gleich oder kleiner sind als Yex.
Es besteht jedoch einige Variation in den Luminanzwerten der Pixel in der Bildregion, auf welche der Himmel projiziert wird, gemäß dem Vorliegen oder der Abwesenheit von Wolken, oder gemäß dem Einfluss von einem Bereich oder dergleichen von der Bildregion des Himmels. Wenn beispielsweise das Videobild von Wolken auf die Bildregion des Himmels projiziert wird, sind die Luminanzwerte der Pixel höher als diejenigen in dem Fall, in dem das Videobild von Wolken nicht projiziert wird.
Falls weiterhin der Bereich (die Fläche) der Bildregion des Himmels groß ist, nimmt eine Variation in den Luminanzwerten der Pixel der Bildregion des Himmels im Vergleich mit dem Fall einfach zu, in dem ein Bereich der Bildregion des Himmels klein ist.
Daher stellt in diesem Ausführungsbeispiel die Ausschlussverwendung-Luminanzwert-Einstelleinheit 33 den Ausschlussverwendung-Luminanzwert Yex variabel ein. Konkret wird der mittlere Wert oder der maximale Wert der Luminanz in der Position nahe dem oberen Ende (der Bildregion, für welche abgeschätzt wird, dass der Himmel darauf projiziert wird), in dem Bild, das durch die Referenzkamera 11R erfasst wird, als ein repräsentativer Luminanzwert in der betreffenden Position berechnet.
In der Region auf der oberen Seite von dem durch die Referenz-Kamera 11R erfassten Bild wird weiterhin die Anzahl von Pixeln mit Luminanzwerten, die gleich oder kleiner als ein voreingestellter gegebener Wert sind als die Pixelzahl des Himmel-Bereichs berechnet, welche schematisch den Bereich des Himmels in dem erfassten Bild repräsentiert. Alternativ kann in der Region auf der oberen Seite des Bilds, das durch die Referenz-Kamera 11R erfasst wird, die Grenze zwischen der Himmel-Bildregion und der Bildregion anderer Gegenstände detektiert werden, durch einen Ansatz einer Kanten-Extraktion oder dergleichen, um die Anzahl von Pixeln der Region zu berechnen, die durch die Grenze eingeschlossen werden, als die Anzahl von Pixeln des Himmel-Bereichs.
Dann wird der Ausschlussverwendung-Luminanzwert Yex auf der Basis von einem voreingestellten, gegebenen Kennfeld oder einem arithmetischen Ausdruck aus dem oben erwähnten repräsentativen Luminanzwert und der Anzahl von Pixeln des Himmel-Bereichs eingestellt. In diesem Fall wird der Ausschlussverwendung-Luminanzwert Yex so eingestellt, dass der Ausschlussverwendung-Luminanzwert Yex einen größeren Wert hat, wenn der repräsentative Luminanzwert größer ist. Weiterhin wird der Ausschlussverwendung-Luminanzwert Yex so eingestellt, dass der Ausschlussverwendung-Luminanzwert Yex einen größeren Wert aufweist, wenn die Zahl von Pixeln von dem Himmel-Bereich größer ist (wenn der Bereich der Region, auf welche der Himmel in dem erfassten Bild projiziert wird, größer ist).
Nachfolgend, im Schritt 7, führt die Binarisierung-Verarbeitungseinheit 32 die Verarbeitung der Binarisierungsverwendung-Schwellenwert Einstelleinheit 34 durch. Bei dieser Verarbeitung stellt die Binarisierungsverwendung-Schwellenwert-Einstelleinheit 34 einen zweiten Binarisierungsverwendung-Schwellenwert Yth2 zum Binarisieren eines Bildes ein, das erhalten wird, indem die Pixel ausgeschlossen werden, die Luminanzwerte gleich oder niedriger als der Ausschlussverwendung-Luminanzwert Yex haben (Pixel, für die angenommen wird, dass der Himmel darauf projiziert wird) (nachfolgend wird das Bild als das Himmelregion-Ausschlussbild bezeichnet) aus dem Bild, das durch die Referenz-Kamera 11R aufgenommen wird. Das Himmelregion Ausschlussbild ist in anderen Worten ein Bild, das aus Pixeln zusammengesetzt ist, die Luminanzwerte haben, die höher sind als der Ausschlussverwendung-Luminanzwert Yex in dem Bild, das durch die Referenz-Kamera 11R aufgenommen wird. Der zweite Binarisierungsverwendung-Schwellenwert Yth2 entspricht einem Binarisierungsverwendung-Schwellenwert der vorliegenden Erfindung.
In diesem Fall stellt die Binarisierungsverwendung-Schwellenwert Einstelleinheit 34 den zweiten Binarisierungsverwendung-Schwellenwert Yth2 auf der Basis von einem Histogramm ein (hierin nachfolgend als zweites Luminanz-Histogramm bezeichnet) das eine Beziehung repräsentiert zwischen den Luminanzwerten der Pixel von dem vorgenannten Himmelregion-Ausschlussbild und der Anzahl von Pixeln (Frequenz) davon. Das zweite Luminanz-Histogramm ist, wie illustriert in 4, ein Abschnitt, der erhalten wird, indem ein Abschnitt aus dem ersten Luminanz-Histogramm ausgeschlossen wird, worin die Luminanzwerte gleich oder niedriger sind als Yex.
Der zweite Binarisierungsverwendung-Schwellenwert Yth2 ist ein Schwellenwert, der so eingestellt ist, dass dann, wenn die Temperatur des lebenden Körpers, etwa einer Person, als einem zu überwachenden Objekt, welches in der Erfassungsregion AR0 der Kamera 11L oder 11R vorliegt, niedriger ist als die Temperaturen der Gegenstände auf dem Hintergrund des lebenden Körpers, die Luminanz des Bildabschnitts von dem lebenden Körper in dem Bild, das durch die Kamera 11L oder 11R erfasst wird, niedriger ist als der zweite Binarisierungsverwendung-Schwellenwert Yth2.
In diesem Ausführungsbeispiel wird der zweite Binarisierungsverwendung-Schwellenwert Yth2 mit dem P-Tile-Verfahren ähnlich zu dem ersten Binarisierungsverwendung-Schwellenwert Yth1 eingestellt. In diesem Fall wird jedoch der zweite Binarisierungsverwendung-Schwellenwert Yth2 auf der Basis von dem zweiten Luminanz-Histogramm anstatt von dem ersten Luminanz-Histogramm eingestellt. Insbesondere wird der zweite Binarisierungsverwendung-Schwellenwert YTH2 so eingestellt, dass die Gesamtanzahl von Pixeln, gleich oder niedriger als der zweite Binarisierungsverwendung-Schwellenwert Yth2, gleich der Anzahl von Pixeln von einem vorbestimmten Prozentsatz der Gesamtzahl von Pixeln von dem erfassten Bild in dem zweiten Luminanz-Histogramm ist. In diesem Fall ist der zweite Binarisierungsverwendung-Schwellenwert Yth2 gleich einem Luminanzwert, der höher ist als der Ausschlussverwendung-Luminanzwert Yex.
Falls beispielsweise das zweite Luminanz-Histogramm so ist, wie in 4 illustriert, wird der zweite Binarisierungsverwendung-Schwellenwert Yth2 (> Yex) in 4 als ein zweiter Binarisierungsverwendung-Schwellenwert eingestellt.
Nachfolgend erzeugt im Schritt 8 die Binarisierung-Verarbeitungseinheit 32 ein zweites binäres Bild durch die Binarisieren des Himmelregion-Ausschlussbilds gemäß dem zweiten Binarisierungsverwendung-Schwellenwert Yth2, wie oben beschrieben.
Konkret wird das Himmelregion-Ausschlussbild binarisiert, indem die Pixel von dem Himmelregion-Ausschlussbild in zwei Typen klassifiziert werden: Pixel mit niedrigen Luminanzwerten, die gleich oder niedriger sind als Yth2, und Pixel mit hohem Luminanzwerten, die höher sind als Yth2.
Dann, im Gegensatz zu dem Fall des ersten binären Bildes werden die Pixel mit niedrigen Luminanzwerten als weiße Pixel definiert und die Pixel mit hohem Luminanzwerten werden als schwarze Pixel definiert, wodurch das zweite binäre Bild erzeugt wird.
Die Erzeugung des zweiten binären Bildes, wie oben beschrieben, bewirkt, dass der Bildabschnitt des lebenden Körpers eine lokale weiße Region in dem zweiten binären Bild ist, falls ein lebender Körper, etwa eine Person, als ein zu überwachendes Objekt in der Erfassungsregion AR0 der Kamera 11L oder 11R existiert, und die Temperatur des lebenden Körpers niedriger ist als die Temperaturen von den Hintergrundgegenständen in einer Situation, in welcher das Bestimmungsergebnis von Schritt 5 zustimmend ist.
Beispielsweise in einer Situation, in welcher die Umgebungstemperatur höher als eine vorbestimmte Temperatur ist, wird ein Bild, das durch die Referenz-Kamera 11R erfasst wird (oder die Kamera 11L) erhalten, wie es in 5A illustriert ist. In diesem Fall ist der Bildabschnitt der Person niedrig in der Luminanz, wie illustriert in 5A, aufgrund dessen, dass die Temperatur der Person (Fußgänger), die in der Erfassungsregion AR0 vorliegt, niedriger ist als die Temperaturen der Hintergrundgegenstände.
Das erste Luminanz-Histogramm und das zweite Luminanz-Histogramm in dem erfassten Bild sind diejenigen, die in 4 illustriert sind. Weiterhin wird in diesem Fall das Himmelregion-Ausschlussbild gemäß dem zweiten Binarisierungsverwendung-Schwellenwert Yth2 binarisiert, der in 4 illustriert ist, im Schritt 8, wodurch das zweite binäre Bild erzeugt wird, wie illustriert in 5B. In dem zweiten binären Bild wird der Bildabschnitt der Person (Fußgänger), der in 5A illustriert ist, als eine lokale weiße Region erhalten.
Es ist jedoch festzuhalten, dass in dem zweiten binären Bild in 5B die Pixel mit Luminanzwerten gleich oder niedriger als der Ausschlussverwendung-Luminanzwert Yex (die Pixel, für die angenommen wird, dass der Himmel auf diese projiziert wird), in anderen Worten die Pixel von anderen Abschnitten als dem Himmelregion-Ausschlussbild, in dem erfassten Bild unter Zwang auf schwarze Pixel gesetzt werden.
Ergänzend kann in der Binarisierung von dem Himmelregion-Ausschlussbild im Schritt 8 das zweite binäre Bild mit schwarzen Pixeln als den Pixeln mit niedrigen Luminanzwerten kleiner oder gleich Yth2 erzeugt werden und weißen Pixeln als den Pixeln mit hohem Luminanzwerten höher als Yth2.
Alternativ kann das zweite binäre Bild (ein binäres Bild mit einem der zwei Typen von Pixeln als weißen Pixeln und dem anderen Typ von Pixeln als schwarzen Pixeln) erzeugt werden, indem ein umgekehrtes Bild erzeugt wird, das erhalten wird, indem hoch und niedrig der Luminanzwerte der jeweiligen Pixel von dem Himmelregion-Ausschlussbild vor der Binarisierung umgekehrt wird und die Pixel des umgekehrten Bildes in zwei Typen klassifiziert werden: Pixel mit Luminanzwerten gleich oder höher als der Schwellenwert, wobei der zweite Binarisierungsverwendung-Schwellenwert Yth2 umgekehrt wird (nachfolgend bezeichnet als ”umgekehrter Schwellenwert”), und Pixel mit Luminanzwerten niedriger als der umgekehrte Schwellenwert.
Das umgekehrte Bild ist genauer ein Bild, in welchem der Luminanzwert von jedem Pixel mit einem Wert zusammenfällt, der erhalten wird, indem der Luminanzwert Y in dem Himmelregion-Ausschlussbild von dem maximalen Luminanzwert (beispielsweise in dem Fall einer 8-Bit-Grauskala einem Luminanzwert von 255) subtrahiert wird (= maximaler Luminanzwert – Y). Ähnlich ist der vorgenannte umgekehrte Schwellenwert ein Wert, der erhalten wird, indem der zweite Binarisierungsverwendung-Schwellenwert Yth2 von dem maximalen Luminanzwert abgezogen wird (= maximaler Luminanzwert – Yth2).
Nachfolgend, im Schritt 9, führt die Objekterkennungseinrichtung 10 die Verarbeitung der Objektbild-Extraktionseinheit 35 durch. Im Schritt 9 extrahiert die Objektbild-Extraktionseinheit 35 den Bildabschnitt des Objekts als einen Kandidat für einen lebenden Körper aus der weißen Region (einer Bildregion, die aus weißen Pixeln [Pixeln mit niedrigen Luminanzwerten kleiner oder gleich Yth2 zusammengesetzt ist]) in dem zweiten binären Bild.
Die Extraktionsverarbeitung von Schritt 9 wird auf die gleiche Weise durchgeführt wie die vorgenannte Extraktionsverarbeitung von Schritt 4. In diesem Fall ist der Bildabschnitt von dem lebenden Körper der Bildabschnitt einer weißen Region in dem zweiten binären Bild, und daher kann der Bildabschnitt von dem Objekt durch die gleiche Programmverarbeitung extrahiert werden, wie im Schritt 4.
Falls das zweite binäre Bild erzeugt wird, indem die Pixel mit niedrigen Luminanzwerten gleich oder kleiner als Yth2 als schwarze Pixel definiert werden und die Pixel mit Luminanzwerten höher als Yth2 als weiße Pixel definiert werden, kann der Bildabschnitt von einem Objekt als ein Kandidat für einen lebenden Körper aus dem schwarzen Bereich in dem zweiten binären Bild extrahiert werden.
Die Prozesse von Schritten 2 bis 4 und 6 bis 9, die oben beschrieben wurden, sind Details der Verarbeitung der Binarisierung-Verarbeitungseinheit 32 und der Verarbeitung der Objektbild-Extraktionseinheit 35.
Die Objekterkennungseinrichtung 10 führt nachfolgend einen Bestimmungsprozess von Schritt 10 durch. Bei diesem Bestimmungsprozess wird bestimmt, ob das Objekt als der Kandidat für den lebenden Körper durch die oben beschriebenen Schritte 2 bis 9 erfolgreich extrahiert wurde, oder nicht.
Wenn das Bestimmungsergebnis negativ ist, endet die Verarbeitung von dem aktuellen Steuer-/Regel-Verarbeitungszyklus der Objekterkennungseinrichtung 10.
Falls währenddessen das Bestimmungsergebnis von Schritt 10 zustimmend ist, führt die Objekterkennungseinrichtung 10 nachfolgend den Prozess von Schritt 11 unter Verwendung der Kontaktvermeidung-Verarbeitungseinheit 36 durch.
In diesem Prozess berechnet die Kontaktvermeidung-Verarbeitungseinheit 36 die Position des Objekts im realen Raum, identifiziert, ob das Objekt ein zu überwachender lebender Körper ist, bestimmt, ob es wahrscheinlich ist, dass das Objekt in Kontakt mit dem Fahrzeug 1 kommt, indem beispielsweise die gleiche Verarbeitung durchgeführt wird, wie die, die beispielsweise in Patentliteratur 1 beschrieben ist, in Bezug auf das Objekt (den Kandidat für den lebenden Körper), das durch die Objektbild-Extraktionseinheit 35 extrahiert wurde.
Der Umriss des Verfahrens wird nachfolgend beschrieben. Die Kontaktvermeidung-Verarbeitungseinheit 36 schätzt einen Abstand zwischen dem Objekt und dem Fahrzeug 1 (eigenen Fahrzeug) in einem Stereo-Distanz-Messverfahren auf Basis der Parallaxe von dem Bildabschnitt des Objekts in jeder der Kameras 11L und 11R durch. Weiterhin schätzt die Kontaktvermeidung-Verarbeitungseinheit 36 die Position im realen Raum (die relativen Position zu dem eigenen Fahrzeug 1) auf der Basis von dem abgeschätzten Wert der Distanz und der Position von dem Bildabschnitt des Objekts in dem Bild ab, das durch die Referenz-Kamera 11R erfasst wurde.
Die Kontaktvermeidung-Verarbeitungseinheit 36 bestimmt, dass es wahrscheinlich ist, dass das Objekt (beispielsweise das Objekt, das in 1 als P1 angegeben ist) in der Zukunft in Kontakt mit dem eigenen Fahrzeug 1 gerät, falls die Position des Objekts im realen Raum innerhalb von einer Kontaktbestimmung-Region AR1 (der getüpfelten Region in 1) liegt, die eingestellt wird, wie in 1 in der Erfassungsregion AR0 beschrieben.
Die Kontaktbestimmung-Region AR1 wird als eine Region eingestellt, in welcher die Distanz von dem eigenen Fahrzeug 1 gleich oder kleiner ist als der Distanzwerte Z1, bestimmt gemäß der Fahrzeuggeschwindigkeit (Detektionswert) des eigenen Fahrzeugs 1 (beispielsweise ein Wert, der erhalten wird, indem die Fahrzeuggeschwindigkeit mit einer vorbestimmten proportionalen Konstante multipliziert wird) in der Erfassungsregion AR0, und wobei die Breite der Region AR1 erhalten wird, indem eine vorbestimmte Randbreite β zu jeder der Seiten der Fahrzeugbreite α des eigenen Fahrzeugs in der Richtung mit der Front nach vorne des eigenen Fahrzeugs 1 addiert wird (= α + 2β).
Weiterhin bestimmt die Kontaktvermeidung-Verarbeitungseinheit 36, das wahrscheinlich ist, dass das Objekt (beispielsweise das Objekt, das durch P2 oder P3 in 1 angegeben ist) in der Zukunft in Kontakt mit dem eigenen Fahrzeug 1 gerät, auch falls die Position im realen Raum von dem Objekt sich innerhalb von einer Eintrittbestimmung-Region AR2 oder AR3 (der Spurregion in 1) befindet, die eingestellt sind, wie illustriert in 1 außerhalb der rechten und linken Seite von der Kontaktbestimmung-Region AR1 in der Erfassungsregion AR0, und wobei die Richtung von dem Bewegungsvektor des Objekts eine Richtung zum Eintreten in die Kontaktbestimmung-Region AR1 ist.
Die Eintrittbestimmung-Region AR2 oder AR3 wird als eine Region eingestellt, die erhalten wird, indem die Kontaktbestimmung-Region AR1 von der Region ausgeschlossen wird, in welcher die Distanz von dem eigenen Fahrzeug 1 gleich oder weniger als der Distanzwert Z1 in der Erfassungsregion AR0 ist.
Weiterhin wird die Richtung von dem Bewegungsvektor des Objekts identifiziert beispielsweise aus der zeitlichen Entwicklung von dem Schätzwert der Position im realen Raum gerade bis vor die vorbestimmte Zeit des Objekts.
Die Kontaktbestimmung-Region AR1 und die Eintrittbestimmung-Regionen AR2 und AR3 sind Regionen die jeweils auch in der Höhen-Richtung des eigenen Fahrzeugs 1 eine Ausdehnung haben (Regionen mit jeweils einer Höhe, die gleich oder kleiner ist als eine vorbestimmte Höhe, die größer ist als die Fahrzeughöhe des eigenen Fahrzeugs 1). Weiterhin wird bestimmt, dass ein Objekt, das in einer Position vorliegt, die höher ist als die vorbestimmte Höhe in der Zukunft wahrscheinlich nicht in Kontakt mit dem eigenen Fahrzeug 1 geraten wird.
Weiterhin identifiziert (bestimmt) die Kontaktvermeidung-Verarbeitungseinheit 36 ob das Objekt, von dem bestimmt wird, dass es wahrscheinlich in der Zukunft mit dem eigenen Fahrzeug 1 in Kontakt kommen wird, ein lebender Körper, etwa eine Person, ist oder nicht.
In diesem Fall wird identifiziert, ob das Objekt eine Person ist, oder nicht, auf der Basis der Eigenschaften wie der Form, Größe oder Luminanzverteilung von dem Bildabschnitt des Objekts in dem Bild, das durch die Referenz-Kamera 11R erfasst wird (genauer dem Objekt dessen Bildabschnitt durch die Objektbild-Extraktionseinheit 35 extrahiert wird und von dem durch die Kontaktvermeidung-Verarbeitungseinheit 36 bestimmt wird, dass es wahrscheinlich ist, dass es in der Zukunft mit dem eigenen Fahrzeug 1 in Kontakt kommen wird) (beispielsweise durch einen Ansatz, der in der vorgenannten Patentliteratur 1 beschrieben ist).
Falls bestimmt wird, dass das Objekt etwas anderes als eine Person ist, kann weiterhin bestimmt werden, ob das Objekt ein Wildtier ist, etwa ein Vierfüßler.
Weiterhin sind verschiedene Ansätze bereits bekannt, zusätzlich zu dem in Patentliteratur 1 beschriebenen Ansatz, als das Verfahren, um zu bestimmen, ob das Objekt ein lebender Körper, etwa eine Person ist, oder nicht und jeder beliebiger diese Ansätze kann verwendet werden.
Weiterhin führt die Kontaktvermeidung-Verarbeitungseinheit 36 die Aufmerksamkeitserregung-Verarbeitung in Bezug auf ein Objekt durch, das wahrscheinlich mit dem eigenen Fahrzeug 1 in Kontakt kommen wird, und als ein lebender Körper 11, etwa eine Person, identifiziert wird.
Konkret steuert/regelt die Kontaktvermeidung-Verarbeitungseinheit 36 die Anzeigeeinheit 12 so, dass das durch die Referenz-Kamera 11R erfasste Bild auf der Anzeigeeinheit 12 angezeigt wird, während das Bild von dem Objekt (einem lebenden Körper, der wahrscheinlich in Kontakt mit dem eigenen Fahrzeug 1 geraten wird) in dem erfassten Bild betont wird. Beispielsweise bewirkt die Kontaktvermeidung-Verarbeitungseinheit 36, dass die Anzeigeeinheit 12 das Bild von dem Objekt in dem erfassten Bild, das auf der Anzeigeeinheit 12 angezeigt wird, so anzeigt, dass es durch einen Rahmen in einer vorbestimmten Farbe umschlossen ist oder durch einen blinkenden Rahmen umschlossen ist, um das Bild von dem Objekt zu betonen.
Weiterhin steuert/regelt die Kontaktvermeidung-Verarbeitungseinheit 36 den Lautsprecher 13 so, dass dieser ein Alarm-Geräusch (oder eine Stimme) ausgibt, welches angibt, dass der lebende Körper, der wahrscheinlich in Kontakt mit dem eigenen Fahrzeug 1 geraten wird, in der Erfassungsregion (Überwachungsregion) AR0 vorliegt.
Die Steuerung/Regelung der Anzeige durch die Anzeigeeinheit 12 und die Steuerung/Regelung des Lautsprechers 13 geben einen visuellen Alarm und einen hörbaren Alarm in Bezug auf den lebenden Körper, der wahrscheinlich in Kontakt mit dem eigenen Fahrzeug 1 geraten wird, an den Fahrer aus. Folglich wird die Aufmerksamkeit des Fahrers auf den lebenden Körper gelenkt. Dies bewirkt, dass der Fahrer einen Fahrvorgang (Bremsvorgang usw.) durchführt, der es ermöglicht, in geeigneter Weise einen Kontakt zwischen dem lebenden Körper und dem eigenen Fahrzeug 1 zu vermeiden, wodurch eine Vermeidung des Kontakt zwischen dem lebenden Körper und dem eigenen Fahrzeug 1 ermöglicht wird.
Auch wenn ein lebender Körper, von dem bestimmt wird, dass dieser wahrscheinlich mit dem eigenen Fahrzeug 1 in Kontakt kommen wird, in der Erfassungsregion AR0 vorliegt, kann die vorgenannte Aufmerksamkeit-Verarbeitung weggelassen werden, wenn durch die Ausgabe von dem Brems-Sensor 23 detektiert wird, dass der Fahrer bereits den Bremsvorgang von dem Fahrzeug 1 durchgeführt hat.
Alternativ kann auch in einer Situation, in der der Bremsvorgang des Fahrzeugs 1 bereits durchgeführt wurde, ausgewählt werden, ob die Aufmerksamkeit-Verarbeitung durchgeführt wird oder nicht, beispielsweise gemäß dem Betrag, um den das Bremspedal herunter gedrückt wird, oder gemäß den Verlangsamungsgrad des Fahrzeugs 1.
Ergänzend, obwohl in diesem Ausführungsbeispiel die Aufmerksamkeit des Fahrers durch die visuelle Benachrichtigung mit der Anzeigeeinheit 12 und die hörbare Benachrichtigung mit dem Lautsprecher 13 erregt wurde, um einen Kontakt zwischen dem lebenden Körper und dem eigenen Fahrzeug 1 zu vermeiden, kann nur eine Benachrichtigung durchgeführt werden.
Alternativ kann die Aufmerksamkeit des Fahrers auch geweckt werden, indem eine sensorische Benachrichtigung durchgeführt wird, etwa ein Vibrieren von dem Fahrersitz, anstelle von einer oder beiden der visuellen Benachrichtigung und der hörbaren Benachrichtigung.
Falls weiterhin die Bremseinrichtung von dem Fahrzeug 1 dazu konfiguriert ist, in der Lage zu sein, ihre Bremskraft auf der Basis einer Bremskraft gemäß der Betätigung des Bremspedals durch hydraulische Steuerung/Regelung oder dergleichen einzustellen, kann die Bremskraft der Bremseinrichtung automatisch erhöht werden, zusätzlich dazu, dass die Aufmerksamkeit des Fahrers geweckt wird.
Gemäß den zuvor hierin beschriebenen bevorzugten Ausführungsbeispielen wird in einer Situation, in welcher das Bestimmungsergebnis von dem obigen Schritt 5 zustimmend ist, in anderen Worten in einer Situation, in welcher die Temperatur des lebenden Körpers, etwa einer Person, wahrscheinlich niedriger ist als die Temperatur der umgebenden Objekte (der Hintergrundgegenstände) um den lebenden Körper herum, falls der lebende Körper in der Erfassungsregion AR0 der Kamera 11L oder 11R vorliegt, der Bildabschnitt von dem Objekt (einem Objekt, dessen Temperatur im Verhältnis niedriger ist als die Temperaturen der Hintergrund-Gegenstände) als ein Kandidat für den lebenden Körper aus dem zweiten binären Bild durch die Prozesse von Schritten 6 bis 9 extrahiert.
In diesem Fall wird die Binarisierung zur Erzeugung des zweiten binären Bilds durchgeführt, indem der zweite Binarisierungsverwendung-Schwellenwert Yth2 verwendet wird, der im Luminanzwert höher ist als Yex für das Himmelregion-Ausschlussbild, das erhalten wird, indem die Bildregion, für welche angenommen wird, dass der Himmel darauf projiziert wird (eine Bildregion, die aus Pixeln zusammengesetzt ist, die Luminanzwerte haben, die gleich oder niedriger sind als der Ausschlussverwendung-Luminanzwert Yex), von dem durch die Referenz-Kamera 11R erfassten Bild ausgeschlossen werden.
Falls daher das Objekt (ein Objekt, von dem wahrscheinlich ist, dass es sich um einen lebenden Körper handelt), dessen Temperatur im Verhältnis niedriger als die der Hintergrundgegenstände ist, in der Erfassungsregion AR0 der Kamera 11L oder 11R vorliegt, ist der Luminanzwert von dem Bildabschnitt des Objekts in dem Bild, das durch die Referenz-Kamera 11R erfasst wird, dazu in der Lage, auf einen Luminanzwert gesetzt zu werden, der gleich oder niedriger ist als der zweite Binarisierungsverwendung-Schwellenwert Yth2.
Entsprechend kann das Objekt als ein Kandidat für den lebenden Körper, dessen Temperatur im Verhältnis niedriger ist als die Temperaturen der Hintergrundgegenstände in geeigneter Weise aus der weißen Region extrahiert werden (eine Region, die aus Pixeln zusammengesetzt ist, welche niedrige Luminanzwerte gleich oder niedriger als Yth2 aufweisen) in dem zweiten binären Bild.
Weiterhin wird der Ausschlussverwendung-Luminanzwert Yex variabel so eingestellt, dass er das Auftreten einer Variation in den Luminanzwerten von der Himmel-Bildregion widerspiegelt, die durch das Vorliegen oder die Abwesenheit von Wolken in dem Bereich der Himmel-Bildregion in dem erfassten Bild oder dergleichen bewirkt wird. Daher kann der Ausschlussverwendung-Luminanzwert Yex so eingestellt werden, dass er so sehr wie möglich verhindert, dass die Pixel von der Bildregion des tatsächlichen Himmels in dem erfassten Bild in dem Himmelregion-Ausschlussbild enthalten sind (in anderen Worten, so dass die Luminanzwerte von allen oder den meisten Pixeln in der Bildregion des tatsächlichen Himmels gleich oder kleiner sind als Yex).
Daher kann das Objekt als ein Kandidat für den lebenden Körper, dessen Temperatur im Verhältnis niedriger ist als die der Hintergrundgegenstände mit höherer Gewissheit aus der weißen Region (eine Region, die aus Pixeln mit niedrigen Luminanzwerten gleich oder niedriger als Yth2) zusammengesetzt ist) in dem zweiten binären Bild extrahiert werden, welches durch Binarisieren von dem Himmelregion-Ausschlussbild gemäß dem zweiten Binarisierungsverwendung-Schwellenwert Vth2 erzeugt wird.
Das Folgende beschreibt einige der Variationen der oben beschriebenen Ausführungsbeispiele.
In den obigen Ausführungsbeispielen wurden die Prozesse von Schritten 6 bis 9 nur durchgeführt, falls das Bestimmungsresultat aus Schritt 5 in 3 zustimmend ist. Die Prozesse von Schritten 6 bis 9 können jedoch normalerweise durchgeführt werden, wobei der Bestimmungsprozess von Schritt 5 weggelassen wird.
Weiterhin können die Prozesse von Schritten 6 bis 9 vor den Prozessen von Schritten 2 bis 4 durchgeführt werden, oder können parallel zu den Prozessen von Schritten 2 bis 4 durchgeführt werden, unter Verwendung einer Mehrzahl von CPUs oder durch Zeit-verteilte Verarbeitung.
Weiterhin kann in dem Bestimmungsprozess von Schritt 5 nur bestimmt werden, ob die Umgebungstemperatur hoch ist, oder nicht.
Zusätzlich wurde das System mit zwei Kameras 11L und 11R, welche die Stereokamera bilden, in den obigen Ausführungsbeispielen als Beispiel beschrieben. Das System kann jedoch nur mit einer Kamera (einer Infrarotkamera) ausgestattet sein. In diesem Fall kann der Abstand zwischen dem Objekt, etwa einem lebenden Körper, in dem Bild, das durch die Kamera aufgenommen wird, und dem eigenen Fahrzeug 1 durch eine andere Distanzmesseinrichtung gemessen werden, etwa eine Radareinrichtung. Alternativ kann die Distanz zwischen dem Objekt und dem eigenen Fahrzeug 1 aus einer zeitlichen Änderungsrate oder dergleichen der Größe von den Bildabschnitt des Objekts in der zeitlichen Entwicklung von dem Bild abgeschätzt werden, das durch die Kamera erfasst wird.
Weiterhin wird in den obigen Ausführungsbeispielen der Bildabschnitt von dem Objekt, dessen Temperatur im Verhältnis höher ist als die Hintergrundgegenstände, durch die Prozesse von Schritten 2 bis 4 extrahiert. Falls zuvor bekannt ist, dass die Temperatur von dem Objekt, das extrahiert werden soll, niedriger ist als die Temperaturen der Gegenstände auf dem Hintergrund des Objekts, kann jedoch der Bildabschnitt von dem Objekt (ein Objekt, das relativ niedrig in der Temperatur ist) durch die Prozesse von Schritten 6 bis 9 extrahiert werden, wobei die Prozesse von Schritten 2 bis 4 weggelassen werden. In diesem Fall kann das Objekt ein anderer physischer Körper als ein lebender Körper sein.
Weiterhin kann der Ausschlussverwendung Luminanzwert Yex ein konstanter Wert in einer Situation sein, in der bekannt ist, dass die Luminanz von der Himmel-Bildregion im Wesentlichen bei einer konstanten Luminanz gehalten wird. Alternativ kann der Ausschlussverwendung-Luminanzwert Yex in geeigneter Weise gemäß einem anderen Parameter als dem repräsentativen Luminanzwert oder dem Bereich von der Himmel-Bildregion variiert werden.
Weiterhin werden in den obigen Ausführungsbeispielen die binären Bilder (das erste binäre Bild und das zweite binäre Bild) erzeugt, bevor der Bildabschnitt von dem Objekt extrahiert wird. Ohne die binären Bilder zu erzeugen ist es jedoch auch möglich, den Bildabschnitt von dem Objekt, etwa einem lebenden Körper oder dergleichen, von der Region zu extrahieren, die aus Pixeln zusammengesetzt ist, die Luminanzwerte haben, die gleich oder höher sind als der erste Binarisierungsverwendung-Schwellenwert YtH1 oder der Region, die aus Pixeln zusammengesetzt ist, welche Luminanzwerte haben, die gleich oder niedriger sind als der zweite Binarisierungsverwendung-Schwellenwert Yth2 in dem Bild, das durch die Kamera 11L oder 11R erfasst wird.
Weiterhin wurde in den obigen Ausführungsbeispielen die Beschreibung durchgeführt, indem ein Beispiel von einem System gegeben wurde, in dem die Objekterkennungseinrichtung 10 und die Kameras 11L und 11R an einem Fahrzeug als montiert sind. Die vorliegende Erfindung ist jedoch auch auf einen Fall anwendbar, in welchem eine Kamera (eine Infrarotkamera) zum Beschaffen eines erfassten Bildes neben einer Straße, an einem Eingang von Anlagen oder anderen gegebenen Orten installiert ist.

Claims

Eine Objekterkennungseinrichtung, welche eine Funktion aufweist, ein Objekt zu erkennen, das in einer Erfassungsregion einer Infrarotkamera vorliegt und im Verhältnis eine niedrigere Temperatur aufweist als eine Hintergrund-Temperatur, auf Basis eines durch die Infrarotkamera erfassten Bildes, wobei die Objekterkennungseinrichtung umfasst: ein Binarisierung-Verarbeitungselement, das dazu konfiguriert ist, Pixel zu klassifizieren, welche erhalten werden, indem Pixel mit Luminanzwerten ausgeschlossen werden, die gleich oder niedriger als ein vorbestimmter Wert sind, was Pixel angibt, auf welche der Himmel in dem erfassten Bild projiziert wird, in Pixel niedriger Luminanz, die Luminanzwerte aufweisen, die gleich oder niedriger sind als ein Binarisierungsverwendung-Schwellenwert, der auf einen Luminanzwert eingestellt ist, der höher ist als der vorbestimmte Wert, und in Pixel hoher Luminanz, welche Luminanzwerte aufweisen, die höher sind als der Binarisierungsverwendung-Schwellenwert, und ein Objektbild-Extraktionselement, das dazu konfiguriert ist, einen Bildabschnitt des Objekts aus einer Bildregion zu extrahieren, die aus den Pixeln niedriger Luminanz in dem erfassten Bild zusammengesetzt ist.
Die Objekterkennungseinrichtung nach Anspruch 1, weiter umfassend ein Ausschlussverwendung-Luminanzwert-Einstellelement, das dazu konfiguriert ist, den vorbestimmten Wert so einzustellen, dass der vorbestimmte Wert variiert wird, gemäß einem Bereich der Bildregion, auf welche der Himmel projiziert wird, oder einem repräsentativen Luminanzwert der Bildregion in dem erfassten Bild.
Die Objekterkennungseinrichtung nach Anspruch 2, wobei das Ausschlussverwendung-Luminanzwert-Einstellelement dazu konfiguriert ist, den vorbestimmten Wert auf einen größeren Wert einzustellen, wenn der Bereich der Bildregion, auf welche der Himmel projiziert ist, größer ist, oder wenn der repräsentative Luminanzwert der Bildregion größer ist.
Die Objekterkennungseinrichtung nach Anspruch 1, wobei das Binarisierung-Verarbeitungselement ein Binarisierungsverwendung-Schwellenwert-Einstellelement umfasst, das dazu konfiguriert ist, den Binarisierungsverwendung-Schwellenwert auf Basis von einem Histogramm einzustellen, welches eine Beziehung zwischen Luminanzwerten und einer Anzahl von Pixeln in einer Bildregion repräsentiert, die aus Pixeln zusammengesetzt ist, welche erhalten werden indem die Pixel ausgeschlossen werden, die Luminanzwerte aufweisen, welche gleich oder kleiner als der vorbestimmten Wert sind, in dem erfassten Bild.