DE112010006014T5

DE112010006014T5 - Umweltschätzungsvorrichtung und Fahrzeugsteuerungssystem

Info

Publication number: DE112010006014T5
Application number: DE112010006014T
Authority: DE
Inventors: Tatsuya Mitsugi
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2010-11-19
Filing date: 2010-11-19
Publication date: 2013-08-14
Also published as: JP5501477B2; WO2012066609A1; US20130116857A1; US9262817B2; JPWO2012066609A1

Abstract

Eine Umweltschätzungsvorrichtung enthält eine Bildregion-Aufteileinheit (3) zum Aufteilen eines mit einer Fahrzeugkamera aufgenommenen Kamerabildes in eine Vielzahl von Bildregionen, eine Kamerabildinformations-Extrahiereinheit (4) zum Extrahieren, aus einer Bildregion, die den Himmel aufgenommen hat und unter der Vielzahl der der Aufteilung durch die Bildregion-Aufteileinheit unterzogenen Bildbereiche akquiriert wird, einer Bildinformation, die Merkmale der Bildregion angibt, und eine Umweltschätzungseinheit (5) zum Schätzen, aus der durch die Kamerabildinformations-Extrahiereinheit (4) extrahierten Bildinformation, des Wetters oder einer Lichtintensität einer Umgebungsumwelt durch Referenzieren entsprechender Daten, die die Zuordnung zwischen den Merkmalen der Bildregion und dem Wetter oder der Lichtintensität der Umgebungsumwelt angeben.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Umweltschätzungsvorrichtung zum Schätzen der Umgebungsumwelt eines Fahrzeugs oder dergleichen aus einem Kamerabild, das mit einer in dem Fahrzeug oder dergleichen installierten Kamera aufgenommen worden ist, und ein die Vorrichtung verwendendes Fahrzeugsteuerungssystem.
HINTERGRUNDTECHNIK
Eine an einem Fahrzeug befestigte Fahrzeugkamera wird verwendet zum Erfassen eines Hindernisses außerhalb des Autos aus einem Kamerabild und zur Einparkunterstützung. Außerdem ist es möglich, von einem Bild der Fahrzeugkamera eine Beleuchtungsstärkeninformation zu akquirieren, die die Helligkeit in dem Abbildungsbereich angibt, und die Lichtintensität bei dem Standort des Fahrzeugs aus der durch die Beleuchtungsstärkeninformation bestimmten Beleuchtungsstärke des gesamten Schirms zu bestimmen. Die Verwendung des Entscheidungsergebnisses ermöglicht ein automatisches An- und Ausschalten der Lichter.
Beispielsweise offenbart Patentdokument 1 eine Auto-Lichtvorrichtung mit einer Abbildungsvorrichtung zum Aufnehmen eines Bildes vor dem Fahrzeug und einer Lichtsteuervorrichtung zum Ausführen einer Lichtsteuerung zum An- oder Ausschalten der Lichter in Übereinstimmung mit dem mit der Abbildungsvorrichtungen aufgenommenen Bild. Die Vorrichtung wählt das Abschalten der Lichter aus, wenn die Helligkeit (cd/m²) vor dem Fahrzeug nicht kleiner als ein voreingestellter Pegel 1 (erster Referenzwert) ist, und das Anschalten der Begrenzungsleuchten bzw. des Standlichts, wenn die Helligkeit größer als ein voreingestellter Pegel 2 (zweiter Referenzwert) ist aber kleiner als der Pegel 1 ist. Wenn die Helligkeit kleiner als der Pegel 2 ist, wählt sie aus, die Frontscheinwerfer anzuschalten.
DOKUMENT DES STANDES DER TECHNIK
PATENTDOKUMENT

Patentdokument 1: Offengelegtes japanisches Patent Nr. 2010-6172

OFFENBARUNG DER ERFINDUNG
Die durch das Patentdokument 1 typifizierte konventionelle Technik setzt eine Region zum Bestimmen der Helligkeit in dem Kamerabild in Übereinstimmung mit einem Fahrzustand des Fahrzeugs oder Umweltbedingungen um das Fahrzeug herum. Demgemäß erfordert sie Sensoren zum Erfassen einer Fahrzeuginformation, so wie die Geschwindigkeit und der Lenkwinkel des Fahrzeugs, als der Fahrzustand des Fahrzeugs. Außerdem muss sie Umweltbedingungen um das Fahrzeug herum spezifizieren durch Erkennen der Anwesenheit oder des Fehlens eines vorangehenden Fahrzeugs und der Fahrspur aus dem Kamerabild.
Somit erfordert die konventionelle Technik die Sensoren zum Erfassen der Fahrzeuginformation und einen spezifischen Bilderkennungs-Verarbeitungschip, wodurch sie ein Problem birgt, dass sich ihre Ausgestaltung verkompliziert und die Komponentenanzahl sich erhöht.
Die vorliegende Erfindung wird realisiert, um die vorhergehenden Probleme zu lösen. Deshalb ist es eine Aufgabe der vorliegenden Erfindung, eine Umweltschätzungsvorrichtung bereitzustellen, die fähig ist zum Schätzen, durch eine einfache Ausgestaltung, einer Umgebungsumwelt, die ein mit einem Kamerabild aufzunehmendes Subjekt ist. Außerdem ist eine andere Aufgabe der vorliegenden Erfindung, ein Fahrzeugsteuerungssystem zum Steuern der Operation einer Bordausrüstung in Übereinstimmung mit der durch die Umweltschätzungsvorrichtung geschätzten Umgebungsumwelt bereitzustellen.
EINRICHTUNGEN ZUM LÖSEN DER PROBLEME
Eine Umweltschätzungsvorrichtung gemäß der vorliegenden Erfindung umfasst: eine Bildregion-Aufteileinheit zum Aufteilen eines mit einer Abbildungseinheit aufgenommenen Aufnahmebildes in eine Vielzahl von Bildregionen; eine Informationsextrahiereinheit zum Extrahieren, aus einer Bildregion, die den Himmel aufgenommen hat und aus der Vielzahl der der Aufteilung durch die Bildregion-Aufteileinheit unterzogenen Bildbereiche akquiriert wird, einer Bildinformation, die Merkmale der Bildregion angibt; und eine Umweltschätzungseinheit zum Schätzen, aus der durch die Informationsextrahiereinheit extrahierten Bildinformation, eines Wetters oder einer Lichtintensität einer Umgebungsumwelt durch Referenzieren entsprechender Daten, die eine Zuordnung zwischen den Merkmalen der Bildregion und dem Wetter oder der Lichtintensität der Umgebungsumwelt angeben.
VORTEILE DER VORLIEGENDEN ERFINDUNG
Gemäß der vorliegenden Erfindung bietet sie einen Vorteil, dass sie fähig ist zum Schätzen der Umgebungsumwelt des Subjektes aus dem Kamerabild durch eine einfache Ausgestaltung.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm, das eine Ausgestaltung eines Fahrzeugsteuerungssystems mit Verwendung einer Umweltschätzungsvorrichtung einer Ausführungsform 1 gemäß der vorliegenden Erfindung zeigt.
2 ist ein Diagramm, das ein Beispiel einer Aufteilverarbeitung eines Kamerabildes in der Ausführungsform 1 zeigt.
3 ist eine Tabelle, die eine Zuordnung der Durchschnittsbeleuchtungsstärke einer Bildregion zu dem Beleuchtungsstärkenzustand der Umgebungsumwelt und zu dem Inhalt des Fahrzeugsignals an Fahrzeuglichter zeigt.
4 ist ein Flussdiagramm, das einen Fluss einer Umweltschätzung und einer Fahrzeugsteuerung der Ausführungsform 1 zeigt.
5 ist ein Blockdiagramm, das eine Ausgestaltung eines Fahrzeugsteuerungssystems mit Verwendung einer Umweltschätzungsvorrichtung einer Ausführungsform 2 gemäß der vorliegenden Erfindung zeigt.
6 ist ein Flussdiagramm, das einen Fluss der Umweltschätzung und der Fahrzeugsteuerung der Ausführungsform 2 zeigt.
7 ist eine Tabelle, die ein Beispiel der Zuordnung des Farbwertes, Farbtons und Farbzustands einer Bildregion zu einer Umgebungsumwelt und dem Inhalt eines Fahrzeugsignals an Fahrzeuglichter zeigt.
8 ist ein Blockdiagramm, das eine Ausgestaltung eines Fahrzeugsteuerungssystems mit Verwendung einer Umweltschätzungsvorrichtung einer Ausführungsform 3 gemäß der vorliegenden Erfindung zeigt.
9 ist eine Tabelle, die ein Beispiel der Zuordnung der Durchschnittsbeleuchtungsstärke jeder Rechteckbildregion zu einer Umgebungsumwelt und dem Inhalt des Fahrzeugsignals zeigt.
10 ist ein Flussdiagramm, das einen Fluss der Umweltschätzung und der Fahrzeugsteuerung der Ausführungsform 3 zeigt.
11 ist ein Diagramm, das eine Abänderung eines Subjektes auf einer Projektionsebene aufgrund von Regentropfen oder eines Regenfilms veranschaulicht.
12 ist ein Blockdiagramm, das eine Ausgestaltung eines Fahrzeugsteuerungssystems mit Verwendung einer Umweltschätzungsvorrichtung einer Ausführungsform 4 gemäß der vorliegenden Erfindung zeigt.
13 ist ein Diagramm, das ein Beispiel einer Aufteilverarbeitung eines Kamerabildes in der Ausführungsform 4 zeigt.
14 ist ein Flussdiagramm, das einen Fluss der Umweltschätzung und des Fahrzeugsteuerungssystems der Ausführungsform 4 zeigt.
BESTER MODUS ZUM AUSFÜHREN DER ERFINDUNG
Der beste Modus zum Ausführen der Erfindung wird nun mit Verweis auf die begleitenden Zeichnungen beschrieben werden, um die vorliegende Erfindung in größerem Detail zu erläutern.
AUSFÜHRUNGSFORM 1
1 ist ein Blockdiagramm, das eine Ausgestaltung eines Fahrzeugsteuerungssystems mit Verwendung der Umweltschätzungsvorrichtung einer Ausführungsform 1 gemäß der vorliegenden Erfindung zeigt. In 1 umfasst das Fahrzeugsteuerungssystem 1 der Ausführungsform 1, das ein Steuersystem zum Steuern der Operation einer Bordausrüstung ist, eine Umweltschätzungsvorrichtung 2 und eine Fahrzeugsignal-Steuereinheit 6. Außerdem umfasst die Umweltschätzungsvorrichtung 2, die eine Vorrichtung ist zum Schätzen einer Umgebungsumwelt des Fahrzeugs aus einem Kamerabild (Aufnahmebild), das mit einer Fahrzeugkamera (Abbildungseinheit) aufgenommen worden ist, eine Bildregion-Aufteileinheit 3, eine Kamerabildinformations-Extrahiereinheit (Informationsextrahiereinheit) 4 und eine Umweltschätzungseinheit 5. Übrigens ist die Fahrzeugkamera eine an dem Fahrzeug derart fixierte Kamera, um zu ermöglichen, dass ihr Abbildungsbereich als ein Subjekt einen Teil einer Ansicht mit einem bestimmten Attribut (so wie der Himmel) unter Ansichten außerhalb des Fahrzeugs enthält.
Die Bildregion-Aufteileinheit 3 ist eine Komponente zum Aufteilen eines mit der Fahrzeugkamera aufgenommenen Kamerabildes in vorgeschriebene Bildregionen. Beispielsweise ist eine X-Achse der Horizontalrichtung (Rechts- und Links-Richtung) eines Schirms zugewiesen, der das Kamerabild anzeigt, und eine Y-Achse ist der Vertikalrichtung (Hoch- und Runter-Richtung) davon zugewiesen, und eine Vielzahl von Rechteckbildregionen wird definiert durch Tätigen von Aufteilungen mit einer vorgeschriebenen Größe in den XY-Achsen-Richtungen. Übrigens wird es in der vorliegenden Ausführungsform 1 angenommen, dass wenigstens eine der Rechteckbildregionen, in die das Kamerabild aufgeteilt wird, den Himmel in dem Abbildungsbereich enthält. Was die Fahrzeugkamera gemäß der vorliegenden Erfindung betrifft, ist mit anderen Worten eine Kamera, die einen vorgeschriebenen Vertikalblickwinkel hat, befestigt, um den Himmel als ihr Subjekt zu enthalten, durch Einstellen der Befestigungshöhe der Kamera, ihres horizontalen Befestigungswinkels, vertikalen Befestigungswinkels und der Verschiebung von der Mittellinie des Fahrzeugs.
Die Kamerabildinformations-Extrahiereinheit 4, die eine Komponente zum Extrahieren einer Kamerabildinformation aus den Bildregionen ist, die der Aufteilung durch die Bildregion-Aufteileinheit 3 unterzogen werden, umfasst eine Einzelregion-Luminanzinformations-Extrahiereinheit 41. Der in der vorliegenden Erfindung erwähnte Begriff ”Kamerabildinformation” enthält eine Forminformation, Luminanzinformation und Farbinformation über ein Subjekt des Kamerabildes. Die Einzelregion-Luminanzinformations-Extrahiereinheit 41 ist eine Komponente zum Extrahieren, als Luminanzinformation, der Durchschnittsbeleuchtungsstärke, die erhalten wird durch Mitteln der Beleuchtungsstärke von Pixel in Bildregionen, die den Himmel als das Subjekt enthalten, unter der Vielzahl von durch die Bildregion-Aufteileinheit 3 bereitgestellten Bildregionen.
Die Umweltschätzungseinheit 5 ist eine Komponente zum Schätzen der Umgebungsumwelt des Fahrzeugs aus der durch die Kamerabildinformations-Extrahiereinheit 4 extrahierten Kamerabildinformation. In der Ausführungsform 1 schätzt die Umweltschätzungseinheit 5 hinsichtlich dessen, ob die Umgebungsumwelt am Ort des Fahrzeugs hell oder dunkel ist, aus einem Ergebnis eines Vergleichs der Durchschnittsbeleuchtungsstärke der Bildregionen, die den Himmel als das Subjekt enthalten, die durch die Einzelregion-Luminanzinformations-Extrahiereinheit 41 extrahiert wird, mit der vorgeschriebenen Schwelle um die Beleuchtungsstärke des Bildes.
Die Fahrzeugsignal-Steuereinheit 6 ist eine Komponente zum Steuern der Operation der Bordausrüstung des Fahrzeugs in Übereinstimmung mit dem Schätzergebnis der Umgebungsumwelt durch die Umweltschätzungseinheit 5. In Übereinstimmung mit dem Schätzergebnis durch die Umweltschätzungseinheit 5 hinsichtlich dessen, ob die Umgebungsumwelt des Fahrzeugs hell oder dunkel ist, erzeugt die Ausführungsform 1 ein Fahrzeugsteuerungssignal zum Betreiben der Bordausrüstung auf solch eine Weise, um den Fahrzeugzustand adaptiv auf die Umgebungsumwelt zu machen. Wenn beispielsweise geschätzt wird, dass die Umgebungsumwelt des Fahrzeugs dunkel ist, beliefert sie eine Fahrzeug-ECU (Electric Control Unit) mit dem Fahrzeugsteuerungssignal zum Anschalten der Fahrzeuglichter. Mit Empfangen des Fahrzeugsteuerungssignals betreibt die Fahrzeug-ECU die Bordausrüstung entsprechend dem Fahrzeugsteuerungssignal.
Obwohl 1 eine Konfiguration zeigt, die das Fahrzeugsteuerungssystem 1 der Ausführungsform 1 separat von der Fahrzeug-ECU umfasst, ist übrigens eine Ausgestaltung auch möglich, die das System 1 als eine funktionale Komponente der Fahrzeug-ECU enthält.
Was die Bildregion-Aufteileinheit 3, Kamerabildinformations-Extrahiereinheit 4, Umweltschätzungseinheit 5 und Fahrzeugsignal-Steuereinheit 6 betrifft, sind sie außerdem als eine konkrete Vorrichtung realisiert, die Software und Hardware aufnehmen, durch Veranlassen eines das Fahrzeugsteuerungssystem 1 bildenden Computers oder einer Fahrzeug-ECU, eine Umweltschätzung und Fahrzeugsteuerprogramme in Konformität mit dem Zweck der vorliegenden Erfindung auszuführen.
2 ist ein Diagramm, das ein Beispiel der Aufteilverarbeitung eines Kamerabildes der Ausführungsform 1 zeigt. Das in 2 gezeigte Kamerabild ist ein Bild, das mit einer Frontkamera aufgenommen worden ist, die den Horizontalblickwinkel von 180 Grad und den Vertikalblickwinkel von 150 Grad hat, und ist auf der Mittellinie des Fahrzeugs bei der Befestigungshöhe von 200 mm, dem horizontalen Befestigungswinkel von 0 Grad und dem vertikalen Befestigungswinkel von 30 Grad fixiert, so dass die Frontrichtung des Fahrzeugs in den Abbildungsbereich gelangt. In dem Beispiel von 2 weist die Bildregion-Aufteileinheit 3 die X-Achse der Horizontalrichtung (Rechts- und Links-Richtung) des das Kamerabild zeigenden Schirms und die Y-Achse der Vertikalrichtung (Hoch- und Runter-Richtung) davon zu und teilt das Bild in drei Abschnitte mit vorgeschriebenen Größen in den XY-Achsen-Richtungen auf, wodurch Bildregionen (XY = 11–33) definiert werden. Genauer genommen teilt sie die X-Achse-Richtung des Kamerabildes in drei Teile der linken Rechteckregion (X = 1), mittleren Rechteckregion (X = 2) und rechten Rechteckregion (X = 3) auf und teilt die Y-Achse-Richtung in drei Teile der oberen Rechteckregion (Y = 1), zentralen Rechteckregion (Y = 2) und unteren Rechteckregion (Y = 3) auf, wodurch das Bild in neun Bildregionen insgesamt aufgeteilt wird.
Hier zeigt 2 ein Kamerabild, wenn das Fahrzeug sich in einer Stadt bewegt. Das Subjekt der Fahrzeugkamera enthält ”Bodenobjekte”, so wie Stadtgebäude und Strukturen und Bäume, ”der Himmel”, der eine naturgegebene Ansicht ist, und ”der Boden”, der die Fahrstraße zeigt. Die Hauptsubjekte in jeder Bildregion sind wie folgt: Die Region (XY = 11) hat ”Bodenobjekte und der Himmel”, da darin ein Teil der Gebäude und des Himmels erscheinen, die Region (XY = 21) hat ”der Himmel”, und die Region (XY = 31) hat ”Bodenobjekte und der Himmel”, da Bäume und der Himmel darin erscheinen; die Region (XY = 12) hat ”Bodenobjekte”, die Region (XY = 22) hat ebenso ”Bodenobjekte”, und die Region (XY = 32) hat ”Bodenobjekte”; und die Region (XY = 13) hat ”Bodenobjekte und der Boden”, die Region (XY = 23) hat ”der Boden”, und die Region (XY = 33) hat ”Bodenobjekte und der Boden”.
Wenn das Fahrzeug in einer Gebirgeregion fährt, enthält ein Subjekt der Fahrzeugkamera ”Gebirge” und ”der Himmel”, die eine naturbedingte Ansicht sind, und ”der Boden”, der die Fahrstraße zeigt. Wenn beispielsweise das Fahrzeug entlang eines Bergpfades fährt und ein Gebirge entfernt in der Fahrtrichtung des Fahrzeugs gesehen wird, sind die Hauptsubjekte in jeder Bildregion wie folgt: die Region (XY = 11) hat ”Gebirge und der Himmel”, die Region (XY = 21) hat ”der Himmel”, und die Region (XY = 31) hat ”Gebirge und der Himmel”; die Region (XY = 12) hat das ”Gebirge”, die Region (XY = 22) hat ”Gebirge und der Himmel”, und die Region (XY = 32) hat ”Gebirge und der Himmel”; und die Region (XY = 13) hat ”der Boden”, die Region (XY = 23) hat ”der Boden” und die Region (XY = 33) hat ”der Boden”.
Ferner enthält ein Subjekt der Fahrzeugkamera, wenn das Fahrzeug in einer von Städten unterschiedlichen Ebene fährt (so wie eine Grasebene ohne irgendein Gebäude) eine ”Ebene”, so wie eine Grasebene, und ”der Himmel”, die eine naturbedingte Ansicht sind, und ”der Boden”, der die Fahrstraße angibt. Wenn beispielsweise das Fahrzeug entlang einer durch eine Ebene passierenden Straße fährt, sind die Hauptsubjekte in jeder Bildregion wie folgt: die Region (XY = 11) hat ”der Himmel”, die Region (XY = 21) hat ”der Himmel”, und die Region (XY = 31) hat ”der Himmel”; die Region (XY = 12) hat die ”Ebene”, die Region (XY = 22) hat ”Ebene und der Himmel und die Region (XY = 32) hat die ”Ebene”; und die Region (XY = 13) hat ”der Boden”, die Region (XY = 23) hat ”der Boden” und die Region (XY = 33) hat ”der Boden”.
Somit werden die Chancen erhöht, dass das Bild den Himmel als ein Subjekt enthält, durch Setzen der Fahrzeugkamera derart, dass sie ein Blickfeld hat, das es ihr ermöglichen wird, über eine Umgebungsansicht des Fahrzeugs in einer vorgeschriebenen Richtung von einer Distanz hinaus zu sehen, ohne die Bildaufnahmerichtung übermäßig in Richtung des Bodens zu drehen, und durch wiederholtes kontinuierliches oder periodisches Aufnehmen eines Bildes, während das Fahrzeug draußen fährt. Beispielsweise ist es in 2 wahrscheinlich, dass die obere Rechteckregion (Y = 1), die eine Ansicht oberhalb des Fahrzeugs aufnehmen wird, den Himmel als ein Subjekt enthält. Übrigens wird eine gewöhnliche Fahrzeugkamera derart gesetzt, dass sie ein Blickfeld hat, dass ein Hinaussehen über eine Front-, Rück- oder Seitenansicht des Fahrzeugs von einer Distanz ermöglicht wird.
Somit definiert die Ausführungsform 1 wenigstens eine der Bildregionen (XY = 11, 21, 31) in der oberen Rechteckregion (Y = 1) als eine Bildregion, die den Himmel als ein Subjekt enthält.
3 ist eine Tabelle, die eine Zuordnung der Durchschnittsbeleuchtungsstärke einer Bildregion mit dem Beleuchtungsstärkenzustand der Umgebungsumwelt und dem Inhalt des Fahrzeugsignals an die Fahrzeuglichter zeigt. In 3 ist eine Schwelle ILL_a die niedrigste Grenze der Durchschnittsbeleuchtungsstärke, die die Helligkeit angibt, die ein Ausschalten der Fahrzeuglichter erlaubt, und in der Umgebungsschätzungseinheit 5 gesetzt wird. Außerdem speichert die Umgebungsschätzungseinheit 5 Daten, die die in 3 gezeigte Zuordnung zwischen der Durchschnittsbeleuchtungsstärke und dem Beleuchtungsstärkenzustand zeigen. Was die Daten betrifft, die die in 3 gezeigte Zuordnung zwischen dem Beleuchtungsstärkenzustand und dem Inhalt des Fahrzeugsignals zeigen, werden sie in der Fahrzeugsignal-Steuereinheit 6 gesetzt. Wenn der Beleuchtungsstärkenzustand ”niedrig” ist, d. h. wenn die Umgebungen des Fahrzeugs dunkel sind, wird das Fahrzeugsignal ILL, das zum Anschalten der Fahrzeuglichter anweist, an gemacht. Wenn im Gegensatz dazu der Beleuchtungsstärkenzustand ”hoch” ist, d. h. wenn die Umgebungen des Fahrzeugs hell sind, wird das Fahrzeugsignal ILL, das die Fahrzeuglichter zum Anschalten anweist, aus gemacht.
Als Nächstes wird die Operation beschrieben werden.
4 ist ein Flussdiagramm, das einen Fluss der Umweltschätzung und Fahrzeugsteuerung in der Ausführungsform 1 zeigt. Mit Verweis auf 4 werden die Umweltschätzungsverarbeitung und die Fahrzeugsteuerungsverarbeitung im Detail beschrieben werden. Was die Ausgestaltung des Systems betrifft, werden wir übrigens auf 1 verweisen.
Zuerst erfasst die Einzelregion-Luminanzinformations-Extrahiereinheit 41 der Kamerabildinformations-Extrahiereinheit 4 die Durchschnittsbeleuchtungsstärke E, die erhalten wird durch Mitteln der Beleuchtungsstärke der Pixel in der Bildregion, von der Bildregion (”der Himmel”-Region), die den Himmel als ein Subjekt enthält, unter der Vielzahl von Bildregionen, die von der Bildregion-Aufteileinheit 3 akquiriert worden sind (Schritt ST1). In dem Kamerabild der Fahrzeugkamera wird hier der Teil der Bildregionen, der der oberen Rechteckregion (Y = 1) von 2 entspricht, als die Bildregion identifiziert, die den Himmel als ein Subjekt enthält. Im Folgenden wird angenommen, dass die Einzelregion-Luminanzinformations-Extrahiereinheit 41 in der oberen Rechteckregion (Y = 1) die Region (XY = 21), die den Himmel als ihr Hauptsubjekt hat, als die Bildregion identifiziert, die den Himmel als ein Subjekt enthält, und die Durchschnittsbeleuchtungsstärke E dieser Region erfasst.
Die Durchschnittsbeleuchtungsstärke E der Bildregion (Region (XY = 21)), die den Himmel als ein Subjekt enthält, von der Einzelregion-Luminanzinformations-Extrahiereinheit 41 empfangend, entscheidet die Umweltschätzungseinheit 5 hinsichtlich dessen, ob die Durchschnittsbeleuchtungsstärke E geringer als eine vorgeschriebene Schwelle ILL_a ist oder nicht (Schritt ST2). Falls die Durchschnittsbeleuchtungsstärke E nicht geringer als die vorgeschriebene Schwelle ILL_a ist (NEIN bei Schritt ST2), schätzt die Umweltschätzungseinheit 5 aus dem Vergleichsentscheidungsergebnis, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs hell ist, durch Referenzieren der Daten, die die Zuordnung zwischen der Durchschnittsbeleuchtungsstärke und dem Beleuchtungsstärkenzustand, in 3 gezeigt, angeben, und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST3).
Das Schätzungsergebnis des Beleuchtungsstärkenzustands (hoch), das angibt, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs hell ist, empfangend, beliefert die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Ausschalten der Fahrzeuglichter durch Referenzieren der Daten, die die in 3 gezeigte Zuordnung zwischen dem Beleuchtungsstärkenzustand und dem Inhalt des Fahrzeugsignals angeben, in Übereinstimmung mit dem Schätzungsergebnis. Somit schaltet die Fahrzeug-ECU die Fahrzeugbeleuchtung in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 aus (Schritt ST4).
Falls andererseits die Durchschnittsbeleuchtungsstärke E geringer als die vorgeschriebene Schwelle ILL_a ist (JA bei Schritt ST2), schätzt die Umweltschätzungseinheit 5 aus dem Vergleichsentscheidungsergebnis, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs dunkel ist, durch Referenzieren der Daten, die die in 3 gezeigte Zuordnung zwischen der Durchschnittsbeleuchtungsstärke und dem Beleuchtungsstärkenzustand angeben, und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST5).
Das Schätzungsergebnis des Beleuchtungsstärkenzustands (niedrig), das angibt, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs dunkel ist, empfangend, beliefert die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Anschalten der Fahrzeuglichter durch Referenzieren der Daten, die die in 3 gezeigte Zuordnung zwischen dem Beleuchtungsstärkenzustand und dem Inhalt des Fahrzeugsignals angeben, in Übereinstimmung mit dem Schätzungsergebnis. Die Fahrzeug-ECU schaltet die Fahrzeugbeleuchtung in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 an (Schritt ST6).
Wenn die Verarbeitung bei Schritt ST4 oder ST6 terminiert, kehrt die Verarbeitung zum Schritt ST1 zurück, um die vorhergehende Verarbeitung zu wiederholen, um die Änderung der Lichtintensität des Himmels zu überwachen und um die Bordausrüstung (Fahrzeuglichter) gemäß der Änderung zu steuern.
In der Umgebungsschätzungsverarbeitung bei Schritt ST2 ist es übrigens auch möglich, die Schwelle ILL_a für die Durchschnittsbeleuchtungsstärke E als eine erste Schwelle zu setzen, und eine Schwelle ILL_b, die kleiner als die Schwelle ILL_a ist, als eine zweite Schwelle zu setzen, und die Lichtintensität in größerem Detail mit Verwendung des durch die ersten und zweiten Schwellen definierten Beleuchtungsstärkenbereichs zu schätzen.
Falls beispielsweise die Durchschnittsbeleuchtungsstärke E nicht geringer als die Schwelle ILL_a ist, wird eine Schätzung gemacht, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs hell ist, und alle Lichter des Fahrzeugs werden ausgeschaltet. Falls die Durchschnittsbeleuchtungsstärke E niedriger als die Schwelle ILL_b ist, wird eine Schätzung gemacht, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs dunkel ist, und unter den Fahrzeuglichtern werden die Frontscheinwerfer angeschaltet. Falls außerdem die Durchschnittsbeleuchtungsstärke E niedriger als die Schwelle ILL_a und nicht niedriger als die Schwelle ILL_b ist, wird eine Schätzung gemacht, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs eher hell ist, und unter den Fahrzeuglichtern werden die Begrenzungslichter angeschaltet.
Wie oben beschrieben, umfasst gemäß der vorliegenden Ausführungsform 1 sie die Bildregion-Aufteileinheit 3 zum Aufteilen eines mit der Fahrzeugkamera aufgenommenen Kamerabildes in eine Vielzahl von Bildregionen; die Kamerabildinformations-Extrahiereinheit 4 zum Extrahieren, aus einem Bildbereich, der den Himmel aufgenommen hat, der Bildinformation, die Merkmale der Bildregion angibt, unter der Vielzahl von Bildregionen, die der Aufteilung durch die Bildregion-Aufteileinheit 3 unterzogen werden; und die Umweltschätzungseinheit 5 zum Schätzen des Wetters oder Lichtintensität in der Umgebungsumwelt durch Referenzieren der entsprechenden Daten, die die Zuordnung zwischen den Merkmalen der Bildregion und dem Wetter oder der Lichtintensität in der Umgebungsumwelt angeben, gemäß der durch die Kamerabildinformations-Extrahiereinheit 4 extrahierten Bildinformation.
Im Besonderen extrahiert die Kamerabildinformations-Extrahiereinheit 4, aus der Bildregion, die den Himmel aufgenommen hat, ihre Luminanzinformation, und die Umweltschätzungseinheit 5 schätzt die Lichtintensität in der Umgebungsumwelt durch Referenzieren der entsprechenden Daten, die die Zuordnung zwischen der Luminanzinformation über die Bildregion und der Lichtintensität in der Umgebungsumwelt angeben, in Übereinstimmung mit der durch die Kamerabildinformations-Extrahiereinheit 4 extrahierten Luminanzinformation.
Da die Bildregion, die den Himmel als ein Subjekt enthält, auf diese Weise als die Bildregion bei einer festen Position unter der Vielzahl von Bildregionen identifiziert werden kann, die durch Aufteilen des Kamerabildes der Fahrzeugkamera akquiriert worden sind, die fest in dem Fahrzeug installiert ist, macht eine Verwendung der Durchschnittsbeleuchtungsstärke E der Bildregion es möglich, die Lichtintensität in der Umgebungsumwelt des Fahrzeugs zu schätzen. Dies kann der Notwendigkeit eines dedizierten Beleuchtungsstärkensensors oder eines Bilderkennungschips vorbeugen und kann die Umgebungsumwelt des Fahrzeugs durch eine einfache Ausgestaltung schätzen.
AUSFÜHRUNGSFORM 2
5 ist ein Blockdiagramm, das eine Ausgestaltung eines Fahrzeugsteuerungssystems mit Verwendung der Umweltschätzungsvorrichtung einer Ausführungsform 2 gemäß der vorliegenden Erfindung zeigt. In 5 umfasst das Fahrzeugsteuerungssystem 1A der Ausführungsform 2, das ein Steuersystem zum Steuern der Operation der Bordausrüstung ist, eine Umweltschätzungsvorrichtung 2a und die Fahrzeugsignal-Steuereinheit 6. Außerdem umfasst die Umweltschätzungsvorrichtung 2a, die eine Vorrichtung zum Schätzen der Umweltumgebung des Fahrzeugs aus einem mit der Fahrzeugkamera aufgenommenen Kamerabild ist, die Bildregion-Aufteileinheit 3, eine Kamerabildinformations-Extrahiereinheit 4a und eine Umweltschätzungseinheit 5a. Übrigens sind in 5 dieselben Komponenten wie diese von 1 mit denselben Bezugszeichen bezeichnet, und ihre Beschreibung wird weggelassen werden.
Die Kamerabildinformations-Extrahiereinheit 4a, die eine Komponente zum Extrahieren einer Kamerabildinformation aus Bildregionen ist, die der Aufteilung durch die Bildregion-Aufteileinheit 3 unterzogen werden, hat eine Einzelregion-Farbinformations-Extrahiereinheit 42. Die Einzelregion-Farbinformations-Extrahiereinheit 42 ist eine Komponente zum Extrahieren, als eine Farbinformation von der Bildregion, die den Himmel als ein Subjekt enthält, unter der Vielzahl von Bildregionen, die durch die Bildregion-Aufteileinheit 3 erhalten worden sind, des Durchschnittfarbwertes H, der erhalten wird ist durch Mitteln der Farbwerte (Engl.: hues) der Pixel in der Bildregion, der Durchschnittsättigung S, die erhalten worden ist durch Mitteln der Sättigung der Pixel, und des Mittelwertes V, der erhalten worden ist durch Mitteln der Werte der Pixel.
Die Umweltschätzungseinheit 5a ist eine Komponente zum Schätzen der Umgebungsumwelt des Fahrzeugs aus der durch die Kamerabildinformations-Extrahiereinheit 4a extrahierten Kamerabildinformation. In der Ausführungsform 2 schätzt die Umweltschätzungseinheit 5a die Umgebungsumwelt bei dem Ort des Fahrzeugs aus Vergleichsergebnissen des Durchschnittfarbwertes H, der Durchschnittsättigung S und des Mittelwertes V in der Bildregion, die den Himmel als ein Subjekt enthält, extrahiert durch die Einzelregion-Farbinformations-Extrahiereinheit 42, mit vorgeschriebenen Schwellen, die sie betreffen.
Als Nächstes wird die Operation beschrieben werden.
6 ist ein Flussdiagramm, das einen Fluss der Umweltschätzung und der Fahrzeugsteuerung in der Ausführungsform 2 zeigt. Mit Verweis auf 6 werden die Umweltschätzungsverarbeitung und die Fahrzeugsteuerungsverarbeitung im Detail beschrieben werden. Was die Ausgestaltung des Systems betrifft, werden wir übrigens auf 5 verweisen.
Zuerst erfasst die Einzelregion-Farbinformations-Extrahiereinheit 42 der Kamerabildinformations-Extrahiereinheit 4a aus der Bildregion, die den Himmel als ein Subjekt enthält, unter der Vielzahl von Bildregionen, die erhalten worden sind durch die Bildregion-Aufteileinheit 3, den Durchschnittsfarbwert H, der erhalten worden ist durch Mitteln der Farbwerte der Pixel in der Bildregion, die Durchschnittsättigung S, die erhalten worden ist durch Mitteln der Sättigung der Pixel, und den Mittelwert V, der erhalten worden ist durch Mitteln der Werte der Pixel (Schritt ST1a). Unter den Kamerabildern der Fahrzeugkamera wird hier der obere Rechteckbereich (Y = 1) von 2, in der vorhergehenden Ausführungsform 1 gezeigt, als die Bildregion identifiziert, die den Himmel als ein Subjekt enthält.
Den Durchschnittsfarbwert H, die Durchschnittsättigung S und den Mittelwert V der Bildregion, die den Himmel als ein Subjekt enthält, von der Einzelregion-Farbinformations-Extrahiereinheit 42 empfangend, entscheidet die Umweltschätzungseinheit 5a hinsichtlich dessen, ob der Durchschnittsfarbwert H in einem vorgeschriebenen Farbwertbereich H_a (Farbwertbereich größer als 170 Grad und niedriger als 250 Grad) ist oder nicht (Schritt ST2a-1). Außerdem entscheidet die Umweltschätzungseinheit 5a hinsichtlich dessen, ob die Durchschnittsättigung S größer als eine vorgeschriebene Sättigungsschwelle S_a (50 in dem Beispiel von 6) ist oder nicht (Schritt ST2a-2). Weiterhin entscheidet die Umweltschätzungseinheit 5a hinsichtlich dessen, ob der Mittelwert V größer als eine vorgeschriebene Wertschwelle V_a (30 in dem Beispiel von 6) ist oder nicht (Schritt ST2a-3).
Außer wenn der Durchschnittsfarbwert H in dem vorgeschriebenen Farbwertbereich H_a ist (NEIN bei Schritt ST2a-1), schätzt die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs nicht blau ist, durch Referenzieren der Daten, die die Zuordnung zwischen dem voreingestellten Durchschnittsfarbwert und dem Farbzustand angeben, gemäß dem Vergleichsentscheidungsergebnis und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST3a-1).
Außer wenn die Durchschnittsättigung S größer als die vorgeschriebene Sättigungsschwelle S_a ist (NEIN bei Schritt ST2a-2), schätzt außerdem die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs trüb ist, durch Referenzieren der Daten, die die Zuordnung zwischen der voreingestellten Durchschnittsättigung und dem Farbzustand angeben, gemäß dem Vergleichsentscheidungsergebnis und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (ST3a-2).
Außer wenn der Mittelwert V größer als die vorgeschriebene Wertschwelle V_a (NEIN bei Schritt ST2a-3) ist, schätzt weiterhin die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs dunkel ist, durch Referenzieren der Daten, die die Zuordnung zwischen dem voreingestellten Mittelwert und dem Farbzustand angeben, in Übereinstimmung mit dem Vergleichsentscheidungsergebnis und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST3a-3).
Falls andererseits der Durchschnittsfarbwert H in dem vorgeschriebenen Farbwertbereich H_a ist (JA bei Schritt ST2a-1), schätzt die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs blau ist, durch Referenzieren der Daten, die die Zuordnung zwischen dem voreingestellten Durchschnittsfarbwert und dem Farbzustand angeben, gemäß dem Vergleichsentscheidungsergebnis und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST4a-1).
Falls die Durchschnittssättigung größer als die vorgeschriebene Sättigungsschwelle S_a ist (JA bei Schritt ST2a-2), schätzt außerdem die Umweltschätzungseinheit 5a, dass die Farbe der Umgebungsumwelt (der Himmel) des Fahrzeugs klar ist, durch Referenzieren der Daten, die die Zuordnung zwischen der voreingestellten Durchschnittsättigung und dem Farbwert angeben, gemäß dem Vergleichsentscheidungsergebnis und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST4a-2).
Falls der Mittelwert V größer als die vorgeschriebene Wertschwelle V_a ist (JA bei Schritt ST2a-3), schätzt die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs hell ist, durch Referenzieren der Daten, die die Zuordnung zwischen dem voreingestellten Mittelwert und dem Farbzustand angeben, gemäß dem Vergleichsentscheidungsergebnis und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST4a-3).
Das Schätzungsergebnis, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs nicht blau ist (Schritt ST3a-1), oder trüb ist (Schritt ST3a-2), empfangend, beliefert die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Anschalten der Begrenzungslichter durch Referenzieren der Daten, die die Zuordnung zwischen dem voreingestellten Farbzustand und dem Inhalt des Fahrzeugsignals angeben, gemäß dem Schätzungsergebnis. Somit schaltet die Fahrzeug-ECU die Begrenzungslichter an in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 (Schritt ST5a).
Das Schätzungsergebnis, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs blau ist (Schritt ST4a-1) oder eine klare Farbe hat (Schritt ST4a-2) und hell ist (Schritt ST4a-3), empfangend, beliefert die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Ausschalten der Fahrzeuglichter durch Referenzieren der Daten, die die Zuordnung zwischen dem voreingestellten Farbzustand und dem Inhalt des Fahrzeugsignals angeben, gemäß dem Schätzungsergebnis. Die Fahrzeug-ECU schaltet die Fahrzeuglichter aus in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 (Schritt ST6a).
Das Schätzergebnis, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs dunkel ist (Schritt ST3a-3) empfangend, beliefert weiterhin die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Anschalten der Frontscheinwerfer durch Referenzieren der Daten, die die Zuordnung zwischen dem voreingestellten Farbzustand und dem Inhalt des Fahrzeugsignals angeben, gemäß dem Schätzungsergebnis. Die Fahrzeug-ECU schaltet die Frontscheinwerfer an in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 (Schritt ST7a).
Nach Vollendung der Verarbeitung bei Schritt ST5a, Schritt ST6a oder Schritt ST7a kehrt die Verarbeitung zurück zum Schritt ST1a und wiederholt die vorhergehende Verarbeitung, um die Änderung der Umgebungsumwelt des Fahrzeugs zu überwachen, um die Bordausrüstung (Fahrzeuglichter) gemäß der Änderung zu steuern.
Übrigens ist es in der Umweltschätzungsverarbeitung bei Schritten ST2a-1–2a-3 auch möglich, einen Entscheidungsbereich zu setzen durch Kombinieren der Schwellen des Durchschnittsfarbwertes H, der Durchschnittsättigung S und des Mittelwertes V, und den Zustand in der Umgebungsumwelt in größerem Detail zu schätzen.
7 ist eine Tabelle, die ein Beispiel der Zuordnung des Farbwertes (Engl.: hue), Farbtons (Engl.: tone) und Farbzustands der Bildregion zu der Umgebungsumwelt und dem Inhalt des Fahrzeugsignals an die Fahrzeuglichter zeigt. Wenn in dem Beispiel von 7 der Durchschnittsfarbwert H der Bildregion, die den Himmel als ein Subjekt enthält (obere Rechteckregion (Y = 1)), in dem vorgeschriebenen Farbwertbereich H_a ist, und die Durchschnittsättigung S davon größer als die vorgeschriebene Sättigungsschwelle S_a ist, und der Mittelwert V davon größer als die vorgeschriebene Wertschwelle V_a ist, entscheidet die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs blau ist, schätzt, dass es Tageszeit und sonnig ist in der Umgebungsumwelt des Fahrzeugs, und schaltet die Fahrzeuglichter aus.
Wenn der Durchschnittsfarbwert H der Bildregion, die den Himmel als ein Subjekt enthält, in dem vorgeschriebenen Farbwertbereich H_a ist, und die Durchschnittsättigung S davon größer als die vorgeschriebene Sättigungsschwelle S_a ist, aber der Mittelwert V davon nicht größer als die vorgeschriebene Wertschwelle V_a ist, entscheidet die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs schwarz ist, schätzt, dass es Nachtzeit in der Umgebungsumwelt des Fahrzeugs ist, und schaltet die Fahrzeuglichter (Frontscheinwerfer) an.
Wenn der Durchschnittsfarbwert H der Bildregion, die den Himmel als ein Subjekt enthält, in dem vorgeschriebenen Farbwertbereich H_a ist, aber die Durchschnittsättigung S davon nicht größer als die vorgeschriebene Sättigungsschwelle S_a ist, und der Mittelwert V davon größer als die vorgeschriebene Wertschwelle V_a ist, entscheidet die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs grau ist, schätzt, dass es Tageszeit und bewölkt ist in der Umgebungsumwelt des Fahrzeugs, und schaltet die Fahrzeugleuchten (Begrenzungsleuchten) an.
Wenn der Durchschnittsfarbwert H der Bildregion, die den Himmel als ein Subjekt enthält, in dem vorgeschriebenen Farbwertbereich H_a ist, aber die Durchschnittsättigung S davon nicht größer als die vorgeschriebene Sättigungsschwelle S_a ist, und der Mittelwert V nicht größer als die vorgeschriebene Wertschwelle V_a ist, entscheidet die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs schwarz ist, schätzt, dass es Nachtzeit ist in der Umgebungsumwelt des Fahrzeugs, und schaltet die Fahrzeuglichter (Frontscheinwerfer) an.
Wenn der Durchschnittsfarbwert H der Bildregion, die den Himmel als ein Subjekt enthält, nicht in dem vorgeschriebenen Farbwertbereich H_a ist, die Durchschnittsättigung S davon größer als die vorgeschriebene Sättigungsschwelle S_a ist, und der Mittelwert V davon größer als die vorgeschriebene Wertschwelle V_a ist, entscheidet die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs orange ist, schätzt, dass es Abend und sonnig (schön) ist in der Umgebungsumwelt des Fahrzeugs, und schaltet die Fahrzeuglichter (Begrenzungslichter oder Frontscheinwerfer) an.
Wenn der Durchschnittsfarbwert H der Bildregion, die den Himmel als ein Subjekt enthält, nicht in dem vorgeschriebenen Farbwertbereich H_a ist, und die Durchschnittsättigung S davon größer als die vorgeschriebene Sättigungsschwelle S_a ist, aber der Mittelwert V davon nicht größer als die vorgeschriebene Wertschwelle V_a ist, entscheidet die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs schwarz ist, schätzt, dass es Nachtzeit ist in der Umgebungsumwelt des Fahrzeugs, und schaltet die Fahrzeuglichter (Frontscheinwerfer) an.
Wenn der Durchschnittsfarbwert H der Bildregion, die den Himmel als ein Subjekt enthält, nicht in dem vorgeschriebenen Farbwertbereich H_a ist, und die Durchschnittsättigung S davon nicht größer als die vorgeschriebene Sättigungsschwelle S_a ist, aber der Mittelwert V davon größer als die vorgeschriebene Wertschwelle V_a ist, entscheidet außerdem die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs rot-grau ist, schätzt, dass es Abend und bewölkt in der Umgebungsumwelt des Fahrzeugs ist, und schaltet die Fahrzeuglichter (Begrenzungslichter oder Frontscheinwerfer) an.
Wenn der Durchschnittsfarbwert H der Bildregion, die den Himmel als ein Subjekt enthält, nicht in dem vorgeschriebenen Farbwertbereich H_a ist, und die Durchschnittsättigung S davon nicht größer als die vorgeschriebene Sättigungsschwelle S_a ist, und der Mittelwert V davon nicht größer als die vorgeschriebene Wertschwelle V_a ist, entscheidet weiterhin die Umweltschätzungseinheit 5a, dass die Umgebungsumwelt (der Himmel) des Fahrzeugs schwarz ist, schätzt, dass es Nachtzeit in der Umgebungsumwelt des Fahrzeugs ist, und schaltet die Fahrzeuglichter (Frontscheinwerfer) an.
Wie oben beschrieben, extrahiert gemäß der vorliegenden Ausführungsform 2 die Kamerabildinformations-Extrahiereinheit 4a die Farbinformation über die Bildregion, die den Himmel aufgenommen hat; und die Umweltschätzungseinheit 5a schätzt das Wetter und die Lichtintensität der Umgebungsumwelt durch Referenzieren der entsprechenden Daten, die die Zuordnung zwischen der Farbinformation über die Bildregion und dem Wetter und der Lichtintensität der Umgebungsumwelt angeben, gemäß der durch die Kamerabildinformations-Extrahiereinheit 4a extrahierten Farbinformation. Da sie die Bildregion, die den Himmel als ein Subjekt enthält, als die Bildregion bei einer festen Position unter der Vielzahl von Bildregionen identifizieren kann, die erhalten worden sind durch Aufteilen des Kamerabildes, das mit der Fahrzeugkamera aufgenommen worden ist, die fest in dem Fahrzeug installiert ist, kann sie die Umgebungsumwelt des Fahrzeugs schätzen mit Verwendung des Durchschnittsfarbwertes H, der Durchschnittsättigung S und des Mittelwertes V der Bildregion, wodurch sie fähig wird, die Notwendigkeit für einen dedizierten Sensor oder einen Bilderkennungschip zu eliminieren und die Umgebungsumwelt des Fahrzeugs durch die einfache Ausgestaltung zu schätzen.
AUSFÜHRUNGSFORM 3
8 ist ein Blockdiagramm, das eine Ausgestaltung eines Fahrzeugsteuerungssystems mit Verwendung der Umweltschätzungsvorrichtung einer Ausführungsform 3 gemäß der vorliegenden Erfindung zeigt. In 8 umfasst das Fahrzeugsteuerungssystem 1B der Ausführungsforum 3, das ein Steuersystem zum Steuern der Operation der Bordausrüstung ist, eine Umweltschätzungsvorrichtung 2b und die Fahrzeugsignal-Steuereinheit 6. Außerdem umfasst die Umweltschätzungsvorrichtung 2b, die eine Vorrichtung ist zum Schätzen der Umgebungsumwelt des Fahrzeugs von einem mit der Fahrzeugkamera aufgenommenen Kamerabild, die Bildregion-Aufteileinheit 3, eine Kamerabildinformations-Extrahiereinheit 4b und eine Umweltschätzungseinheit 5b. Übrigens sind in 8 dieselben Komponenten wie diese von 1 mit denselben Bezugszeichen bezeichnet, und ihre Beschreibung wird weggelassen werden.
Die Kamerabildinformations-Extrahiereinheit 4b, die eine Komponente zum Extrahieren der Kamerabildinformation aus einer Bildregion ist, die erhalten worden ist durch Aufteilen in eine Vielzahl von Bildregionen durch die Bildregion-Aufteileinheit 3, umfasst eine Mehrfachregion-Luminanzinformations-Extrahiereinheit 43. Die Mehrfachregion-Luminanzinformations-Extrahiereinheit 43 ist eine Komponente zum Aufteilen der Vielzahl von durch die Bildregion-Aufteileinheit 3 erhaltenen Bildregionen in drei Bildregionen der oberen, zentralen und unteren Blöcke und zum Extrahieren der Durchschnittsbeleuchtungsstärken E1, E2 und E3, die erhalten werden durch Mitteln der Beleuchtungsstärken der Pixel in den individuellen Bildregionen, die die Aufteilung in die oberen, zentralen und unteren Blöcke durchlaufen, als die Luminanzinformation.
Übrigens entsprechen die drei Bildregionen, die die Aufteilung in die oberen, zentralen und unteren Blöcke durchlaufen, der oberen Rechteckregion (Y = 1), zentralen Rechteckregion (Y = 2) und unteren Rechteckregion (Y = 3) von 2, die in der vorhergehenden Ausführungsform 1 gezeigt worden ist. In der folgenden Beschreibung wird angenommen, dass die Mehrfachregion-Luminanzinformations-Extrahiereinheit 43 die Durchschnittsbeleuchtungsstärken E1, E2 und E3 von der oberen Rechteckregion (Y = 1), zentralen Rechteckregion (Y = 2) und unteren Rechteckregion (Y = 3) berechnet.
Die Umweltschätzungseinheit 5b ist eine Komponente zum Schätzen der Umgebungsumwelt des Fahrzeugs aus der durch die Kamerabildinformations-Extrahiereinheit 4b extrahierten Kamerabildinformation. In der Ausführungsform 3 schätzt die Umweltschätzungseinheit 5b die Umgebungsumwelt bei dem Ort des Fahrzeugs aus den Vergleichsergebnissen der individuellen Durchschnittsbeleuchtungsstärken E1, E2 und E3 der Bildregionen, die die Aufteilung in die oberen, zentralen und unteren Blöcke durchlaufen, die durch die Mehrfachregion-Luminanzinformations-Extrahiereinheit 43 extrahiert werden, mit vorgeschriebenen Schwellen, die sie betreffen.
9 ist eine Tabelle, die ein Beispiel einer Zuordnung zwischen den Beziehungen der Durchschnittsbeleuchtungsstärken der individuellen Rechteckbildregionen mit der Umgebungsumwelt und den Inhalten des Fahrzeugsignals in der Ausführungsform 3 zeigt. In 9 werden die Daten, die die Zuordnung der Beziehungen zwischen den Werten, die die Durchschnittsbeleuchtungsstärken E1, E2 und E3 der oberen Rechteckregion (Y = 1), zentralen Recheckregion (Y = 2) und unteren Rechteckregion (Y = 3) annehmen können, zu den Inhalten der Umweltschätzwerte angeben, in der Umweltschätzungseinheit 5b gesetzt. Außerdem werden die Daten, die die Zuordnung der Inhalte der Umweltschätzwerte, in 9 gezeigt, zu den Inhalten des Fahrzeugsignals angeben, in der Fahrzeugsignal-Steuereinheit 6 gesetzt.
Wenn beispielsweise die Umweltschätzwerte Tageszeit ohne Regen angeben (Tageszeit und heiter und klar, Tageszeit und klar, Tageszeit und bewölkt), wird das Fahrzeugsignal ILL zum Anweisen, die Fahrzeuglichter anzuschalten, aus gemacht, wird das Fahrzeugsignal zum Anweisen, die Scheibenwischer anzutreiben, aus gemacht, und wird das Fahrzeugsignal zum Anweisen, die Nebelscheinwerfer bzw. Nebelleuchte (Engl.: fog light) anzuschalten, aus gemacht.
Wenn die Umweltschätzwerte Tageszeit aber neblig angeben, wird unter den Fahrzeuglichtern das Fahrzeugsignal ILL zum Anweisen, die Begrenzungsleuchten anzuschalten, an gemacht, wird das Fahrzeugsignal zum Anweisen, die Scheibenwischer anzutreiben, aus gemacht, und wird das Fahrzeugsignal zum Anweisen, die Nebelscheinwerfer bzw. Nebelleuchte anzuschalten, an gemacht.
Wenn die Umweltschätzwerte Nachtzeit ohne Regen angeben, wird das Fahrzeugsignal ILL zum Anweisen, die Fahrzeuglichter (Frontscheinwerfer) anzuschalten, an gemacht, wird das Fahrzeugsignal zum Anweisen, die Scheibenwischer anzutreiben, aus gemacht, und wird das Fahrzeugsignal zum Anweisen, die Nebelscheinwerfer anzuschalten, aus gemacht. Zusätzlich dazu wird, wenn die Umweltschätzwerte Nachtzeit und verregnet angeben, das Fahrzeugsignal zum Anweisen, die Scheibenwischer anzutreiben, an gemacht.
Wenn die Umweltschätzwerte Tageszeit und verregnet angeben, wird unter den Fahrzeuglichtern das Fahrzeugsignal ILL zum Anweisen, die Begrenzungslichter anzuschalten, an gemacht, wird das Fahrzeugsignal zum Anweisen, die Scheibenwischer anzutreiben, an gemacht, und wird das Fahrzeugsignal zum Anweisen, die Nebelscheinwerfer anzuschalten, aus gemacht.
Als Nächstes wird die Operation beschrieben.
10 ist ein Flussdiagramm, das einen Fluss der Umweltschätzung und der Fahrzeugsteuerung der Ausführungsform 3 zeigt. Mit Verweis auf 10 werden die Umweltschätzungsverarbeitung und die Fahrzeugsteuerungsverarbeitung im Detail beschrieben werden. Was die Systemausgestaltung angeht, werden wir übrigens auf 8 verweisen.
Zuerst erfasst die Mehrfachregion-Luminanzinformations-Extrahiereinheit 43 der Kamerabildinformations-Extrahiereinheit 4b die Durchschnittsbeleuchtungsstärke E1 der oberen Rechteckregion (Y = 1), die Durchschnittsbeleuchtungsstärke E2 der zentralen Rechteckregion (Y = 2) und die Durchschnittsbeleuchtungsstärke E3 der unteren Rechteckregion (Y = 3) von der oberen Rechteckregion (Y = 1), zentralen Rechteckregion (Y = 2) und unteren Rechteckregion (Y = 3) unter der Vielzahl der durch die Bildregion-Aufteileinheit 3 erhaltenen Bildregionen (Schritt ST1b).
Die Durchschnittsbeleuchtungsstärke E1 der oberen Rechteckregion (Y = 1), die Durchschnittsbeleuchtungsstärke E2 der zentralen Rechteckregion (Y = 2) und die Durchschnittsbeleuchtungsstärke E3 der unteren Rechteckregion (Y = 3) von der Mehrfachregion-Luminanzinformations-Extrahiereinheit 43 empfangend, entscheidet als Nächstes die Umweltschätzungseinheit 5b hinsichtlich dessen, ob die Beleuchtungsstärkenbeziehungen, dass die Durchschnittsbeleuchtungsstärke E2 nicht größer als die Durchschnittsbeleuchtungsstärke E3 ist, und dass die Durchschnittsbeleuchtungsstärke E1 größer als die Durchschnittsbeleuchtungsstärken E2 und E3 ist (d. h., nicht E2 > E3, und E1 > E2 und E3) zutreffen oder nicht (Schritt ST2b).
Falls die Beleuchtungsstärkenbeziehungen zutreffen (JA bei Schritt ST2b), schätzt die Umweltschätzungseinheit 5b, dass es Tageszeit und heiter in der Umgebungsumwelt des Fahrzeugs ist, durch Referenzieren der voreingestellten Daten, die die Zuordnung zwischen den Beziehungen der Durchschnittsbeleuchtungsstärken und den Umweltschätzwerten angeben, gemäß dem Entscheidungsergebnis, und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST3b).
Wenn andererseits die Beleuchtungsstärkenbeziehungen nicht zutreffen (NEIN bei Schritt ST2b), entscheidet die Umweltschätzungseinheit 5b hinsichtlich dessen, ob die Beleuchtungsstärkenbeziehungen, dass die Durchschnittsbeleuchtungsstärke E1 größer als die Durchschnittsbeleuchtungsstärken E2 und E3 ist, und dass die Durchschnittsbeleuchtungsstärke E2 größer als die Durchschnittsbeleuchtungsstärke E3 ist (E1 > E2 und E3, und E2 > E3), zutreffen oder nicht (Schritt ST4b).
Falls hier die Beleuchtungsstärkenbeziehungen von E1 > E2 und E3, und E2 > E3 zutreffen (JA bei Schritt ST4b), schätzt die Umweltschätzungseinheit 5b, dass es Tageszeit und bewölkt ist in der Umgebungsumwelt des Fahrzeugs, durch Referenzieren der voreingestellten Daten, die die Zuordnung zwischen den Beziehungen der Durchschnittsbeleuchtungsstärken und den Umweltschätzwerten angeben, gemäß dem Entscheidungsergebnis, und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST5b).
Außer wenn die Beleuchtungsstärkenbeziehungen von E1 > E2 und E3 und E2 > E3 nicht zutreffen (NEIN bei Schritt ST4b), entscheidet außerdem die Umweltschätzungseinheit 5b hinsichtlich dessen, ob die Beleuchtungsstärkenbeziehungen, dass die Durchschnittsbeleuchtungsstärken E1 und E3 beide größer sind als die Durchschnittsbeleuchtungsstärke E2, oder dass die Durchschnittsbeleuchtungsstärken E1, E2 und E3 nahezu gleich sind (E1 und E3 > E2, oder E1 ≒ E2 ≒ E3) zutreffen oder nicht (Schritt ST6b).
Falls die Beleuchtungsstärkenbeziehungen zutreffen (JA bei Schritt ST6b), schätzt die Umweltschätzungseinheit 5b, dass es neblig ist in der Umgebungsumwelt des Fahrzeugs, durch Referenzieren der voreingestellten Daten, die die Zuordnung angeben zwischen den Beziehungen der Durchschnittsbeleuchtungsstärken und den Umweltschätzwerten, gemäß dem Entscheidungsergebnis, und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST7b).
Wenn andererseits die Beleuchtungsstärkenbeziehungen nicht zutreffen (NEIN bei Schritt ST6b), entscheidet die Umweltschätzungseinheit 5b hinsichtlich dessen, ob die Beleuchtungsstärkenbeziehungen, dass die Durchschnittsbeleuchtungsstärke E3 nicht größer als die Durchschnittsbeleuchtungsstärke E1 ist, und dass die Durchschnittsbeleuchtungsstärke E2 größer als die Durchschnittsbeleuchtungsstärken E1 und E3 ist (nicht E3 > E2, und E2 > E1 und E3), zutreffen oder nicht (Schritt ST8b).
Falls hier die Beleuchtungsstärkenbeziehungen von nicht E3 > E1 und E2 > E1 und E3 (JA bei Schritt ST8b), schätzt die Umweltschätzungseinheit 5b, dass es Nachtzeit in der Umgebungsumwelt des Fahrzeugs ist, durch Referenzieren der voreingestellten Daten, die die Zuordnung angeben zwischen den Beziehungen der Durchschnittsbeleuchtungsstärken und den Umweltschätzwerten, gemäß dem Entscheidungsergebnis, und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST9b).
Außer wenn die Beleuchtungsstärkenbeziehungen von nicht E3 > E1 und E2 > E1 und E3 zutreffen (NEIN bei Schritt ST8b), entscheidet die Umweltschätzungseinheit 5b hinsichtlich dessen, ob die Beleuchtungsstärkenbeziehungen, dass die Durchschnittsbeleuchtungsstärke E2 größer als die Durchschnittsbeleuchtungsstärken E1 und E3 ist, und dass die Durchschnittsbeleuchtungsstärke E3 größer als die Durchschnittsbeleuchtungsstärke E1 ist (E2 > E1 und E3, und E3 > E1), zutreffen oder nicht (Schritt ST10b).
Falls die Beleuchtungsstärkenbeziehungen zutreffen (JA bei Schritt ST10b), schätzt die Umweltschätzungseinheit 5b, dass es Nachtzeit und verregnet ist in der Umgebungsumwelt des Fahrzeugs, durch Referenzieren der voreingestellten Daten, die die Zuordnung angeben zwischen den Beziehungen der Durchschnittsbeleuchtungsstärken und den Umweltschätzwerten, gemäß dem Entscheidungsergebnis, und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST11b).
Wenn andererseits die Beleuchtungsstärkenbeziehungen nicht zutreffen (NEIN bei Schritt ST10b), entscheidet die Umweltschätzungseinheit 5b hinsichtlich dessen, ob die Beleuchtungsstärkenbeziehungen, dass die Durchschnittsbeleuchtungsstärke E2 nicht größer als die Durchschnittsbeleuchtungsstärke E1 ist, und dass die Durchschnittsbeleuchtungsstärke E3 größer als beide Durchschnittsbeleuchtungsstärken E1 und E2 ist (nicht E2 > E1, und E3 > E1 und E2), zutreffen oder nicht (Schritt ST12b).
Falls hier die Beleuchtungsstärkenbeziehungen von nicht E2 > E1, und E3 > E1 und E2 (JA bei Schritt ST12b), schätzt die Umweltschätzungseinheit 5b, dass es verregnet ist in der Umgebungsumwelt des Fahrzeugs, durch Referenzieren der voreingestellten Daten, die die Zuordnung angeben zwischen den Beziehungen der Durchschnittsbeleuchtungsstärken mit den Umweltschätzwerten, gemäß dem Entscheidungsergebnis, und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST13b).
Außer wenn die Beleuchtungsstärkenbeziehungen von nicht E2 > E1 und E3 > E1 und E2 zutreffen (NEIN bei Schritt ST12b), kehrt die Verarbeitung zu Schritt ST1b zurück, um die vorhergehende Verarbeitung zu wiederholen, um die Änderung der Umgebungswelt des Fahrzeugs zu überwachen, und steuert die Bordausrüstung gemäß der Änderung.
Das Schätzungsergebnis empfangend, dass es Tageszeit und heiter in der Umgebungsumwelt des Fahrzeugs ist (Schritt ST3b), oder dass es Tageszeit und bewölkt ist in der Umgebungsumwelt des Fahrzeugs (Schritt ST5b), oder dass es neblig ist in der Umgebungsumwelt des Fahrzeugs (Schritt ST7b), oder dass Nachtzeit ist in der Umgebungsumwelt des Fahrzeugs (Schritt ST9b), beliefert die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Stoppen der Scheibenwischer durch Referenzieren der voreingestellten Daten, die die Zuordnung angeben zwischen dem Inhalt der Umweltschätzwerte und dem Inhalt des Fahrzeugsignals, in Übereinstimmung mit dem Schätzungsergebnis. Die Fahrzeug-ECU stoppt die Scheibenwischer in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 (Schritt ST14b).
Das Schätzungsergebnis empfangend, dass es Tageszeit und bewölkt in der Umgebungsumwelt des Fahrzeugs ist (Schritt ST5b), beliefert außerdem die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Ausschalten der Fahrzeuglichter durch Referenzieren der voreingestellten Daten, die die Zuordnung angeben zwischen dem Inhalt der Umweltschätzwerte und dem Inhalt des Fahrzeugsignals, in Übereinstimmung mit dem Schätzungsergebnis. Die Fahrzeug-ECU schaltet die Fahrzeuglichter in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 aus (Schritt ST15b).
Das Schätzungsergebnis empfangend, dass es neblig ist in der Umgebungsumwelt des Fahrzeugs (Schritt ST7b), beliefert weiterhin die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Anschalten des Nebelscheinwerfers bzw. der Nebelleuchte durch Referenzieren der voreingestellten Daten, die die Zuordnung angeben zwischen dem Inhalt der Umweltschätzwerte und dem Inhalt des Fahrzeugsignals, in Übereinstimmung mit dem Schätzungsergebnis. Die Fahrzeug-ECU schaltet die Nebelscheinwerfer bzw. die Nebelleuchte in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 an (Schritt ST16b).
Das Schätzungsergebnis empfangend, dass es Nachtzeit ist in der Umgebungsumwelt des Fahrzeugs (Schritt ST9b), oder dass es Nachtzeit und verregnet in der Umgebungsumwelt des Fahrzeugs ist (Schritt ST11b), beliefert außerdem die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Anschalten der Fahrzeuglichter durch Referenzieren der voreingestellten Daten, die die Zuordnung angeben zwischen dem Inhalt der Umweltschätzwerte und dem Inhalt des Fahrzeugsignals, in Übereinstimmung mit dem Schätzungsergebnis. Die Fahrzeug-ECU schaltet die Frontscheinwerfer unter den Fahrzeuglichtern in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 an (Schritt ST17b).
Das Schätzungsergebnis empfangend, dass es Nachtzeit und verregnet in der Umgebungsumwelt des Fahrzeugs ist (Schritt ST11b), oder dass es verregnet ist (Schritt ST13b), beliefert die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Antreiben der Scheibenwischer durch Referenzieren der voreingestellten Daten, die die Zuordnung angeben zwischen dem Inhalt der Umweltschätzwerte und dem Inhalt des Fahrzeugsignals, in Übereinstimmung mit dem Schätzungsergebnis. Die Fahrzeug-ECU treibt die Scheibenwischer in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 an (Schritt ST18b).
Das Schätzungsergebnis empfangend, dass es verregnet ist in der Umgebungsumwelt des Fahrzeugs (Schritt ST13b), beliefert außerdem die Fahrzeugsignal-Steuereinheit 6 die Fahrzeug-ECU mit dem Fahrzeugsignal zum Anschalten der Begrenzungslichter durch Referenzieren der voreingestellten Daten, die die Zuordnung angeben zwischen dem Inhalt der Umweltschätzwerte und dem Inhalt des Fahrzeugsignals, in Übereinstimmung mit dem Schätzungsergebnis. Die Fahrzeug-ECU schaltet die Begrenzungslichter in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 an (Schritt ST19b).
Wenn die Verarbeitung bei Schritt ST14b, Schritt ST15b, Schritt ST16b, Schritt ST17b, Schritt ST18b oder Schritt ST19b vollendet worden ist, kehrt sie zurück zum Schritt ST1b, so dass die Umweltschätzungseinheit 5b die vorhergehende Verarbeitung wiederholt, um die Änderung der Umgebungsumwelt des Fahrzeugs zu überwachen, wodurch die Steuerung der Bordausrüstung gemäß der Änderung ausgeführt wird.
Wie oben beschrieben, extrahiert gemäß der vorliegenden Ausführungsform 3 die Kamerabildinformations-Extrahiereinheit 4b unter der Vielzahl von Bildregionen, die der Aufteilung durch die Bildregion-Aufteileinheit 3 unterzogen werden, die Luminanzinformation über die obere Bildregion (Y = 1) mit der Bildregion, die wenigstens den Himmel aufgenommen hat, und über die untere Bildregion (Y = 3) mit dem Bild des aufgenommenen Bodens; und die Umweltschätzungseinheit 5b schätzt das Wetter und die Lichtintensität der Umgebungsumwelt durch Referenzieren der entsprechenden Daten, die die Zuordnung der Luminanzinformation über die Bildregion zu dem Wetter und der Lichtintensität der Umgebungsumwelt angeben, in Übereinstimmung mit den durch die Kamerabildinformations-Extrahiereinheit 4b extrahierten Luminanzinformationselementen.
Da sie die Umgebungsumwelt des Fahrzeugs schätzen kann durch Aufteilen des Kamerabildes, das mit der Fahrzeugkamera aufgenommen worden ist, die fest in dem Fahrzeug installiert worden ist, in die drei Bildregionen der oberen Rechteckregion (Y = 1), zentralen Rechteckregion (Y = 2) und unteren Rechteckregion (Y = 3) und durch Verwenden der Beziehungen zwischen den Durchschnittsbeleuchtungsstärken E1 und E2 und E3 der Bildregionen, kann sie somit die Notwendigkeit für einen dedizierten Sensor oder einen Bilderkennungschip eliminieren und kann die Umgebungsumwelt des Fahrzeugs durch die einfache Ausgestaltung schätzen.
AUSFÜHRUNGSFORM 4
Die Ausführungsform 4 schätzt die Umgebungsumwelt des Fahrzeugs in Abhängigkeit davon, ob die Form einer Markierung auf einem mit der Fahrzeugkamera aufgenommenen Fahrzeugbild sich ändert oder nicht. Wenn ein Bild eines Subjektes auf der Projektionsebene der Fahrzeugkamera sich ändert, entscheidet sie genauer genommen, dass eine Reflektion oder Brechung bzw. Refraktion von Licht wegen der Regentropfen oder eines Regenfilms auf der Kameralinse der Fahrzeugkamera auftritt, und schätzt, dass es in der Umgebung des Fahrzeugs regnet.
11 ist ein Diagramm, dass eine Abänderung eines Subjektes auf der Projektionsebene wegen Regentropfen veranschaulicht. Wie 11(a) gezeigt, macht, außer wenn die Kameralinse 7 Regentropfen oder einen Regenfilm auf ihrer Oberfläche hat, ein Subjekt S0 ein Bild S1 auf der Projektionsebene der Fahrzeugkamera aufgrund einer Lichtbrechung durch die Kameralinse 7. Die Ausführungsform 4 stellt eine Markierung mit einer spezifischen Form auf einem Teil der Karosserie des Fahrzeugs innerhalb des Abbildungsbereichs der Fahrzeugkamera bereit und bereitet Subjektformdaten, die die Form der Markierung angeben, im Voraus vor.
Wenn es in der Umgebung des Fahrzeugs verregnet wird, und ein Fremdkörper 8 zur Lichtbrechung, so wie Regentropfen oder Regenfilm, auf der Kameralinse 7 sich anbringt, wie in 11(b) gezeigt, tritt eine Brechung nicht nur durch die Kameralinse 7 sondern auch durch den Fremdkörper 8 auf. Demgemäß macht das Subjekt S0 ein Bild S2, das von dem von 11(a) unterschiedlich ist, auf der Projektionsebene in der Fahrzeugkamera. In diesem Fall ändert sich die Form des Subjektes S0 auf dem Kamerabild.
Falls die Markierung in dem Kamerabild sich von der durch die im Voraus vorbereiteten Subjektformdaten definierten Form ändert, kann es demgemäß entschieden werden, dass die Umgebungen des Fahrzeugs verregnetes Wetter haben.
12 ist ein Blockdiagramm, das eine Ausgestaltung des Fahrzeugsteuerungssystems mit Verwendung der Umweltschätzungsvorrichtung der Ausführungsform 4 gemäß der vorliegenden Erfindung zeigt, in der dieselben Komponenten wie diese von 1 durch dieselben Bezugszeichen bezeichnet sind, und ihre Beschreibung wird weggelassen werden. In 12 umfasst das Fahrzeugsteuerungssystem 1C der Ausführungsform 4, das ein Steuersystem zum Steuern der Operation der Bordausrüstung ist, eine Umweltschätzungsvorrichtung 2c und eine Fahrzeugsignal-Steuereinheit 6.
Die Umweltschätzungsvorrichtung 2c, die eine Vorrichtung ist zum Schätzen der Umgebungsumwelt des Fahrzeugs aus dem mit der Fahrzeugkamera aufgenommenen Kamerabild, umfasst die Bildregion-Aufteileinheit 3, eine Kamerabildinformations-Extrahiereinheit 4c und eine Umweltschätzungseinheit 5c. Übrigens ist in der vorliegenden Ausführungsform 4 die Fahrzeugkamera derart fixiert, dass ein Teil der Karosserie des Fahrzeugs in dem Abbildungsbereich enthalten ist, und eine Markierung mit einer spezifischen Form ist auf dem Teil der Karosserie angebracht.
Die Kamerabildinformations-Extrahiereinheit 4c, die eine Komponente zum Extrahieren einer Kamerabildinformation aus Bildregionen ist, die der Aufteilung durch die Bildregion-Aufteileinheit unterzogen werden, umfasst eine Subjektform-Extrahiereinheit 44, eine Subjektform-Entscheidungseinheit 45 und eine Spezifische-Form-Speichereinheit 46.
Die Subjektform-Extrahiereinheit 44 ist eine Komponente zum Identifizieren einer Bildregion, die ein Bild des Teils der Karosserie enthält, der/die die Markierung mit der spezifischen Form hat, von einer Vielzahl von Bildregionen, die durch die Bildregion-Aufteileinheit 3 bereitgestellt sind, und zum Extrahieren der Form der Markierung in der Bildregion.
Die Subjektform-Entscheidungseinheit 45 ist eine Komponente zum Entscheiden, ob die Form der Markierung in der Bildregion, die durch die Subjektform-Extrahiereinheit 44 extrahiert worden ist, mit der Form, die durch die in der Spezifische-Form-Speichereinheit 46 gespeicherten Spezifische-Form-Daten bezeichnet ist, übereinstimmt oder nicht, und liefert das Formentscheidungsergebnis an die Umweltschätzungseinheit 5c als die Kamerabildinformation.
Die Spezifische-Form-Speichereinheit 46 ist eine Speichereinheit zum Speichern der Spezifische-Form-Daten, die die Form der Markierung in dem Kamerabild in einem Zustand ohne irgendeinen Fremdkörper bezeichnen, so wie Regentropfen, die eine Lichtbrechung auf der Kameralinse der Fahrzeugkamera herbeibringen werden.
Die Umweltschätzungseinheit 5c ist eine Komponente zum Schätzen der Umgebungsumwelt des Fahrzeugs aus der von der Kamerabildinformations-Extrahiereinheit 4c gelieferten Kamerabildinformation. In der Ausführungsform 4 schätzt die Umweltschätzungseinheit 5c die Umgebungsumwelt bei dem Ort des Fahrzeugs aus dem Formentscheidungsergebnis durch die Subjektform-Entscheidungseinheit 45.
Falls die Form der Markierung in der Bildregion nicht mit der durch die Spezifische-Form-Daten bezeichneten Form übereinstimmt, schätzt sie genauer genommen, dass die Kameralinse 7 der Fahrzeugkamera den Fremdkörper 8, so wie Regentropfen oder ein Regenfilm, darauf aufgebraucht hat, und dass das Wetter in den Umgebungen des Fahrzeugs verregnet oder dergleichen ist, was bewirkt, dass der Fremdkörper 8 angebracht wird.
Wenn im Gegensatz dazu die Form der Markierung in der Bildregion mit der durch die Spezifische-Form-Daten bezeichneten Form übereinstimmt, schätzt sie, dass es nicht verregnet ist in den Umgebungen des Fahrzeugs, und dass das Wetter eines ist, das nicht bewirken wird, dass der Fremdkörper 8 an der Kameralinse 7 angebracht wird.
13 ist ein Diagramm, das ein Beispiel der Aufteilverarbeitung eines Kamerabildes der Ausführungsform 4 zeigt. Das in 13 gezeigte Kamerabild ist ein Bild, das mit einer Rückkamera aufgenommen worden ist, die den horizontalen Blickwinkel von 180 Grad und den vertikalen Blickwinkel von 150 Grad hat, und auf der Mittellinie des Fahrzeugs bei der Befestigungshöhe von 500 mm, dem horizontalen Befestigungswinkel von 0 Grad und dem vertikalen Befestigungswinkel von 45 Grad befestigt ist, so dass die Rückrichtung des Fahrzeugs in den Abbildungsbereich kommt. In dem Beispiel von 13 weist die Bildregion-Aufteileinheit 3 die X-Achse der Horizontalrichtung (Rechts- und Links-Richtung) des das Kamerabild zeigenden Schirms und die Y-Achse der Vertikalrichtung (Hoch- und Runter-Richtung) davon zu und teilt den Schirm in drei Abschnitte mit vorgeschriebenen Größen in der X-Achse-Richtung und in vier Abschnitte mit vorgeschriebenen Größen in der Y-Achse-Richtung auf, wodurch Bildbereiche (XY = 11–34) definiert werden. Genauer genommen teilt sie die X-Achse-Richtung des Kamerabildes in drei Teile der linken Rechteckregion (X = 1), mittleren Rechteckregion (X = 2) und rechten Rechteckregion (X = 3) auf und teilt die Y-Achse-Richtung in vier Teile der oberen Rechteckregion (Y = 1), zentralen Rechteckregion (Y = 2), unteren Rechteckregion (Y = 3) und der untersten Rechteckregion (Y = 4) auf, wodurch insgesamt in 12 Bildregionen aufgeteilt wird.
Hier zeigt 13 ein Kamerabild, wenn das Fahrzeug sich in einer Stadt bewegt. Das Subjekt der Fahrzeugkamera enthält ”Bodenobjekte”, so wie Stadtgebäude und Strukturen und Bäume, ”der Himmel”, der eine naturbedingte Ansicht ist, ”der Boden”, der die Fahrstraße angibt, und die ”Karosserie”, die der Teil der Karosserie 9 ist, die die Markierung S0 mit der spezifischen Form daran angebracht hat. Als der Teil der Karosserie 9 ist beispielsweise eine Stoßstange oder ein Nummernschild anwendbar.
Die Hauptsubjekte in jeder Bildregion sind wie folgt: die Region (XY = 11) hat ”Bodenobjekte und der Himmel”, da ein Teil der Gebäude und des Himmels hauptsächlich darin erscheint, die Region (XY = 21) hat ”der Himmel” und die Region (XY = 31) hat ”Bodenobjekte und der Himmel”, da Bäume und der Himmel hauptsächlich darin erscheinen; die Region (XY = 12) hat ”Bodenobjekte”, die Region (XY = 22) hat auch ”Bodenobjekte”, und die Region (XY = 32) hat ”Bodenobjekte”; die Region (XY = 13) hat ”Bodenobjekte und der Boden”, die Region (XY = 23) hat ”der Boden”, und die Region (XY = 33) hat ”Bodenobjekte und der Boden”; und die Region (XY = 14), Region (XY = 24), und Region (XY = 34) haben die ”Karosserie”.
Außerdem enthalten Subjekte der Fahrzeugkamera während der Fahrt des Fahrzeugs durch eine Gebirgeregion ein ”Gebirge” und ”der Himmel”, die eine naturbedingte Ansicht sind, ”der Boden”, der die Fahrstraße angibt, und die ”Karosserie”, die der Teil der Karosserie 9 ist.
Wenn beispielsweise das Fahrzeug entlang eines Bergpfades fährt und ein Berg bzw. Gebirge entfernt in der Fahrtrichtung des Fahrzeugs gesehen wird, sind die Hauptsubjekte in jeder Bildregion wie folgt: die Region (XY = 11) hat ”Gebirge und der Himmel”, die Region (XY = 21) hat ”der Himmel”, und die Region (XY = 31) hat ”Gebirge und der Himmel”; die Region (XY = 12) hat ”Gebirge”, die Region (XY = 22) hat ”Gebirge und der Himmel”, und die Region (XY = 32) hat ebenso ”Gebirge und der Himmel”; die Region (XY = 13) hat ”der Boden”, die Region (XY = 23) hat ”der Boden”, und die Region (XY = 33) hat ”der Boden”; und die Region (XY = 14), Region (XY = 24) und Region (XY = 34) haben die ”Karosserie”.
Weiterhin enthält ein Subjekt der Fahrzeugkamera, wenn das Fahrzeug in einer Ebene unterschiedlich von Städten (so wie eine Grasebene ohne irgendein Gebäude) fährt, eine ”Ebene”, so wie eine Grasebene, und ”der Himmel”, die eine naturbedingte Ansicht sind, und ”der Boden”, der die Fahrstraße angibt. Wenn beispielsweise das Fahrzeug entlang einer durch eine Ebene passierenden Straße fährt, sind die Hauptsubjekte in jeder Bildregion wie folgt: die Region (XY = 11) hat ”der Himmel”, die Region (XY = 21) hat ”der Himmel”, und die Region (XY = 31) hat ”der Himmel”; die Region (XY = 12) hat die ”Ebene”, die Region (XY = 22) hat ”Ebene und der Himmel”, und die Region (XY = 32) hat die ”Ebene”; die Region (XY = 13) hat ”der Boden”, die Region (XY = 23) hat ”der Boden” und die Region (XY = 33) hat ”der Boden”; und die Region (XY = 14), Region (XY = 24) und Region (XY = 34) haben die ”Karosserie”.
Durch Fixieren der Fahrzeugkamera derart, dass ihr Blickfeld den Teil der Karosserie 9 enthält, der/die die Markierung mit der spezifischen Form S0 darauf bereitgestellt hat, und durch kontinuierliches oder periodisches Wiederholen, ein Bild aufzunehmen, während das Fahrzeug draußen fährt, ist somit wenigstens ein Teil der Karosserie 9 als ein Subjekt enthalten. Beispielsweise enthält in 13 die unterste Rechteckregion (Y = 4) den Teil der Karosserie 9 als ein Subjekt.
Somit definiert die vorliegende Ausführungsform 4 die Bildregionen (XY = 14, 24 und 34) in der untersten Rechteckregion (Y = 4) als eine Bildregion, die den Teil der Karosserie 9 enthält. Außerdem definiert sie die Bildregion (XY = 24) als die Bildregion, die die Markierung mit der spezifischen Form S0 als ein Subjekt enthält.
Als Nächstes wird die Operation beschrieben werden.
14 ist ein Flussdiagramm, das einen Fluss der Umweltschätzung und der Fahrzeugsteuerung der Ausführungsform 4 zeigt. Mit Verweis auf 14 wird die Umweltschätzungsverarbeitung und die Fahrzeugsteuerungsverarbeitung im Detail beschrieben werden. Was die Systemausgestaltung betrifft, werden wir übrigens auf 12 verweisen.
Zuerst identifiziert die Subjektform-Extrahiereinheit 44 der Kamerabildinformations-Extrahiereinheit 4c eine Rechteckbildregion, die den Teil der Karosserie 9 enthält, als ein Subjekt aus der Vielzahl von Bildregionen, die durch die Bildregion-Aufteileinheit 3 erhalten worden sind, und extrahiert eine Bildregion, die die Markierung S0 enthält, als ein Subjekt aus der Rechteckbildregion (Schritt ST1c). Hier identifiziert sie in dem Kamerabild der Fahrzeugkamera die Bildregion, die der untersten Rechteckregion (Y = 4) von 13 entspricht, als die Rechteckbildregion, die den Teil der Karosserie 9 als ein Subjekt enthält, und extrahiert die Bildregion (XY = 24) in der untersten Rechteckregion (Y = 4) als die Bildregion, die die Markierung S0 als ein Subjekt enthält.
Als Nächstes führt die Subjektform-Entscheidungseinheit 45 die Formerkennungsverarbeitung der Bildregion (XY = 24) aus, die die durch die Subjektform-Extrahiereinheit 44 extrahierte Markierung S0 als ein Subjekt enthält, durch Verwendung der aus der Spezifische-Form-Speichereinheit 46 ausgelesenen Spezifische-Form-Daten, wodurch sie eine Entscheidung darüber macht, ob die Form der Markierung S0 in der Bildregion (XY = 24) mit der durch die Spezifische-Form-Daten bezeichneten Form übereinstimmt oder nicht (Schritt ST2c). Das Formentscheidungsergebnis wird von der Subjektform-Entscheidungseinheit 45 an die Umweltschätzungseinheit 5c geliefert.
Das Formentscheidungsergebnis, dass die Form der Markierung S0 nicht mit der Form der Spezifische-Form-Daten übereinstimmt, von der Subjektform-Entscheidungseinheit 45 (NEIN bei Schritt ST2c) empfangend, schätzt die Umweltschätzungseinheit 5c, dass es verregnet ist in der Umgebungsumwelt des Fahrzeugs, und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST3c).
Das Schätzungsergebnis empfangend, dass es verregnet ist in der Umgebungsumwelt des Fahrzeugs, liefert die Fahrzeugsignal-Steuereinheit 6, außer wenn die Scheibenwischer zuvor angetrieben worden sind, an die Fahrzeug-ECU das Fahrzeugsignal zum Antreiben der Scheibenwischer gemäß dem Schätzungsergebnis. Somit treibt die Fahrzeug-ECU die Scheibenwischer in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 an (Schritt ST4c).
Das Formentscheidungsergebnis empfangend, das die Form der Markierung S0 mit der Form der Spezifische-Form-Daten übereinstimmt (JA bei Schritt ST2c), schätzt andererseits die Umweltschätzungseinheit 5c, dass es etwas anderes als verregnetes Wetter in der Umgebungsumwelt des Fahrzeugs ist, und liefert das Schätzungsergebnis an die Fahrzeugsignal-Steuereinheit 6 (Schritt ST5c).
Das Entscheidungsergebnis empfangend, beliefert die Fahrzeugsignal-Steuereinheit 6, falls die Scheibenwischer zuvor angetrieben worden sind, die Fahrzeug-ECU mit dem Fahrzeugsignal zum Stoppen der Scheibenwischer. Die Fahrzeug-ECU stoppt die Scheibenwischer in Ansprechen auf das Fahrzeugsignal von der Fahrzeugsignal-Steuereinheit 6 (Schritt ST6c).
Wenn die Verarbeitung bei Schritt ST4c oder Schritt ST6c vollendet ist, kehrt die Verarbeitung wieder zum Schritt ST1c zurück, wiederholt die vorhergehende Verarbeitung, um die Änderung des Wetters zu überwachen, und steuert die Bordausrüstung gemäß der Änderung.
Wie oben beschrieben, umfasst gemäß der vorliegenden Ausführungsform 4 sie die Bildregion-Aufteileinheit 3 zum Aufteilen des mit der Fahrzeugkamera aufgenommenen Kamerabildes in eine Vielzahl von Bildregionen; die Kamerabildinformations-Extrahiereinheit 4c zum Extrahieren der Bildregion, die die Markierung S0 mit der spezifischen Form enthält, aus der Vielzahl von Bildregionen, die der Aufteilung durch die Bildregion-Aufteileinheit unterzogen werden; und die Umweltschätzungseinheit 5c zum Schätzen des Wetters der Umgebungsumwelt in Abhängigkeit davon, ob die Form der Markierung S0 in der Bildregion, die die Markierung S0 aufgenommen hat, die durch die Kamerabildinformations-Extrahiereinheit 4c extrahiert wird, mit den Spezifische-Form-Daten übereinstimmt, die die Form der Markierung S0 bezeichnen und im Voraus vorbereitet werden. Somit identifiziert sie aus dem Kamerabild der an dem Fahrzeug fixierten Fahrzeugkamera die Bildregion, die die Markierung enthält mit der spezifischen Form S0 als ein Subjekt, und schätzt die Umgebungsumwelt des Fahrzeugs in Abhängigkeit davon, ob die Form der Markierung S0 in der Bildregion mit der Form übereinstimmt, die durch die im Voraus vorbereiteten Spezifische-Form-Daten bezeichnet ist. Demgemäß kann sie der Notwendigkeit eines dedizierten Sensors oder eines Bilderkennungschips vorbeugen und kann die Umgebungsumwelt des Fahrzeugs durch die einfache Ausgestaltung schätzen.
Obwohl die vorhergehenden Ausführungsform 1 bis 4 Beispiele zeigen, die die Umgebungsschätzungsvorrichtung gemäß der vorliegenden Erfindung auf das Fahrzeugsteuerungssystem zum Steuern der Bordausrüstung anwenden, ist sie auch auf ein System anwendbar, solange wie das System ein Kamerabild mit dem Himmel oder dergleichen als ein Subjekt akquirieren kann, was ein Spezifizieren der Änderung der Umgebungsumwelt ermöglicht. Falls beispielsweise in einem Überwachungskamerasystem, das einen Außenbereich betrachtet, eine Kamera derart fixiert ist, dass ein Subjekt den Himmel enthält, kann das System die zu beobachtende Umgebungsumwelt nur aus dem Kamerabild schätzen.
Es sollte übrigens verstanden werden, dass eine beliebige Kombination der individuellen Ausführungsformen, Variationen von Komponenten der individuellen Ausführungsformen oder eine Entfernung von Komponenten der individuellen Ausführungsformen innerhalb des Schutzbereichs der vorliegenden Erfindung möglich sind.
GEWERBLICHE ANWENDBARKEIT
Eine Umweltschätzungsvorrichtung gemäß der vorliegenden Erfindung kann aus einem Kamerabild die Umgebungsumwelt eines aufgenommenen Objektes mit einer einfachen Ausgestaltung schätzen. Demgemäß ist sie geeignet für ein Fahrzeugsteuerungssystem zum Steuern der Operation der Bordausrüstung eines Fahrzeugs mit einer Fahrzeugkamera.
BESCHREIBUNG DER BEZUGSZEICHEN

1, 1A, 1B, 1C Fahrzeugsteuerungssystem; 2, 2a, 2b, 2c Umweltschätzungsvorrichtung; 3 Bildregion-Aufteileinheit; 4, 4a, 4b, 4c Kamerabildinformations-Extrahiereinheit (Informationsextrahiereinheit); 5, 5a, 5b, 5c Umweltschätzungseinheit; 6 Fahrzeugsignal-Steuereinheit; 7 Kameralinse; 8 Fremdkörper; 9 Fahrzeugteil; 41 Einzelregion-Luminanzinformations-Extrahiereinheit; 42 Einzelregion-Farbinformations-Extrahiereinheit; 43 Mehrfachregion-Luminanzinformations-Extrahiereinheit; 44 Subjektform-Extrahiereinheit; 45 Subjektform-Entscheidungseinheit; 46 Spezifische-Form-Speichereinheit.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010-6172 [0004]

Claims

Umweltschätzungsvorrichtung mit: einer Bildregion-Aufteileinheit zum Aufteilen eines mit einer Abbildungseinheit aufgenommenen Aufnahmebildes in eine Vielzahl von Bildregionen; einer Informationsextrahiereinheit zum Extrahieren, aus einer Bildregion, die den Himmel aufgenommen hat und aus der Vielzahl der der Aufteilung durch die Bildregion-Aufteileinheit unterzogenen Bildbereiche akquiriert wird, einer Bildinformation, die Merkmale der Bildregion angibt; und einer Umweltschätzungseinheit zum Schätzen, aus der durch die Informationsextrahiereinheit extrahierten Bildinformation, eines Wetters oder einer Lichtintensität einer Umgebungsumwelt durch Referenzieren entsprechender Daten, die eine Zuordnung zwischen den Merkmalen der Bildregion und dem Wetter oder der Lichtintensität der Umgebungsumwelt angeben.
Umweltschätzungsvorrichtung gemäß Anspruch 1, wobei die Informationsextrahiereinheit eine Luminanzinformation über die Bildregion extrahiert, die den Himmel aufgenommen hat; und die Umweltschätzungseinheit aus der durch die Informationsextrahiereinheit extrahierten Luminanzinformation die Lichtintensität in der Umgebungsumwelt schätzt durch Referenzieren der entsprechenden Daten, die die Zuordnung zwischen der Luminanzinformation über den Bildbereich und der Lichtintensität in der Umgebungsumwelt angeben.
Umweltschätzungsvorrichtung gemäß Anspruch 1, wobei die Informationsextrahiereinheit eine Farbinformation über die Bildregion extrahiert, die den Himmel aufgenommen hat; und die Umweltschätzungseinheit aus der durch die Informationsextrahiereinheit extrahierten Farbinformation das Wetter oder die Lichtintensität der Umgebungsumwelt schätzt durch Referenzieren der entsprechenden Daten, die die Zuordnung zwischen der Farbinformation über die Bildregion und dem Wetter und der Lichtintensität der Umgebungsumwelt angeben.
Umweltschätzungsvorrichtung gemäß Anspruch 1, wobei die Informationsextrahiereinheit eine Luminanzinformation über eine obere Bildregion, die eine Bildregion enthält, die wenigstens den Himmel aufgenommen hat, und über eine untere Bildregion, die den Boden aufgenommen hat, aus der Vielzahl der der Aufteilung durch die Bildregion-Aufteileinheit unterzogenen Bildregionen extrahiert; und die Umweltschätzungseinheit aus den durch die Informationsextrahiereinheit extrahierten Luminanzinformationselementen das Wetter und die Lichtintensität der Umgebungsumwelt schätzt durch Referenzieren der entsprechenden Daten, die die Zuordnung zwischen den Luminanzinformationselementen über die Bildregionen und dem Wetter und der Lichtintensität der Umgebungsumwelt angeben.
Umweltschätzungsvorrichtung mit: einer Bildregion-Aufteileinheit zum Aufteilen eines mit einer Abbildungseinheit aufgenommenen Aufnahmebildes in eine Vielzahl von Bildregionen; einer Informationsextrahiereinheit zum Extrahieren einer Bildregion, die eine Markierung mit einer spezifischen Form aufgenommen hat, aus der Vielzahl der der Aufteilung durch die Bildregion-Aufteileinheit unterzogenen Bildregionen; und einer Umweltschätzungseinheit zum Schätzen eines Wetters einer Umgebungsumwelt in Abhängigkeit davon, ob oder nicht die Form der Markierung in der Bildregion, die die Markierung aufgenommen hat und durch die Informationsextrahiereinheit extrahiert wird, mit Formdaten übereinstimmt, die die Form der Markierung bezeichnen und im Voraus vorbereitet sind.
Fahrzeugsteuerungssystem mit: einer Umweltschätzungsvorrichtung und einer Fahrzeugsignal-Steuereinheit, wobei die Umweltschätzungsvorrichtung umfasst: eine Bildregion-Aufteileinheit zum Aufteilen eines mit einer Abbildungseinheit aufgenommenen Aufnahmebildes in eine Vielzahl von Bildregionen; eine Informationsextrahiereinheit zum Extrahieren, aus einer Bildregion, die den Himmel aufgenommen hat und aus der Vielzahl der der Aufteilung durch die Bildregion-Aufteileinheit unterzogenen Bildbereiche akquiriert wird, einer Bildinformation, die Merkmale der Bildregion angibt; und eine Umweltschätzungseinheit zum Schätzen, aus der durch die Informationsextrahiereinheit extrahierten Bildinformation, eines Wetters oder einer Lichtintensität einer Umgebungsumwelt durch Referenzieren entsprechender Daten, die eine Zuordnung zwischen den Merkmalen der Bildregion und dem Wetter oder der Lichtintensität der Umgebungsumwelt angeben, und wobei die Fahrzeugsignal-Steuereinheit ein Fahrzeugsignal erzeugt zum Steuern eines Antreibens einer Bordausrüstung in Übereinstimmung mit einem Schätzungsergebnis der Umweltschätzungseinheit.