-
Die
vorliegende Erfindung betrifft im Allgemeinen eine Fahrzeugbildverarbeitungsvorrichtung.
-
Der
Stand der Technik wird nachstehend anhand von vier Patentdokumenten
beschrieben werden. Diese sind:
- – Patentdokument
1: JP-A-H07-84067
- – Patentdokument
2: JP-A-2001-88636
- – Patentdokument
3: JP-A-2005-84959
- – Patentdokument
4: JP-A-2005-135308
-
Herkömmlicherweise
ist eine Technologie zum Bestimmen einer Fahrumgebung eines Fahrzeugs
aus einem durch eine Bildaufnahmevorrichtung wie etwa eine Kamera
eingefangenen bzw. aufgenommenen Bild vorgeschlagen worden. gemäß der in
Patentdokument 1 beschriebenen Technologie ist eine Kamera an einem
Stützpfosten
entlang einer Straße
vorgesehen und fängt
eine Straßenoberfläche und
das Straßenbankett
ein. Die Technik vergleicht Schatten des eingefangenen Bildes für die Straßenoberfläche und
das Straßenbankett,
um die Ansammlung von Schnee zu bestimmen.
-
Die
in Patentdokument 2 beschriebene Technologie verwendet eine Kamera,
welche Ansichten außerhalb
eines Fahrzeugs einfängt.
Wenn ein durch die Kamera eingefangenes Bild eine Straßenoberfläche in einem
Bereich enthält,
legt die Technologie diesen Bereich als einen Überwachungsbereich fest. Die
Technologie erfaßt
den Schnee an einem Straßenbankett
auf der Grundlage einer Leuchtkraftgrenze in dem Überwachungsbereich
und dem Betrag einer Änderung
in der Leuchtkraft (Luminanz) innerhalb und außerhalb der Grenze.
-
Die
in Patentdokument 3 beschriebene Technologie definiert einen Überwachungsbereich
in einem eingefangenen Bild. Die Technologie teilt eine Leuchtkraftverteilung
des Überwachungsbereichs
in jeweilige von vorbestimmten mehrfachen Leuchtkraftverteilungsmustern
ein. Die Technologie verwendet ein Bestimmungsverfahren, welches
einzeln für jedes
Leuchtkraftverteilungsmuster festgelegt ist, um zu bestimmen, ob
das Fahrzeug auf einer verschneiten Straße fährt oder nicht.
-
Die
in Patentdokument 4 beschriebene Technologie stellt Abbildungsmittel
zum Abbilden einer Ansicht vor dem Fahrzeug bereit. Ein durch die
Abbildungsmittel eingefangenes Bild ist so konfiguriert, dass es
einen fokussierten Bereich und den anderen nicht fokussierten Bereich
enthält.
Der fokussierte Bereich enthält
ein vorausfahrendes Fahrzeug, eine weiße Straßenlinie, ein Verkehrszeichen
und dergleichen. Die Technologie erfaßt eine Leuchtkraftinformation über den
fokussierten und den unfokussierten Bereich in dem eingefangenen
Bild. Auf der Grundlage der Leuchtkraftinformation über diese
Bereiche bestimmt die Technologie, ob eine Fahrumgebung es für einen
Bildprozess schwierig macht, eine Situation vor dem Fahrzeug zu
analysieren, oder nicht.
-
Im
Allgemeinen stellt eine fahrzeuggebundene Kamera zum Einfangen eines
Bildes um ein Fahrzeug herum eine Aufnahmesteuerung in Übereinstimmung
mit einer äußeren Umgebung
während
eines Abbildens wie etwa Lichtstärke,
Leuchtkraft und Farbe bereit. Die Aufnahmesteuerung stellt nacheinander
(sukzessiv) Kamerasteuerparameter wie etwa Blendenöffnungsweite,
Verschlussgeschwindigkeit bzw. -zeit und Ausgangssignalverstärkung ein.
Die Aufnahmesteuerung stellt Steuerungswerte bzw. Regelgrößen (Kamerasteuergrößen) für die Kamerasteuerungsparameter
so ein, dass ein abzubildendes Objekt einen für einen anschließenden Bildprozess verfügbaren Pixelwert
bereitstellt. Der Pixelwert repräsentiert
einen Grad einer Helligkeit für
jeden Pixel.
-
Wird
das Augenmerk auf die Aufnahmesteuerung gelegt, bestimmt eine Bestimmung
einer äußeren Umgebung
während
eines Abbildens einen einzustellenden Kamerasteuerungswert auf den
Soll-Pixelwert. Es kann verstanden wer den, dass es eine kausale
Beziehung zwischen der äußeren Umgebung
während
eines Abbildens (Ursache) und dem Kamerasteuerungswert (Wirkung)
gibt. Die äußere Umgebung
während
eines Abbildens kann aus dem Kamerasteuerungswert durch retroaktives
Verfolgen der kausalen Beziehung, d.h., Rückschließen auf den Grund aus der Wirkung,
aus dem Kamerasteuerungswert geschätzt werden. Wenn diese Schätzung verfügbar ist,
können
die anderen fahrzeuggebundenen Anwendungen mit Information über die äußere Umgebung
versorgt werden.
-
Die
in Patentdokumenten 1 bis 3 beschriebenen Technologien bestimmen
jedoch eine spezifische Fahrumgebung wie etwa eine verschneite Straße oder
dergleichen. Die in Patentdokument 4 beschriebene Technologie bestimmt,
ob eine Fahrumgebung eines für
den Bildprozess schwierig macht, eine Situation zu analysieren,
oder nicht. Diese Technologien können äußere Umgebungsbedingungen wie
etwa Lichtstärke,
Leuchtkraft und Farbe eines abzubildenden Objekts während dem
Abbilden nicht schätzen.
-
Die
vorliegende Erfindung wurde vor dem vorstehend geschilderten Hintergrund
gemacht. Eine Aufgabe der vorliegenden Erfindung besteht daher darin,
eine Fahrzeugbildverarbeitungsvorrichtung zu schaffen, welche in
der Lage ist, eine Umgebung bzw. eine Umgebungsbedingung außerhalb
eines Fahrzeugs unter Verwendung eines durch eine fahrzeuggebundene
Kamera eingefangenen Bildes zu schätzen.
-
Um
die vorstehend erwähnte
Aufgabe zu lösen,
weist eine Fahrzeugbildverarbeitungsvorrichtung auf: eine fahrzeuggebundene
Kamera zum Einfangen eines Bildes einschließlich eines Abbildungsobjekts
um ein Fahrzeug herum, eine Kamerasteuerungswertfestlegungseinheit
zum Festlegen eine Kamerasteuerungswerts wenigstens eines von Kamerasteuerparametern
wie etwa einer Blendenöffnungsweite,
einer Verschlussgeschwindigkeit bzw. Verschlusszeit und einer Ausgangssignalverstärkung der
fahrzeuggebundenen Kamera in Übereinstimmung
mit einer äußeren Umgebung
für das
Fahrzeug während
des Abbildens, eine Abbildungsobjektpixelwertbeschaffungseinheit
zum Beschaffen eines Pixelwerts für ein Abbildungsobjekt in einem
durch die fahrzeuggebundene Kamera eingefangenen Bild, und eine
Abbildungsobjektleuchtkraftschätzeinheit zum
Schätzen
einer Leuchtkraft eines Abbildungsobjekts aus einem durch die Kamerasteuerungswertfestlegungseinheit
festgelegten Kamerasteuerungswert und einem durch die Abbildungsobjektpixelwertbeschaffungseinheit
beschafften Pixelwert für
ein Abbildungsobjekt unter Verwendung einer kausalen Beziehung,
in welcher ein Pixelwert für
ein Abbildungsobjekt in einem durch eine fahrzeuggebundene Kamera
eingefangenen Bild auf der Grundlage einer Leuchtkraft des Abbildungsobjekts
und eines Kamerasteuerungswerts bestimmt ist.
-
Es
werde angenommen, dass eine Aufnahmesteuerung durchgeführt wird,
wenn die fahrzeuggebundene Kamera ein Bild einfängt (vgl. 2), dessen
Abbildungsbereich eine mit einer weißen Linie bemalte Straßenoberfläche und
den Himmel vor einem Fahrzeug enthält. Es liegt eine Kausalbeziehung
(Ursache-Wirkungs-Beziehung)
zwischen einer äußeren Umgebung
um das Fahrzeug herum und dem eingefangenen Bild vor, wie sie in 3 gezeigt ist. 3 stellt
ein Kausalbeziehungsmodell dar, welches die Kausalbeziehung zwischen
einer zu schätzenden
Variablen und einer meßbaren
Variablen zeigt. In 3 geben Pfeile zwischen Variablen
v1 bis v12 an, dass die Kausalbeziehung verfügbar ist. Ein Ursprung des
Pfeils entspricht der Ursache, und ein Endpunkt desselben entspricht
der Wirkung der Kausalbeziehung. Die Variablen v5 und v8 bis v12 sind
meßbar.
-
Es
ist zu verstehen, dass das Kausalbeziehungsmodell für verschiedene
Schätzungen
verwendet werden kann. Beispielsweise ist eine "Schätzung einer
Wirkung aus einer gemessenen Ursache (Vorwärtsrichtung des Pfeils)" oder eine "Schätzung einer Ursache
aus einer gemessenen Wirkung (Rückwärtsrichtung
des Pfeils)" verfügbar. Diese
Schätzungen
können
entlang den Pfeilen unter den Variablen verbreitet werden, was es
ermöglicht,
die Variable v2 oder v3, die nicht direkt durch die Pfeile mit meßbaren Variablen
verbunden sind, zu schätzen.
-
Gemäß der vorstehend
erwähnten
Kausalbeziehung enthält
ein durch die fahrzeuggebundene Kamera eingefangenes Bild ein Abbildungsobjekt und
ist dessen Pixelwert auf der Grundlage der Leuchtkraft des Abbildungsobjekts
und des Kamerasteuerungswerts bestimmt. Die Kausalbeziehung kann
verwendet werden, um eine äußere Umgebung des
Fahrzeugs wie etwa die Leuchtkraft des Abbildungsobjekts aus einem
Kamerasteuerungswert und einem Pixelwert für das Abbildungsobjekt zu schätzen. Auf
diese Weise können
die anderen fahrzeuggebundenen Anwendungen mit Information über die Leuchtkraft
des Abbildungsobjekts versorgt werden.
-
Gemäß einem
anderen Gesichtspunkt der vorliegenden Erfindung weist die Fahrzeugbildverarbeitungsvorrichtung
eine fahrzeuggebundene Kamera zum Einfangen eines Bildes einschließlich einer Straßenoberfläche um das
Fahrzeug herum, eine Kamerasteuerungswertfestlegungseinheit zum
Festlegen eines Kamerasteuerungswerts wenigstens eines von Kamerasteuerungsparametern
wie etwa einer Blendenöffnungsweite,
einer Verschlussgeschwindigkeit und einer Ausgangssignalverstärkung der
fahrzeuggebundenen Kamera, um einen vorbestimmten bzw. genau angegebenen
Pixelwert für
die Straßenoberfläche in dem
durch die fahrzeuggebundene Kamera eingefangenen Bild bereitzustellen, und
eine Straßenoberflächenleuchtkraftschätzeinheit zum
Schätzen
einer Leuchtkraft der Straßenoberfläche aus
dem Kamerasteuerungswert unter Verwendung einer Kausalbeziehung,
in welcher die Leuchtkraft der Straßenoberfläche auf der Grundlage des Kamerasteuerungswerts
bestimmt wird, wenn die Kamerasteuerungswertfestlegungseinheit den
Kamerasteuerungswert festlegt, um den vorbestimmten Pixelwert für die Straßenoberfläche bereitzustellen.
-
Die
fahrzeuggebundene Kamera kann der Aufnahmesteuerung ermöglichen,
einen vorbestimmten Wert für
den Pixelwert der Straßenoberfläche bereitzustellen.
In einem solchen Fall kann das Kausalbeziehungsmodell in 4B auf
ein Kausalbeziehungsmodell zwischen der Leuchtkraftvariablen v6
und der Kamerasteuerungsvariablen v8 vereinfacht werden, wie es
in 6A gezeigt ist. Eine Kausalbeziehungskarte, wie
sie in 6B gezeigt ist, kann verwendet
werden, um die Straßenoberflächenleuchtkraftvariable
v6 und die Kamerasteuerungsvariable v8 zu repräsentieren. Demzufolge kann
die Straßenoberflächenleuchtkraftvariable
v6 aus der Kamerasteuerungsvariablen v8 geschätzt werden.
-
Gemäß einem
noch anderen Gesichtspunkt der vorliegenden Erfindung weist die
Fahrzeugbildverarbeitungsvorrichtung eine Umgebungsbeleuchtungsstärkenbeschaffungseinheit
zum Beschaffen (Ermitteln) einer Beleuchtungsstärke um das Fahrzeug herum,
eine fahrzeuggebundene Kamera zum Einfangen eines Bildes einschließlich eines
Abbildungsobjekts um das Fahrzeug herum, eine Abbildungsobjektleuchtkraftbeschaffungseinheit
zum Beschaffen einer Leuchtkraft des Abbildungsobjekts auf der Grundlage
wenigstens eines Pixelwerts für das
Abbildungsobjekt in dem durch die fahrzeuggebundene Kamera eingefangenen
Bild, und eine Abbildungsobjektlichtstärkenschätzeinheit zum Schätzen einer
Lichtstärke
des Abbildungsobjekts aus der durch die Umgebungsbeleuchtungsstärkenbeschaffungseinheit
beschafften Leuchtkraft und der Leuchtkraft des Abbildungsobjekts
unter Verwendung einer Kausalbeziehung, in welcher die Leuchtkraft
des Abbildungsobjekts auf der Grundlage der Beleuchtungsstärke um das
Fahrzeug herum und der Helligkeit des Abbildungsobjekts bestimmt
ist.
-
Wie
vorstehend erwähnt
kann die Aufnahmesteuerung durchgeführt werden, wenn die fahrzeuggebundene
Kamera das Bild einfängt
(vgl. 2), dessen Bildbereich die mit der Fahrbahnmarkierung
(weißen
Linie) bemalte Straßenoberfläche vor
dem Fahrzeug enthält.
In diesem Fall ist das Kausalbeziehungsmodell in 3 zwischen
der äußeren Umgebung
um das Fahrzeug herum und dem eingefangenen Bild verfügbar. Dieses
Kausalbeziehungsmodell repräsentiert
die Kausalbeziehung (die Beziehung zwischen Ursache und Wirkung),
in welcher die Leuchtkraft des Abbildungsobjekts wie etwa der Straßenoberfläche oder
der weißen
Linie auf der Grundlage der Beleuchtungsstärke um das Fahrzeug herum und
der Lichtstärke
des Abbildungsobjekts bestimmt ist. Die Kausalbeziehung kann verwendet werden,
um die Lichtstärke
des Abbildungsobjekts aus der Beleuchtungsstärke um das Fahrzeug herum und
der Leuchtkraft des Abbildungsobjekts zu schätzen. Auf diese Weise können die
anderen fahrzeuggebundenen Anwendungen mit Information über die Lichtstärke des
Abbildungsobjekts versorgt werden.
-
Gemäß einem
noch anderen Gesichtspunkt der vorliegenden Erfindung weist die
Fahrzeugbildverarbeitungsvorrichtung eine fahrzeuggebundene Kamera zum
Einfangen eines Bildes einschließlich des Himmels um ein Fahrzeug
herum, eine Himmelsleuchtkraftbeschaffungseinheit zum Beschaffen
einer Leuchtkraft des Himmels um das Fahrzeug herum auf der Grundlage
wenigstens eines Pixelwerts für den
Himmel in dem durch die fahrzeuggebundene Kamera eingefangenen Bild,
und eine Umgebungsbeleuchtungsstärkenschätzeinheit
zum Schätzen
der Beleuchtungsstärke
um das Fahrzeug herum aus der durch die Himmelsleuchtkraftbeschaffungseinheit beschafften
Leuchtkraft des Himmels unter Verwendung einer Kausalbeziehung,
in welcher die Beleuchtungsstärke
um das Fahrzeug herum auf der Grundlage der Leuchtkraft des Himmels
um das Fahrzeug herum bestimmt ist.
-
Wie
aus dem Kausalbeziehungsmodell in 3 klar ist,
ist die Beleuchtungsstärkenvariable
v4 direkt mit der Himmelsleuchtkraftvariablen v1 verbunden. Gemäß der Darstellung
in 10C ist ein Kausalbeziehungsmodell zwischen der
Beleuchtungsstärkenvariablen
v4 und der Himmelleuchtkraftvariablen v1 verfügbar. Es liegt eine Kausalbeziehung
vor, in welcher die Beleuchtungsstärke um das Fahrzeug herum auf
der Grundlage der Leuchtkraft des Himmels um das Fahrzeug herum
bestimmt ist. Die Kausalbeziehung kann verwendet werden, um die
Beleuchtungsstärke
um das Fahrzeug herum aus der Leuchtkraft des Himmels um das Fahrzeug
herum zu schätzen.
-
Auf
diese Weise können
die anderen fahrzeuggebundenen Anwendungen mit Information über die
Beleuchtungsstärke
um das Fahrzeug herum versorgt werden, ohne den Sensor des Lichtsteuerungssystems
oder den Sonnensensor zu verwenden. Es ist in Betracht zu ziehen,
dass die Beleuchtungsstärkevariable
v4 nicht so genau aus der Himmelsleuchtkraftvariablen v1 geschätzt wird.
Gemäß der Darstellung
in 10C ist es vorzuziehen, die Beleuchtungsstärke unter
Verwendung einer Wahrscheinlichkeitsverteilung anstelle eines skalaren Werts
zu schätzen.
-
Die
Fahrzeugbildverarbeitungsvorrichtung weist eine fahrzeuggebundene
Kamera zum Einfangen eines Bildes einschließlich eines Abbildungsobjekts
um ein Fahrzeug herum, eine Abbildungsobjektleuchtkraftbeschaffungseinheit
zum Beschaffen einer Leuchtkraft des Abbildungsobjekts auf der Grundlage wenigstens
eines Pixelwerts für
das Abbildungsobjekt in dem durch die fahrzeuggebundene Kamera eingefangenen
Bild, eine Abbildungsobjektlichtstärkenbeschaffungseinheit zum
Beschaffen einer Lichtstärke
des Abbildungsobjekts um das Fahrzeug herum, und eine Umgebungsbeleuchtungsstärkenschätzeinheit
zum Schätzen
einer Beleuchtungsstärke
um das Fahrzeug herum aus der durch die Abbildungsobjektleuchtkraftbeschaffungseinheit
beschafften Leuchtkraft des Abbildungsobjekts und der durch die
Abbildungsobjektlichtstärkenbeschaffungseinheit
beschafften Lichtstärke
des Abbildungsobjekts unter Verwendung einer Kausalbeziehung, in welcher
die Leuchtkraft des Abbildungsobjekts auf der Grundlage der Beleuchtungsstärke um das
Fahrzeug herum und der Lichtstärke
des Abbildungsobjekts bestimmt ist.
-
Wie
vorstehend erwähnt,
kann die Aufnahmesteuerung durchgeführt werden, wenn die fahrzeuggebundene
Kamera das Bild einfängt
(vgl. 2), dessen Bildbereich die mit der Fahrbahnmarkierung
(weiße
Linie) bemalte Straßenoberfläche vor dem
Fahrzeug enthält.
In diesem Fall ist das Kausalbeziehungsmodell in 3 zwischen
der äußeren Umgebung
um das Fahrzeug herum und dem eingefangenen Bild verfügbar. Dieses
Kausalbeziehungsmodell repräsentiert
die Kausalbeziehung, in welcher die Leuchtkraft (luminance) des
Abbildungsobjekts wie etwa der Straßenoberfläche oder der Fahrbahnmarkierung
(weißen
Linie) auf der Grundlage der Beleuchtungsstärke (illuminance) um das Fahrzeug
herum und der Lichtstärke
(lightness) des Abbildungsobjekts bestimmt ist. Die Kausalbeziehung
kann verwendet werden, um die Beleuchtungsstärke um das Fahrzeug herum aus
der Leuchtkraft und der Lichtstärke
des Abbildungsobjekts zu schätzen.
Auf diese Weise können
die anderen fahrzeuggebundenen Anwendungen mit Information über die
Beleuchtungsstärke
um das Fahrzeug herum versorgt werden.
-
Anderer
Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden
aus der nachstehenden genauen Beschreibung genauer ersichtlich werden,
welche unter Bezugnahme auf die begleitenden Zeichnungen angefertigt
wurde, in welchen:
-
1 ein
Blockdiagramm ist, welches den Aufbau einer Fahrzeugbildverarbeitungsvorrichtung 10 zeigt;
-
2 ein
Bild vor einem Fahrzeug zeigt, welches durch eine fahrzeuggebundene
Kamera abgebildet wird;
-
3 ein
Modell einer Kausalbeziehung ist;
-
4A ein
Modell einer Kausalbeziehung zwischen einer Kamerasteuervariablen
v8, einer Straßenoberflächenpixelvariablen
v11 und Straßenoberflächenleuchtkraftvariablen
v6 ist;
-
4B ein
Modell einer Kausalbeziehung zwischen einer Kamerasteuervariablen
v8, einer Weißlinienpixelvariablen
v12 und einer Weißlinienleuchtkraftvariablen
v7 ist;
-
4C ein
Modell einer Kausalbeziehung zwischen einer Kamerasteuervariablen
v8, einer Himmelsbereichspixelvariablen v10 und einer Himmelsleuchtkraftvariablen
v1 ist;
-
4D eine
Karte einer Kausalbeziehung zwischen einem Kamerasteuerungswert,
einer Leuchtkraft und einem Pixelwert ist;
-
5 ein
Ablaufdiagramm ist, welches einen Leuchtkraftschätzprozess gemäß einer
ersten Ausführungsform
zeigt;
-
6A ein
Modell einer Kausalbeziehung zwischen einer Straßenoberflächenleuchtkraftvariablen v6
und einer Kamerasteuervariablen v8 ist;
-
6B eine
Karte einer Kausalbeziehung zwischen einer Straßenoberflächenleuchtkraftvariablen v6
und einer Kamerasteuervariablen v8 ist;
-
7A ein
Modell einer Kausalbeziehung zwischen einer Straßenoberflächenlichtstärkenvariablen v2, einer Beleuchtungsstärkenvariablen
v4, einer Scheinwerferzustandsvariablen v5 und einer Straßenoberflächenleuchtkraftvariablen
v6 ist;
-
7B ein
Modell einer Kausalbeziehung zwischen einer Weißlinienlichtstärkenvariablen
v3, einer Beleuchtungsstärkenvariablen
v4, einer Scheinwerferzustandsvariablen v5 und einer Weißlinienleuchtkraftvariablen
v7 ist;
-
7C eine
Karte einer Kausalbeziehung zwischen einer Leuchtkraft, einer Beleuchtungsstärke und
einer Lichtstärke
(Farbe) bei ausgeschaltetem Scheinwerfer ist;
-
7D eine
Karte einer Kausalbeziehung zwischen einer Leuchtkraft, einer Beleuchtungsstärke und
einer Lichtstärke
(Farbe) bei eingeschaltetem Scheinwerfer ist;
-
8 auf
eine Straßenoberfläche abgestrahltes
Sonnenlicht zeigt;
-
9 ein
Ablaufdiagramm ist, welches einen Lichtstärkenschätzprozess gemäß einer
zweiten Ausführungsform
zeigt;
-
10A ein Modell einer Kausalbeziehung zwischen
einer Beleuchtungsstärkenvariablen
v4 und einer Sensorausgangsvariablen v9 ist;
-
10B eine Karte einer Kausalbeziehung zwischen
einer Beleuchtungsstärke
und einem Sensorausgangswert ist;
-
10C ein Modell einer Kausalbeziehung zwischen
einer Beleuchtungsstärkenvariablen
v4 und einer Himmelsleuchtkraftvariablen v1 ist;
-
10D eine Karte einer Kausalbeziehung zum Schätzen einer
Beleuchtungsstärke
unter Verwendung einer Wahrscheinlichkeitsverteilung ist;
-
11 ein
Ablaufdiagramm ist, welches einen Beleuchtungsstärkenschätzprozess gemäß einer
dritten Ausführungsform
zeigt;
-
12A ein Modell einer Kausalbeziehung zwischen
einer Straßenoberflächenlichtstärkenvariablen
v2, einer Beleuchtungsstärkenvariablen
v4, einer Scheinwerferzustandsvariablen v5 und einer Straßenoberflächenleuchtkraftvariablen
v6 ist;
-
12B ein Modell einer Kausalbeziehung zwischen
einer Weißlinienlichtstärkenvariablen
v3, einer Beleuchtungsstärkenvariablen
v4, einer Scheinwerferzustandsvariablen v5 und einer Weißlinienleuchtkraftvariablen
v7 ist;
-
12C eine Karte einer Kausalbeziehung zwischen
Leuchtkraft, Beleuchtungsstärke
und Lichtstärke
(Farbe) bei ausgeschaltetem Scheinwerfer ist; und
-
12D eine Karte einer Kausalbeziehung zwischen
Leuchtkraft, Beleuchtungsstärke
und Lichtstärke
(Farbe) bei eingeschaltetem Scheinwerfer ist.
-
Ausführungsformen
der vorliegenden Erfindung werden nachstehend im Einzelnen unter
Bezugnahme auf die begleitenden Zeichnungen beschrieben werden.
Obgleich die nachstehenden Ausführungsformen
die vorliegende Erfindung in einem Anwendungsfall bei Linksverkehr
darstellen, ist die vorliegende Erfindung ebenso anwendbar auf Rechtsverkehr,
wenn die Beziehungen von rechts und links vertauscht werden.
-
(Erste Ausführungsform)
-
1 ist
ein Blockdiagramm, welches den Aufbau einer Fahrzeugbildverarbeitungsvorrichtung 10 gemäß der Ausführungsform
zeigt. Die Fahrzeugbildverarbeitungsvorrichtung 10 weist
eine fahrzeuggebundene Kamera 12, eine Bildverarbeitungs-ECU 14,
einen Gierratensensor 16, einen Lenksensor 18, einen
Lichtsteuerungssystemsensor 20 und einen Fahrzeuggeschwindigkeitssensor 22 auf.
-
Diese
Komponenten sind über
ein Fahrzeug-LAN 24 untereinander verbunden. Das Fahrzeug-LAN 24 stellt
auch eine Verbindung mit einer Fahrunterstützungs-ECU 26, einer Lichtsteuerungs-ECU 28 und
einer Klimaanlagen- bzw. Luftsteuerungs-ECU 30 her.
-
Die
fahrzeuggebundene Kamera 12 ist einer CCD-Kamera äquivalent,
die ein Abbildungselement wie etwa ein CCD verwendet, und ist z.B.
nahe einem Innenrückspiegel
montiert. Die fahrzeuggebundene Kamera 12 fängt periodisch
und sukzessive einen Bildbereich, d.h., einen Abbildungsbereich
ein, wie es in 2 gezeigt ist. Der Abbildungsbereich
enthält z.B.
eine mit einer Fahrbahnmarkierung (weißen Linie) bemalte Straßenoberfläche und
den Himmel vor dem Fahrzeug.
-
Die
fahrzeuggebundene Kamera 12 kann Kamerasteuerparameter
in Übereinstimmung
mit einer Anweisung von der Bildverarbeitungs-ECU 14 einstellen.
Die Kamerasteuerparameter umfassen eine Blendenöffnungsweite bzw. eine Eintrittsöffnung,
eine Verschlussgeschwindigkeit bzw. -zeit und einen Verstärkungsfaktor
bzw. eine Verstärkung
eines Ausgangssignals (Bildsignals), welches der Bildverarbeitungs-ECU 14 zugeführt wird.
Die fahrzeuggebundene Kamera 12 gibt ein Bildsignal zusammen mit
horizontalen und vertikalen Synchronisierungssignalen eines Bildes
an die Bildverarbeitungs-ECU 14 aus. Das Bildsignal repräsentiert
eine Pixelwertinformation, welche den Helligkeitsgrad eines eingefangenen
Bildes auf einer Pixelbasis angibt.
-
Die
Bildverarbeitungs-ECU 14 ist einem Computer äquivalent,
der eine CPU, einen ROM, einen RAM, und eine VRAM (nicht näher dargestellt) aufweist.
Der VRAM speichert vorübergehend
Daten für
eine gegebene Zeitdauer eines Bildsignals, welches kontinuierlich
durch die fahrzeuggebundene Kamera 12 eingefangen wird.
Die CPU führt
einen spezifischen Bildprozess an den in dem VRAM gespeicherten
Bildsignaldaten in Übereinstimmung
mit einem in dem ROM gespeicherten Programm aus.
-
Die
Bildverarbeitungs-ECU 14 führt einen Aufnahmesteuerungsprozess
auf der Grundlage der von der fahrzeuggebundenen Kamera 12 aus
ausgegebenen Bildsignaldaten aus. Der Aufnahmesteuerungsprozess
stellt Kamerasteuerungswerte für
die Kamerasteuerparameter so ein, dass ein abzubildendes Objekt
wie etwa eine Straßenoberfläche oder eine
weiße
Linie einen Pixelwert bereitstellen kann, der für den anschließenden Bildprozess
verfügbar ist.
-
Die
Bildverarbeitungs-ECU 14 führt einen Bilderkennungsprozess
unter Verwendung einer pixelbasierten Pixelwertinformation über ein
Bild aus. Der Bilderkennungsprozess konfiguriert einen Schwellenwert
einer Kante bzw. einer Grenze zum Erkennen einer Fahrbahnmarkierung
(weißen
Linie) auf der abzubildenden Straßenoberfläche. Der Prozess erkennt die
abgebildete weiße
Linie auf der Grundlage des konfigurierten Grenzschwellenwerts. Der
Prozess gibt eine Fahrspurpositionsinformation auf der Grundlage
der erkannten weißen
Linie über das
Fahrzeug-LAN 24 an die Fahrunterstützungs-ECU 26 aus.
-
Die
Bildverarbeitungs-ECU 14 führt ferner den Aufnahmesteuerungsprozess
und einen noch zu beschreibenden Leuchtkraftschätzprozess aus. Wenn der Leuchtkraftschätzprozess
eine Information einer geschätzten
Leuchtkraft erzeugt, gibt die Bildverarbeitungs-ECU 14 diese über das
Fahrzeug-LAN 24 an verschiedene fahrzeuggebundene Anwendungen
aus. Die Information der geschätzten
Leuchtkraft betrifft die Straßenoberfläche, die
auf die Straßenoberfläche gemalte
weiße
Linie und den Himmel vor dem Fahrzeug.
-
Der
Gierratensensor 16 erfasst sukzessive eine Gierrate des
Fahrzeugs. Der Lenksensor 18 erfaßt sukzessive einen Lenkwinkel.
Der Lichtsteuerungssystemsensor 20 wird für die Lichtsteuerungs-ECU 28 verwendet
und schaltet einen Scheinwerfer des Fahrzeugs in Übereinstimmung
mit der Beleuchtungsstärke
um das Fahrzeug herum automatisch ein. Der Lichtsteuerungssystemsensor 20 gibt
ein Erfassungssignal entsprechend der Beleuchtungsstärke um das
Fahrzeug herum über
das Fahrzeug-LAN 24 an die Lichtsteuerungs-ECU 28 aus. Der
Fahrzeuggeschwindigkeitssensor 22 erfaßt eine Geschwindigkeit des
Fahrzeugs.
-
Die
Fahrunterstützungs-ECU 26 führt verschiedene
Steuerungsprozesse aus. Ein Beispiel ist eine Fahrspurabweichungswarnung
durch Erzeugen einer Warnung, damit das Fahrzeug die weiße Linie nicht überfährt. Ein
anderes Beispiel ist eine Unterstützung beim Halten einer Fahrspur
durch Erzeugen eines vorbestimmten Lenkmoments, um die weiße Linie
nicht zu überfahren.
-
Die
Lichtsteuerungs-ECU 28 schaltet eine Positionslampe und
einen Scheinwerfer (ein Fahrlicht) auf der Grundlage eines Erfassungssignals
aus dem Lichtsteuerungssystemsensor 20 automatisch ein
oder aus. Zusätzlich
stellt die Lichtsteuerungs-ECU 28 ein adaptives Frontbeleuchtungssystem
bereit, welches eine Lichtverteilung des Scheinwerfers in Übereinstimmung
mit einer Fahrzeuggeschwindigkeit, einer Gierrate und einem Lenkwinkel steuert.
-
Nachstehend
wird der durch die Bildverarbeitungs-ECU 14 ausgeführte Leuchtkraftschätzprozess
beschrieben. Der Leuchtkraftschätzprozess verwendet
einen Bildsignalausgang aus der fahrzeuggebundenen Kamera 12,
um die (wahre) Leuchtkraft (Blendung) der Straßenoberfläche, der auf die Straßenoberfläche gemalten
weißen
Linie und des Himmels vor dem Fahrzeug als eines durch die fahrzeuggebundene
Kamera 12 eingefangenen Bildes zu schätzen. Der Leuchtkraftschätzprozess wird
nachstehend beschrieben werden.
-
Es
werde angenommen, dass die Aufnahmesteuerung ausgeführt wird,
wenn die fahrzeuggebundene Kamera 14 ein Bild einfängt (vgl. 2), dessen
Bildbereich die mit der weißen
Linie bemalte Straßenoberfläche und
den Himmel vor dem Fahrzeug enthält.
Es liegt eine Kausalbeziehung zwischen einer äußeren Umgebung um das Fahrzeug herum
und dem eingefangenen Bild vor, wie es in 3 gezeigt
ist. 3 stellt ein Modell einer Kausalbeziehung dar,
welches die Kausalbeziehung zwischen einer zu schätzenden
Variablen und einer messbaren Variablen zeigt. In 3 geben
Pfeile zwischen Variablen v1 bis v12 an, dass die Kausalbeziehung
verfügbar
ist. Ein Ursprung des Pfeils entspricht der Ursache, und ein Endpunkt
desselben entspricht der Wirkung der Kausalbeziehung. Die Variablen
v5 und v8 bis v12 sind messbar und sind in einem doppelten Kreis
eingeschlossen, um von den anderen Variablen unterschieden zu werden.
-
Es
ist zu verstehen, dass das Modell der Kausalbeziehung für verschiedene
Schätzungen
verwendet werden kann. Beispielsweise ist eine „Schätzung einer Wirkung aus einer
gemessenen Ursache (Vorwärtsrichtung
des Pfeils)" oder
eine „Schätzung einer
Ursache aus einer gemessenen Wirkung (Rückwärtsrichtung des Pfeils)" verfügbar. Diese Schätzungen
können
entlang den Pfeilen unter den Variablen weitergegeben werden, was
es ermöglicht, die
Variablen v2 oder v3, die nicht direkt durch die Pfeile mit messbaren
Variablen verbunden sind, zu schätzen.
-
Die
fahrzeuggebundene Kamera 12 führt die Aufnahmesteuerung in Übereinstimmung
mit der äußeren Umgebung
während
eines Abbildens wie etwa Lichtstärke,
Leuchtkraft und Farbe von abzubildenden Objekten einschließlich der
Straßenoberfläche, der
weißen
Linie und des Himmels vor dem Fahrzeug aus. Der Aufnahmesteuerungsprozess
stellt sukzessive (nacheinander) die Kamerasteuerparameter einschließlich der
Blendenöffnungsweite,
der Verschlussgeschwindigkeit und der Ausgangssignalverstärkung ein.
Der Aufnahmesteuerungsprozess stellt Kamerasteuerungswerte für die Kamerasteuerparameter
so ein, dass ein abzubildendes Objekt einen Pixelwert bereitstellen
kann, der für
den anschließenden
Bildprozess verfügbar
ist. Der Pixelwert gibt den Helligkeitsgrad eines eingefangenen
Bildes auf einer Pixelbasis an.
-
Wird
nun das Augenmerk auf die Aufnahmesteuerung gerichtet, bestimmt
eine Bestimmung einer äußeren Umgebung
während
eines Abbildens einen einzustellenden Kamerasteuerungswert auf den Soll-Pixelwert.
Es ist zu verstehen, dass eine Kausalbeziehung zwischen einer äußeren Umgebung
während
des Abbildens (Ursache) und dem Kamerasteuerungswert (Wirkung) besteht.
Die äußere Umgebung
während
des Abbildens kann aus dem Kamerasteuerungswert durch retroaktives
Verfolgen der Kausalbeziehung von der Wirkung zu dem Grund geschätzt werden.
-
Gemäß der vorstehend
erwähnten
Kausalbeziehung weist ein durch die fahrzeuggebundene Kamera 12 eingefangenes
Bild ein Abbildungsobjekt auf und ist sein Pixelwert auf der Grundlage
der Leuchtkraft des Abbildungsobjekts und des Kamerasteuerungswerts
bestimmt. Die Kausalbeziehung kann verwendet werden, um eine äußere Umgebung des
Fahrzeugs wie etwa die Leuchtkraft des Abbildungsobjekts aus dem
Kamerasteuerungswert und einem Pixelwert für das Abbildungsobjekt zu schätzen. Auf
diese Weise können
die anderen fahrzeuggebundenen Anwendungen mit Information über die Leuchtkraft
des Abbildungsobjekts versorgt werden.
-
4A ist
ein Modell einer Kausalbeziehung zwischen den Variablen v8, v10
und v1, welches aus dem in 3 gezeigten
Kausalbeziehungsmodell extrahiert ist. Die Variable v8 repräsentiert
eine messbare Kamerasteuerungsvariable. Die Variable v10 ist messbar
und repräsentiert
eine Variable eines Pixelwerts (Pixelwert des Himmelsbereichs) für einen Himmelsbereich
in dem Bild. Die Variable v1 (Variable der Himmelsleuchtkraft) ist
ein Schätzziel
und repräsentiert
die wahre Leuchtkraft des Himmels vor dem Fahrzeug. Gemäß der Darstellung
in 4A ist die Himmelsbereichspixelvariable v10 durch
Pfeile direkt mit der Kamerasteuervariablen v8 und der Himmelsleuchtkraftvariablen
v1 verbunden. Die Himmelsleuchtkraftvariable v1 kann aus der Kamerasteuervariablen
v8 und der Himmelsbereichspixelvariablen v10 geschätzt werden.
-
4B ist
ein Modell einer Kausalbeziehung zwischen den Variablen v8, v11
und v6, welches aus dem in 3 gezeigten
Kausalbeziehungsmodell extrahiert ist. Die Variable v8 repräsentiert
die Kamerasteuervariable. Die Variable v11 ist messbar und repräsentiert
eine Pixelwertvariable (Pixelwert der Straßenoberfläche) für eine Straßenoberfläche in dem Bild. Die Variable
v6 (Straßenoberflächenleuchtkraftvariable)
ist ein Schätzziel
und repräsentiert
die wahre Leuchtkraft der Straßenoberfläche. Gemäß der Darstellung
in 4B ist die Straßenoberflächenpixelvariable v11 durch
Pfeile direkt mit der Kamerasteuerungsvariablen v8 und der Straßenoberflächenleuchtkraftvariablen
v6 verbunden. Die Straßenoberflächenleuchtkraftvariable
v6 kann aus der Kamerasteuerungsvariablen v8 und der Straßenoberflächenpixelvariablen
v11 geschätzt
werden.
-
4C ist
ein Modell einer Kausalbeziehung zwischen den Variablen v8, v12
und v7, welches aus dem in 3 gezeigten
Kausalbeziehungsmodell extra hiert ist. Die Variable v8 repräsentiert
die Kamerasteuerungsvariable. Die Variable v12 ist messbar und repräsentiert
eine Variable eines Pixelwerts (Pixelwert der weißen Linie)
für eine
weiße
Linie in dem Bild. Die Variable v7 (Weißlinienleuchtkraftvariable) ist
ein Schätzziel
und repräsentiert
die wahre Leuchtkraft der weißen
Linie. Gemäß der Darstellung
in 4C ist die Weißlinienpixelvariable v12 durch Pfeile
direkt mit der Kamerasteuerungsvariablen v8 und der Weißlinienleuchtkraftvariablen
v7 verbunden. Die Weißlinienleuchtkraftvariable
v7 kann aus der Kamerasteuerungsvariablen v8 und der Weißlinienpixelvariablen
v12 geschätzt
werden.
-
Jedes
der in 4A bis 4C gezeigten Kausalbeziehungsmodelle
ist mit einer Kausalbeziehungskarte unter Verwendung des Kamerasteuerungswerts,
der Leuchtkraft und des Pixelwerts versehen, wie es in 4D gezeigt
ist. Die Kausalbeziehungskarte ist entsprechend jedem Kausalbeziehungsmodell
in dem RAM gespeichert. Die Zielvariable kann durch Zuordnen einer
messbaren Variablen zu jeder der entsprechenden Kausalbeziehungskarten
geschätzt
werden.
-
5 ist
ein Ablaufdiagramm, welches den Leuchtkraftschätzprozess zeigt. In Schritt
S10 in 5 liest der Prozess die Kausalbeziehungskarte aus
dem RAM. In Schritt S20 bestimmt der Prozess, ob der Aufnahmesteuerungsprozess
beginnt oder läuft
oder nicht. Wenn die Bestimmung in Schritt S20 ein bestätigendes
Ergebnis liefert (S20: JA), schreitet der Prozess zu Schritt S30
fort. Wenn die Bestimmung in Schritt S20 ein negatives Ergebnis
liefert (S20: NEIN), wartet der Prozess, bis der Aufnahmesteuerungsprozess
beginnt.
-
In
Schritt S30 beschafft (ermittelt) der Prozess einen gegenwärtigen Wert
für die
messbare Variable (die Kamerasteuerungsvariable v8, die Himmelsbereichspixelvariable
v10, die Straßenoberflächenpixelvariable
v11, oder die Weißlinienpixelvariable
v12). Die Weißlinienpixelvariable
v12 kann wie folgt beschafft werden. Der Bilderkennungsprozess stellt
eine Fahrspurpositionsinformation bereit. Auf die Position der weißen Linie
kann in dem Bild gemäß der Fahrspurpositionsinformation
Bezug genommen werden. Der Pixelwert kann an der in Bezug genommenen
Position der weißen
Linie beschafft werden.
-
In
Schritt S40 ordnet der Prozess die in Schritt S30 beschaffte Variable
der Kausalbeziehungskarte zu und beschafft oder schätzt die
Leuchtkraftvariable (die Himmelsleuchtkraftvariable v1, die Straßenoberflächenleuchtkraftvariable
v6, oder die Weißlinienleuchtkraftvariable
v7), welche das Schätzziel
ist. In Schritt S50 gibt der Prozess die in Schritt S40 geschätzte Leuchtkraftvariable
an das Fahrzeug-LAN 24 aus.
-
Gemäß der vorstehend
erwähnten
Kausalbeziehung enthält
ein durch die fahrzeuggebundene Kamera 12 eingefangenes
Bild ein Abbildungsobjekt und ist sein Pixelwert auf der Grundlage
der Leuchtkraft des Abbildungsobjekts und des Kamerasteuerungswerts
bestimmt. Unter Verwendung dieser Kausalbeziehung schätzt die
Fahrzeugbildverarbeitungsvorrichtung 10 gemäß der Ausführungsform
eine äußere Umgebung
des Fahrzeugs wie etwa die Leuchtkraft des Abbildungsobjekts aus
einem Kamerasteuerungswert und einem Pixelwert für das Abbildungsobjekt. Auf
diese Weise können
die anderen fahrzeuggebundenen Anwendungen mit der Information über die
Leuchtkraft des Abbildungsobjekts versorgt werden.
-
(Abwandlung 1)
-
Die
fahrzeuggebundene Kamera 12 gemäß der Ausführungsform kann es ermöglichen,
dass die Aufnahmesteuerung einen vorbestimmten Wert für den Pixelwert
der Straßenoberfläche bereitstellt.
In einem solchen Fall kann das in 4B gezeigte
Kausalbeziehungsmodell in ein Modell einer Kausalbeziehung zwischen
der Leuchtkraftvariablen v6 und der Kamerasteuerungsvariablen v8
vereinfacht werden, wie es in 6A gezeigt
ist. Eine Kausalbeziehungskarte, wie sie in 6B gezeigt
ist, kann verwendet werden, um die Straßenoberflächenleuchtkraftvariable v6
und die Kamerasteuerungsvariable v8 zu repräsentieren. Die in 6B gezeigte
Kausalbeziehungskarte kann verwendet werden, um die Straßenoberflächenleuchtkraftvariable
v6 aus der Kamerasteuerungsvariablen v8 zu schätzen.
-
(Zweite Ausführungsform)
-
Die
zweite Ausführungsform
hat viele Punkte mit der ersten Ausführungsform gemeinsam. Die nachstehende
Beschreibung beschreibt hauptsächlich
abweichende Punkte und lässt
eine Beschreibung der gemeinsamen Punkte im Einzelnen weg. Die Bildverarbeitungs-ECU 14 in
der ersten Ausführungsform
führt den
Leuchtkraftschätzprozess
aus. Der Leuchtkraftschätzprozess
verwendet ein Bildsignal, welches aus der fahrzeuggebundenen Kamera 12 ausgegeben
wird, um die Leuchtkraft (Blendungen) der Straßenoberfläche, der weißen Linie
und des Himmels vor dem Fahrzeug, die in einem durch die fahrzeuggebundene
Kamera 12 eingefangenen Bild enthalten sind, zu schätzen.
-
Im
Unterschied zu der ersten Ausführungsform
führt die
Bildverarbeitungs-ECU 14 in
der zweiten Ausführungsform
einen Lichtstärkenschätzprozess
aus. Der Lichtstärkenschätzprozess
verwendet ein aus der fahrzeuggebundene Kamera 12 ausgegebenes
Bildsignal, um die Lichtstärke
der Straßenoberfläche oder
der weißen
Linie, die in einem durch die fahrzeuggebundene Kamera 12 eingefangenen Bild
enthalten sind, zu schätzen.
Die Lichtstärke
ist einer Farbe oder einem Schwarz-/Weiß-Kontrast in einem monochromen
Bild äquivalent.
Die nachfolgende Beschreibung bezieht sich auf den Lichtstärkenschätzprozess.
-
Wie
im Zusammenhang mit der ersten Ausführungsform erwähnt, kann
die Aufnahmesteuerung ausgeführt
werden, wenn die fahrzeuggebundene Kamera 12 das Bild einfängt (vgl. 2),
dessen Bildbereich die mit der Fahrbahnmarkierung (weißen Linie)
bemalte Straßenoberfläche vor
dem Fahrzeug enthält.
In diesem Fall ist das in 3 gezeigte
Kausalbeziehungsmodell zwischen der äußeren Umgebung um das Fahrzeug
herum und dem eingefangenen Bild verfügbar. Dieses Kausalbeziehungsmodell repräsentiert
die Kausalbeziehung, in welcher die Leuchtkraft des Abbildungsobjekts
wie etwa der Straßenoberfläche oder
der weißen
Linie auf der Grundlage der Beleuchtungsstärke um das Fahrzeug herum und
der Lichtstärke
des Abbildungsobjekts bestimmt ist. Die Kausalbeziehung kann verwendet werden,
um die Lichtstärke
des Abbildungsobjekts aus der Beleuchtungsstärke um das Fahrzeug herum und
der Leuchtkraft des Abbildungsobjekts zu schätzen.
-
Die
Beleuchtungsstärke
um das Fahrzeug herum beeinträchtigt
die Lichtstärke
des Abbildungsobjekts, da das Sonnenlicht auf die Straßenoberfläche strahlt,
wie es in 8 gezeigt ist. Die Leuchtkraft
der Straßenoberfläche ist
durch die Beleuchtungsstärke
um das Fahrzeug herum und die Lichtstärke der Straßenoberfläche bestimmt,
wenn angenommen wird, dass sie eine perfekte Diffusionsfläche ist.
-
7A ist
ein Modell einer Kausalbeziehung zwischen den Variablen v2, v4,
v5 und v6, welches aus dem in 3 gezeigten
Kausalbeziehungsmodell extrahiert ist. Die Variable v2 repräsentiert
eine Straßenoberflächenlichtstärkenvariable,
d.h., eine Variable für
die Lichtstärke
(Farbe) der Straßenoberfläche. Die
Variable v4 repräsentiert
eine Beleuchtungsstärkenvariable,
d.h., eine Variable für
die Beleuchtungsstärke
um das Fahrzeug herum. Die Variable v5 repräsentiert eine Scheinwerferzustandsvariable,
d.h., eine Variable für
den Zustand des Scheinwerfers. Die Variable v6 repräsentiert
die Straßenoberflächenleuchtkraftvariable.
Gemäß der Darstellung
in 7A ist die Straßenoberflächenleuchtkraftvariable v6
durch Pfeile direkt mit der Beleuchtungsstärkenvariablen v4 und der Straßenoberflächenlichtstärkenvariablen
v2 verbunden. Die Straßenoberflächenlichtstärkenvariable
v2 kann aus der Straßenoberflächenleuchtkraftvariablen
v6 und der Beleuchtungsstärkenvariablen
v4 geschätzt
werden.
-
Ein
fahrzeuggebundenes Beleuchtungssystem wie etwa ein Scheinwerfer
(Fahrlicht) strahlt das Licht vor das Fahrzeug ab. Wenn der Scheinwerfer einschaltet,
um das Licht abzustrahlen, beeinflusst dies die Leuchtkraft der
Straßenoberfläche. Dieser Einfluss
muss berücksichtigt
werden. Das Einschalten des Scheinwerfers ermöglicht das Modell der Kausalbeziehung
unter Einbeziehung der Scheinwerferzustandsvariablen v5, wie es
in 7a gezeigt ist. Die Straßenoberflächenlichtstärkenvariable v2 kann aus der
Scheinwerferzustandsvariablen v5, der Straßenoberflächenleuchtkraftvariablen v6
und der Beleuchtungsstärkenvariablen
v4 geschätzt
werden.
-
7B ist
ein Modell einer Kausalbeziehung zwischen den Variablen v3, v4,
v5 und v7, welches aus dem in 3 gezeigten
Kausalbeziehungsmodell extrahiert ist. Die Variable v3 repräsentiert
eine Weißlinienlichtstärkenvariable,
d.h., eine Variable für die
Lichtstärke
(Farbe) der weißen
Linie. Die Variable v4 repräsentiert
die Lichtstärkenvariable.
Die Variable v5 repräsentiert
die Scheinwerferzustandsvariable. Die Variable v7 repräsentiert
die Weißlinienleuchtkraftvariable.
Gemäß der Darstellung
in 7B ist die Weißlinienleuchtkraftvariable
v7 durch Pfeile direkt mit der Beleuchtungsstärkenvariablen v4, der Weißlinienlichtstärkenvariablen
v3 und der Scheinwerferzustandsvariablen v5 verbunden. Die Weißlinienlichtstärkenvariable
v3 kann aus der Weißlinienleuchtkraftvariablen
v7, der Lichtstärkenvariablen
v4 und der Scheinwerferzustandsvariablen v5 geschätzt werden.
-
Jedes
der in 7A und 7B gezeigten Kausalbeziehungsmodelle
ist mit einer Karte der Kausalbeziehung unter Verwendung der Beleuchtungsstärke, der
Leuchtkraft und der Lichtstärke
versehen, wie es in 7C und 7D gezeigt
ist. Die Kausalbeziehungskarte ist vorzugsweise entsprechend jedem
Kausalbeziehungsmodell in dem RAM gespeichert. 7C zeigt
die Kausalbeziehungskarte bei ausgeschaltetem Scheinwerfer. 7C zeigt die
Kausalbeziehungskarte bei eingeschaltetem Scheinwerfer. Eine Zuordnung
einer messbaren Variablen zu jeder Kausalbeziehungskarte kann die Straßenoberflächenlichtstärkenvariable
v2 und die Weißlinienlichtstärkenvariable
v3 als Variablen des Schätzziels
schätzen.
-
9 ist
ein Ablaufdiagramm, welches den Lichtstärkenschätzprozess zeigt. In Schritt
S110 in 9 liest der Prozess die Kausalbeziehungskarte aus
dem RAM. In Schritt S120 bestimmt der Prozess, ob der Aufnahmesteuerungsprozess
beginnt oder läuft
oder nicht. Wenn die Bestimmung in Schritt S120 ein bestätigendes
Ergebnis liefert (S120: JA), schreitet der Prozess zu Schritt S130
fort. Wenn die Bestimmung in Schritt S120 ein negatives Ergebnis liefert
(S120: NEIN), wartet der Prozess, bis der Aufnahmesteuerungsprozess
beginnt.
-
In
Schritt S130 beschafft der Prozess einen gegenwärtigen Wert der messbaren Variablen
(der Scheinwerferzustandsvariablen v5, der Kamerasteuerungs variablen
v8, der Himmelsbereichspixelvariablen v10, der Straßenoberflächenpixelvariablen
v11 oder der Weißlinienpixelvariablen
v12). In Schritt S140 schätzt
der Prozess die Beleuchtungsstärkenvariable
v4, die Straßenoberflächenleuchtkraftvariable
v6 und die Weißlinienleuchtkraftvariable
v7 aus den in Schritt S130 beschafften Variablenwerten. Der Prozess
ordnet das Schätzergebnis
der Kausalbeziehungskarte zu und beschafft oder schätzt die
Lichtstärkenvariable
(die Straßenoberflächenlichtstärkenvariable
v2 und die Weißlinienlichtstärkenvariable v3),
welche das Schätzziel
ist. In Schritt S150 gibt der Prozess die in Schritt S140 geschätzte Lichtstärkenvariable
an das Fahrzeug-LAN 24 aus.
-
Gemäß der vorstehend
erwähnten
Kausalbeziehung ist die Leuchtkraft des Abbildungsobjekts wie etwa
der Straßenoberfläche oder
der weißen
Linie auf der Grundlage der Beleuchtungsstärke um das Fahrzeug herum und
der Lichtstärke
des Abbildungsobjekts bestimmt. Unter Verwendung dieser Kausalbeziehung
schätzt
die Fahrzeugbildverarbeitungsvorrichtung 10 gemäß der Ausführungsform
die Lichtstärke
des Abbildungsobjekts aus der Beleuchtungsstärke um das Fahrzeug herum und
der Leuchtkraft des Abbildungsobjekts. Auf diese Weise können die
anderen fahrzeuggebundenen Anwendungen mit Information über die
Lichtstärke
des Abbildungsobjekts versorgt werden.
-
(Dritte Ausführungsform)
-
Die
dritte Ausführungsform
hat viele Punkte mit der ersten und der zweiten Ausführungsform
gemeinsam. Die nachstehende Beschreibung beschränkt sich hauptsächlich auf
die abweichenden Punkte und lässt
eine Beschreibung der gemeinsamen Punkte im Einzelnen weg. Im Unterschied
zu der ersten und der zweiten Ausführungsform führt die Bildverarbeitungs-ECU 14 in
der dritten Ausführungsform
einen Beleuchtungsstärkenschätzprozess aus,
welcher die Beleuchtungsstärke
um das Fahrzeug herum unter Verwendung eines aus der fahrzeuggebundenen
Kamera 12 ausgegebenen Bildsignals schätzt. Der Beleuchtungsstärkenschätzprozess wird
nachstehend beschrieben werden.
-
Wie
im Zusammenhang mit der ersten Ausführungsform erwähnt, kann
die Aufnahmesteuerung ausgeführt
werden, wenn die fahrzeuggebundene Kamera 14 das Bild einfängt (vgl. 2),
dessen Bildbereich die mit der Fahrbahnmarkierung (weißen Linie)
bemalte Straßenoberfläche vor
dem Fahrzeug enthält.
In diesem Fall ist das in 3 gezeigte
Modell einer Kausalbeziehung zwischen der äußeren Umgebung um das Fahrzeug
herum und dem eingefangenen Bild verfügbar. Wie in diesem Kausalbeziehungsmodell
gezeigt, ist die Beleuchtungsstärkenvariable
v4 aus einer Sensorausgangswertvariablen v9, d.h., der Variablen
für einen
aus einem Lichtsteuerungssystemsensor oder einem Sonnensensor ausgegebenen
Wert bestimmt. 10A zeigt ein Modell der Kausalbeziehung
zwischen der Beleuchtungsstärkenvariablen
v4 und der Sensorausgangswertvariablen v9, welches aus dem in 3 gezeigt
Kausalbeziehungsmodell extrahiert ist. Das in 10A gezeigte Kausalbeziehungsmodell wird durch
eine Kausalbeziehungskarte repräsentiert,
wie sie in 10B gezeigt ist.
-
Wie
aus dem in 3 gezeigten Kausalbeziehungsmodell
klar ist, ist die Beleuchtungsstärkenvariable
v4 direkt mit der Himmelsleuchtkraftvariablen v1 verbunden. Gemäß der Darstellung
in 10C ist ein Modell einer Kausalbeziehung zwischen
der Beleuchtungsstärkenvariablen
v4 und der Himmelsleuchtkraftvariablen v1 verfügbar. Es liegt eine Kausalbeziehung
vor, in welcher die Beleuchtungsstärke um das Fahrzeug herum auf
der Grundlage der Leuchtkraft des Himmels um das Fahrzeug herum
bestimmt ist. Die Kausalbeziehung kann verwendet werden, um die
Beleuchtungsstärke
um das Fahrzeug herum aus der Leuchtkraft des Himmels um das Fahrzeug
herum zu schätzen.
Auf diese Weise können
die anderen fahrzeuggebundenen Anwendungen mit Information über die
Beleuchtungsstärke um
das Fahrzeug herum versorgt werden, ohne den Lichtsteuerungssystemsensor
oder den Sonnensensor zu verwenden.
-
Es
wird angenommen, dass die Beleuchtungsstärkenvariable v4 nicht so genau
aus der Himmelsleuchtkraftvariablen v1 geschätzt wird. Gemäß der Darstellung
in 10D ist es vorzuziehen, die Beleuchtungsstärke unter
Verwendung einer Wahrscheinlichkeitsverteilung anstelle eines skalaren Werts
zu schätzen.
In Bezug auf die Wahrscheinlichkeitsverteilung wird beispielsweise
ein Experiment ausgeführt,
um eine Intensität
der Kausalbeziehung zwischen zu schätzenden und beobachteten Variablen
zu finden. Die Kausalbeziehungsintensität wird als eine statistische
Datenbank bewahrt. Die statistische Datenbank wird verwendet, um
die Beleuchtungsstärkenvariable
v4 aus der Himmelsleuchtkraftvariablen v1 in Übereinstimmung mit einer konditionalen
Wahrscheinlichkeitsgleichung (z.B. der Bayes'schen Theorie der Entscheidungsfindung)
zu schätzen.
Auf diese Weise ist es möglich,
die Wahrscheinlichkeit des geschätzten
Werts auf der Grundlage von Beobachtungen zu beschaffen (zu ermitteln).
-
11 ist
ein Ablaufdiagramm, welches den Beleuchtungsstärkenschätzprozess zeigt. In Schritt S210
in 11 liest der Prozess die Kausalbeziehungskarte
aus dem RAM. In Schritt S220 bestimmt der Prozess, ob der Aufnahmesteuerungsprozess beginnt
oder läuft
oder nicht. Wenn die Bestimmung in Schritt S220 ein bestätigendes
Ergebnis liefert (S220: JA), schreitet der Prozess zu Schritt S230
fort. Wenn die Bestimmung in Schritt S220 ein negatives Ergebnis
liefert (S220: NEIN), wartet der Prozess, bis der Aufnahmesteuerungsprozess
beginnt.
-
In
Schritt S230 beschafft der Prozess einen gegenwärtigen Wert für die messbare
Variable (die Scheinwerferzustandsvariable v5, die Kamerasteuerungsvariable
v8, die Himmelsbereichspixelvariable v10, die Straßenoberflächenpixelvariable
v11 oder die Weißlinienpixelvariable
v12). In Schritt S240 schätzt
der Prozess die Himmelsleuchtkraftvariable v1 aus dem in Schritt
S230 beschafften Variablenwert. Der Prozess ordnet das Schätzergebnis
der Kausalbeziehungskarte zu und beschafft oder schätzt die
Beleuchtungsstärkenvariable
v4, welche das Schätzziel
ist. In Schritt S250 gibt der Prozess die in Schritt S240 geschätzte Beleuchtungsstärkenvariable
v4 an das Fahrzeug-LAN 24 aus.
-
Es
liegt eine Kausalbeziehung vor, in welcher die Beleuchtungsstärke um das
Fahrzeug herum auf der Grundlage der Leuchtkraft des Himmels um
das Fahrzeug herum festgelegt ist. Die Fahrzeugbildverarbeitungsvorrichtung 10 in
der vorliegenden Ausführungsform
kann die Kausalitätsbeziehung
verwenden, um die Beleuchtungsstärke
um das Fahrzeug herum aus der Leuchtkraft des Himmels um das Fahrzeug
herum zu schätzen.
Auf diese Weise können
die anderen fahrzeuggebundenen Anwendungen mit Information über die
Beleuchtungsstärke
um das Fahrzeug herum versorgt werden, ohne den Lichtsteuerungssystemsensor
oder den Sonnensensor zu verwenden.
-
(Zweite Abwandlung)
-
Wie
aus dem in 3 gezeigten Kausalitätsbeziehungsmodell
klar ist, ist die Kausalitätsbeziehung
verfügbar,
in welcher die Leuchtkraft des Abbildungsobjekts wie etwa der Straßenoberfläche oder der
weißen
Linie auf der Grundlage der Beleuchtungsstärke um das Fahrzeug herum und
der Lichtstärke
des Abbildungsobjekts bestimmt ist. Demgemäß kann die Verwendung der Kausalitätsbeziehung die
Beleuchtungsstärke
um das Fahrzeug herum aus der Leuchtkraft und der Lichtstärke des
Beleuchtungsobjekts schätzen.
-
In
dem Kausalitätsbeziehungsmodell
gemäß 3 ist
z.B. die Beleuchtungsstärkenvariable
v4 durch den Pfeil direkt mit der Straßenoberflächenleuchtkraftvariablen v6
verbunden. Die Straßenoberflächenleuchtkraftvariable
v6 ist mit der Straßenoberflächenlichtstärkenvariablen
v2 verbunden. Daher kann die Beleuchtungsstärkenvariable v4 aus der Straßenoberflächenlichtstärkenvariablen
v2 und der Straßenoberflächenleuchtkraftvariablen
v6 geschätzt werden. 12A zeigt ein Modell der Kausalitätsbeziehung
zwischen der Beleuchtungsstärkenvariablen v4,
der Straßenoberflächenlichtstärkenvariablen
v2 und der Straßenoberflächenleuchtkraftvariablen
v6, welches aus dem in 3 gezeigten Kausalitätsbeziehungsmodell
extrahiert ist. Wenn die Scheinwerfer einschalten, um das Licht
abzustrahlen, beeinflusst dies die Leuchtkraft der Straßenoberfläche. Dieser Einfluss
muss berücksichtigt
werden. Das Einschalten des Scheinwerfers ermöglicht das Kausalitätsbeziehungsmodell,
welches die Scheinwerferzustandsvariable v5 enthält, wie es in 12A gezeigt ist. Das Kausalitätsbeziehungsmodell kann verwendet
werden, um die Beleuchtungsstärkenvariable
v4 zu schätzen,
wenn der Scheinwerfer eingeschaltet ist.
-
12C zeigt eine Karte einer Kausalitätsbeziehung,
wenn der Scheinwerfer ausgeschaltet ist. 12D zeigt
eine Karte der Kausalitätsbeziehung, wenn
der Scheinwerfer eingeschaltet ist. Das in 12A gezeigte
Kausalitätsbeziehungsmodell kann
durch die in 12C und 12D gezeigten Kausalitätsbeziehungskarten
repräsentiert
werden. Diese Kausalitätsbeziehungskarten
können
verwendet werden, um die Beleuchtungsstärkenvariable v4 zu schätzen.
-
In
dem Kausalitätsbeziehungsmodell
von 3 ist die Beleuchtungsstärkenvariable v4 durch den Pfeil
direkt mit der Weißlinienleuchtkraftvariablen v7
verbunden. Die Weißlinienleuchtkraftvariable
v7 ist mit der Weißlinienlichtstärkenvariablen
v3 verbunden. Daher kann die Beleuchtungsstärkenvariable v4 aus der Weißlinienlichtstärkenvariablen
v3 und der Weißlinienleuchtkraftvariablen
v7 geschätzt
werden. 12B zeigt ein Modell der Kausalitätsbeziehung zwischen
der Beleuchtungsstärkenvariablen
v4, der Weißlinienlichtstärkenvariablen
v3 und der Weißlinienleuchtkraftvariablen
v7, welches aus dem in 3 gezeigten Kausalitätsbeziehungsmodell
extrahiert ist. Wenn der Scheinwerfer eingeschaltet ist, um das Licht
abzustrahlen, beeinflusst dies die Leuchtkraft der Straßenoberfläche. Dieser
Einfluss muss berücksichtigt
werden. Das Einschalten des Scheinwerfers ermöglicht das Kausalitätsbeziehungsmodell,
wie es in 12B gezeigt ist. Dieses Kausalitätsbeziehungsmodell
kann verwendet werden, um die Beleuchtungsstärkenvariable v4 zu schätzen, wenn
der Scheinwerfer eingeschaltet ist.
-
12C zeigt eine Karte einer Kausalitätsbeziehung,
wenn der Scheinwerfer ausgeschaltet ist. 12D zeigt
eine Karte der Kausalitätsbeziehung, wenn
der Scheinwerfer eingeschaltet ist. Das in 12B gezeigte
Kausalitätsbeziehungsmodell kann
durch die in 12C und 12D gezeigten Kausalitätsbeziehungskarten
repräsentiert
werden. Diese Kausalitätsbeziehungskarten
können
verwendet werden, um die Beleuchtungsstärkenvariable v4 zu schätzen.
-
Der
Beleuchtungsstärkenschätzprozess
gemäß der Abwandlung
entspricht dem Ablaufdiagramm in 11 mit
Ausnahme lediglich des Schritts S240. Die Beschreibung bezüglich der
gleichen Schritte wird hier weggelassen werden. In Schritt S240
der Abwandlung schätzt
der Prozess die Straßenoberflächenlicht stärkenvariable
v2, die Weißlinienlichtstärkenvariable
v3, die Straßenoberflächenleuchtkraftvariable
v6 und die Weißlinienleuchtkraftvariable
v7 aus den in Schritt S230 beschafften Variablenwerten. Der Prozess
ordnet die Schätzergebnisse
der Kausalitätsbeziehungskarte zu,
um die Beleuchtungsstärkenvariable
v4 als das Schätzziel
zu beschaffen.
-
Obschon
die vorliegende Erfindung in Verbindung mit der bevorzugten Ausführungsform
hiervon unter Bezugnahme auf die begleitenden Zeichnungen vollständig beschrieben
worden ist, ist festzuhalten, dass dem Fachmann vielfältige Änderungen
und Abwandlungen ersichtlich werden mögen.
-
Während z.B.
die erste bis dritte Ausführungsform
die Variable entweder der Leuchtkraft oder der Lichtstärke oder
der Beleuchtungsstärke
schätzt, können all
diese Variablen zur gleichen Zeit geschätzt werden. Des Weiteren kann
es vorteilhaft sein, Mittel zum Angeben einer zu schätzenden
Variablen bereitzustellen und die zu schätzende Variable gemäß einer
Tätigkeit
eines Benutzers anzugeben.
-
Solche Änderungen
und Abwandlungen sind als von dem Umfang der vorliegenden Erfindung,
wie sie durch die begleitenden Ansprüche definiert ist, umfasst
zu verstehen.
-
Eine
erfindungsgemäße Bildverarbeitungsvorrichtung
(10) zur Verwendung in einem Fahrzeug weist eine Kamera
(12) zum Einfangen eines Bildes eines Feldes um das Fahrzeug
herum auf, und das durch die Kamera eingefangene Bild wird verwendet, um
eine äußere Umgebung
des Fahrzeugs zu schätzen.
Die äußere Umgebung
des Fahrzeugs wie etwa eine Leuchtkraft des Bildes und dergleichen
um das Fahrzeug herum wird durch Verwenden eines Kamerasteuerungswerts
und eines Pixelwerts eines Abbildungsobjekts auf der Grundlage einer
Beziehung, dass der Pixelwert des durch die Kamera eingefangenen
Abbildungsobjekts durch die Leuchtkraft des Abbildungsobjekts und
des Kamerasteuerungswerts bestimmt ist, geschätzt.