-
Die Erfindung betrifft eine Bildverarbeitungsvorrichtung, die basierend auf einem Paar von aufgenommenen Bilddaten einen Musterabgleich ausführt.
-
Es ist eine Technik bekannt geworden, worin ein Objekt erfasst wird, das ein Hindernis ist, wie etwa ein vorausfahrendes Fahrzeug oder ein Verkehrslicht, und eine Steuerung durchgeführt wird, um eine Kollision mit dem erfassten Objekt zu vermeiden und um einen Sicherheitsabstand zwischen einem Fahrzeug und dem vorausfahrenden Fahrzeug einzuhalten (siehe zum Beispiel
japanisches Patent Nr. 3349060 (japanische ungeprüfte offengelegte Patentanmeldung (
JP-A) Nr. 10-283461 )).
-
Der Abstand zwischen dem Fahrzeug und dem vorausfahrenden Fahrzeug kann aus einer Parallaxe eines Objekts in einem Paar von Bilddaten erfasst werden, die an unterschiedlichen Positionen aufgenommen werden. Die Parallaxe des Objekts in dem Paar von Bilddaten wird basierend auf einem Musterabgleich zwischen den Bildern hergeleitet. Ein allgemeiner Musterabgleich ist derart, dass Blöcke mit einer vorbestimmten Größe zwischen den Bildern verglichen (abgeglichen) werden, und die Blöcke mit hoher Korrelation spezifiziert werden. Es ist auch eine Technik bekannt, in der ein Musterabgleich unter Verwendung eines Dichtehistogramms des Bilds ausgeführt wird (siehe zum Beispiel
JP-A Nr. 5-210737 ).
-
Es ist auch eine Technik bekannt, in der eine optische Positionsabweichung des aufgenommenen Bilds vor dem Musterabgleich geometrisch korrigiert wird, um die Präzision des Musterabgleichs zu verbessern (siehe zum Beispiel
japanisches Patent Nr. 3284190 ).
-
Als Prozess zum Erfassen eines Bilds ist ein so genanntes Bayer-Array bekannt geworden, in dem Farbfilter von RGB-Signalen, welche drei Primärfarben sind, regelmäßig und ausschließlich an mehreren Lichtempfangsabschnitten (Photodioden) angeordnet sind, welche Pixeln entsprechen, die zum Beispiel in einer Matrix angeordnet sind. In dem Bayer-Array wird zumindest eine Farbphase von RGB nur für jedes Pixel erfasst. Allgemein wird ein Luminanzwert einer nicht gesetzten (fehlenden) Farbphase basierend auf den benachbarten Pixeln interpoliert, um die Farbe in jedem Pixel zu reproduzieren. Die Position jedes Pixels, dessen Farbe reproduziert wird, wird, wie oben beschrieben, geometrisch korrigiert, und dann wird der Musterabgleich ausgeführt.
-
Jedoch erfolgt die oben erwähnte Farbreproduktion unter der Annahme, dass die ursprüngliche Farbe des Zielpixels und die ursprüngliche Farbe der benachbarten Pixel einander gleich sind. Wenn daher die Farben der benachbarten Pixel unterschiedlich sind, oder das Objekt an erster Stelle unterschiedlich ist, wird die Farbe basierend auf der unterschiedlichen Farbe reproduziert, was eine falsche Farbe verursachen könnte. Wenn der physikalische Schwerpunkt eines Pixels und der Schwerpunkt der basierend auf diesem Pixel reproduzierten Farbe voneinander unterschiedlich sind, könnte der Schwerpunkt der Farbe aufgrund der geometrischen Positionskorrektur basierend auf dem physikalischen Schwerpunkt des Pixels verschoben werden.
-
Wenn ein Fahrzeug bei Nacht fährt, wird ein Bild mit einer reduzierten Apertur aufgenommen (mit geöffnetem Verschluss), um das schwache einfallende Licht effektiv zu erfassen. Jedoch könnte Licht einer Lichtquelle in einem Erfassungsbereich so stark sein, dass ein Luminanzwert einer beliebigen Farbphase gesättigt werden könnte.
-
Die Erfindung ist im Hinblick auf die oben beschriebenen Umstände durchgeführt worden und hat zum Ziel, eine Bildverarbeitungsvorrichtung anzugeben, die durch Spezifizieren einer Farbphase, die für einen Musterabgleich genutzt wird, den Musterabgleich richtig ausführen kann.
-
Ein erster Aspekt der Erfindung gibt eine Bildverarbeitungsvorrichtung an, welche enthält: eine Farbreproduktionseinheit zum Reproduzieren eines Luminanzwertes einer Farbphase, die nicht auf jedes Pixel eines Paares von aus einem Bayer-Array zusammengesetzten Bilddaten gesetzt ist, basierend auf den benachbarten Pixeln, und eine Abgleichprozesseinheit zum Extrahieren von Blöcken mit vorbestimmter Größe aus dem Paar von Bilddaten, deren Luminanzwert reproduziert wird, und Ausführen eines Abgleichprozesses, um Blöcke mit hoher Korrelation zu spezifizieren. Die Farbreproduktionseinheit und die Abgleichprozesseinheit führen jeweils die Luminanzreproduktion und den Abgleichprozess mit nur einer Farbphase mit dem höchsten Belegungsgrad in dem Bayer-Array aus, die als Ziel verwendet wird.
-
Die Bildverarbeitungsvorrichtung kann ferner eine Koordinatenumwandlungseinheit enthalten, um eine Koordinatenumwandlung jedes Pixels basierend auf einer Positionsabweichungscharakteristik jedes Pixels durchzuführen, die vorab gemäß einer Bildaufnahmevorrichtung bestimmt wird, die das Paar von Bilddaten erzeugt.
-
Ein anderer Aspekt der Erfindung gibt eine Bildverarbeitungsvorrichtung an, welche enthält: eine Abgleichprozesseinheit zum Extrahieren von Blöcken mit vorbestimmter Größe aus einem Paar von Bilddaten und Ausführen eines Abgleichprozesses, um Blöcke mit hoher Korrelation zu spezifizieren, und eine Umgebungsinformationserfassungseinheit zum Erfassen von Kontrast enthaltender Umgebungsinformation. Die Abgleichprozesseinheit führt den Abgleichprozess nur für eine Farbphase mit der kürzesten Wellenlänge von mehreren Zielfarbphasen aus, wenn die Umgebungsinformationserfassungseinheit Umgebungsinformation erfasst, die anzeigt, dass die Umgebung eine Helligkeit hat, die nicht stärker als eine vorbestimmte Helligkeit ist.
-
Die Abgleichprozesseinheit kann mittels einer HID-Lampe oder einer Halogenlampe als Lichtquelle ein Objekt als Ziel des Abgleichprozesses definieren.
-
Die Erfindung kann einen Musterabgleich richtig ausführen, indem eine Farbphase spezifiziert wird, die für den Musterabgleich genutzt wird. Dementsprechend kann die Bildverarbeitungsvorrichtung die Parallaxeninformation richtig herleiten, um hierdurch in der Lage zu sein, eine Steuerung zur Vermeidung einer Kollision mit einem Objekt, oder eine Steuerung, um einen Sicherheitsabstand zwischen einem Fahrzeug und einem vorausfahrenden Fahrzeug einzuhalten, richtig auszuführen.
-
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Hinweis auf die beigefügten Zeichnungen beschrieben.
-
1 ist ein Blockdiagramm, das eine Anschlussbeziehung in einem Umgebungserkennungssystem gemäß einer ersten Ausführungsform darstellt;
-
2 ist eine Erläuterungsansicht zur Beschreibung eines Helligkeitsbilds und eines Reichweitenbilds;
-
3 ist eine Erläuterungsansicht zur Beschreibung eines Beispiels eines Bayer-Arrays;
-
4 ist eine Erläuterungsansicht zur Beschreibung eines Farbreproduktionsprozesses;
-
5 ist eine Erläuterungsansicht zur Beschreibung eines Koordinatenumwandlungsprozesses;
-
6 ist eine Erläuterungsansicht zur Beschreibung eines Farbschwerpunkts;
-
7 ist ein Funktionsblockdiagramm, das schematisch Funktionen der Bildverarbeitungsvorrichtung darstellt;
-
8 ist eine Erläuterungsansicht zur Beschreibung der Identifikation der HID-Lampe und einer Halogenlampe; und
-
9 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Bildverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform darstellt.
-
Nachfolgend werden bevorzugte Ausführungsformen der Erfindung in Bezug auf die beigefügten Zeichnungen im Detail beschrieben. Die Größe, das Material und andere spezifische numerische Werte, die in den Ausführungsformen beschrieben sind, werden nur beispielshalber zum leichteren Verständnis der Erfindung angegeben und sollen den Umfang der Erfindungen nicht einschränken, solange nicht anderweitig spezifiziert. In der Beschreibung und den Zeichnungen sind Komponenten, die im Wesentlichen die gleiche Funktion und die gleiche Konfiguration haben, mit den gleichen Bezugszeichen identifiziert, und eine redundante Beschreibung davon wird nicht wiederholt. Die Komponenten, die nicht direkt mit der Erfindung im Zusammenhang stehen, sind nicht dargestellt.
-
(Umgebungserkennungssystem 100 gemäß erster Ausführungsform)
-
Die Bildverarbeitungsvorrichtung hat zum Ziel, ein aufgenommenes Bild zu verarbeiten, um ein beliebiges Objekt richtig zu erfassen. Wenn die Bildverarbeitungsvorrichtung zum Beispiel für ein Umgebungserkennungssystem verwendet wird, das eine Umgebung eines Fahrzeugs erkennt, verarbeitet die Bildverarbeitungsvorrichtung ein von einer Bildaufnahmevorrichtung aufgenommenes Bild und leitet Parallaxeninformation des Bilds her, um einen relativen Abstand eines Objekts in dem Bild zu spezifizieren. Zum leichteren Verständnis der Bildverarbeitungsvorrichtung wird zuerst ein Umgebungserkennungssystem beschrieben, das die Bildverarbeitungsvorrichtung gemäß einer Ausführungsform verwendet, und dann wird eine bestimmte Konfiguration der Bildverarbeitungsvorrichtung beschrieben.
-
1 ist ein Blockdiagramm, das eine Anschlussbeziehung in einem Umgebungserkennungssystem 100 darstellt. Das Umgebungserkennungssystem 100 enthält Bildaufnahmevorrichtungen 110, die in einem Fahrzeug 1 angebracht sind, eine Bildverarbeitungsvorrichtung 120, eine Umgebungserkennungsvorrichtung 130 sowie eine Fahrzeugsteuerungsvorrichtung 140.
-
(Bildaufnahmevorrichtung 110)
-
Die Bildaufnahmevorrichtung 110 enthält einen Bildsensor wie etwa eine CCD (ladungsgekoppelte Vorrichtung) oder ein CMOS (komplementärer Metalloxid-Halbleiter), und sie kann ein Farbbild aufnehmen, das heißt eine Luminanz von drei Farbphasen (rot, grün, blau) auf pixelweiser Basis aufnehmen. In der vorliegenden Ausführungsform werden die Farbe und Luminanz äquivalent behandelt. Wenn ein Satz beide Begriffe enthält, können sie als eine Farbe bildende Luminanz oder als eine Farbe mit einer Luminanz gelesen werden. Es sei hier angenommen, dass ein Farbbild gemäß einem Bayer-Array erfasst wird, worin Farbfilter für RGB-Signale regelmäßig und ausschließlich an Lichtempfangsabschnitten (Photodioden) entsprechend den jeweiligen Pixeln in dem Bayer-Array angeordnet sind. Ein von der Bildaufnahmevorrichtung 110 aufgenommenes Farbbild wird als Luminanzbild bezeichnet, um das Farbbild von einem später beschriebenen Abstandsbild zu unterscheiden.
-
Die Bildaufnahmevorrichtungen 110 sind in horizontaler Richtung mit Abstand voneinander angeordnet, so dass die optischen Achsen von zwei Bildaufnahmevorrichtungen 110 in Fahrtrichtung des Fahrzeugs 1 angenähert parallel zueinander sind. Jede der Bildaufnahmevorrichtungen 110 erzeugt kontinuierlich Bilddaten, welche durch Aufnehmen eines Objekts erhalten werden, das sich in einem Erfassungsbereich vor dem Fahrzeug 1 befindet, zum Beispiel alle 1/60 Sekunden (60 fps). Das Objekt enthält nicht nur ein 3D-Objekt, das unabhängig vorhanden ist, wie etwa ein Fahrzeug, ein Verkehrslicht, eine Straße oder eine Leitplanke, sondern auch ein Objekt, das als Teil eines 3D-Objekts spezifiziert werden kann, wie etwa eine Heckleuchte, ein Abbiegesignal oder ein leuchtendes Teil eines Verkehrslichts. Die jeweiligen Funktionseinheiten, die unten in der Ausführungsform beschrieben werden, führen jeweilige Prozesse aus, wenn die oben beschriebenen Bilddaten aktualisiert werden.
-
(Bildverarbeitungsvorrichtung 120)
-
Die Bildverarbeitungsvorrichtung 120 erhält Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110, wertet eine Korrelation zwischen einem Paar der erhaltenen Bilddaten aus und leitet Parallaxeninformation her, einschließlich einer Parallaxe zwischen beliebigen Blöcken (Blöcken, die durch Sammeln einer vorbestimmten Anzahl von Pixeln gebildet sind) in beiden Bildern. Die Bildverarbeitungsvorrichtung 120 leitet die Parallaxe unter Verwendung eines sogenannten Musterabgleichs her. Insbesondere wird in dem Musterabgleich ein Block entsprechend einem Block (zum Beispiel einer Matrix von (4 Pixel in horizontaler Richtung) × (4 Pixel in vertikaler Richtung)), der beliebig aus einem Bilddatenteil extrahiert wird, aus den anderen Bilddaten gesucht. Hier bedeutet die horizontale Richtung eine Querrichtung des aufgenommenen Bilds in dem Bildschirm und entspricht der Breitenrichtung in der realen Welt. Die vertikale Richtung bedeutet eine Längsrichtung des aufgenommenen Bilds in dem Bildschirm und entspricht der Höhenrichtung in der realen Welt. Die Auswertung der Korrelation und des oben beschriebenen Musterabgleichs werden später im Detail beschrieben.
-
Die Bildverarbeitungsvorrichtung 120 kann die Parallaxe für jeden Block, der eine Erfassungsauflösungseinheit ist, herleiten, aber kann nicht das Objekt erkennen, zu dem dieser Block gehört. Daher wird die Parallaxeninformation nicht auf objektweiser Basis hergeleitet, sondern wird in dem Erfassungsbereich unabhängig auf Erfassungs-Auflösungs-Basis hergeleitet (zum Beispiel auf Blockbasis). Das Bild, das durch Zuordnen der, wie oben beschrieben, hergeleiteten Parallaxeninformation mit den Bilddaten gebildet ist, wird als Abstandsbild bezeichnet.
-
2 ist eine Erläuterungsansicht der Beschreibung einen Luminanzbilds 124 und eines Abstandsbilds 126. Zum Beispiel sei angenommen, dass das Luminanzbild (Bilddaten) 124, das in 2A dargestellt ist, für den Erfassungsbereich 122 durch zwei Bildaufnahmevorrichtungen 110 erzeugt wird. In der vorliegenden Ausführungsform ist zum leichteren Verständnis nur eines der zwei Luminanzbilder 124 schematisch dargestellt. Die Bildverarbeitungsvorrichtung 120 erhält eine Parallaxe für jeden Block aus dem Luminanzbild 124, um das in 2B dargestellte Abstandsbild 126 zu bilden. Jedem Block in dem Abstandsbild 126 wird die Parallaxe des entsprechenden Blocks zugeordnet. In der vorliegenden Ausführungsform ist zum leichteren Verständnis der Beschreibung der Block, von dem die Parallaxe hergeleitet wird, mit schwarzen Punkten angegeben.
-
(Umgebungserkennungsvorrichtung 130)
-
Die Umgebungserkennungsvorrichtung 130 erhält das Luminanzbild 124 und das Abstandsbild 126 von der Bildverarbeitungsvorrichtung 120 und spezifiziert ein Objekt (Fahrzeug, Verkehrslicht, Straße, Leitplanke, Heckleuchte, Abbiegesignal, leuchtende Teile eines Verkehrslichts, etc.), dem das Objekt in dem Erfassungsbereich 122 entspricht, unter Verwendung der Luminanz basierend auf dem Luminanzbild 124 und dem relativen Abstand von dem Fahrzeug (Fahrzeug) 1 basierend auf der Parallaxeninformation des Abstandsbilds 126. In diesem Fall wandelt die Umgebungserkennungsvorrichtung 130, mittels eines sogenannten Stereoverfahrens, die Parallaxeninformation für jeden Block in dem Erfassungsbereich 122 in dem Abstandsbild 126 in dreidimensionale Positionsinformation, einschließlich des relativen Abstands, um. Das Stereoverfahren dient zum Herleiten des relativen Abstands des Objekts zu der Bildaufnahmevorrichtung 110 aus der Parallaxe des Objekts mittels Triangulation.
-
(Fahrzeugsteuerungsvorrichtung 140)
-
Die Fahrzeugsteuerungsvorrichtung 140 führt eine Steuerung/Regelung durch, um eine Kollision mit dem von der Umgebungserkennungsvorrichtung 130 spezifizierten Objekt zu vermeiden, oder eine Steuerung/Regelung, um einen Sicherheitsabstand zwischen dem Fahrzeug 1 und einem vorausfahrenden Fahrzeug einzuhalten. Insbesondere erfasst die Fahrzeugsteuerungsvorrichtung 140 den gegenwärtigen Fahrzustand des Fahrzeugs 1 durch einen Lenkwinkelsensor 142, der einen Lenkwinkel erfasst, oder einen Fahrzeuggeschwindigkeitssensor 144, der eine Geschwindigkeit des Fahrzeugs 1 erfasst, und hält einen Sicherheitsabstand zwischen dem Fahrzeug 1 und dem vorausfahrenden Fahrzeug durch Ansteuerung eines Aktuators 146 ein. Der Aktuator 146 ist ein solcher zum Steuern/Regeln des Fahrzeugs, der zur Steuerung/Regelung einer Bremse, eines Drosselventils oder eines Lenkwinkels verwendet wird. Wenn eine Kollision mit dem Objekt zu erwarten ist, zeigt (meldet) die Fahrzeugsteuerungsvorrichtung 140 einen Alarm, der diesen Zustand angibt, auf einem vor einem Fahrer angebrachten Display 148 an, und steuert den Aktuator 146 an, um das Fahrzeug 1 automatisch anzuhalten. Die Fahrzeugsteuerungsvorrichtung 140 kann mit der Umgebungserkennungsvorrichtung 130 integriert sein.
-
(Problem und dessen Lösung in der ersten Ausführungsform)
-
Ein Farbbild kann auf verschiedene Weise erhalten werden. Zum Beispiel (1) auf die Bildaufnahmevorrichtung 110 fallendes Licht wird durch ein Prisma in jede der RGB-Farbphasen aufgeteilt und ein Bild wird von drei Bildaufnahmesensoren für jede der drei Farbphasen erhalten; (2) auf RGB-basierende Bilder werden gleichzeitig von einem Bildsensor erhalten, der jeweils für RGB empfindliche Zellen aufweist, die in Richtung eines optischen Wegs aufeinander liegen; oder (3) es wird regelmäßig nur eine Farbphase ausschließlich für jedes Pixel gemäß dem Bayer-Array erhalten. In der vorliegenden Ausführungsform wird ein Bild unter Verwendung des Bayer-Arrays in dem Abschnitt (3) erhalten.
-
3 ist eine Erläuterungsansicht zur Beschreibung eines Beispiels des Bayer-Arrays. Wie in 3A dargestellt, ist in dem Bayer-Array jede der Farbphasen RGB regelmäßig und ausschließlich auf jedem der in einer Matrix angeordneten Pixel angeordnet. Für alle Farbphasen wird die gleiche Farbphase durch zumindest ein Pixel in der horizontalen Richtung und in der vertikalen Richtung weg angeordnet. Es ist anzumerken, dass die Farbphase G eine Dichte (belegte Fläche) hat, die doppelt so groß ist wie die Dichten der Farbphase R und der Farbphase B. Der Grund dafür wird nachfolgend beschrieben. Insbesondere ist, wie in der spektralen Empfindlichkeitscharakteristik beziehungsweise -kennlinie in 3B dargestellt, die Empfindlichkeitsverteilung der Farbphase G hoch. Daher lässt sich die Luminanzinformation der Farbphase G leicht erfassen. Ferner hat der menschliche Blick eine hohe Empfindlichkeit auf die Farbphase G.
-
In dem Bayer-Array kann die Luminanz für nur eine Farbphase in jedem Pixel erhalten werden. Im Hinblick hierauf wird der Farbreproduktionsprozess (Interpolationsprozess) an den zwei fehlenden Farbphasen unter Verwendung der Luminanz der entsprechenden Farbphasen der benachbarten Pixel ausgeführt.
-
4 ist eine Erläuterungsansicht zur Beschreibung des Farbreproduktionsprozesses. In der vorliegenden Ausführungsform bezeichnen die um das Bild herum gesetzten Zahlen die horizontale Position und die vertikale Position des Pixels. Zum Beispiel ist die Farbphase R im Bayer-Array so angeordnet, wie in 4A dargestellt. Daher können die erhaltenen Luminanzwerte a, b, c und d unverändert für die Luminanzwerte der Pixel (2, 1), (2, 3), (4, 1) und (4, 3) verwendet werden, deren Luminanzwerte für die Farbphase R erhalten werden.
-
Für die Pixel (2, 2), (3, 1), (3, 3) und (4, 2), denen zwei Pixel, deren Luminanzwerte erhalten werden, in der horizontalen Richtung oder in der vertikalen Richtung benachbart sind, wird der Luminanzwert jedes Pixels erhalten, indem eine lineare Interpolation an den Luminanzwerten der zwei benachbarten Pixel ausgeführt wird. Insbesondere sind die Luminanzwerte dieser Pixel derart, dass der Luminanzwert des Pixels (2, 2) = (a + b)/2, der Luminanzwert des Pixels (3, 1) = (a + b)/2, der Luminanzwert des Pixels (3, 3) = (b + d)/2, und der Luminanzwert des Pixels (4, 2) = (c + d)/2.
-
Der Luminanzwert des Pixels (3, 2), dem vier Pixel, deren Luminanzwerte erhalten werden, in der diagonalen Richtung benachbart sind, wird erhalten, indem eine lineare Interpolation an den Luminanzwerten der benachbarten vier Pixel ausgeführt wird, wodurch der Luminanzwert des Pixels (3, 2) zu (a + b + c + d)/4 wird. Zum einfacheren Verständnis der Beschreibung davon, wie man die Luminanzwerte der Pixel auf der ersten Linie in der horizontalen Richtung und auf der vierten Linie in der vertikalen Richtung herleitet, sind hier nicht beschrieben. Die oben beschriebene Interpolation des Pixels kann auf die Farbphase B angewendet werden, wie in 4B dargestellt, so dass die Beschreibung für die Farbphase B hier ausgelassen wird.
-
Die Farbphase G ist in dem Bayer-Array so angeordnet, wie in 4C dargestellt. Daher können die erhaltenen Luminanzwerte e, f, g und h unverändert für die Luminanzwerte der Pixel (2, 2), (3, 1), (3, 3) und (4, 2) verwendet werden, deren Luminanzwerte für die Farbphase G erhalten werden. Der Luminanzwert des Pixels (3, 2), dem vier Pixel, deren Luminanzwerte erhalten werden, in der diagonalen Richtung benachbart sind, wird erhalten, indem eine lineare Interpolation an den Luminanzwerten der vier benachbarten Pixel ausgeführt wird, wodurch der Luminanzwert des Pixels (3, 2) zu (e + f + g + h)/4 wird.
-
Aus dem Obigen lässt sich verstehen, dass für eine jede beliebige der Farbphasen ein minimaler Bereich von drei Pixeln (maximale Anzahl der Referenzpixel ist vier) in der horizontalen Richtung oder in der vertikalen Richtung erforderlich ist, um eine ursprüngliche Farbe wiederzugeben. Es sei angenommen, dass ein Objekt abgebildet wird, das in einer Richtung schmal ist, wie etwa ein elektrischer Draht oder ein Baum (Laub). Wenn die Breite eines solchen Objekts 1 Pixel oder 2 Pixel ist, wird die Reproduktion einer richtigen Farbe schwierig.
-
Zum Beispiel sei angenommen, dass ein Objekt, dessen Breite in der horizontalen Richtung 1 Pixel ist, auf der zweiten Linie in der vertikalen Richtung in 4A angeordnet ist. Es gibt keine Information in Bezug auf die R-Komponente des Objekts auf der zweiten Linie in der vertikalen Richtung in 4A, so dass aufgrund der oben erwähnten linearen Interpolation eine durch die R-Komponente des anderen Objekts beeinflusste falsche Farbe erzeugt wird. Ähnlich sei angenommen, dass ein Objekt, dessen Breite in der horizontalen Richtung 1 Pixel ist, auf der dritten Linie in der vertikalen Richtung in 4B angeordnet ist. Es gibt keine Informationen in Bezug auf die B-Komponente des Objekts auf der dritten Linie in der vertikalen Richtung in 4B, so dass aufgrund der oben erwähnten linearen Interpolation eine durch die B-Komponente des anderen Objekts beeinflusste falsche Farbe erzeugt wird. Andererseits ist in 4C die Information in Bezug auf die G-Komponente des Objekts auch auf der zweiten Linie in der vertikalen Richtung und auf der dritten Linie in der vertikalen Richtung enthalten. Daher kann eine der ursprünglichen Farbe angenäherte Farbe reproduziert werden, auch wenn eine Beeinflussung der G-Komponente des anderen Objekts vorhanden ist.
-
Dementsprechend wird, wenn nur die Farbphase G mit der hohen Dichte in dem Bayer-Array in dem Farbreproduktionsprozess behandelt wird, nur schwer eine falsche Farbe erzeugt, wodurch die Farbreproduktionsfähigkeit verbessert werden kann, im Vergleich zu dem Fall, wo auch die Farbphasen R und B berücksichtigt werden. Wenn die falsche Farbe erzeugt wird, kann nicht nur der Musterabgleich nicht richtig ausgeführt werden, sondern durch Fehlabgleich könnte auch eine fehlerhafte Parallaxeninformation hergeleitet werden. In der vorliegenden Ausführungsform kann die oben beschriebene Situation verhindert werden, indem die Farbreproduktionsfähigkeit wie oben beschrieben verbessert wird.
-
Nachdem der Farbreproduktionsprozess abgeschlossen ist, wird ein Koordinatenumwandlungsprozess ausgeführt. In dem Koordinatenumwandlungsprozess wird eine Koordinate jedes Pixels basierend auf einer Positionsabweichungs-(Verzerrungs)-Charakteristik, die vorab gemäß der Bildaufnahmevorrichtung 110 bestimmt wird, für jedes Pixel umgewandelt. Die Koordinatenumwandlung ist ein Prozess, bei dem das Objekt, das von der ursprünglichen Position verzerrt erhalten wurde, weil es durch die Bildaufnahmevorrichtung 110 aufgenommen wurde, zur ursprünglichen Position zurückgebracht wird. Zum Beispiel wird ein Bild, das eine in 5A dargestellte Positionsabweichungscharakteristik hat, als ob es durch Fischaugenlinse aufgenommen würde, zu einem in 5B dargestellten Bild korrigiert, worin die horizontale Richtung und vertikale Richtung gerade sind, durch einfache Verschiebung in der horizontalen Richtung oder in der vertikalen Richtung, oder Drehbewegung mittels affiner Transformation.
-
In der oben beschriebenen Koordinatenumwandlung wird die Farbwiedergabe des Pixels nach Koordinatenumwandlung ausgeführt. Jedoch entsteht ein Problem, wenn ein physikalischer Schwerpunkt des Pixels und ein Schwerpunkt einer für dieses Pixel reproduzierten Farbe voneinander unterschiedlich sind. Der Farbschwerpunkt kann gemäß dem oben erwähnten Farbreproduktionsprozess verschoben werden. Der Farbschwerpunkt wird nachfolgend beschrieben.
-
6 ist eine Erläuterungsansicht zur Beschreibung des Farbschwerpunkts. Wenn ein mit durchgehender Linie angegebenes Pixel aus vier, mit unterbrochener Linie in 6A angegebenen Pixeln (Luminanz = a, b, c, d) durch geometrische Korrektur reproduziert wird, wird die Luminanz des mit der durchgehenden Linie angegebenen Pixels 150 unter Verwendung der Abstände x und y ausgedrückt durch a·(1 – x)(1 – y) + b·x(1 – y) + c·(1 – x)y + d·xy.
-
Dementsprechend wird in dem Fall, wo eine Farbphase R gemäß 6 angeordnet ist, und deren Luminanzen a, b, c und d sind, die Luminanz vom Pixel 152, das in 6B mit durchgehender Linie angegeben ist, zu (b + e + f + g)/4, wenn die R-Komponenten der Pixel (2, 2), (3, 2) und (3, 3) als e, f und g definiert sind. Zum leichteren Verständnis sind in 6A die Abstände x und y als 0,5 definiert. Gemäß dem oben erwähnten Farbreproduktionsprozess ergibt sich e = (a + b)/2, f = (a + b + c + d)/4, und g = (b + d)/2. In dieser Hinsicht ist ein Beitragsgrad der Farbphase R zum Pixel 152 a = 3/16, b = 9/16, c = 1/16 und d = 3/16. In diesem Fall wird der Farbschwerpunkt am unteren linken Teil der Figur von dem physikalischen Schwerpunkt (Mittelposition) des Pixels 152 erzeugt. Wenn die Farbphase B dem gleichen Prozess wie die Farbphase R unterliegt, wird der Farbschwerpunkt am oberen rechten Abschnitt der Figur aus dem physikalischen Schwerpunkt des Pixels 152 erzeugt, wie in 6C dargestellt, Übrigens ändert sich die Position des Farbschwerpunkts in Abhängigkeit davon, wie das mit der durchgehenden Linie angegebene Pixel 152 extrahiert wird.
-
Für die Farbphase G ist der Beitragsgrad der Farbphase G zu dem Pixel 152 h = 1/16, i = 6/16, j = 1/16, k = 1/16, l = 6/16, m = 1/16, wie in 6D dargestellt, worin die Luminanzen der Pixel (3, 1), (2, 2), (1, 3), (4, 2), (3, 3) und (2, 4) als h, i, j, k, l und m definiert sind. In diesem Fall ist der Farbschwerpunkt gleich dem physikalischen Schwerpunkt (Mittelposition) des Pixels 152.
-
Wenn die Koordinatenumwandlung ausgeführt wird, könnten der physikalische Schwerpunkt des Pixels und der für dieses Pixel reproduzierte Farbschwerpunkt für die Farbphasen R und B voneinander unterschiedlich sein. Daher kann, aufgrund der geometrischen Positionskorrektur basierend auf dem physikalischen Schwerpunkt des Pixels, der Farbschwerpunkt verschoben werden. Wenn jedoch zum Beispiel nur die Farbphase G, die in einem karierten Muster gleichmäßig angeordnet ist, in dem Bayer-Array behandelt wird, wird die Verschiebung des Farbschwerpunkts von dem physikalischen Schwerpunkt nicht verursacht, und die Farbanordnung des Bilds nach Koordinatenumwandlung ist richtig, im Vergleich zu dem Fall, wo die Farbphasen R und B ebenfalls berücksichtigt werden. Wenn die Verschiebung des Farbschwerpunkts erzeugt wird, kann nicht nur der Musterabgleich nicht richtig ausgeführt werden, sondern es könnte auch durch Fehlabgleich eine fehlerhafte Parallaxeninformation erlangt werden. In der vorliegenden Ausführungsform kann die oben beschriebene Situation verhindert werden, indem die Farbverschiebung wie oben beschrieben verhindert wird.
-
Dementsprechend wird, wenn nur die Farbphase G in dem Koordinatenumwandlungsprozess behandelt wird, die Farbreproduktionsfähigkeit verbessert, und die Verschiebung kann verhindert werden. Nachfolgend wird die Konfiguration der Bildverarbeitungsvorrichtung 120 beschrieben, die nur die Farbphase G als die Zielfarbphase behandelt.
-
(Bildverarbeitungsvorrichtung 120)
-
7 ist ein Funktionsblockdiagramm, das schematisch Funktionen der Bildverarbeitungsvorrichtung 120 darstellt. Wie in 7 dargestellt, enthält die Bildverarbeitungsvorrichtung 120 eine I/F-Einheit 160, eine Datenspeichereinheit 162 und eine zentrale Steuerungseinheit 164.
-
Die I/F-Einheit 160 ist eine Schnittstelle, die einen Zweiwege-Informationsaustausch zwischen der I/F-Einheit 160 und der Bildaufnahmevorrichtung 110 oder der Umgebungserkennungsvorrichtung 130 ausführt. Die Datenspeichereinheit 162 ist durch ein RAN, einen Flash-Speicher oder ein HDD konfiguriert. Sie speichert verschiedene Informationsstücke, die für die nachfolgend beschriebenen Prozesse der jeweiligen Funktionen erforderlich sind. Die Datenspeichereinheit 162 speichert auch vorübergehend das von der Bildaufnahmevorrichtung 110 erhaltene Luminanzbild 124.
-
Die zentrale Steuerungseinheit 164 ist aufgebaut aus einer integrierten Halbleiterschaltung, die eine zentrale Prozessoreinheit (CPU) enthält, ein ROM, das ein Programm und dergleichen speichert, sowie ein RAM, das als Arbeitsfläche dient. Die zentrale Steuerungseinheit 164 steuert/regelt die I/F-Einheit 160 und die Datenspeichereinheit 162 durch einen Systembus 166. In der vorliegenden Ausführungsform dient die zentrale Steuerungseinheit 164 auch als Empfindlichkeitskorrektureinheit 170, Farbreproduktionseinheit 172, Koordinatenumwandlungseinheit 174, Abgleichprozesseinheit 176 und Parallaxenherleitungseinheit 178.
-
Die Empfindlichkeitskorrektureinheit 170 führt an einem Paar der von der Bildaufnahmevorrichtung 110 empfangenen Bilddaten einen vorbestimmten Prozess aus, wie etwa eine Gammakorrektur oder einen Kneeprozess.
-
Die Farbreproduktionseinheit 172 reproduziert eine Luminanz einer Farbphase, die nicht auf jedes Pixel in dem Paar von aus dem Bayer-Array zusammengesetzten Bilddaten gesetzt ist, durch lineare Interpolation basierend auf benachbarten Pixeln, wie oben in Bezug auf 4 beschrieben. In der vorliegenden Ausführungsform werden nicht alle der drei Primärfarben extrahiert, sondern es wird nur die Farbphase G mit dem höchsten Belegungsgrad in dem Bayer-Array extrahiert, und der Farbreproduktionsprozess wird an jenem Pixel ausgeführt, dessen Luminanz für die Farbphase G nicht gesetzt ist.
-
Diese Konfiguration erschwert die Erzeugung einer falschen Farbe und kann die Farbreproduktionseigenschaften verbessern, im Vergleich zu dem Fall, wo die Farbphasen R und B ebenfalls berücksichtigt werden.
-
Dementsprechend kann diese Konfiguration die Situation vermeiden, worin der Musterabgleich nicht richtig ausgeführt wird, oder aufgrund des Fehlabgleichs die fehlerhafte Parallaxeninformation hergeleitet wird, um hierdurch die Präzision im Musterabgleich verbessern zu können.
-
In der vorliegenden Ausführungsform wird die Farbphase G als jene Farbphase mit dem höchsten Belegungsgrad verwendet. Jedoch kann jede beliebige Farbphase verwendet werden, solange sie die größte belegte Fläche in dem Bayer-Array hat. Zum Beispiel ist die verwendete Farbphase nicht auf das primäre Farbsystem von RGB beschränkt, Es kann auch eine Komplementärfarbe, die den höchsten Belegungsgrad hat, in einem komplementären Farbsystem wie etwa YMgCyGr (Gelb, Magenta, Cyan, Grün) verwendet werden.
-
Die Koordinatenumwandlungseinheit
174 führt die Koordinatenumwandlung jedes Pixels basierend auf der Positionsabweichungscharakteristik jedes Pixels aus, die vorab gemäß der Bildaufnahmevorrichtung
110 bestimmt wird, welche ein Bilddatenpaar erzeugt, und leitet die Luminanz des Pixels nach Koordinatenumwandlung her (reproduziert eine Farbe), wie in Bezug auf
5 beschrieben. Es können verschiedene vorhandene Techniken verwendet werden, wie etwa jene, die im
japanischen Patent Nr. 3284190 offenbart ist. Daher wird die detaillierte Beschreibung der Koordinatenumwandlung ausgelassen. Die Koordinatenumwandlungseinheit
174 reproduziert eine Farbe nach Koordinatenumwandlung, indem nur jene Farbphase G verwendet wird, an der der Farbreproduktionsprozess durch die Farbreproduktionseinheit
172 durchgeführt wird.
-
Da die Farbphase G in dem Bayer-Array wie ein kariertes Muster gleichmäßig angeordnet ist, wird keine Verschiebung des Farbschwerpunkts von dem physikalischen Schwerpunkt verursacht, und die Farbanordnung des Bilds nach Koordinatenumwandlung ist richtig, im Vergleich zu dem Fall, wo die Farbphasen R und G ebenfalls berücksichtigt werden. Dementsprechend kann diese Konfiguration die Situation vermeiden, worin der Musterabgleich nicht richtig ausgeführt wird, oder aufgrund des Fehlabgleichs die fehlerhafte Parallaxeninformation hergeleitet wird, um hierdurch die Präzision im Musterabgleich verbessern zu können.
-
Die Abgleichprozesseinheit 176 extrahiert einen Block mit vorbestimmter Größe aus jedem Datenpaar, dessen Luminanz reproduziert wird, und dessen Positionsabweichung korrigiert wird, und spezifiziert die Blöcke mit der höchsten Korrelation durch den Abgleich. In der vorliegenden Ausführungsform wird der Musterabgleich nur an der Farbphase G ausgeführt.
-
Als der Musterabgleich wird angesehen, dass Luminanzwerte (Y-Farbdifferenzsignale) in einer Einheit eines Blocks verglichen werden, der eine Position eines beliebigen Bilds zwischen zwei Bilddatenstücken angibt. Zum Beispiel enthalten berücksichtigte Techniken eine SAD (Summe der absoluten Differenz) unter Verwendung einer Differenz zwischen Luminanzwerten, eine SSD (Summe der quadratischen Intensitätsdifferenz) unter Verwendung der quadrierten Differenz und eine NCC (normalisierte Kreuzkorrelation) unter Verwendung des Ähnlichkeitsgrads in einem Varianzwert, der durch Subtrahieren eines Mittelwerts von dem Luminanzwert jedes Pixels erhalten wird. Die Bildverarbeitungsvorrichtung 120 führt den oben beschriebenen Parallaxenherleitungsprozess auf Blockbasis für alle Blöcke durch, die an dem Erfassungsbereich (zum Beispiel 600 Pixel×200 Pixel) angezeigt werden. Obwohl hier der Block als 4 Pixel×4 Pixel spezifiziert ist, kann jede beliebige Anzahl von Pixeln in einem Block gesetzt werden.
-
In der vorliegenden Ausführungsform führt die Abgleichprozesseinheit 176 den Musterabgleich nur mittels einer Farbphase G durch. Jedoch könnte die Abgleichprozesseinheit 176 den einen Musterabgleich auch so ausführen, dass in Abhängigkeit von einer Bedingung der Musterabgleich unter Verwendung nur einer Farbphase und der herkömmliche Musterabgleich unter Verwendung von drei Primärfarben umschaltbar verwendet werden. Diese Konfiguration kann den Musterabgleich effizient ausführen. Als diese Bedingung sei in diesem Fall die Schärfe eines Rands, eines angenommenen Bilds oder DCDX-Werts angenommen. Zum Beispiel wird in dem Fall, wo der Rand insgesamt scharf ist, der Musterabgleich nur anhand der Farbphase G ausgeführt. Wenn andererseits der Rand nicht scharf ist, wird der Musterabgleich unter Verwendung von drei Primärfarben ausgeführt.
-
Die Parallaxenherleitungseinheit 178 erhält bildbasierende Parallaxen zwischen den Blöcken, spezifiziert durch die Abgleichprozesseinheit 176 auf der Basis eines Pixels, und ordnet die Parallaxe den Blöcken zu. Die Parallaxe wird dann von der Umgebungserkennungsvorrichtung 130 als die Parallaxeninformation verwendet.
-
Die oben beschriebene Bildverarbeitungsvorrichtung 120 behandelt nur die Farbphase G als Farbphase, um hierdurch die Farbreproduktionseigenschaften verbessern und die Verschiebung des Farbschwerpunkts verhindern zu können. Dementsprechend kann die Bildverarbeitungsvorrichtung 120 die Parallaxeninformation richtig herleiten, indem die Präzision im Musterabgleich verbessert wird, um hierdurch eine Steuerung zur Kollisionsvermeidung mit einem Objekt richtig ausführen zu können, oder um einen Sicherheitsabstand zwischen dem Fahrzeug 1 und einem vorausfahrenden Fahrzeug einzuhalten.
-
(Zweite Ausführungsform)
-
In der ersten Ausführungsform wird der Abgleich mittels nur einer Farbphase basierend auf dem Bayer-Array ausgeführt. In der zweiten Ausführungsform wird der Abgleich mittels nur einer Farbphase gemäß der Umgebung außerhalb des Fahrzeugs 1 ausgeführt, unabhängig vom Bayer-Array.
-
(Problem und dessen Lösung in der zweiten Ausführungsform)
-
Wenn das Fahrzeug 1 bei Nacht fährt, ist das Licht, das von dem Umgebungserkennungssystem 100 vom Erfassungsbereich 122 empfangen werden kann, insgesamt schwach. Daher wird die Blende der Bildaufnahmevorrichtung 110 weit geöffnet, um die Lichtempfangsempfindlichkeit zu verbessern. Wenn in diesem Fall eine selbstleuchtende Lichtquelle, wie etwa eine Heckleuchte, eine Bremsleuchte, ein Scheinwerfer oder ein Abbiegesignal im Erfassungsbereich 122 erscheint, könnte die Luminanz durch die verbesserte Lichtempfangsempfindlichkeit in Sättigung gehen.
-
Wenn die Luminanzinformation wie oben beschrieben gesättigt wird, können alle Pixel, die gesättigt werden, die gleiche Luminanz zeigen, was es unmöglich macht, den Musterabgleich richtig auszuführen. Wenn die Blende geschlossen wird, um diese Situation zu vermeiden, kann der Musterabgleich an der oben erwähnten Lichtquelle ausgeführt werden, aber im Gegensatz hierzu kann ein anderes Objekt als die Lichtquelle nicht erfasst werden.
-
Eine HID(intensitätsstarke Entladungs)-Lampe oder Halogenlampe wird für eine Heckleuchte, Bremsleuchte, einen Scheinwerfer oder ein Abbiegesignal in dem Fahrzeug 1 verwendet. In der zweiten Ausführungsform wird die Charakteristik einer solchen Lampe näher betrachtet.
-
8 ist eine Erläuterungsansicht zur Beschreibung einer Identifikation einer HID-Lampe und einer Halogenlampe. In Bezug auf die spektrale Energieverteilung einer HID-Lampe (hier Metallhalogenlampe), wie in 8A dargestellt, zeigt sich, dass die Farbphase G vorhanden ist, und eine Wellenlänge zwischen der Farbphase G und der Farbphase R eine hohe relative Energie hat. Andererseits ist die relative Energie der Farbphase B niedrig. Ähnlich ist in der in 8B dargestellten Halogenlampe die relative Energie der Farbphase B niedrig, und die relative Energie nimmt mit zunehmender Wellenlänge zu, das heißt zur Farbphase G und Farbphase R hin.
-
Im Hinblick hierauf wird in der vorliegenden Ausführungsform nur die Farbphase B, die eine schwache relative Energie hat, von der Lichtquelle erfasst, um die Sättigung zu vermeiden. Da ein Rot- oder Orange-Filter an der Heckleuchte, Bremsleuchte oder dem Abbiegesignal ausgebildet ist, kann das Licht der Farbphase B nur schwer hindurchtreten. Daher wird die Helligkeit der Farbphase B weiter reduziert, wodurch sich die Sättigung leicht vermeiden lässt.
-
Die relative Energie der Farbphase B ist auch dann niedrig, wenn die Blende weit offen ist. Daher wird nur schwer die Sättigung erreicht, mit dem Ergebnis, dass ein für die Luminanz gültiger Wert erfasst werden kann. Hiermit wird eine Textur durch die Farbphase B erzeugt, wodurch ein richtiger Musterabgleich ausgeführt werden kann.
-
(Bildverarbeitungsvorrichtung 220)
-
9 ist ein Funktionsblockdiagramm, das schematisch Funktionen einer Bildverarbeitungsvorrichtung 220 gemäß der zweiten Ausführungsform darstellt. Wie in 9 dargestellt, enthält die Bildverarbeitungsvorrichtung 220 eine I/F-Einheit 160, eine Datenspeichereinheit 162 und eine zentrale Steuerungseinheit 164, wie die Bildverarbeitungsvorrichtung 120 gemäß der ersten Ausführungsform, In der vorliegenden Ausführungsform dient die zentrale Steuerungseinheit 164 auch als Empfindlichkeitskorrektureinheit 170, Farbreproduktionseinheit 172, Koordinatenumwandlungseinheit 174, Abgleichprozesseinheit 176, Parallaxenherleitungseinheit 178 und Umgebungsinformationserfassungseinheit 280. Die I/F-Einheit 160, die Datenspeichereinheit 162, die zentrale Steuerungseinheit 164, die Empfindlichkeitskorrektureinheit 170 und die Parallaxenherleitungseinheit 178, die bereits als die Komponenten in der ersten Ausführungsform beschrieben worden sind, haben im Wesentlichen die gleichen Funktionen. Daher wird die redundante Beschreibung dieser Komponenten nicht wiederholt. Die Farbreproduktionseinheit 172, die Koordinatenumwandlungseinheit 174 und die Abgleichprozesseinheit 176 sind im Wesentlichen gleich jenen der ersten Ausführungsform, außer dass die Zielfarbphase die Farbphase B ist. Daher wird die redundante Beschreibung nicht wiederholt, und es wird hauptsächlich die Umgebungsinformationserfassungseinheit 280 beschrieben, die sich von der ersten Ausführungsform unterscheidet.
-
Die Umgebungsinformationserfassungseinheit 280 erfasst Umgebungsinformationen im Zusammenhang mit Kontrast in der Außenumgebung des Fahrzeugs 1. Wenn zum Beispiel der Scheinwerfer des Fahrzeugs 1 eingeschaltet wird, bestimmt die Umgebungsinformationserfassungseinheit 280, dass es derart dunkel wird, dass der Scheinwerfer erforderlich ist, und erfasst das Leuchten des Scheinwerfers als „Dunkel”-Umgebungsinformation. Ein Helligkeitssensor kann als die Umgebungsinformationserfassungseinheit 280 vorgesehen sein, wobei die „Dunkel”-Umgebungsinformation durch die Feststellung bestimmt werden kann, ob ein Ausgangssignal des Helligkeitssensors einen geeigneten Schwellenwert überschreitet oder nicht.
-
Wenn die Umgebungsinformationserfassungseinheit 280 die „Dunkel”-Umgebungsinformation erfasst, welche angibt, dass die Helligkeit nicht stärker als eine vorbestimmte Helligkeit ist, führt die Abgleichprozesseinheit 176 den Abgleich nur für die Farbphase B aus, die die Farbphase mit der kürzesten Wellenlänge von den mehreren Zielfarbphasen ist. Zum Beispiel ist in der Heckleuchte des vorausfahrenden Fahrzeugs die Wellenlänge der Farbphase R lang und die Wellenlänge der Farbphase B ist kurz. Wenn daher der Abgleich nur anhand eines Bilds mit der Wellenlänge der Farbphase B durchgeführt wird, kann die Abgleichprozesseinheit 176 den Musterabgleich ohne die Sättigung der Heckleuchte richtig ausführen. Dementsprechend kann die Bildverarbeitungsvorrichtung 220 die Parallaxeninformation richtig herleiten, um hierdurch eine Steuerung/Regelung zur Kollisionsvermeidung mit einem Objekt oder eine Steuerung zum Einhalten eines Sicherheitsabstands zwischen dem Fahrzeug 1 und einem vorausfahrenden Fahrzeug richtig ausführen zu können.
-
Wenn die Außenumgebung ausreichend Licht hat, wie etwa tagsüber, das heißt wenn die Umgebungsinformationserfassungseinheit 280 „Hell”-Umgebungsinformation anzeigt, führt die Abgleichprozesseinheit 176 den Musterabgleich basierend auf drei Primärfarben aus.
-
Wie oben beschrieben, kann die Bildverarbeitungsvorrichtung 220 schwach einfallendes Licht effektiv erfassen, indem während Nachtfahrt die Blende des Bildsensors weit geöffnet wird, und kann ein eine Lichtquelle aufweisendes Objekt richtig erfassen, um hierdurch die Präzision im Musterabgleich verbessern zu können.
-
Es sind vorgesehen ein Programm, das es einem Computer erlaubt, um als die Bildverarbeitungsvorrichtung 120 und 220 zu fungieren, oder ein Speichermedium, auf dem das Programm aufgezeichnet ist, wie etwa eine computerlesbare flexible Platte, eine magnetooptische Platte, ein ROM, eine CD, eine DVD oder eine BD. Das Programm bedeutet eine Datenverarbeitungsfunktion, die in irgendeiner Sprache oder gemäß irgendeinem Schreibverfahren geschrieben ist.
-
Obwohl oben bevorzugte Ausführungsformen der vorliegenden Erfindung in Bezug auf die beigefügten Zeichnungen beschrieben worden sind, ist die Erfindung keineswegs auf die oben beschriebenen Ausführungsformen beschränkt. Es versteht sich, dass Fachkundige verschiedene Modifikationen und Alternativen innerhalb des in den Ansprüchen beschriebenen Umfangs vornehmen können, und sie sollen innerhalb der Idee und dem Umfang der vorliegenden Erfindung liegen.
-
In den oben erwähnten Ausführungsformen werden die Bilddaten verwendet, die mittels zweier Bildaufnahmevorrichtungen 110 gleichzeitig erfasst werden. Jedoch kann auch ein Bilddatenpaar verwendet werden, das chronologisch mittels nur einer Bildaufnahmevorrichtung 110 erhalten wird. Die Anzahl der Bildaufnahmevorrichtungen 110 ist nicht auf 1 oder 2 beschränkt. Die Erfindung ist auch auf ein Komplexauge anwendbar, das drei oder mehr Bildaufnahmevorrichtungen enthält.
-
In den oben erwähnten Ausführungsformen sind die drei Primärfarben RGB als das Bayer-Array beschrieben. Jedoch können auch vier Primärfarben RGBC oder fünf oder mehr unterschiedliche Farben verwendet werden.
-
In den oben erwähnten Ausführungsformen werden nur solche Bilddaten verwendet, die durch die Bildaufnahmevorrichtung 110 erhalten werden. Jedoch kann auch ein Funkwellen-Laserradar verwendet werden, worin ein Laserstrahl entsprechend der spezifischen Farbphase durch Differenzieren eines Frequenzfilters erfasst werden kann. Das Funkwellen-Laserradar emittiert einen Laserstrahl zu dem Erfassungsbereich 122, empfängt das von einem Objekt reflektierte Licht und analysiert das reflektierte Licht. Die Ausführungsformen der Erfindung sind auch auf Bilddaten für jeweilige Temperaturmesssensoren einer Temperaturmessvorrichtung anwendbar.
-
Die Erfindung ist auf eine Bildverarbeitungsvorrichtung anwendbar, die einen Musterabgleich basierend auf einem Paar von aufgenommenen Bilddaten ausführt.
-
ZUSAMMENFASSUNG DER OFFENBARUNG
-
Es wird eine Bildverarbeitungsvorrichtung angegeben. Die Bildverarbeitungsvorrichtung (120) enthält: eine Farbreproduktionseinheit (172) zum Reproduzieren einer Luminanz einer Farbphase, die nicht auf jedes Pixel eines Paares von aus einem Bayer-Array zusammengesetzten Bilddaten gesetzt ist, basierend auf den benachbarten Pixeln und eine Abgleichprozesseinheit (176) zum Extrahieren von Blöcken mit vorbestimmter Größe aus dem Paar von Bilddaten, deren Luminanz reproduziert wird, und Ausführen eines Abgleichprozesses, um Blöcke mit hoher Korrelation zu spezifizieren. Die Farbreproduktionseinheit (172) und die Abgleichprozesseinheit (176) führen jeweils die Luminanzreproduktion und den Abgleichprozess mit nur einer Farbphase mit dem höchsten Belegungsgrad in dem Bayer-Array aus.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 3349060 [0002]
- JP 10-283461 A [0002]
- JP 5-210737 A [0003]
- JP 3284190 [0004, 0059]
