-
Die
vorliegende Erfindung betrifft eine Bildkorrekturvorrichtung und
ein Bildkorrekturverfahren, welches ein von einer Abbildungsvorrichtung
geschaffenes Bild zu korrigieren vermag, beispielsweise einer Abbildungsvorrichtung,
die an oder in ein Fahrzeug eingebaut ist, um eine Umgebung des Fahrzeugs
abzubilden (aufzunehmen). Die vorliegende Erfindung betrifft auch
ein Verfahren zur Herstellung einer Transformationskarte für
eine Bildkorrekturvorrichtung und ein Bildkorrekturverfahren.
-
Anzeige-
oder Darstellungsvorrichtungen für eine Fahrzeugumgebung
sind bekannt. Beispielsweise beschreibt die
JP-H10-257482A eine Anzeigevorrichtung
für eine Fahrzeugumgebung, welche gleichzeitig Bilder auf
einer linken Seite, einer rechten Seite und einer Rückseite
des Fahrzeugs auf einer Flüssigkristallanzeige darstellt.
Die Anzeigevorrichtung für die Fahrzeugumgebung nimmt unter
Verwendung von CCD-Kameras (CCD = ladungsträgergekoppelte Vorrichtung),
die nahe dem rechten Außenspiegel und dem linken Außenspiegel
des Fahrzeugs angeordnet sind, ein Bild auf der rechten Seite des
Fahrzeugs und ein Bild auf der linken Seite des Fahrzeugs auf. Die
Anzeigevorrichtung für die Fahrzeugumgebung nimmt unter
Verwendung einer weiteren CCD-Kamera, die in einem Heckbereich des
Fahrzeugs eingebaut ist, ein Bild von hinterhalb des Fahrzeugs auf.
Die jeweiligen Unendlichkeitspunkte dieser drei Bilder (d. h. der
rechten, linken und hinteren Bilder) werden aneinander angepasst
und somit wird ein Unendlichkeitspunkt oder Fluchtpunkt festgelegt. Aus
den drei Bildern wird ein Bild synthetisiert, wie es von einem einzelnen
virtuellen Blickpunkt aus sichtbar wäre.
-
Die
Erfinder der vorliegenden Anmeldung haben herausgefunden, dass die
bekannte Technik unter anderem noch den folgenden Nachteil aufweist,
der nachfolgend als eine Art fallbezogener oder verwandter Stand
der Technik erläutert wird.
-
Wenn
die Fluchtpunkte der drei Bilder bei der Bildsynthetisierung in Übereinstimmung
gebracht werden, kann eine weiße Linie auf der Fahrbahn
oder dergleichen durchgängig zwischen dem rechtsseitigen/linksseitigen
Bild und dem Bild hinterhalb des Fahrzeugs dargestellt werden.
-
Jede
der CCD-Kameras zur Aufnahme der entsprechenden rechten, linken
und hinteren Bilder hat typischerweise eine optische Achse, welche
bezüglich einer Richtung parallel zur Fahrbahnoberfläche
nach unten geneigt ist. Somit wird ein dreidimensionales Objekt
(3D-Objekt) in dem rechten/linken Bild und hinteren Bild vom Fahrzeug
aus so dargestellt, dass das dargestellte 3D-Objekt zwischen dem rechten/linken
Bild und dem hinteren Bild eine Diskontinuität oder einen
Sprung hat, was zu einem schlechter verständlichen Bild
führt.
-
Der
obige Punkt wird nachfolgend konkret unter Bezugnahme auf Figuren
der beigefügten Zeichnung beschrieben. Die Situation sei
wie folgt angenommen: Gemäß 4 ist
eine CCD-Kamera an einem hinteren Teil eines Fahrzeugs zur Aufnahme
eines hinteren Bereichs des Fahrzeugs angeordnet. An einer rechten
Seite und einer linken Seite der Fahrbahn hinterhalb des Fahrzeugs
stehen Begrenzungspfosten mit einer Höhe von 1,5 m im Abstand von
jeweils 2 m. Ein Abstand zwischen der CCD-Kamera und dem am nächsten
liegenden Posten in Fahrzeugbreitenrichtung sei 2,6 m. Die CCD-Kamera hat
einen Blickwinkel von 130 Grad in Fahrzeugbreitenrichtung.
-
Wenn
in obiger Situation eine optische Achse der CCD-Kamera parallel
zur Fahrbahnoberfläche ist, werden an der rechten Seite
und linken Seite der Fahrbahn stehende Pfosten so abgebildet, dass
sie sich in einer Vertikalrichtung des Kamerabilds erstrecken (d.
h. eines von der CCD-Kamera aufgenommenen Bilds), wie in den 14A und 14B gezeigt. Weiterhin
ist, wie ebenfalls in den 14A und 14B gezeigt, selbst wenn die Einbauhöhe
der CCD-Kamera geändert wird, solange die optische Achse
der CCD-Kamera parallel zur Fahrbahnoberfläche ist, das
Anzeigeobjekt, welches in vertikaler Richtung anzuzeigen ist, bezüglich
der Vertikalrichtung des von der CCD-Kamera aufgenommenen Bilds
nicht geneigt (schräg gestellt).
-
Jedoch
wird eine CCD-Kamera, die in ein Fahrzeug eingebaut ist, typischerweise
verwendet, eine Situation in der näheren Umgebung des Fahrzeugs
zu überwachen. Somit ist die CCD-Kamera typischerweise
im Fahrzeug so eingebaut, dass eine optische Achse der CCD-Kamera
nicht parallel zur Fahrbahnoberfläche verläuft,
sondern in einer Richtung parallel zur Fahrbahnoberfläche
nach unten geneigt ist. Wenn die optische Achse der CCD-Kamera beispielsweise
bezüglich einer Richtung parallel zur Fahrbahnoberfläche
um 25 Grad nach unten geneigt ist, werden die Pfosten an der linken
Seite und der rechten Seite der Fahrbahn so dargestellt, als ob
sie bezüglich der Vertikalrichtung geneigt sind, wie in den 15A und 15B gezeigt.
Der Neigungswinkel wird umso größer, je größer
der Abstand zur Bildmitte ist.
-
Da
ein dargestelltes Objekt näher an einem Bildrand einen
größeren Neigungswinkel und eine größere
Verzerrung hat, ist die Darstellung näher am Rand des Kamerabilds
schlechter sichtbar (betrachtbar). Wenn weiterhin eine Mehrzahl
von Bildern, bei denen in jedem ein dargestelltes Objekt näher
am Bildrand einen größeren Neigungswinkel hat,
zusammengefügt wird und wenn die zusammengefügten Bilder
dargestellt werden, kann sich die Neigungsrichtung des gleichen
dargestellten Objekts in der Mehrzahl von Bildern unterscheiden.
Insbesondere wird das dargestellte Objekt an einer Grenzlinie zwischen
der Mehrzahl von Bildern schlechter betrachtbar oder überschaubar.
-
Mit
Blick hierauf und angesichts weiterer Nachteile ist es eine Aufgabe
der vorliegenden Erfindung, eine Bildkorrekturvorrichtung und ein
Bildkorrekturverfahren zu schaffen, damit eine einfach und problemlos
zu betrachtende Bilddarstellung möglich wird, auch wenn
eine optische Achse einer Abbildungsvorrichtung bezüglich
einer Richtung parallel zu einer Bodenoberfläche nach unten
oder oben geneigt verlaufend ist. Weiterhin ist es eine Aufgabe
der vorliegenden Erfindung, ein Verfahren zur Herstellung einer
Transformationskarte für eine derartige Bildkorrekturvorrichtung
und ein derartiges Bildkorrekturverfahren zu schaffen.
-
Die
Lösung dieser Aufgabe erfolgt durch die im Anspruch 1 bzw.
8 bzw. 14 angegebenen Merkmale, wobei die jeweiligen Unteransprüche
vorteilhafte Weiterbildungen der Erfindung zum Inhalt haben.
-
Gemäß einem
ersten Aspekt der vorliegenden Erfindung wird eine Bildkorrekturvorrichtung
geschaffen. Die Bildkorrekturvorrichtung weist auf: eine Abbildungsvorrichtung,
einen Speicherabschnitt, einen Erzeugungsabschnitt für
ein korrigiertes Bild und eine Anzeigevorrichtung. Die Abbildungsvorrichtung hat
eine optische Achse, welche bezüglich einer Richtung parallel
zu einer Bodenoberfläche nach oben oder unten weisend ausgerichtet
ist. Die Abbildungsvorrichtung vermag wenigstens ein Bild aufzunehmen.
Der Speicherabschnitt speichert eine Transformationskarte, welche
eine Beziehung der Pixellage zwischen dem aufgenommenen Bild und
einem korrigierten Bild ist oder zeigt, um aus dem aufgenommenen
Bild durch Durchführung einer Korrektur einer Neigung eines
Anzeigeobjekts bezüglich einer Vertikalrichtung senkrecht
zur Bodenoberfläche ein korrigiertes Bild zu erzeugen.
Das Anzeigeobjekt (das darzustellende oder auf einem Bildschirm
anzuzeigende Objekt), welches zu korrigieren ist, ist ein Anzeigeobjekt,
das, obgleich es in Vertikalrichtung in dem aufgenommenen Bild dargestellt
werden sollte, im aufgenommenen Bild die Neigung bezüglich
der Vertikalrichtung hat. Der Erzeugungsabschnitt für das
korrigierte Bild vermag die Lage von Pixeln in dem aufgenommenen
Bild gemäß der Transformationskarte zu transformieren,
welche in dem Speicherabschnitt gespeichert ist, so dass das korrigierte
Bild erzeugt wird, in welchem die Korrektur an der Neigung des Anzeigeobjekts
bezüglich der Vertikalrichtung durchgeführt wurde.
Die Anzeigevorrichtung kann dann das korrigierte Bild darstellen,
welches von dem Erzeugungsabschnitt für das korrigierte
Bild erzeugt wurde.
-
Gemäß einem
zweiten Aspekt der vorliegenden Erfindung wird ein Bildkorrekturverfahren
geschaffen. Das Bildkorrekturverfahren weist auf: Erlangen oder
Erhalten eines aufgenommenen Bilds von einer Abbildungsvorrichtung
mit einer optischen Achse, welche bezüglich einer Richtung
parallel zu einer Bodenoberfläche nach unten oder oben
geneigt festgelegt ist; Erzeugen eines korrigierten Bilds aus dem
aufgenommenen Bild durch eine Transformation der Lage von Pixeln
in dem aufgenommenen Bild gemäß einer Transformationskarte,
welche eine Beziehung der Pixellage zwischen dem aufgenommenen Bild
und dem korrigierten Bild beinhaltet oder zeigt, um aus dem aufgenommenen
Bild das korrigierte Bild durch Durchführung einer Korrektur
der Neigung eines Anzeigeobjekts bezüglich einer Vertikalrichtung
senkrecht zur Bodenoberfläche zu erzeugen, wobei das Anzeigeobjekt
(anzuzeigende oder darzustellende Objekt), das zu korrigieren ist,
ein Anzeigeobjekt ist, welches, obgleich es in Vertikalrichtung
in dem aufgenommenen Bild verlaufend dargestellt werden sollte,
die Neigung bezüglich der Vertikalrichtung in dem aufgenommenen
Bild hat; und Erzeugen des erzeugten korrigierten Bilds.
-
Mit
obiger Bildkorrekturvorrichtung und obigem Bildkorrekturverfahren
wird das aufgenommene Bild von der Abbildungsvorrichtung aufgenommen und
damit erzeugt, welches die optische Achse hat, welche nach unten
oder oben geneigt ist. Das aufgenommene Bild wird jedoch nicht ohne
eine Korrektur dargestellt. Das aufgenommene Bild wird gemäß der Transformationskarte
in das korrigierte Bild umgewandelt und erst das korrigierte Bild
wird dargestellt. Die Transformationskarte zeigt oder beinhaltet
die Beziehung der Lage von Pixeln zwischen dem aufgenommenen Bild
und dem korrigierten Bild, um das korrigierte Bild zu erzeugen,
indem eine Korrektur der Neigung des Anzeigeobjekts durchgeführt
wird, welches die Neigung bezüglich der Vertikalrichtung
in dem aufgenommenen Bild hat, obgleich es in dem aufgenommenen
Bild als in vertikaler Richtung verlaufend dargestellt werden sollte.
Die Neigung des Anzeigeobjekts bezüglich der Vertikalrichtung
wird somit im korrigierten Bild korrigiert, wobei die Korrektur
unter Verwendung der Transformationskarte erfolgt. Das Anzeigeobjekt
ist somit in dem korrigierten Bild klar und problemlos sichtbar,
d. h. erkennbar, identifizierbar etc. Weiterhin kann die Verwendung der
Transformationskarte die Erzeugung des korrigierten Bilds beschleunigen.
Selbst wenn somit die Abbildungsvorrichtung fortlaufend eine Serie
der korrigierten Bilder aufnimmt, ist es möglich, fortlaufend die
korrigierten Bilder ohne allzu hohe Zeitverzögerung zu
erzeugen und darzustellen. Die obige Bildkorrekturvorrichtung und
das obige Bildkorrekturverfahren können ein einfach zu
betrachtendes Bild erschaffen, auch wenn eine optische Achse einer
Abbildungsvorrichtung bezüglich einer Richtung parallel zu
einer Bodenoberfläche (z. B. Fahrbahnoberfläche) nach
unten oder oben geneigt ist.
-
Gemäß einem
dritten Aspekt der vorliegenden Erfindung wird ein Verfahren zur
Herstellung einer Transformationskarte für die obige Bildkorrekturvorrichtung
bzw. das obige Bildkorrekturverfahren geschaffen. Das Verfahren
umfasst: Setzen einer Mehrzahl virtueller Blickpunkte in einem Teil
eines von einer Abbildungsvorrichtung aufgenommenen Bilds, so dass
die Mehrzahl virtueller Blickpunkte entlang einer Horizontalrichtung
in Inkrementen oder Schritten einer bestimmten Anzahl von Pixeln
gesetzt wird, wobei der Teil des aufgenommenen Bilds ein Teil ist,
der als ein korrigiertes Bild auszugeben ist; Erzeugen einer Mehrzahl
virtueller Blickpunktbilder aus dem aufgenommenen Bild anhand der
Mehrzahl virtueller Blickpunkte, so dass jedes virtuelle Blickpunktbild
so gemacht wird, dass es (i) in seiner Mitte einen entsprechenden
der virtuellen Blickpunkte hat und (ii) in seiner Mitte das Anzeigeobjekt
hat, dessen Neigung bezüglich einer Vertikalrichtung korrigiert wurde;
und Bestimmen einer Beziehung der Lage von Pixeln zwischen dem aufgenommenen
Bild und dem korrigierten Bild basierend auf einer Spalte von Pixeln,
welche in Vertikalrichtung mittig eines jeden Bilds mit virtuellem
Blickpunkt aneinandergereiht sind, so dass eine Transformationskarte
erzeugt wird.
-
Bei
obigem Verfahren zur Erzeugung einer Transformationskarte wird die
Neigung des Anzeigeobjekts (anzuzeigenden oder darzustellenden Objekts)
bezüglich der Vertikalrichtung an der Lage des Blickpunkts
in dem Bild mit virtuellem Blickpunkt korrigiert, da das Bild mit
virtuellem Blickpunkt so erzeugt wird, dass der virtuelle Blickpunkt
in seiner Mitte liegt. Somit können die Pixel, die sich
im mittigen Teil des Bilds mit virtuellem Blickpunkt aneinanderreihen,
zur Erzeugung des korrigierten Bilds verwendet werden. Für
jedes Bild mit virtuellem Blickpunkt ist es durch Untersuchung,
welche der Pixel in dem aufgenommenen Bild in ihrer Lage mit den
Pixeln übereinstimmen, die in vertikaler Richtung des Bilds
mit virtuellem Blickpunkt aneinandergereiht sind, möglich, die
Beziehung der Lage von Pixeln zwischen dem aufgenommenen Bild und
dem korrigierten Bild zu bestimmen. Eine Korrektur sämtlicher
Lagebeziehungen von Pixeln, die auf obige Weise bestimmt worden
sind, kann dann als die Transformationskarte verwendet werden.
-
Weitere
Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben
sich besser aus der nachfolgenden detaillierten Beschreibung unter Bezugnahme
auf die beigefügte Zeichnung.
-
Es
zeigt/zeigen:
-
1 ein
Blockdiagramm einer Bildkorrekturvorrichtung einer ersten Ausführungsform;
-
2 ein
Flussdiagramm einer Bildkorrekturverarbeitung, welche von der Bildkorrekturvorrichtung
gemäß 1 durchgeführt wird.
-
3 ein
Flussdiagramm eines Herstellungsverfahrens für eine Transformationskarte;
-
4 eine
Darstellung zur Erläuterung von virtuellen Blickpunkten
für das Herstellungsverfahren der Transformationskarte;
-
5A und 5B jeweils
Diagramme, in welchen jeweils die drei obersten Bilder virtuelle Blickpunktbilder
darstellen und das unterste Bild ein korrigiertes Bild darstellt,
welches aus jeweiligen Mittelteilen einer Mehrzahl virtueller Blickpunktbilder
erzeugt wurde;
-
6 ein
Blockdiagramm einer Bildkorrekturvorrichtung einer zweiten Ausführungsform;
-
7 eine
Darstellung eines Bildbeispiels, aufgenommen mit einer Kamera, die
nahe einem linken Außenspiegel eines Fahrzeugs angeordnet
ist;
-
8 eine
Darstellung virtueller Blickpunkte an einer Kamera, die nahe dem
linken Außenspiegel des Fahrzeugs angeordnet ist;
-
9 eine
Darstellung eines virtuellen Blickpunktbilds mit einem virtuellen
Blickpunkt „N”;
-
10 eine
Darstellung eines korrigierten Bilds, das aus dem Bild erzeugt wurde,
das mit der nahe dem linken Außenspiegel angeordneten Kamera
aufgenommen wurde;
-
11 ein
Flussdiagramm eines Bildkorrekturvorgangs durch die Bildkorrekturvorrichtung
von 6;
-
12A eine Darstellung eines Beispiels eines kombinierten
Bilds in einem Vergleichsbeispiel, wobei das kombinierte Bild eine
Kombination aus fahrzeugseitig linken, rechten und hinteren Bildern ist;
-
12B eine Darstellung eines Beispiels eines kombinierten
Bilds von Ausführungsformen;
-
13A eine Darstellung eines anderen Beispiels eines
kombinierten Bilds in einem Vergleichsbeispiel;
-
13B eine Darstellung eines anderen Beispiels eines
kombinierten Bilds der Ausführungsformen;
-
14A und 14B Darstellungen,
wie vertikale Pfosten in einem Kamerabild dargestellt werden, wenn
eine optische Achse einer im hinteren Teil eines Fahrzeugs eingebauten
Kamera parallel zu einer Fahrbahnoberfläche verläuft;
-
15A und 15B Darstellungen
zur Erläuterung, wie vertikale Pfosten in einem Kamerabild dargestellt
werden, wenn eine optische Achse einer im hinteren Bereich eines
Fahrzeugs eingebauten Kamera nach unten weist; und
-
16 eine
Darstellung zur Erläuterung eines Erzeugungsverfahrens
für ein Bild aus Vogelperspektive.
-
Beispielhafte
Ausführungsformen werden nachfolgend unter Bezugnahme auf
die Zeichnung beschrieben.
-
<Erste
Ausführungsform>
-
Nachfolgend
wird zunächst eine erste Ausführungsform näher
beschrieben.
-
1 ist
ein Blockdiagramm einer Bildkorrekturvorrichtung gemäß der
ersten Ausführungsform. Bei der vorliegenden Ausführungsform
erfolgt eine Erläuterung anhand des nachfolgenden Beispielfalls.
Eine CCD-Kamera, welche als Abbildungsvorrichtung oder Abbildungsmittel
dient, ist in einem hinteren Teil oder Bereich eines Fahrzeugs angeordnet,
um ein Bild von einem hinter dem Fahrzeug liegenden Bereich oder
einer hinter dem Fahrzeug liegenden Gegend aufzunehmen. Eine Korrektur
erfolgt an dem mit der CCD-Kamera aufgenommenen Bild.
-
Gemäß 1 umfasst
die Bildkorrekturvorrichtung eine CCD-Kamera 10, eine elektronische Steuereinheit
(ECU) 20 für eine Bildverarbeitung und eine Anzeigevorrichtung 30.
-
Die
CCD-Kamera 10 ist in einem hinteren Teil oder Heckbereich
des Fahrzeugs angeordnet. Genauer gesagt, die CCD-Kamera 10 ist
an einer Hecktür oder einem hinteren Stoßfänger
des Fahrzeugs so angeordnet, dass eine optische Achse der CCD-Kamera 10 bezüglich
einer Richtung parallel zu einer Bodenoberfläche (Fahrbahnoberfläche)
nach unten geneigt ist. Ein Gesichtsfeld oder Blickfeld, welches
die CCD-Kamera 10 zur Rückseite hin hat, ist vorbestimmt.
Wenn somit die CCD-Kamera 10 im Heckbereich des Fahrzeugs
angeordnet ist, wird die optische Achse der CCD-Kamera 10 so
eingestellt, dass ein tatsächliches Blickfeld der CCD-Kamera 10 mit
dem vorbestimmten Blickfeld übereinstimmt.
-
Alternativ
kann eine Kalibrierung durch eine Software nach Einbau der CCD-Kamera 10 in
das Fahrzeug erfolgen. Die Kalibrierung mittels Software kann beispielsweise
unter Verwendung einer bestimmten Tafel erfolgen, wobei Größe,
Ausrichtung, Höhe und Abstand zwischen Fahrzeug und Tafelaufstellort
vorbestimmt sind. Die CCD-Kamera 10 nimmt ein Bild von
der Tafel auf, welche an einer bestimmten Einbaustelle oder Anordnungsstelle
liegt. Wenn die tatsächliche optische Achse der CCD-Kamera 10 mit
der optischen Sollachse übereinstimmt, wird die Lage der
bestimmten Karte innerhalb des Bilds eine vorhergesagte Lage, welche
basierend auf Einbaustelle, Größe etc. der bestimmten
Karte vorhergesagt ist. Mit anderen Worten, wenn die Lage der bestimmten
Karte innerhalb des Bilds unterschiedlich zu der vorhergesagten
Lage ist, weicht die tatsächliche optische Achse der CCD-Kamera 10 von
der optischen Sollachse ab. In diesem Fall wird ein Transformationsparameter
zur Beseitigung des Unterschieds in den X- und Y-Achsen bestimmt,
so dass die Lage der bestimmten Karte innerhalb des Bilds die vorhergesagte
Lage wird. Dann wird das von der CCD-Kamera 10 aufgenommene
Bild unter Verwendung der Transformationsparameter korrigiert. Auf
obige Weise ist es möglich, das Bild innerhalb des bestimmten Blickfelds
von der CCD-Kamera 10 zu erlangen. Die Kalibrierung durch
Software kann von der Bildverarbeitungs-ECU 20 durchgeführt
werden. Es sei festzuhalten, dass, wenn die Kalibrierung durch Software durchgeführt
wird, das bestimmte Blickfeld kleiner als ein maximales Blickfeld
der CCD-Kamera 10 gesetzt wird.
-
Die
Bildverarbeitungs-ECU 20 führt einen Korrekturprozess
an dem von der CCD-Kamera 10 ausgegebenen Bild unter Verwendung
einer Transformationskarte 21 durch, um ein korrigiertes
Bild zu erzeugen. Die Bildverarbeitungs-ECU 20 veranlasst, dass
die Anzeigevorrichtung 30 das korrigierte Bild anzeigt.
Genauer gesagt und wie im Flussdiagramm von 2 gezeigt,
führt die Bildverarbeitungs-ECU 20 die folgenden
Schritte durch: Bei S110 importiert die Bildverarbeitungs-ECU 20 das
mit der CCD-Kamera 10 aufgenommene Bild. Die Bildverarbeitungs-ECU 20 importiert
das Bild beispielsweise zu bestimmten Zeitintervallen, wenn das
Fahrzeug rückwärts fährt. Aus Gründen
der Einfachheit kann dieses Bild auch als Kamerabild oder aufgenommenes
Bild bezeichnet werden. Bei S120 verwendet die Bildverarbeitungs-ECU 20 die
in einem internen Speicher der Bildverarbeitungs-ECU 20 gespeicherte
Transformationskarte 21, um die Lage oder den Ort von Pixeln
im Kamerabild zu transformieren, so dass das korrigierte Bild erzeugt
wird. Bei S130 gibt die Bildverarbeitungs-ECU 20 das korrigierte
Bild an die Anzeigevorrichtung, beispielsweise eine Flüssigkristallanzeige
im Instrumentenbrett des Fahrzeugs, aus, so dass das korrigierte
Bild dargestellt wird.
-
Die
Transformationskarte 21 wird nun beschrieben. Die Transformationskarte 21 zeigt
eine Beziehung in der Lage von Pixeln zwischen dem Kamerabild und
dem korrigierten Bild, um das korrigierte Bild aus dem aufgenommenen
Bild mittels einer Korrektur der Neigung eines Anzeigeobjekts (anzuzeigenden
Objekts; angezeigten Objekts) bezüglich einer Vertikalrichtung
senkrecht zur Fahrbahnoberfläche zu erzeugen. Hierbei ist
das Anzeigeobjekt mit der Neigung, welche zu korrigieren ist, ein
Anzeigeobjekt, welches, obgleich es im Kamerabild in einer vertikalen
Richtung stehend oder verlaufend angezeigt werden sollte, bezüglich
dieser Vertikalrichtung im Kamerabild eine Neigung hat. Mit anderen
Worten, das zu korrigierende Anzeigeobjekt kann dasjenige sein, welches
im Kamerabild die Neigung oder Schrägstellung bezüglich
der Vertikalrichtung hat, obgleich ein physikalisches oder körperliches
Objekt, welches als das Anzeigeobjekt dargestellt wird, sich in
dem von der CCD-Kamera abgebildeten Gebiet oder Bereich in vertikaler
Richtung erstreckt. Ein Verfahren zur Erstellung der Transformationskarte 21 wird
nachfolgend im Detail unter Bezugnahme auf die 3, 4, 5A und 5B beschrieben.
-
Aus
Gründen der Erläuterung sei nachfolgend ein Fall
angenommen, bei dem: das mit der CCD-Kamera 10 ausgestattete
Fahrzeug auf einer Fahrbahn fährt, auf einer rechten Seite
und einer linken Seite der Fahrbahn sich Pfosten mit einer Höhe von
1,5 m im Abstand von 2,0 m zueinander befinden und die CCD-Kamera 10 ein
Bild hinterhalb des Fahrzeugs aufnimmt. Da im obigen Fall die optische
Achse der CCD-Kamera 10 bezüglich einer Richtung
parallel zur Fahrbahnoberfläche nach unten geneigt ist, werden
die sich in der Realität vertikal erstreckenden Pfosten
im Kamerabild so abgebildet oder dargestellt, dass die Pfosten im
Kamerabild bezüglich der Vertikalrichtung schräg
sind. Der Schrägstellungs- oder Neigungswinkel der Pfosten
im Kamerabild wird mit zunehmendem Abstand von einer Mitte des Kamerabilds
größer.
-
Zurückkehrend
zu 3 wird bei S220 eine Mehrzahl virtueller Blickpunkte
an dem importierten Kamerabild gesetzt und aus der Mehrzahl von
virtuellen Blickpunkten wird ein virtueller Blickpunkt ausgewählt.
Genauer gesagt, die Mehrzahl virtueller Blickpunkte wird auf einem
Teil des Kamerabilds derart gesetzt, dass die Mehrzahl virtueller
Blickpunkte entlang einer horizontalen Richtung in Schritten einer bestimmten
Anzahl von Pixeln gesetzt wird. Hierbei ist der Teil des Kamerabilds
ein Teil, der als das korrigierte Bild auszugeben ist. Beispielsweise
sind virtuelle Blickpunkte A, B und C in 4 ein Teil
der Mehrzahl von virtuellen Blickpunkten, die im Kamerabild gesetzt
werden. Bei der vorliegenden Ausführungsform liegen die
virtuellen Blickpunkte entlang der Horizontalrichtung in Schritten
von einem Pixel. In diesem Fall wird, wie es nachfolgend noch näher beschrieben
wird, es möglich, die Transformationskarte zu erzeugen,
welche eine Korrektur an der Neigung maximal durchführen
kann.
-
Bei
S230 wird eine Bildverarbeitung am importierten Kamerabild durchgeführt
und damit ein virtuelles Blickpunktbild (Bild von einem virtuellen
Blickpunkt aus) erzeugt, so dass das virtuelle Blickpunktbild in
seiner Mitte den bei S220 ausgewählten virtuellen Blickpunkt
hat. Genauer gesagt, es erfolgt eine Vogelperspektiventransformation
an dem mit der CCD-Kamera
10 aufgenommenen Kamerabild,
um ein Vogelperspektivenbild zu erzeugen. Obgleich diese Vogelperspektiventransformation
bekannt und insbesondere in der
JP-H10-211849A beschrieben ist, erfolgt nachfolgend
eine kurze Erläuterung hiervon. Gemäß
16 werden
Bilddaten auf einem Bodenkoordinatensystem (x, y, z) auf einen ebenen Schirm „T” projiziert,
der in einer Brennweite „f” von einer Kameraposition „R” aus
liegt. Das heißt, eine perspektivische Transformation wird
an den Bilddaten durchgeführt. In
16 ist
die Kamera
10 so eingebaut, dass sie mit einem nach unten
weisenden Winkel „τ” nach unten weist.
-
Die
CCD-Kamera 10 bildet einen Bereich hinter dem Fahrzeug
von einem Blickpunkt „X” aus ab, der zu einem
Bereich direkt hinterhalb des Fahrzeugs zeigt. Nachdem das Vogelperspektivenbild
erzeugt worden ist, wird das Vogelperspektivenbild bezüglich
der Kameraposition „R” (um diese herum) abhängig
von einer Winkeldifferenz zwischen dem Blickpunkt X und dem gewählten
virtuellen Blickpunkt gedreht, bis der virtuelle Blickpunkt in der
Originalposition (d. h. der Position vor der Drehung) des Blickpunkts
X liegt, mit anderen Worten, bis der virtuelle Blickpunkt in der
in horizontaler Richtung liegenden Mitte des ursprünglich
erzeugten Vogelperspektivenbilds liegt.
-
Dann
erfolgt eine umgekehrte Vogelperspektiventransformation, welche
die Umkehrung der obigen Vogelperspektiventransformation ist, an
dem gedrehten Vogelperspektivenbild. Damit werden Bilddaten auf
dem Bodenkoordinatensystem (x, y, z) als virtuelles Blickpunktbild
erzeugt, wie in 16 gezeigt.
-
Durch
Durchführung dieser Art von Bildverarbeitung am importierten
Kamerabild wird es möglich, das virtuelle Blickpunktbild
zu erzeugen, welches wie ein Bild aussieht, welches vom ausgewählten
virtuellen Blickpunkt aus betrachtet wird.
-
Die
drei oberen Bilder in 5A zeigen Beispiele virtueller
Blickpunktbilder, wenn die Einbauhöhe der CCD-Kamera gegenüber
der Fahrbahnoberfläche 0,75 m beträgt. Die virtuellen
Blickpunktbilder von 5A entsprechen Kamerabildern,
gesehen von den virtuellen Blickpunkten A, B und C aus. Die drei
oberen Bilder in 5B zeigen virtuelle Blickpunktbilder,
wenn die Einbauhöhe der CCD-Kamera 10 gegenüber
der Fahrbahnoberfläche 1,5 m beträgt. Die virtuellen
Blickpunktbilder von. 5B entsprechen den Kamerabildern
von den virtuellen Blickpunkten A, B und C.
-
Wie
aus den obigen virtuellen Blickpunktbildern zu sehen ist, hat jedes
virtuelle Blickpunktbild einen virtuellen Blickpunkt in seiner Mitte.
Somit ist in jedem virtuellen Blickpunktbild die Neigung eines Anzeigeobjekts
bezüglich der Vertikalrichtung an einer Stelle des virtuellen
Blickpunkts korrigiert worden. Damit ist es möglich, das
korrigierte Bild zu erhalten, in welchem die Neigung des Anzeigeobjekts
bezüglich der Vertikalrichtung korrigiert worden ist, indem Pixel
aus jedem virtuellen Blickpunktbild extrahiert werden, die in Vertikalrichtung
im mittigen Teil des virtuellen Blickpunktbilds aneinandergereiht
sind, und die aus der Mehrzahl von virtuellen Blickpunktbildern extrahierten
Pixel miteinander kombiniert werden, wie in dem Bild jeweils unten
von 5A bzw. 5B gezeigt.
-
Bei
der vorliegenden Ausführungsform werden die virtuellen
Blickpunkte entlang der Horizontalrichtung des Kamerabilds in Schritten
oder Inkrementen von einem Pixel gesetzt. Aus dem erzeugten virtuellen
Blickpunktbild entsprechend dem einen der virtuellen Blickpunkte
wird nur eine einzelne Spalte von Pixeln extrahiert, die in Vertikalrichtung
aneinandergereiht sind. Wenn eine Mehrzahl von Spalten von Pixeln
aus einem virtuellen Blickpunktbild entnommen werden würde,
würde die Neigung eines Anzeigeobjekts mit zunehmendem
Abstand von der Mitte des Bilds aus größer werden.
Da jedoch bei der vorliegenden Ausführungsform die virtuellen
Blickpunkte auf dem Kamerabild in Inkrementen von einem Pixel gesetzt
sind, ist es unnötig, eine Mehrzahl von Spalten von Pixeln
aus einem virtuellen Blickpunktbild zu extrahieren. Daher kann die
vorliegende Ausführungsform die Neigung maximal korrigieren, um
das korrigierte Bild zu erzeugen. Es sei festzuhalten, dass, wenn
eine gewisse Neigung eines Anzeigeobjekts akzeptabel ist, dann die
virtuellen Blickpunkte in Schritten von zwei oder mehr Pixeln auf dem
Kamerabild gesetzt werden können.
-
Bei
S240 wird die Lage von Pixeln im Kamerabild entsprechend der Lage
der einzelnen Spalte von Pixeln, die in Vertikalrichtung im mittigen
Teil des virtuellen Blickpunktbilds aneinandergereiht sind, das bei
S230 erzeugt wurde, aufgezeichnet, wobei eine Zuordnung zum virtuellen
Blickpunkt erfolgt. Bei S250 wird bestimmt, ob virtuelle Blickpunktbilder
entsprechend allen gesetzten virtuellen Blickpunkten erzeugt wurden.
Wenn bestimmt wird, dass virtuelle Blickpunktbilder entsprechend
allen gesetzten virtuellen Blickpunkten noch nicht erzeugt worden
sind, ist die Entscheidung bei S250 „NEIN” und
der Ablauf kehrt zu S220 zurück. In diesem Fall wird ein
virtueller Blickpunkt entsprechend einem virtuellen Blickpunktbild,
das noch nicht erzeugt worden ist, aus den gesetzten virtuellen
Blickpunkten gewählt. Dann werden die Abläufe
bei S230 und folgend durchgeführt.
-
Die
Abläufe von S230 bis S250 werden zyklisch auf obige Weise
durchgeführt. Wenn bei S250 bestimmt wird, dass alle virtuellen
Blickpunktbilder, also Bilder aller virtuellen Blickpunkte, erzeugt
worden sind, geht der Ablauf zu S260. Bei S260 werden die aufgezeichneten
Lagen der Pixel des Kamerabilds kombiniert und damit die Transformationskarte zum
Transformieren des Kamerabilds in das korrigierte Bild erzeugt.
-
Unter
Verwendung der wie oben erzeugten Transformationskarte können
die Lagen der Pixel im importierten Kamerabild in die Lagen von
Pixeln im korrigierten Bild transformiert oder übertragen
(umgesetzt) werden. Damit ist es möglich, das korrigierte Bild
zu erzeugen, bei dem eine Korrektur bezüglich der Neigung
des Anzeigeobjekts oder angezeigten Objekts erfolgte, wie im Bild
in 5A oder 5B ganz
unten gezeigt. Durch Anzeige des korrigierten Bilds ist es möglich,
die Erkennbarkeit des Anzeigeobjekts zu erleichtern. In der vorliegenden
Ausführungsform werden in Antwort auf den Import des in das
korrigierte Bild zu transformierenden Kamerabilds die in das korrigierte
Bild zu kombinierenden Pixel nicht gemäß den jeweiligen
virtuellen Blickpunkten extrahiert und synthetisiert. In der vorliegenden Ausführungsform
wird die Beziehung in der Lage der Pixel zwischen dem Kamerabild
und dem korrigierten Bild vorausblickend als Transformationskarte
gespeichert. In Antwort auf den Import des Kamerabilds wird das
korrigierte Bild unter Verwendung der vorab gespeicherten Transformationskarte
erzeugt. Somit kann der Prozess der Erzeugung des korrigierten Bilds
in einer kurzen Zeit abgeschlossen werden. Selbst wenn daher die
CCD-Kamera 10 fortlaufend Bilder aufnimmt, ist es möglich,
gleichermaßen fortlaufend die korrigierten Bilder ohne
wesentlichen Zeitverlust, also im Wesentlichen verzögerungsfrei, zu
erzeugen.
-
<Zweite
Ausführungsform>
-
Eine
zweite Ausführungsform wird nachfolgend beschrieben. 6 ist
ein Blickpunktbild, welches eine Bilderzeugungsvorrichtung der zweiten Ausführungsform
zeigt.
-
Gemäß 6 ist
der Unterschied zwischen der vorliegenden Ausführungsform
und der ersten Ausführungsform im Wesentlichen wie folgt:
Eine Mehrzahl von (beispielsweise drei) CCD-Kameras 11 bis 13 ist
am Fahrzeug angeordnet, so dass eine optische Achse einer jeden
CCD-Kamera 11 bis 13 nach unten weist. Ein basierend
auf einer Kombination von Bildern, die von den mehreren Kameras 11 bis 13 aufgenommen
werden, erzeugtes Bild wird dann dargestellt.
-
Zum
Zwecke der Erläuterung sei die Mehrzahl von CCD-Kameras 11 bis 13 als
eine erste CCD-Kamera 11, eine zweite CCD-Kamera 12 und eine
dritte CCD-Kamera 13 betrachtet. Die erste CCD-Kamera 11 ist
an einem hinteren Teil oder Heckbereich des Fahrzeugs angebracht,
um ein Bild hinterhalb des Fahrzeugs aufzunehmen, wie die CCD-Kamera 10 der
ersten Ausführungsform. Die zweite CCD-Kamera 12 ist
nahe dem linken Außenspiegel des Fahrzeugs angebracht,
um einen Bereich von einer linken Seite bis zu einer linken hinteren
Seite des Fahrzeugs abzubilden. Die dritte CCD-Kamera 13 ist
nahe dem rechten Außenspiegel des Fahrzeugs angeordnet,
um einen Bereich von einer rechten Seite zu einer rechten hinteren
Seite des Fahrzeugs abzubilden. Die jeweiligen Abbildungsbereiche
der CCD-Kameras 11 bis 13 werden so gewählt,
dass ein Bereich eines von der ersten CCD-Kamera 11, eines
von der zweiten CCD-Kamera 12 und eines von der dritten
CCD-Kamera 13 aufgenommenen Bilds in Kontakt miteinander
oder einander teilweise überlappend sind.
-
Weiterhin
speichert der interne Speicher der Bildverarbeitungs-ECU 20 eine
Mehrzahl von Transformationskarten. Unter Verwendung der Mehrzahl von
Transformationskarten werden die Kamerabilder, die von den ersten,
zweiten und dritten CCD-Kameras 11 bis 13 aufgenommen
worden sind, jeweils in korrigierte Bilder transformiert oder umgesetzt.
Die Lage von Pixeln im Kamerabild zur Erzeugung des korrigierten
Bilds ändert sich abhängig von der Einbauhöhe
der CCD-Kamera und dem nach unten weisenden Winkel der optischen
Achse der CCD-Kamera bezüglich einer Richtung parallel
zur Fahrbahnoberfläche. Mit Blick auf diesen Sachverhalt
werden jeweilige Transformationskarten, die der Mehrzahl von CCD-Kameras 11 bis 13 zugewiesen
sind, vorausblickend erzeugt und im internen Speicher der Bildverarbeitungs-ECU 20 gespeichert.
-
Es
sei nachfolgend die zweite CCD-Kamera 12 als ein Beispiel
zur Erläuterung eines Verfahrens zur Herstellung einer
Transformationskarte herausgegriffen, welche nahe dem linken Außenspiegel
angeordnet ist.
-
Eine
optische Achse der CCD-Kamera 12, welche in dem linken
Außenspiegel des Fahrzeugs oder im Nahbereich hiervon eingebaut
ist, ist bezüglich einer Richtung parallel zur Fahrbahnoberfläche nach
unten geneigt. Aufgrund dieses Zeigens nach unten wird gemäß 7 ein
körperliches Objekt, das sich in Vertikalrichtung erstreckt,
von der CCD-Kamera 12 so abgebildet, dass ein Anzeigeobjekt,
welches von dem körperlichen oder physikalischen Objekt herrührt,
bezüglich der vertikalen Richtung in dem Kamerabild geneigt
ist. Mit Blick hierauf wird eine Mehrzahl von virtuellen Blickpunkten
am Kamerabild der CCD-Kamera 12 in Inkrementen von einem
oder mehreren Pixeln entlang der Horizontalrichtung gesetzt, wie
in 8 gezeigt. Dann wird eine Bildverarbeitung an
dem Kamerabild auf eine Weise ähnlich wie bei der ersten
Ausführungsform durchgeführt, so dass eine Mehrzahl
von virtuellen Blickpunktbildern erzeugt wird, welche jeweils der
Mehrzahl virtueller Blickpunkte entsprechen. Für jedes
virtuelle Blickpunktbild wird die Lage von Pixeln des Kamerabilds entsprechend
den Pixeln, die sich in Vertikalrichtung im mittigen Teil des virtuellen
Blickpunktbilds hintereinander befinden, aufgezeichnet. 9 zeigt
ein virtuelles Blickpunktbild, gesehen von einem virtuellen Blickpunkt
N aus.
-
Die
Lagen von Pixeln von Kamerabildern, die auf obige Weise aufgezeichnet
wurden, werden in der Reihenfolge der virtuellen Blickpunkte kombiniert.
Damit kann die Transformationskarte entsprechend dem Kamerabild
der zweiten CCD-Kamera 12 erzeugt werden. Wenn die Lage
von Pixeln in dem von der zweiten CCD-Kamera 12 aufgenommenen Bild
unter Verwendung der vorab gespeicherten Transformationskarte transformiert
wird, ist es möglich, das korrigierte Bild zu erzeugen,
in welchem die Neigung bezüglich der Vertikalrichtung korrigiert
wurde, wobei 10 ein Beispiel hiervon zeigt.
-
Der
verbleibende Aufbau der zweiten Ausführungsform kann im
Wesentlichen gleich wie bei der ersten Ausführungsform
sein.
-
Eine
Bildverarbeitungsprozedur bei der vorliegenden Ausführungsform
wird unter Bezug auf 11 beschreiben. Bei S310 importiert
die Bildverarbeitungs-ECU 20 eine Mehrzahl von Kamerabildern,
welche entsprechend von der Mehrzahl von CCD-Kameras 11 bis 13 aufgenommen
wurden. Bei S320 erzeugt die Bildverarbeitungs-ECU 20 eine Mehrzahl
korrigierter Bilder aus der Mehrzahl von Kamerabildern durch Transformation
der Lage von Pixeln der Kamerabilder unter Verwendung der Transformationskarten
für die entsprechenden Kamerabilder.
-
Bei
S330 führt die Bildverarbeitungs-ECU 20 einen
Synthetisierungsprozess korrigierter Bilder durch, bei dem eine
Mehrzahl korrigierter Bilder aus S320 miteinander kombiniert wird.
Dadurch erzeugt die Bildverarbeitungs-ECU 20 ein kombiniertes
Bild, welches eine Kombination aus der Mehrzahl korrigierter Bilder
ist. Bei S340 gibt die Bildverarbeitungs-ECU 20 das kombinierte
Bild an die Anzeigevorrichtung 30 aus und stellt das kombinierte
Bild auf der Anzeigevorrichtung 30 dar.
-
In
dem korrigierten Bild, das unter Verwendung der Transformationskarte
erzeugt wurde, ist die Neigung oder Schrägstellung des
Anzeigeobjekts bezüglich einer vertikalen Richtung korrigiert,
wie oben beschrieben. Wenn somit die Mehrzahl korrigierter Bilder,
welche kombiniert wurden, dargestellt wird, ist es möglich,
das Auftreten einer Diskontinuität in der Neigung des Anzeigeobjekts
an einer Grenzlinie zwischen den kombinierten korrigierten Bildern
zu unterdrücken. Die vorliegende Ausführungsform
erlaubt es somit, dass ein Benutzer problemlos ein Anzeigeobjekt
erkennt, welches an besagter Grenze dargestellt wird.
-
Um
den obigen Vorteil klarer herauszustellen, sei nachfolgend ein Vergleichsbeispiel
beschrieben. 12A zeigt ein Vergleichsbeispiel,
bei dem eine Mehrzahl von Kamerabildern miteinander ohne Korrektur
kombiniert wird, so dass die jeweiligen Unendlichkeitspunkte der
Vielzahl von Kamerabildern aufeinanderfallen. In diesem Fall hat
ein Anzeigeobjekt (darzustellendes Objekt) näher am Rand
des Kamerabilds eine größere Neigung und wird
verzerrt dargestellt. Dies macht es schwierig, eine Situation an
einer Fahrzeugperipherie zu erkennen. 12B zeigt
ein Beispiel eines Bilds der Fahrzeugperipherie gemäß der
vorliegenden Ausführungsform. In 12B ist
die Neigung des Anzeigeobjekts in jedem korrigierten Bild korrigiert
und die Mehrzahl von korrigierten Bildern wird miteinander kombiniert
und dargestellt. Die vorliegende Ausführungsform kann eine
Situation in der Fahrzeugperipherie mit einer weitaus einfacher
wahrnehmbaren Weise darstellen. 13A zeigt
ein Bild der Fahrzeugperipherie eines anderen Vergleichsbeispiels,
wo ein sich in der Fahrzeugumgebung befindliches Fahrzeug links
hinterhalb des Eigenfahrzeugs vorhanden ist. Wie aus 13A zu erkennen ist, ist eine Erkennung dieses weiteren
Fahrzeugs, das sich entfernt vom Eigenfahrzeug befindet, in dem
Bild der Fahrzeugperipherie ziemlich schwierig. Im Gegensatz hierzu
kann bei der vorliegenden Ausführungsform ein Bild der
Fahrzeugperipherie oder Fahrzeugumgebung das sich entfernt vom Eigenfahrzeug
in der Umgebung befindliche Fahrzeug in einer weitaus besser wahrnehmbaren
Weise darstellen, wie in 13B gezeigt.
-
Der
bei S330 durchgeführte Synthetisierungsprozess korrigierter
Bilder wird nachfolgend näher beschrieben.
-
Wenn
die erste CCD-Kamera 11 und die zweite CCD-Kamera 12 ein
Bild des gleichen physikalischen Objekts aufnehmen, das sich beispielsweise
hinterhalb des Fahrzeugs befindet, ist der Abstand zwischen der
ersten CCD-Kamera 11 und dem physikalischen Objekt unterschiedlich
zu dem Abstand zwischen der zweiten CCD-Kamera 12 und diesem Objekt.
Wenn somit die korrigierten Bilder individuell erzeugt werden, indem
die Pixellagen der Kamerabilder der ersten und zweiten CCD-Kameras 11 und 12 transformiert
werden, hat das gleiche physikalische Objekt in den korrigierten
Bildern zwischen den korrigierten Bildern unterschiedliche Größe.
-
Mit
Blick hierauf wird in dem Bildsynthetisierungsprozess bei S330 die
Größe wenigstens eines der korrigierten Bilder
eingestellt. Genauer gesagt, da das Kamerabild, das mit der ersten
CCD-Kamera 11 aufgenommen wird, ein physikalisches Objekt
mit größeren Abmessungen zeigt als das Kamerabild von
der zweiten CCD-Kamera 12, wird das aus dem Kamerabild
von der ersten CCD-Kamera 11 erzeugte korrigierte Bild verkleinert.
Alternativ kann das aus dem Kamerabild von der zweiten CCD-Kamera 12 erzeugte
korrigierte Bild vergrößert werden. Weiterhin alternativ
kann das korrigierte Bild, das aus dem Kamerabild der ersten CCD-Kamera 11 erzeugt
wurde, verkleinert werden und gleichzeitig kann das korrigierte
Bild, das aus dem Kamerabild der zweiten CCD-Kamera 12 erzeugt
wurde, vergrößert werden.
-
Nachdem
auf obige Weise die Größe wenigstens eines der
korrigierten Bilder entsprechend eingestellt wurde, wird die Mehrzahl
korrigierter Bilder in einer bestimmten Position miteinander kombiniert,
um das kombinierte Bild zu erzeugen. Hierbei ist die bestimmte Position
eine Position, die so festgesetzt wird, dass: ein in einem korrigierten
Bild gezeigter Bereich an einen in einem anderen korrigierten Bild
gezeigten Bereich angrenzt und ein Anzeigeobjekt, das in einer Richtung
weg von dem Fahrzeug vorhanden ist, zwischen den korrigierten Bildern
einen minimalen Spalt zeigt.
-
Ein
Verfahren zum Minimieren eines Spalts eines Anzeigeobjekts, das
in einer Richtung nach hinten zwischen den aufgenommenen Bildern
vorhanden ist, ist, einen Wert für die Größeneinstellung und
die Aneinandergrenzungsposition bezüglich eines Objekts
zu bestimmen, das in einem bestimmten Abstand entfernt vom Fahrzeug
vorliegt und an einer Grenze zwischen den korrigierten Bildern dargestellt wird.
Mit anderen Worten, während die Größe
wenigstens eines der korrigierten Bilder eingestellt wird, wird
die Aneinandergrenzungsposition so bestimmt, dass das Objekt, das
vom Fahrzeug um einen bestimmten Betrag beabstandet ist, an der
Grenze zwischen den korrigierten Bildern durchgängig dargestellt
werden kann. Auf obige Weise kann das in einem bestimmten Abstand
vom Fahrzeug liegende Objekt durchgängig an der Grenze
zwischen den korrigierten Bildern dargestellt werden.
-
In
obigem Fall haben Objekte anders als das Objekt, das in dem bestimmten
Abstand liegt, unterschiedliche Größen an der
Grenze zwischen der Mehrzahl korrigierter Bilder, was eine Anzeigelücke oder
einen Anzeigespalt verursacht. Dieser Spalt ist größer,
wenn eine Differenz zwischen einem Abstand zu dem Objekt und dem
bestimmten Abstand größer ist, wohingegen der
Spalt mit zunehmendem Abstand zum Fahrzeug kleiner wird. Da der
Anzeigespalt bei Objekten anders als dem Objekt auftritt, das in
dem bestimmten Abstand liegt, kann es vorteilhaft sein, wenn der
bestimmte Abstand auf einen besonders bevorzugten Abstand (z. B.
20 m) gesetzt wird, wo ein Objekt bevorzugt zu erkennen ist. In
diesem Fall hat das in dem bevorzugt gesetzten Abstand liegende
Objekt die gleiche Größe zwischen den korrigierten
Bildern und es tritt kein Anzeigespalt auf. Somit ist es möglich,
ein leicht wahrnehmbares Bild zu liefern.
-
Der
bestimmte Abstand kann vom Benutzer einstellbar sein. Abhängig
von dem vom Benutzer gesetzten bestimmten Abstand kann die Größe
wenigstens eines der korrigierten Bilder und die Position, wo die
korrigierten Bilder aneinandergrenzen, geändert werden.
In diesem Fall werden die Größe des eingestellten
korrigierten Bilds und die Aneinandergrenzungsposition vorausschauend
im internen Speicher der Bildverarbeitungs-ECU 20 als Bildsynthetisierungskarte
festgesetzt und gespeichert.
-
Alternativ
kann eine Erkennungsvorrichtung für das physikalische Objekt
zur Erkennung eines Abstands zu einem physikalischen Objekt in der
Umgebung des Fahrzeugs, beispielsweise ein Lasersensor, ein Millimeterwellensensor
oder dergleichen, seitens des Fahrzeugs vorgesehen sein und mit
der Bildkorrekturvorrichtung verbunden sein. Abhängig vom
Abstand zu dem physikalischen Objekt, das von dieser Erkennungsvorrichtung
erkannt wird, können dann die Größe wenigstens
eines der korrigierten Bilder und die Position, wo die korrigierten
Bilder aneinandergrenzen, geändert werden, so dass das
erkannte physikalische Objekt, das sich in dem Abstand befindet,
kontinuierlich, d. h. ohne „Sprung”, zwischen
den korrigierten Bildern dargestellt wird.
-
Wenn
die Erkennungsvorrichtung für das physikalische Objekt
verwendet wird, um einen Abstand zu besagtem Objekt zu erkennen,
werden die Größe des korrigierten Bilds und die
Aneinandergrenzungsposition gemäß dem erkannten
Abstand zu dem physikalischen Objekt eingestellt/geändert. Auf
diese Weise ist es möglich, zu verhindern, dass ein angezeigtes
oder dargestelltes Objekt unterschiedliche Größen
und Anzeigelücken an der Grenze zwischen den korrigierten
Bildern hat, ungeachtet eines Abstands zu dem physikalischen Objekt,
welches als Anzeigeobjekt dargestellt wird.
-
Wenn
die Erkennungsvorrichtung für das physikalische Objekt
eine Mehrzahl von Objekten in unterschiedlichen Abständen
zum Fahrzeug erkennt, kann es vorteilhaft sein, wenn die Aneinandergrenzungsposition
geändert und die Größe wenigstens einer der
korrigierten Bilder eingestellt wird gemäß dem
Abstand zu einem aus der Mehrzahl physikalischer Objekte, welches
aus der Mehrzahl von Objekten dem Fahrzeug am nächsten
liegt. Auf diese Weise kann dem physikalischen Objekt, welches nahe beim
Fahrzeug ist und einen höheren Einflussgrad auf die Fahrt
des Fahrzeugs (Eigenfahrzeugs) hat, Priorität verliehen
werden. Es ist möglich, das kombinierte Bild darzustellen,
in welchem ein derartiges Objekt problemlos wahrnehmbar ist.
-
Wenn
die Erkennungsvorrichtung für das physikalische Objekt
keinerlei Objekt in der Umgebung des Fahrzeugs erkennt, kann es
vorteilhaft sein, wenn die korrigierten Bilder so miteinander kombiniert
werden, dass eine Fahrspurlinie, welche eine Fahrspur anzeigt, fortlaufend
zwischen den kombinierten korrigierten Bildern dargestellt wird.
In obigem Fall können die korrigierten Bilder miteinander
an einer bestimmten Aneinandergrenzungsposition und in bestimmten
Größen der korrigierten Bilder miteinander kombiniert
werden. Auf obige Weise ist es möglich, die sich ergebende
Kontinuität zwischen der Mehrzahl korrigierter Bilder zu
verbessern.
-
Die
oben beschriebenen Ausführungsformen können auf
unterschiedliche Weise abgewandelt werden, wobei nachfolgend einige
Beispiele hierfür angegeben werden:
In obigen Ausführungsformen
wird die Bildkorrekturvorrichtung verwendet, ein von einer CCD-Kamera (welche
als Abbildungsvorrichtung oder Abbildungsmittel dient) aufgenommenes
Bild zu korrigieren, wobei die Kamera an einem Fahrzeug angeordnet
ist, um die Umgebung um das Fahrzeug herum abzubilden. Alternativ
kann die Bildkorrekturvorrichtung verwendet werden, beispielsweise
ein Bild zu korrigieren, das von einer Kamera aufgenommen wurde, welche
das Innere eines Gebäudes oder einer sonstigen Einrichtung
aufnimmt, um das Innere des Gebäudes oder der Einrichtung
zu überwachen (Einbruchschutz etc.).
-
In
obigen Ausführungsformen wurde der Fall erläutert,
wo eine Kamera so eingebaut ist, dass sie (schräg) nach
unten weist, also bezüglich einer Richtung parallel zur
Bodenoberfläche nach unten. Die obigen Ausführungsformen
sind gleichermaßen bei einem Fall anwendbar, wo eine Kamera
so eingebaut ist, dass sie nach oben weist. Dies deshalb, als bei
einer Kamera, die nach oben weisend eingebaut ist, ein Anzeigeobjekt
ebenfalls bezüglich einer Vertikalrichtung in dem Kamerabild
geneigt sein kann, obgleich das physikalische Objekt, welches als
Anzeigeobjekt abgebildet wird, bezüglich dieser Vertikalrichtung
keine Neigung aufweist.
-
In
obigen Ausführungsformen und Abwandlungen wirken CCD-Kameras 10, 11, 12 und 13 als Abbildungsvorrichtung
oder Abbildungsmittel. Die Bildverarbeitungs-ECU 20 mit
einem internen Speicher wirkt als Speicherabschnitt oder Speichermittel, als
Erzeugungsabschnitt oder Erzeugungsmittel für ein korrigiertes
Bild und als Erzeugungsabschnitt oder Erzeugungsmittel für
ein kombiniertes Bild. Die Anzeigevorrichtung 30 wirkt
als Anzeigemittel.
-
Gemäß einem
ersten Aspekt der vorliegenden Erfindung wird demnach eine Bildkorrekturvorrichtung
geschaffen. Die Bildkorrekturvorrichtung weist auf: eine Abbildungsvorrichtung,
einen Speicherabschnitt, einen Erzeugungsabschnitt für
ein korrigiertes Bild und eine Anzeigevorrichtung. Die Abbildungsvorrichtung
hat eine optische Achse, welche bezüglich einer Richtung
parallel zu einer Bodenoberfläche nach oben oder unten
weisend ausgerichtet ist. Die Abbildungsvorrichtung vermag wenigstens ein
Bild aufzunehmen. Der Speicherabschnitt speichert eine Transformationskarte,
welche eine Beziehung der Pixellage zwischen dem aufgenommenen Bild
und einem korrigierten Bild ist oder zeigt, um aus dem aufgenommenen
Bild durch Durchführung einer Korrektur einer Neigung eines
Anzeigeobjekts bezüglich einer Vertikalrichtung senkrecht
zur Bodenoberfläche ein korrigiertes Bild zu erzeugen.
Das Anzeigeobjekt (das darzustellende oder auf einem Bildschirm
anzuzeigende Objekt), welches zu korrigieren ist, ist ein Anzeigeobjekt,
das, obgleich es in Vertikalrichtung in dem aufgenommenen Bild dargestellt werden
sollte, im aufgenommenen Bild die Neigung bezüglich der
Vertikalrichtung hat. Der Erzeugungsabschnitt für das korrigierte
Bild vermag die Lage von Pixeln in dem aufgenommenen Bild gemäß der Transformationskarte
zu transformieren, welche in dem Speicherabschnitt gespeichert ist,
so dass das korrigierte Bild erzeugt wird, in welchem die Korrektur an
der Neigung des Anzeigeobjekts bezüglich der Vertikalrichtung
durchgeführt wurde. Die Anzeigevorrichtung kann dann das
korrigierte Bild darstellen, welches von dem Erzeugungsabschnitt
für das korrigierte Bild erzeugt wurde.
-
Mit
obiger Bildkorrekturvorrichtung wird das aufgenommene Bild von der
Abbildungsvorrichtung aufgenommen und damit erzeugt, welches die
optische Achse hat, welche nach unten oder oben geneigt ist. Das
aufgenommene Bild wird jedoch nicht ohne eine Korrektur dargestellt.
Das aufgenommene Bild wird gemäß der Transformationskarte
in das korrigierte Bild umgewandelt und erst das korrigierte Bild wird
dargestellt. Die Transformationskarte zeigt oder beinhaltet die
Beziehung der Lage von Pixeln zwischen dem aufgenommenen Bild und
dem korrigierten Bild, um das korrigierte Bild zu erzeugen, indem eine
Korrektur der Neigung des Anzeigeobjekts durchgeführt wird,
welches die Neigung bezüglich der Vertikalrichtung in dem
aufgenommenen Bild hat, obgleich es in dem aufgenommenen Bild als
in vertikaler Richtung verlaufend dargestellt werden sollte. Die
Neigung des Anzeigeobjekts bezüglich der Vertikalrichtung
wird somit im korrigierten Bild korrigiert, wobei die Korrektur
unter Verwendung der Transformationskarte erfolgt. Das Anzeigeobjekt
ist somit in dem korrigierten Bild klar und problemlos sichtbar,
d. h. erkennbar, identifizierbar etc. Weiterhin kann die Verwendung
der Transformationskarte die Erzeugung des korrigierten Bilds beschleunigen.
Selbst wenn somit die Abbildungsvorrichtung fortlaufend eine Serie
der korrigierten Bilder aufnimmt, ist es möglich, fortlaufend
die korrigierten Bilder ohne allzu hohe Zeitverzögerung
zu erzeugen und darzustellen. Die obige Bildkorrekturvorrichtung
und das obige Bildkorrekturverfahren können ein einfach
zu betrachtendes Bild erschaffen, auch wenn eine optische Achse
einer Abbildungsvorrichtung bezüglich einer Richtung parallel
zu einer Bodenoberfläche nach unten oder oben geneigt ist.
-
Die
Bildkorrekturvorrichtung kann so ausgelegt sein, dass die Abbildungsvorrichtung
in ein Fahrzeug eingebaut ist, um eine Umgebung des Fahrzeugs aufzunehmen
oder abzubilden. Mit anderen Worten, die obige Bildkorrekturvorrichtung
kann für ein Fahrzeug verwendet werden. Dies ist einer
der bevorzugten Anwendungsfälle, da eine typische Abbildungsvorrichtung
in einem Fahrzeug verwendet wird, eine Umgebung des Fahrzeugs zu überwachen,
und eine optische Achse hat, die bezüglich einer Richtung
parallel zur Fahrbahnoberfläche nach unten geneigt ist.
-
Die
Bildkorrekturvorrichtung kann wie folgt aufgebaut sein: Die Abbildungsvorrichtung
kann aus einer Mehrzahl von Abbildungsvorrichtungen gebildet sein.
Die Mehrzahl von Abbildungsvorrichtungen kann an unterschiedlichen
Teilen des Fahrzeugs angeordnet sein, so dass entsprechende Bereiche
oder Gebiete, die von der Mehrzahl von Abbildungsvorrichtungen aufgenommen
oder abgebildet werden, zumindest aneinandergrenzen. Der Speicherabschnitt
kann eine Mehrzahl von Transformationskarten speichern, so dass
die Mehrzahl von Transformationskarten entsprechend der Mehrzahl
von Abbildungsvorrichtungen zugeordnet werden kann, um die Lagen
von Pixeln in der Mehrzahl aufgenommener Bilder von der Mehrzahl
von Abbildungsvorrichtungen zu transformieren. Der Erzeugungsabschnitt für
das korrigierte Bild kann eine Mehrzahl korrigierter Bilder aus
der Mehrzahl aufgenommener Bilder gemäß der Mehrzahl
von Transformationskarten erzeugen. Die Bildkorrekturvorrichtung
kann weiterhin einen Erzeugungsabschnitt für ein kombiniertes
Bild aufweisen, welcher die korrigierten Bilder miteinander zu kombinieren
vermag, um ein kombiniertes Bild zu erzeugen. Die Anzeigevorrichtung
kann dann dieses kombinierte Bild darstellen.
-
Wie
oben beschrieben, ist die Neigung des Anzeigeobjekts bezüglich
der Vertikalrichtung in dem korrigierten Bild, das unter Verwendung
der Transformationskarte erzeugt wurde, korrigiert. Selbst wenn daher
eine Mehrzahl von Bildern in Kombination oder Aneinandergrenzung
miteinander dargestellt wird, ist es möglich, eine Neigungsdiskontinuität
des Anzeigeobjekts an einer Grenze oder Grenzlinie zwischen der
Mehrzahl kombinierter oder aneinandergrenzender Bilder unter Verwendung
der Mehrzahl korrigierter Bilder zu unterdrücken, welche
als die kombinierten oder aneinandergrenzenden Bilder verwendet werden.
Das Anzeigeobjekt kann somit auch an der Grenzlinie als leicht wahrnehmbar
oder betrachtbar dargestellt werden.
-
Die
Bildkorrekturvorrichtung kann so aufgebaut sein, dass der Erzeugungsabschnitt
für das kombinierte Bild die Mehrzahl korrigierter Bilder
miteinander kombiniert, wobei die Größe wenigstens
eines aus der Mehrzahl korrigierter Bilder so eingestellt wird,
dass ein physikalisches Objekt (i) in einem bestimmten Abstand entfernt
von dem Fahrzeug und (ii) an einer Stelle entsprechend einer Grenze
zwischen der Mehrzahl korrigierter Bilder liegend an der Grenze
zwischen der Mehrzahl korrigierter Bilder kontinuierlich, also ohne „Sprung”,
dargestellt wird.
-
Wenn
die Mehrzahl von Abbildungsvorrichtungen das gleiche physikalische
Objekt abbilden oder aufnehmen, kann sich der Abstand zu dem physikalischen
Objekt zwischen der Mehrzahl von Abbildungsvorrichtungen ändern,
da sich die Abbildungsvorrichtungen an unterschiedlichen Stellen
des Fahrzeugs befinden. Wenn beispielsweise die Mehrzahl von Abbildungsvorrichtungen
entsprechend in einem Heckbereich des Fahrzeugs, in der Nähe
des rechten Außenspiegels und in der Nähe des
linken Außenspiegels angeordnet ist, ändert sich
der Abstand zu einem physikalischen Objekt hinterhalb des Fahrzeugs
zwischen der Abbildungsvorrichtung am Fahrzeugheck und der Abbildungsvorrichtung
nahe dem linken oder rechten Außenspiegel. Aufgrund der
obigen Abstandsänderungen kann die Mehrzahl korrigierter
Bilder, welche entsprechend über die Transformation der
Pixellagen in der Mehrzahl aufgenommener Bilder von der Mehrzahl
von Abbildungsvorrichtungen erzeugt wurden, das gleiche physikalische
Objekt mit unterschiedlichen Größen darstellen. Mit
Blick hierauf stellt die obige Bildkorrekturvorrichtung wenigstens
eines aus der Mehrzahl von korrigierten Bildern entsprechend ein.
Auf obige Weise kann das physikalische Objekt, das in einem bestimmten
Abstand zu dem Fahrzeug liegt, an der Grenze zwischen der Mehrzahl
korrigierter Bilder kontinuierlich dargestellt werden.
-
Wenn
die Größe wenigstens eines aus der Mehrzahl von
Anzeigeobjekten so eingestellt wird, dass ein bestimmtes physikalisches
Objekt, das von dem Fahrzeug in einem bestimmten Abstand entfernt liegt,
durchgängig an einer Grenze zwischen der Mehrzahl korrigierter
Bilder dargestellt wird, wird ein anderes physikalisches Objekt
in einem anderen Abstand als dem bestimmten Abstand mit einem Größenspalt
oder Sprung an der Grenze zwischen der Mehrzahl korrigierter Bilder
dargestellt. Der Größenspalt kann größer
sein, wenn eine Differenz zwischen dem Abstand zu einem anderen
Objekt und dem bestimmten Abstand größer ist,
aber der Größenspalt kann auch kleiner sein, wenn
ein Abstand zum Fahrzeug größer ist. Da der Größenspalt
an dem physikalischen Objekt auftreten kann, das in Abständen
anders als dem bestimmten Abstand liegt, kann es vorteilhaft sein,
wenn der bestimmte Abstand auf einen besonders bevorzugten Abstand
von beispielsweise 20 m gesetzt wird, in welchem ein physikalisches
Objekt bevorzugt zu erkennen ist. Der bestimmte Abstand kann von
einem Benutzer einstellbar sein.
-
Die
Bildkorrekturvorrichtung kann alternativ auf folgende Weise ausgebildet
sein: Die Bildkorrekturvorrichtung kann mit einer Erkennungsvorrichtung für
ein physikalisches Objekt verbunden sein, welche sich in dem Fahrzeug
befindet, um einen Abstand zu einem physikalischen Objekt zu erkennen,
das sich in der Umgebung des Fahrzeugs befindet. Der Erzeugungsabschnitt
für das kombinierte Bild kombiniert die Mehrzahl korrigierter
Bilder miteinander durch Einstellung der Größe
wenigstens eines aus der Mehrzahl korrigierter Bilder gemäß dem
erkannten Abstand zu dem physikalischen Objekt, so dass das physikalische
Objekt in dem erkannten Abstand durchgängig zwischen der
Mehrzahl korrigierter Bilder dargestellt wird. Mit obiger Konfiguration
ist es unter Verwendung der Erkennungsvorrichtung für das
physikalische Objekt möglich, das korrigierte Bild gemäß dem
Abstand zu dem erkannten physikalischen Objekt einzustellen. Damit
ist es möglich, den Größenspalt des Anzeigeobjekts
an der Grenze zwischen der Mehrzahl korrigierter Bilder ungeachtet des
Abstands des physikalischen Objekts zu unterdrücken.
-
Die
Bildkorrekturvorrichtung kann weiterhin so ausgestaltet sein, dass,
wenn eine Mehrzahl physikalischer Objekte in unterschiedlichen Abständen zu
dem Fahrzeug liegend von der Erkennungsvorrichtung für
das physikalische Objekt erkannt wird, dann der Erzeugungsabschnitt
für das kombinierte Bild die Größe wenigstens
eines aus der Mehrzahl korrigierter Bilder gemäß dem
erkannten Abstand zu einem aus der Mehrzahl physikalischer Objekte
einstellt, welches unter den physikalischen Objekten dem Fahrzeug
am nächsten liegt. Mit dieser Ausgestaltung kann demjenigen
physikalischen Objekt Priorität verliehen werden, welches
nahe beim Fahrzeug liegt und einen hohen Einflussgrad auf die Fahrt des
Fahrzeugs haben kann. Ein derartiges physikalisches Objekt kann
dann in einer einfach wahrnehmbaren Weise dargestellt werden.
-
Die
Bildkorrekturvorrichtung kann weiterhin so ausgestaltet werden,
dass, wenn die Erkennungsvorrichtung für ein physikalisches
Objekt kein physikalisches Objekt in der Umgebung des Fahrzeugs
erkennt, dann der Erzeugungsabschnitt für das kombinierte
Bild die Mehrzahl korrigierter Bilder miteinander kombiniert, so
dass eine Fahrspurlinie, welche eine Fahrspur anzeigt, durchgängig
an einer Grenze zwischen der Mehrzahl korrigierter Bilder dargestellt wird.
Mit dieser Bildkorrekturvorrichtung kann die Kontinuität
zwischen der Mehrzahl korrigierter Bilder verbessert werden.
-
Gemäß einem
zweiten Aspekt der vorliegenden Erfindung wird ein Bildkorrekturverfahren
geschaffen. Das Bildkorrekturverfahren weist auf: Erlangen oder
Erhalten eines aufgenommenen Bilds von einer Abbildungsvorrichtung
mit einer optischen Achse, welche bezüglich einer Richtung
parallel zu einer Bodenoberfläche nach unten oder oben
geneigt festgelegt ist; Erzeugen eines korrigierten Bilds aus dem
aufgenommenen Bild durch eine Transformation der Lage von Pixeln
in dem aufgenommenen Bild gemäß einer Transformationskarte,
welche eine Beziehung der Pixellage zwischen dem aufgenommenen Bild
und dem korrigierten Bild beinhaltet oder zeigt, um aus dem aufgenommenen
Bild das korrigierte Bild durch Durchführung einer Korrektur
der Neigung eines Anzeigeobjekts bezüglich einer Vertikalrichtung
senkrecht zur Bodenoberfläche zu erzeugen, wobei das Anzeigeobjekt
(anzuzeigende oder darzustellende Objekt), das zu korrigieren ist,
ein Anzeigeobjekt ist, welches, obgleich es in Vertikalrichtung
in dem aufgenommenen Bild verlaufend dargestellt werden sollte,
die Neigung bezüglich der Vertikalrichtung in dem aufgenommenen
Bild hat; und Erzeugen des erzeugten korrigierten Bilds.
-
Das
obige Bildkorrekturverfahren kann wie folgt ablaufen: In dem Bilderlangungsschritt
wird eine Mehrzahl aufgenommener Bilder entsprechend von einer Mehrzahl
von Abbildungsvorrichtungen erlangt oder erhalten, welche jeweils
eine optische Achse haben, welche bezüglich einer Richtung
parallel zu einer Bodenoberfläche nach unten oder oben
geneigt ist. Die Abbildungsvorrichtungen können an unterschiedlichen
Teilen beispielsweise eines Fahrzeugs angeordnet sein, so dass entsprechende
Bereiche oder Gegenden, die von den Abbildungsvorrichtungen abgebildet
werden, zumindest aneinandergrenzen. Die Transformationskarte kann
in Form einer Mehrzahl von Transformationskarten vorliegen, welche
jeweils der Mehrzahl von Abbildungsvorrichtungen zugeordnet sind,
so dass die Pixellagen entsprechender aufgenommener Bilder von der
Mehrzahl von Abbildungsvorrichtungen transformiert werden. In dem
Erzeugungsschritt für das korrigierte Bild kann eine Mehrzahl
korrigierter Bilder aus der Mehrzahl von aufgenommenen Bildern gemäß den
jeweiligen Transformationskarten erzeugt werden. Das Bildkorrekturverfahren
kann weiterhin den Erzeugungsschritt für ein kombiniertes
Bild aufweisen, in welchem die korrigierten Bilder miteinander kombiniert
werden, um ein kombiniertes Bild zu erzeugen. Im Anzeigeschritt
wird das kombinierte Bild dargestellt.
-
Das
obige Bildkorrekturverfahren kann weiterhin wie folgt ausgelegt
sein: In dem Erzeugungsschritt für das kombinierte Bild
kann die Größe wenigstens einer der korrigierten
Bilder so eingestellt werden, dass ein physikalisches Objekt, welches
(i) in einem bestimmten Abstand zu dem Fahrzeug liegt und (ii) an
einem Ort entsprechend einer Grenze zwischen den korrigierten Bildern
liegt, durchgängig an der Grenze zwischen den korrigierten
Bildern dargestellt wird.
-
Alternativ
kann das Bildkorrekturverfahren weiterhin den Erkennungsschritt
eines physikalischen Objekts aufweisen, um einen Abstand zu einem
physikalischen Objekt zu erkennen, das sich in der Umgebung des
Fahrzeugs befindet. In dem Erzeugungsschritt für das kombinierte
Bild wird die Größe wenigstens einer der korrigierten
Bilder gemäß dem erkannten Abstand zu dem physikalischen
Objekt eingestellt, so dass das physikalische Objekt in dem erkannten
Abstand durchgängig zwischen den korrigierten Bildern dargestellt
wird.
-
Das
Bildkorrekturverfahren kann weiterhin aufweisen: In dem Erzeugungsschritt
für das kombinierte Bild wird die Größe
wenigstens eines der korrigierten Bilder gemäß dem
erkannten Abstand zu einem der Mehrzahl physikalischer Objekte eingestellt, das
unter den physikalischen Objekten dem Fahrzeug am nächsten
liegt, wenn die Mehrzahl physikalischer Objekte, die in unterschiedlichen
Abständen zu dem Fahrzeug liegen, in dem Erkennungsschritt für
das physikalische Objekt erkannt wird.
-
Das
Bildkorrekturverfahren kann weiterhin aufweisen: In dem Erzeugungsschritt
für das kombinierte Bild werden die korrigierten Bilder
so miteinander kombiniert, dass eine Fahrspurlinie, welche ein Fahrspur
anzeigt, durchgängig an einer Grenze zwischen den korrigierten
Bildern dargestellt wird, wenn in der Umgebung des Fahrzeugs während
des Erkennungsschritts für ein physikalisches Objekt kein physikalisches
Objekt erkannt wird.
-
Die
obigen Bildkorrekturverfahren können im Wesentlichen die
gleichen Vorteile wie die obigen Bildkorrekturvorrichtungen liefern.
-
Gemäß einem
dritten Aspekt der vorliegenden Erfindung wird ein Verfahren zur
Herstellung einer Transformationskarte für die obige Bildkorrekturvorrichtung
bzw. das obige Bildkorrekturverfahren geschaffen. Das Verfahren
umfasst: Setzen einer Mehrzahl virtueller Blickpunkte in einem Teil
eines von einer Abbildungsvorrichtung aufgenommenen Bilds, so dass
die Mehrzahl virtueller Blickpunkte entlang einer Horizontalrichtung
in Inkrementen oder Schritten einer bestimmten Anzahl von Pixeln
gesetzt wird, wobei der Teil des aufgenommenen Bilds ein Teil ist,
der als ein korrigiertes Bild auszugeben ist; Erzeugen einer Mehrzahl
virtueller Blickpunktbilder aus dem aufgenommenen Bild anhand der
Mehrzahl virtueller Blickpunkte, so dass jedes virtuelle Blickpunktbild
so gemacht wird, dass es (i) in seiner Mitte einen entsprechenden
der virtuellen Blickpunkte hat und (ii) in seiner Mitte das Anzeigeobjekt
hat, dessen Neigung bezüglich einer Vertikalrichtung korrigiert wurde;
und Bestimmen einer Beziehung der Lage von Pixeln zwischen dem aufgenommenen
Bild und dem korrigierten Bild basierend auf einer Spalte von Pixeln,
welche in Vertikalrichtung mittig eines jeden Bilds mit virtuellem
Blickpunkt aneinandergereiht sind, so dass eine Transformationskarte
erzeugt wird.
-
Bei
obigem Verfahren zur Erzeugung einer Transformationskarte wird die
Neigung des Anzeigeobjekts (anzuzeigenden oder darzustellenden Objekts)
bezüglich der Vertikalrichtung an der Lage des Blickpunkts
in dem Bild mit virtuellem Blickpunkt korrigiert, da das Bild mit
virtuellem Blickpunkt so erzeugt wird, dass der virtuelle Blickpunkt
in seiner Mitte liegt. Somit können die Pixel, die sich
im mittigen Teil des Bilds mit virtuellem Blickpunkt aneinanderreihen,
zur Erzeugung des korrigierten Bilds verwendet werden. Für
jedes Bild mit virtuellem Blickpunkt ist es durch Untersuchung,
welche der Pixel in dem aufgenommenen Bild in ihrer Lage mit den
Pixeln übereinstimmen, die in vertikaler Richtung des Bilds
mit virtuellem Blickpunkt aneinandergereiht sind, möglich, die
Beziehung der Lage von Pixeln zwischen dem aufgenommenen Bild und
dem korrigierten Bild zu bestimmen. Eine Korrektur sämtlicher
Lagebeziehungen von Pixeln, die auf obige Weise bestimmt worden
sind, kann dann als die Transformationskarte verwendet werden.
-
In
dem obigen Verfahren zur Herstellung einer Transformationskarte
kann der Bilderzeugungsschritt vom virtuellen Blickpunkt aus einen
Vogelperspektiventransformationsschritt aufweisen, in welchem eine
Vogelperspektiventransformation an dem aufgenommenen Bild durchgeführt
wird, um ein Vogelperspektivenbild aus dem aufgenommenen Bild zu
erzeugen; ein Vogelperspektivenbilddrehschritt zum Drehen des Vogelperspektivenbilds
bezüglich einer Position der Abbildungsvorrichtung gemäß einer
Winkeldifferenz zwischen dem virtuellen Blickpunkt und einem tatsächlichen
Blickpunkt kann durchgeführt werden, aus welchem das aufgenommene
Bild mit der Abbildungsvorrichtung aufgenommen wird, so dass das
gedrehte Vogelperspektivenbild in seiner Mitte den virtuellen Blickpunkt
hat, und ein inverser Vogelperspektiventransformationsschritt kann
durchgeführt werden, in welchem eine inverse Vogelperspektiventransformation
an dem gedrehten Vogelperspektivenbild durchgeführt wird,
um ein Vogelperspektivenbild zu erzeugen, wobei die inverse Vogelperspektiventransformation
in dem inversen Vogelperspektiventransformationsschritt invers oder umgekehrt
zu der Vogelperspektiventransformation in dem Vogelperspektiventransformationsschritt
ist. Auf obige Weise wird, nachdem das aufgenommene Bild in das
Vogelperspektivenbild transformiert wurde, das gedrehte Vogelperspektivenbild
mit dem in seiner Mitte liegenden virtuellen Blickpunkt invers transformiert.
Auf diese Weise ist es möglich, das virtuelle Blickpunktbild
(Bild vom virtuellen Blickpunkt aus) zu schaffen, in welchem die
Neigung des vertikalen Objekts am virtuellen Blickpunkt geeignet
korrigiert wurde.
-
Bei
dem obigen Verfahren zur Herstellung einer Transformationskarte
können die virtuellen Blickpunkte entlang der Horizontalrichtung
in Inkrementen oder Schritten von einem Pixel gesetzt werden. In diesem
Fall ist es möglich, die Transformationskarte so herzustellen,
dass die Neigung des Anzeigeobjekts maximal korrigiert wird.
-
Obgleich
die Erfindung unter Bezugnahme auf verschiedene Ausführungsformen
und Abwandlungen beschrieben wurde, versteht sich, dass die Erfindung
nicht hierauf beschränkt ist, sondern dass eine weitere
Anzahl von Modifikationen und Abwandlungen im Rahmen der nachfolgenden
Ansprüche und deren Äquivalente möglich
ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - JP 10-257482
A [0002]
- - JP 10-211849 A [0047]
