DE112010005646T5

DE112010005646T5 - Kameraabstandsmessvorrichtung

Info

Publication number: DE112010005646T5
Application number: DE112010005646T
Authority: DE
Inventors: Tatsuya Mitsugi
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2010-06-07
Filing date: 2010-06-07
Publication date: 2013-03-14
Anticipated expiration: 2030-06-08
Also published as: DE112010005646B4; WO2011154987A1; JPWO2011154987A1; JP5073123B2; US20130002861A1

Abstract

Eine Kameraabstandsmessvorrichtung zeigt ein Bild auf einer Anzeigeeinheit an, in dem eine Vielzahl von Teillinien, die in Form eines Gitters hinsichtlich eines Fahrzeugs angeordnet sind, einem Kamerabild überlagert sind, das durch eine auf einem Fahrzeug montierte Kamera aufgenommen wird, und einen Abstand schätzt in einer Richtung der Breite des Fahrzeugs und einen Abstand in einer Richtung der Aufnahme durch die Kamera von einem Einheitsabstand, der für jede Gitterseite der Teillinien definiert ist.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft eine Kameraabstandsmessvorrichtung zum Messen des Abstands zu einem Objekt in einem Kamerabild unter Verwendung, zum Beispiel, einer Kamera in einem Fahrzeug.
HINTERGRUND DER ERFINDUNG
Zum Beispiel offenbart die Patentreferenz 1 eine Vorrichtung, die eine Abstandsmessung implementiert basierend auf einem Ankunftszustand eines an einem Objekt ankommenden Lichts unter Verwendung von Standbildern, die zeitlich nah beieinander liegen, wobei jedes der Standbilder ein Bild enthält, das durch Anwenden von Licht auf das Objekt aufgenommen wird. Da zeitlich unterschiedliche Standbilder gemäß einer konventionellen Technologie, die durch die in Patentreferenz 1 offenbarte Technologie dargestellt wird, verwendet werden, kann jedoch eine zeitliche Verschiebung in einem Objekt auftreten, falls entweder ein bewegtes Bild oder ein Bild, das durch eine an einem bewegten Objekt befestigte Kamera aufgenommen wird, wie zum Beispiel eine Kamera in einem Fahrzeug, die sich bewegt, wenn das Fahrzeug fährt, verwendet wird. Weiterhin ist es notwendig, einen Mechanismus exklusiv zur Anwendung des Lichts auf das Objekt bereitzuhalten.
Die vorliegende Erfindung wurde gemacht, um die oben angesprochenen Probleme zu lösen, und es ist deshalb eine Aufgabe der vorliegenden Erfindung, eine Kameraabstandsmessvorrichtung bereitzustellen, die den Abstand zu einem Objekt in einem Kamerabild messen kann.
Stand der Technik

Patentreferenz 1: Japanische, ungeprüfte Patentanmeldungs-Publikation Nr. 2004-328657

ZUSAMMENFASSUNG DER ERFINDUNG
In Übereinstimmung mit der vorliegenden Erfindung wird eine Kameraabstandsmessvorrichtung bereitgestellt zum Anzeigen eines Bildes, in dem eine Vielzahl von Teilstrichen, die in Form eines Gitters hinsichtlich eines Fahrzeugs angeordnet sind, auf einem Kamerabild überlagert sind, das durch eine an dem Fahrzeug befestigte Kameraauf genommen wird, auf einer Anzeigeeinheit, um einen Abstand in einer Richtung der Breite des Fahrzeugs und einen Abstand in einer Richtung der Aufnahme durch die Kamera von einer Einheitsdistanz, die für jede Gitterseite der Teillinien definiert ist, zu messen, wobei die Kameraabstandsmessvorrichtung enthält: eine Parameterspeichereinheit zum Speichern von Befestigungsinformation, die eine Befestigungsposition und einen Befestigungswinkel, an und mit dem die Kamera an dem Fahrzeug befestigt ist, anzeigt, Blickwinkelinformation, die einen Blickwinkel der Kamera anzeigt, Projektionsverfahrensinformation, die ein Projektionsverfahren anzeigt zur Verwendung in einer Linse der Kamera, und Bildschirmgrößeninformation, die eine Bildschirmgröße der Anzeigeeinheit anzeigt, als Parameterinformation; eine Abstandsmessarithmetikbetriebseinheit zum Durchführen eines Prozesses zum Korrigieren einer Verzerrung der Linse der Kamera auf Positionskoordinaten im Realraum jeder der Gitterpunkte, die durch die Vielzahl von Teillinien definiert werden, die in Form eines Gitters und in Intervallen des Einheitsabstands angeordnet sind, und zum Transformieren der Positionskoordinaten jedes der Gitterpunkte, in denen die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten in dem Kamerabild auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit gelesen werden, um Teillinieninformation zu erzeugen; eine Linienzeicheneinheit zum Anordnen der Vielzahl von Teillinien auf Basis der Teillinieninformation auf solch eine Weise, dass diese sich mit rechten Winkeln schneiden, in Form eines Gitters, um ein Teillinienbild zu erzeugen; eine Bildkorrektureinheit zum Durchführen eines Korrekturprozesses zum Entfernen der Verzerrung der Linse der Kamera in dem Kamerabild und durch das Projektionsverfahren verursachter Verzerrung; und eine Bildüberlagerungseinheit zum Überlagern des von der Linienzeicheneinheit erzeugten Teillinienbildes auf dem von der Bildkorrektureinheit korrigierten Kamerabild, um das Kamerabild, auf dem das Teillinienbild überlagert ist, an die Anzeigeeinheit auszugeben.
Weiterhin wird in Übereinstimmung mit der vorliegenden Erfindung eine Kameraabstandsmessvorrichtung bereitgestellt zum Anzeigen eines Kamerabildes, das durch eine an einem Fahrzeug befestigte Kamera aufgenommen wird, auf einer Anzeigeeinheit, um einen Abstand von einer Position in dem Kamerabild zu dem Fahrzeug zu messen, wobei die Kameraabstandsmessvorrichtung enthält: eine Parameterspeichereinheit zum Speichern von Befestigungsinformation, die eine Befestigungsposition und einen Befestigungswinkel, an und mit dem die Kamera an dem Fahrzeug befestigt ist, anzeigt, Blickwinkelinformation, die einen Blickwinkel der Kamera anzeigt, Projektionsverfahrensinformation, die eine Positionsverfahren zur Verwendung in einer Linse der Kamera anzeigt, und Bildschirmgrößeninformation, die eine Bildschirmgröße der Anzeigeeinheit anzeigt, als Parameterinformation; eine Bildschirmpositions-Bestimmungseinheit zum Bestimmen einer Position in dem Kamerabild, das auf der Anzeige angezeigt wird; eine Abstandsmessarithmetikbetriebseinheit zum Durchführen eines Prozesses zum Korrigieren einer Verzerrung der Linse der Kamera auf Koordinate der Position in der durch die Bildschirmpositions-Bestimmungseinheit bestimmten Kamerabildes, und zum Transformieren der Positionskoordinaten, indem die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten in einer vorbestimmten Höhe von einer Grundfläche im realen Raum auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahreninformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit gelesen werden, um Positionsinformation zu erzeugen; und eine Ausgabeeinheit zum Ausgeben eines Abstands von der Position in dem von der Bildschirmpositions-Bestimmungseinheit bestimmten Kamerabild, das Fahrzeug auf Basis der Positionsinformation.
In Übereinstimmung mit der vorliegenden Erfindung wird ein Vorteil bereitgestellt, in dem es möglich ist, einen Abstand in einer Richtung der Breite des Fahrzeugs und einen Abstand in einer Richtung der Aufnahme durch die Kamera von dem Einheitsabstand, der für jede Gitterblockseite der Teillinien definiert wird, zu messen. Es ist ein weiterer Vorteil, in der Lage zu sein, den Abstand zu einem Objekt in dem Kamerabild zu messen.
KURZE BESCHREIBUNG DER ABBILDUNGEN
1 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 1 der vorliegenden Erfindung zeigt;
2 ist ein Blick, der ein Beispiel eines Objektbildmusters von Teillinien im Realraum zeigt, das durch eine Teillinien-Erzeugungseinheit berechnet wird.
3 ist ein Anblick, der ein Beispiel eines Teillinienbildes zeigt;
4 ist ein Anblick, der ein weiteres Beispiel des Teillinienbildes zeigt;
5 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 2 der vorliegenden Erfindung zeigt;
6 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 3 der vorliegenden Erfindung zeigt;
7 ist in Anblick, der ein Beispiel eines Teillinienbildes in Übereinstimmung mit Ausführungsform 3 zeigt; und
8 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 4 der vorliegenden Erfindung zeigt.
AUSFÜHRUNGSFORMEN DER VORLIEGENDEN ERFINDUNG
Nachstehend werden die bevorzugten Ausführungsformen der vorliegenden Erfindung mit Bezug auf die angefügten Abbildungen beschrieben, um die Erfindung mit größeren Einzelheiten zu beschreiben.
Ausführungsform 1
1 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 1 der vorliegenden Erfindung zeigt. Mit Bezug auf 1 ist die Kameramessvorrichtung 1 ausgestattet mit einer Abstandsmessarithmetikbetriebseinheit 2, einer Kameraeinheit 3, einer Parameterspeichereinheit 4, einer Anzeigeeinheit 5, einer Bildkorrektureinheit 6, einer Linienzeicheneinheit 7 und einer Bildüberlagerungseinheit 8. Die Abstandsmessarithmetikbetriebseinheit 2 ist eine Komponente zum Berechnen eines einen Abstand von einem Fahrzeug anzeigenden Teillinienbild und ist ausgestattet mit einer Teillinienerzeugungseinheit 9, einer Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10, einer Projektionsfunktions-Arithmetikbetriebeseinheit 11, einer Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 und einer Bildausgabefunktions-Arithmetikbetriebseinheit 13.
Die Kameraeinheit 3 enthält eine Kamera zum Aufnehmen eines Bildes eines das Fahrzeug umgebenden Bereichs (zum Beispiel eines Bereichs hinter dem Fahrzeug), und Übertragen des durch diese Kamera aufgenommenen Kamerabildes an die Korrektureinheit 6. Die Bildkorrektureinheit 6 ist eine Komponente zum Ausführen einer vorbestimmten Korrektur hinsichtlich des von der Kameraeinheit 3 empfangenen Kamerabildes, und Ausgeben des dadurch korrigierten Bildes an die Bildüberlagerungseinheit 8. Ein Bild, in dem ein Bild von Teillinien, das Abstände von dem Fahrzeug definiert und das durch die Linienzeicheneinheit 7 erzeugt wird, dem Kamerabild von der Bildkorrektureinheit 6 überlagert wird, wird auf der Anzeigeeinheit 5 angezeigt. Der Fahrer des Fahrzeugs wird in die Lage versetzt, den Abstand zwischen dem Fahrzeug, das der Fahrer fährt, und einem Hindernis visuell auf Basis der Teillinien in dem Bild zu erkennen.
Die Parameterspeichereinheit 4 ist auf solch eine Weise eingerichtet, dass die Abstandsmessarithmetikbetriebseinheit 2 Daten aus der Parameterspeichereinheit lesen kann und Befestigungsinformation, Blickwinkelinformation, Projektionsverfahreninformation und Bildschirmgrößeninformation speichert. Die Befestigungsinformation zeigt, wie die Kamera an dem Fahrzeug befestigt ist. Spezieller zeigt die Befestigungsinformation die Befestigungsposition und den Befestigungswinkel, an und mit dem die Kamera an dem Fahrzeug befestigt ist. Die die Befestigungsposition anzeigende Information enthält die Höhe der Kamera bezüglich des Fahrzeugs und die Verschiebung der Kamera vom Zentrum des Fahrzeugs in einer Richtung der Breite des Fahrzeugs. Die Blickwinkelinformation ist die Winkelinformation, die einen Bereich von Winkeln anzeigt, mit der ein Objekt durch die Kamera der Kameraeinheit 3 aufgenommen werden kann, und enthält entweder einen maximalen Horizontalwinkel Xa und einen maximalen vertikalen Blickwinkel Ya der Kamera oder einen diagonalen Blickwinkel der Kamera. Die Projektionsverfahrensinformation zeigt ein Projektionsverfahren zur Verwendung in der Linse der Kamera der Kameraeinheit 3 an. Da eine Fischaugenlinse als Linse der Kamera in Ausführungsform 1 verwendet wird, Information, die eine stereographischer Projektion oder eine raumwinkelgleichen Projektion oder eine orthogonalen Projektion anzeigt, wird als Projektionsverfahrensinformation bereitgestellt. Die Projektionsverfahrensinformation bildet Kamerakorrekturinformation. Die Bildschirmgrößeninformation zeigt eine Bildschirmgröße einer Bildausgabe an, das heißt einen Anzeigebereich zur Zeit einer Anzeige eines Bildes durch die Anzeigeeinheit 5 und enthält eine maximale horizontale Zeichenpixelgröße Xp und eine maximale vertikale Zeichnungspixelgröße Yp der Anzeigeeinheit 5.
Als Nächstes wird der Betrieb der Kameraabstandsmessvorrichtung erklärt. Die Teillinien-Erzeugungseinheit 9 der Abstandsmessarithmetikbetriebseinheit 2 berechnet die Position, an der die anzuzeigenden Teillinien auf der Anzeigeeinheit 5 zu zeichnen sind, das heißt Teillinieninformation, die die Positionen der Teillinien in dem von der Kamera aufgenommenen Kamerabildes zeigt, auf Basis der voreingestellten Teilliniengrößeninformation. Hiernach wird ein Fall, in dem die Kameraeinheit 3 an einem rückwärtigen Abschnitt des Fahrzeugs befestigt ist, beschrieben und ein Bereich hinter dem Fahrzeug wird als Bildaufnahmebereich definiert. 2 ist eine Ansicht, die ein Beispiel eines von der Teillinienerzeugungseinheit berechneten Objektbildmusters der Teillinien im Realraum zeigt. Das Objektbildmuster der Teillinien sind Teillinien, die in Form eines Gitters angeordnet sind, die virtuell auf einer Grundoberfläche gebildet sind, die sich in einer Richtung der Aufnahme durch die Kamera (in einer rückwärtigen Richtung hinter dem Fahrzeug) ausbreitet. Mit Bezug auf 2 sind die geraden Linien L1 Teillinien, die in rechten Winkeln zu einer Richtung der Breite des Fahrzeugs laufen und gerade Linien L2 bis L5 sind Teillinien, die parallel zu der Richtung der Breite des Fahrzeugs laufen. Die geraden Linien L1 schneiden die geraden Linien L2 bis L5 auf solch eine Weise, dass eine Vielzahl von Gitterblöcken gebildet werden. Jeder Gitterblock weist eine Seite auf, die sich in einer Richtung der Länge jeder geraden Linie L1 erstreckt und eine vorbestimmte Länge (z. B. 0,50 Meter) im Realraum aufweist, und eine Seite, die sich in einer Richtung der Länge jeder der geraden Linien L2 bis L5 erstreckt und eine vorbestimmte Länge (z. B. 0,50 Meter) im Realraum aufweist.
Die Teillinienerzeugungseinheit 9 bestimmt die Länge in der Richtung der Breite des Fahrzeugs, in der die Teilliniengruppe, die aus den geraden Linien L1 besteht, ausgerichtet ist, auf Basis der Teilliniengrößeninformation, definiert die Teilliniengruppe in Form eines solchen Gitters, wie in 2 gezeigt, und bestimmt die Koordinaten des Schnittpunktes zwischen jeder der geraden Linien L1 und jeder der anderen geraden Linien. Jede der nächsten Stufenfunktions-Arithmetikbetriebseinheiten 10 bis 13 führt eine Funktion durch, die den gleichen Einfluss aufweist, wie derjenige, der auf das Bild zu der Zeit ausgedrückt wird, wenn es von der Kamera auf den Koordinaten aufgenommen wird, und die Linienzeicheneinheit 7 erzeugt ein Teillinienbild auf Basis der Teillinieninformation auf die Koordinaten der Position jedes Schnittpunkts, die als berechnete Ergebnisse erfasst werden. Als Ergebnis wird ein Bild auf der Anzeigeeinheit 5 angezeigt, in dem die Teillinien auf dem Kamerabild überlagert sind, ohne verschoben zu werden. Hiernach werden der Einfachheit halber die Koordinaten (x, y) eines Schnittpunkts als ein Beispiel erklärt, die in den Koordinaten der Schnittpunkte der in 2 gezeigten Teillinien enthalten sind, die virtuell auf einer Grundoberfläche hinter dem Fahrzeug gebildet sind. Zum Beispiel können die Koordinaten (x, y) definiert werden als eine Position in einem rechtwinkligen Koordinatensystem, das als Ursprungspunkt einen Punkt auf der Grundoberfläche hinter dem Fahrzeug aufweist, die sich an einem vorbestimmten Abstand von dem Fahrzeug befindet.
Die Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 führt eine Linsenverzerrungsfunktion i hinsichtlich der Koordinaten (x, y) durch, die einen Schnittpunkt von durch die Teillinienerzeugungseinheit 9 berechneten Teillinien anzeigt, um die Koordinaten (x, y) in Koordinaten (i(x), i(y)) zu transformieren, die eine Linsenverzerrung erfahren haben. Die Linsenverzerrungsfunktion i stellt die Verzerrung dar, die das Kamerabild, das erfasst wird, wenn die Kamera der Kameraeinheit 3 ein Objekt aufgenommen hat, aufgrund der Form der Linse der Kamera erfährt. Zum Beispiel kann die Linsenverzerrungsfunktion i bestimmt werden unter Verwendung des Zhangmodells hinsichtlich der Linsenverzerrung. In diesem Modell wird die Linsenverzerrung als eine radiale Verzerrung modelliert, und, wenn die Koordinaten, die nicht von der Linsenverzerrung beeinflusst werden, als (x, y) ausgedrückt werden, werden die Koordinaten, die von der Linsenverzerrung beeinflusst werden, als (i(x) und i(y)) ausgedrückt, die normalisierten Koordinaten, die nicht durch die Linsenverzerrung beeinflusst werden, werden als (u, v) ausgedrückt und die normalisierten Koordinaten, die durch die Linsenverzerrung beeinflusst wurden, werden als (u^~, v^~) ausgedrückt, sind die folgenden Gleichungen gegeben. u^~ = u + u(k₁r² + k₂r⁴) u^~ = v + v(k₁r² + k₂r⁴) r² = u² + v²
In diesen Gleichungen ist u^~ u Tilde und v^~ ist v Tilde. k₁ und k₂ sind Koeffizienten eines Polynoms, das die Linsenverzerrung ausdrückt, die durch eine radiale Verzerrung verursacht wird, in den normalisierten Koordinaten (u^~, v^~), die von der Linsenverzerrung beeinflusst sind, hinsichtlich der normalisierten Koordinate (u, v), die nicht durch die Linsenverzerrung beeinflusst wurden, und sind der Linse inhärente Konstanten. Wenn der Mittelpunkt der radialen Verzerrung in den Koordinaten, die nicht von der Linsenverzerrung beeinflusst wurden, als ein Hauptpunkt (x0, y0) angepasst werden, gibt es einen Zusammenhang, der durch die folgenden Gleichungen gegeben ist. i(x) = x + (x – x0)(k₁r² + k₂r⁴) i(y) = y + (y – y0)(k₁r² + k₂r⁴), wobei x0 und y0 der Linse inhärente Konstanten sind. Durch Verwenden dieser Zusammenhangsausdrücke, können die Koordinaten (x, y), die nicht durch die Linsenverzerrung beeinflusst wurden, in Koordinaten (i(x), i(y)) transformiert werden, die durch die Linsenverzerrung beeinflusst wurden.
Die Projektionsfunktions-Arithmetikbetriebeseinheit 11 führt eine Funktion h durch entsprechend dem Projektionsverfahren, das bestimmt wurde auf Basis einer von der Parameterspeichereinheit 4 eingebenen Projektionsverfahrensinformation, hinsichtlich die Koordinaten (i(x), i(y)), die die Linsenverzerrung erfahren haben und die von der Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 ausgegeben werden, um die Koordinaten (i(x), i(y)) in Koordinaten (h(i(x)), h(i(y))) transformiert werden, die eine Projektionsverzerrung erfahren haben. Die Funktion h entsprechend dem Projektionsverfahren zeigt funktional, wie weit Licht, das auf die Linse mit einem Winkel von θ fällt, von dem Linsenmittelpunkt fokussiert ist. Die Funktion h entsprechend dem Produktionsverfahren hat den folgenden Zusammenhang, wenn die Brennweite der Linse als f ausgedrückt wird, der Einfallswinkel des Einfallslichts, das heißt der halbe Blickwinkel als θ ausgedrückt wird und die Bildhöhe auf der Abbildungsoberfläche der Kamera als Y ausgedrückt wird. Im Falle einer stereographischen Projektion weist die Funktion den folgenden Zusammenhang auf: y = 2ftan(θ/2), im Fall einer äquidistanten Projektion, weist die Funktion h den folgenden Zusammenhang aus: Y = fθ, im Fall einer raumwinkelgleichen Projektion, weist die Funktion h den folgenden Zusammenhang auf: Y = 2fsin(θ/2), und im Fall einer orthogonalen Projektion weist die Funktion h den folgenden Zusammenhang auf: Y = fsinθ. Somit wird ein Wert h(i(x)), der die Projektionsverzerrung erfahren hat, erfasst durch Transformieren des Werts i(x) der Koordinaten (i(x), i(y)), die die Linsenverzerrung erfahren haben und die von der Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 ausgegeben wurden, in den Einfallswinkel θ auf die Linse und dann Substituieren dieses Winkels in der oben genannten Projektionsgleichung. Ähnlich wird ein Wert (h(i(y)) erfasst durch Transformieren des Wertes i(y) der Koordinate (i(x), i(y)), die die Linsenverzerrung erfahren haben, in den Einfallswinkel θ auf die Linse und dann Substituieren dieses Winkels in der oben genannten Projektionsgleichung. Dadurch kann die Projektionsfunktions-Arithmetikbetriebeseinheit die Koordinaten (h(i(x)), (h(i(y)) erfassen, die die Projektionsverzerrung erfahren haben.
Die Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 führt eine Projektionsebenentransformationsfunktion f durch, die bestimmt wird auf Basis der Befestigungsinformation, die darin von der Parameterspeichereinheit 4 eingegeben werden, hinsichtlich die Koordinate (h(i(x)), h(i(y))), die die Projektionsverzerrung erfahren haben und die von der Projektionsfunktions-Arithmetikbetriebeseinheit 11 ausgegeben werden, um die Koordinaten (h(i(x)), h(i(y))) in Koordinaten (f(h(i(x))), f(h(i(y)))) zu transformieren, die eine Projektionsebenentransformation (d. h. eine Abbildungsoberflächeninformation) erfahren haben. Die Projektionsebenentransformation ist eine Transformation zum Hinzufügen eines Einflusses, der durch den Befestigungszustand der Kamera verursacht wird, der die Befestigungsposition und den Befestigungswinkel der Kamera enthält, auf das von der Kamera aufgenommenen Kamerabild, weil der Befestigungszustand der Kamera einen Einfluss auf das Kamerabild hat. Die Projektionsebenentransformation f wird ausgedrückt durch eine geometrische Funktion, die als ihre Koeffizienten aufweist die Höhe L der Befestigungsposition der Kamera bezüglich der Grundoberfläche, den vertikalen Befestigungswinkel phi, der der Grad eines Inklinationswinkels der optischen Achse der Kamera bezüglich einer vertikalen Linie ist, den horizontalen Befestigungswinkel θ, der der der Grad eines Inklinationswinkels der optischen Achse der Kamera hinsichtlich einer Mittellinie ist, die sich in einer Richtung der Länge des Fahrzeugs erstreckt, und den Abstand H, der der Betrag einer Verschiebung der Kamera von dem Mittelpunkt der Breite des Fahrzeugs ist. Es wird angenommen, dass die Kamera nicht in Richtung einer Richtung einer Neigungsrotation verschoben ist, die die optische Achse der Kamera als Rotationsachse hat, und präzise befestigt ist.
Die Bildausgabefunktions-Arithmetikbetriebseinheit 13 führt eine Bildausgabefunktion g durch, die bestimmt wird auf Basis der Blickwinkelinformation und der Bildschirmgrößeninformation, die darin von der Parameterspeichereinheit 4 eingegeben wird, hinsichtlich der Koordinaten (f(h(i(x))), f(h(i(y)))), die die Projektionsebenentransformation erfahren haben, um die Koordinaten (f(h(i(x))), f(h(i(y)))) in Koordinaten für eine Bildausgabe (g(f(h(i(x)))), g(f(h(i(y))))) zu transformieren. Weil sich die Größe des von der Kamera aufgenommenen Kamerabildes im Allgemeinen von der eines Bildes unterscheidet, das von der Anzeigeeinheit 6 angezeigt werden kann, wird die Größe des Kamerabildes in eine Größe geändert, die auf der Anzeigeeinheit 5 angezeigt werden kann. Dazu führt die Bildausgabefunktions-Arithmetikbetriebseinheit 13 einen Transformationsprozess aus entsprechend einer Änderung der Größe des Kamerabildes auf eine Größe, die auf der Anzeigeeinheit 5 angezeigt werden kann, hinsichtlich der Koordinaten (g(f(h(i(x)))), g(f(h(i(y))))), die die Projektionsebenentransformation erfahren haben, so das das transformierte Bild einen Maßstab haben kann, der mit dem Kamerabild übereinstimmt. Die Bildausgabetransformationsfunktion g wird ausgedrückt durch eine Abbildungsfunktion, die als ihre Koeffizienten aufweist einen maximalen horizontalen Blickwinkel Xa und einen maximalen vertikalen Blickwinkel Ya der Kamera und eine maximale horizontale Zeichennpixelgröße Xp und eine maximale vertikale Zeichnungspixelgröße Yp in der Bildausgabe.
In dem oben erklärten Beispiel werden die Arithmetikoperationen hinsichtlich der Koordinaten, die jeden Schnittpunkt von Teillinien anzeigen, ausgeführt in der Reihenfolge der Linsenverzerrungsfunktion, der Projektionsfunktion, der Projektionsebenentransformationsfunktion und der Bildausgabefunktion. Die Reihenfolge, in der die Funktionen mit den Koordinaten ausgeführt werden, die jeden Schnittpunkt Teillinien-anzeigen, ist jedoch nicht auf den oben beschränkten Fall begrenzt.
Die Projektionsebenentransformationsfunktion f in der Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 enthält weiterhin den Blickwinkel der Kamera (den maximalen horizontalen Blickwinkel Xa und den maximalen vertikalen Blickwinkel Ya der Kamera) als die Bildschirmgrößeninformation, die die Größe des aufgenommenen Kamerabildes anzeigt. Deshalb kann die Kameraabstandsmessvorrichtung, sogar wenn ein Teil des Kamerabildes extrahiert und angezeigt wird, die Teillinien auf solch eine Weise anzeigen, dass die Teillinien auf dem extrahierten Teil des Kamerabildes passen, durch Ändern der Koeffizienten des Blickwinkels der Kamera in der Projektionsebenentransformationsfunktion f.
Die Bildkorrektureinheit 6 bestimmt eine Funktion i – 1, die die Inverse der Linsenverzerrungsfunktion i ist, auf Basis der Linsenverzerrungsfunktion über die Kamera der Kameraeinheit 3, und wendet die inverse Funktion auf das von der Kameraeinheit 3 aufgenommene Kamerabild an. Weil das von der Kameraeinheit 3 aufgenommene Kamerabild von der Linsenverzerrung beeinflusst wird, kann die Bildkorrektureinheit das Kamerabild korrigieren, um ein Kamerabild bereitzustellen, das nicht von der Linsenverzerrung beeinflusst wird, durch Anwende der inversen Linsenverzerrungsfunktion i – 1 auf das von der Kameraeinheit aufgenommene Kamerabild.
Die Koordinateninformation, die die Teillinien definiert, die den Transformationsprozess auf die oben beschriebene Weise erfahren haben, wird von der Abstandsmessarithmetikbetriebseinheit 2 an die Linienzeicheneinheit 7 als Teillinieninformation ausgegeben. Die Linienzeicheneinheit 7 erzeugt ein Teillinienbild, in der eine Vielzahl von Teillinien auf solch eine Weise angeordnet sind, um sich mit rechten Winkeln zu schneiden, in der Form eines Gitters auf Basis der Teillinieninformation.
Die Bildkorrektureinheit 6 bestimmt dann eine Funktion h – 1, die die Inverse der Projektionsfunktion h ist, auf Basis der Projektionsverfahrensinformation und wendet die inverse Funktion auf das Kamerabild an, auf das der Linsenverzerrungs-Inversefunktion-arithmetikbetrieb angewendet wurde. Weil das von der Kameraeinheit 3 aufgenommene Bild die Verzerrung aufgrund des Projektionsverfahrens zur Verwendung in der Linse erfahren hat, kann die Bildkorrektureinheit das Kamerabild korrigieren, um eine Kamerabild bereitzustellen, das nicht von der Projektionsverzerrung beeinflusst wurde, durch Anwenden der inversen Projektionsfunktion h – 1 auf das von der Kameraeinheit aufgenommene Kamerabild.
Die Bildüberlagerungseinheit 8 überlagert das Teillinienbild auf dem korrigierten Kamerabild als Bilder in verschiedenen Schichten auf solch eine Weise, das von der Linienzeicheneinheit 7 gezeichnete Teillinienbild auf dem von der Bildkorrektureinheit 6 korrigierten Kamerabild überlagert ist. Die Anzeigeeinheit 5 wendet die Bildausgabefunktion g auf das korrigierte Kamerabild unter dem Teillinienbild und den korrigierten Kamerabildern, die sich in verschiedenen Schichten befinden, an, um die Größe des korrigierten Kamerabildes auf eine Größe zu ändern, die die Anzeigeeinheit darauf anzeigen kann. Die Kameraeinheit überlagert dann das Teillinienbild auf dem korrigierten Kamerabild, dessen Größe geändert wurde, um ein zusammengesetztes Bild zu erzeugen, und zeigt dann dieses zusammengesetzte Bild an. Weil jedes Objekt in dem Kamerabild von der Verzerrung, dem Projektionsverfahren und dem Befestigungszustand der Kamera beeinflusst wird, kann die Abstandsmessarithmetikbetriebseinheit 2 die Teillinien anzeigen, die auf das Kamerabild passen, durch Anwenden der Koordinatentransformationen entsprechend der Linsenverzerrung, Projektionsverfahren und dem Befestigungszustand der Kamera auf dem Kamerabild.
3 ist eine Ansicht, die ein Beispiel eines Teillinienbildes zeigt. Mit Bezug auf 3 sind gerade Linien L1a Teillinien, die in rechten Winkeln zu einer Richtung der Breite des Fahrzeugs laufen, und entsprechen den geraden Linien L1, die in 2 gezeigt sind. Die geraden Linien L2a und L5a sind Teillinien, die parallel zu der Richtung der Breite des Fahrzeugs laufen und entsprechen den geraden Linien L2a und L5a, die in 2 gezeigt sind. Das Kamerabild, in dem die Linsenverzerrung und die Verzerrung aufgrund des Projektionsverfahrens entfernt werden durch den oben genannten Prozess, der von der Abstandsmessarithmetikbetriebseinheit 2 ausgeführt wird, und die Teillinien, die auf dem Kamerabild auf solch eine Weise überlagert sind, um dem Kamerabild zu entsprechen, werden auf der Anzeigeeinheit 5 angezeigt.
Jeder der Gitterblöcke, die durch die geraden Linien L1a bis L5a gebildet werden, weist eine Seite auf, die sich in einer Richtung der Breite des Fahrzeugs erstreckt und eine vorbestimmten Abstand (z. B. 0,50 Meter) aufweist, und eine Seite, die sich in einer Richtung (Tiefenrichtung) vertikal zu der Richtung der Breite des Fahrzeugs erstreckt und einen vorbestimmten Abstand (z. B. 0,50 Meter) aufweist, wie in 3 gezeigt. Deshalb wird der Benutzer in die Lage versetzt, den Abstand von dem Fahrzeug zu einem Objekt mit den auf der Anzeigeeinheit 5 angezeigten Teillinien visuell zu erkennen. Obwohl sogar eine konventionelle Kameraabstandsmessvorrichtung Teillinien anzeigen kann, die den Abstand von dem Fahrzeug zu einem Objekt in einer Tiefenrichtung anzeigen, kann keine konventionelle Kameraabstandsmessvorrichtung Teillinien korrekt anzeigen, die den Abstand von dem Fahrzeug zu einem Objekt in einer Richtung der Breite des Fahrzeugs anzeigen, da eine Verzerrung in einer lateralen Richtung in dem Kamerabild aufgrund der Linsenverzerrung der Kamera auftritt. Im Gegensatz dazu, da die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 1 die Linsenverzerrung und die Verzerrung aufgrund des Projektionsverfahrens durch Verwenden der Abstandsmessarithmetikbetriebseinheit 2 entfernen kann, kann die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 1 auch den Abstand in einer Richtung der Breite eines Fahrzeugs korrekt auf dem Anzeigebildschirm der Anzeigeeinheit 5 anzeigen.
4 ist eine Ansicht, die ein weiteres Beispiel des Teillinienbildes zeigt. Mit Bezug auf 4 sind die geraden Linien L1a-1 Teillinien, die die Breite eines Parkplatzes anzeigen und der Abstand zwischen den geraden Linien L1a-1 ist die Breite des Parkplatzes. Weiterhin sind die geraden Linien L1a-2 Teillinien, die die Breite des Fahrzeugs anzeigen, und der Abstand zwischen den geraden Linien L1a-2 ist die Breite des Fahrzeugs. Die geraden Linien L2a bis L5a sind Teillinien, die parallel zu einer Richtung der Breite des Fahrzeugs laufen, und entsprechen den geraden Linien L2a bis L5a, die in 2 gezeigt sind. Da die Teillinien auf diese Weise angeordnet sind, kann die Kameraabstandsmessvorrichtung den Abstand von dem Fahrzeug zu einem Objekt einer Richtung der Breite des Objekts korrekt bereitstellen, und versetzt den Fahrer in die Lage, die Teillinien auch als Linien zur Führung des Fahrers beim Einparken zu verwenden.
Wie oben angemerkt, enthält die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 1: die Parameterspeichereinheit 4 zum Speichern von Befestigungsinformation, die die Befestigungsposition und den Befestigungswinkel anzeigen, an und mit dem die Kamera an dem Fahrzeug befestigt ist, Blickwinkelinformation, die den Blickwinkel der Kamera anzeigt, Projektionsverfahrensinformation, die das Projektionsverfahren zur Verwendung in der Linse der Kamera zeigt, und Bildschirmgrößeninformation, die die Bildschirmgröße der Anzeigeeinheit zeigt, als Parameterinformation; die Abstandsmessarithmetikbetriebseinheit 2 zum Durchführen des Prozesses zum Korrigieren einer Verzerrung der Linse der Kamera hinsichtlich der Positionskoordinaten im Realraum jedes Gitterpunkts, der durch die Vielzahl von Teillinien definiert ist, die in Form eines Gitters und in Intervallen des Einheitsabstands angeordnet sind, und zum Transformieren der Positionskoordinaten jedes Gitterpunkts, in dem die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten in dem Kamerabild auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit 4 gelesen werden, um Teillinieninformation zu erzeugen; die Linienzeicheneinheit 7 zum Anordnen der Vielzahl von Teillinien auf Basis der Teillinieninformation auf solch eine Weise, dass diese sich in rechten Winkeln schneiden in Form eines Gitters, um ein Teillinienbild zu erzeugen; die Bildkorrektureinheit 6 zum Durchführen des Korrekturprozesses zum Entfernen der Verzerrung der Linse der Kamera in dem Kamerabild und der von dem Programmverifizieroperation verursachten Verzerrung; und die Bildüberlagerungseinheit 8 zum Überlagern des von der Linienzeicheneinheit 7 erzeugten Teilliniebildes auf dem Kamerabild, das von der Bildkorrektureinheit 6 korrigiert wird, um das Kamerabild auszugeben, auf dem das Teillinienbild auf der Anzeigeeinheit 5 überlagert ist. Da die Kameraabstandsmessvorrichtung auf diese Weise konstruiert ist, kann die Kameraabstandsmessvorrichtung ein Teillinienbild anzeigen, das den Benutzer in die Lage versetzt, den Abstand zu einem Objekt in dem Kamerabild einfach abzuschätzen.
Ausführungsform 2
5 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 2 der vorliegenden Erfindung zeigt. Mit Bezug auf 5 ist die Kameraabstandsmessvorrichtung 1A ausgestattet mit einer Abstandsmessarithmetikbetriebseinheit 2A, einer Kameraeinheit 3, einer Parameterspeichereinheit 4, einer Ausgabeeinheit 5A und einer Bildschirmpositionsbestimmungseinheit 14. Die Abstandsmessarithmetikbetriebseinheit 2A ist eine Komponente zum Transformieren einer beliebigen Koordinatenposition in einem Kamerabild, das durch die Bildschirmpositionsbestimmungseinheit 14 spezifiziert wird, in einer Position auf einer Grundoberfläche im realen Raum, um den Abstand von einem Fahrzeug zu der Position zu bestimmen, und ist ausgestattet mit einer Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10, einer Projektionsfunktions-Arithmetikbetriebeseinheit 11, einer Projektionsebenen-Trans formationsfunktions-Arithmetikbetriebseinheit 12 und einer Bildausgabefunktions-Arithmetikbetriebseinheit 13.
Die Ausgabeeinheit 5A ist eine Komponenten zum Ausgeben der Distanz von dem Fahrzeug zu der Position, das von der Abstandsmessarithmetikbetriebseinheit 2a berechnet wird, umfasst eine Anzeigeeinheit, die eine Anzeige oder eine Klangausgabeeinheit zum Melden des Abstands mittels Sprache ist. Die Bildschirmpositionsbestimmungseinheit 14 ist eine Komponente zum Spezifizieren einer beliebigen Position in dem auf dem Bildschirm angezeigten Kamerabild. Zum Beispiel kann die Bildschirmpositionsbestimmungseinheit eine Eingabeverarbeitungseinheit umfassen zum Anzeigen eines Zeigers auf dem Bildschirm, um den Benutzer in die Lage zu versetzen, eine beliebige Position durch Verwenden des Zeigers zu spezifizieren, oder ein Berührungsbildschirm, der auf dem Bildschirm angeordnet ist, auf dem das Kamerabild angezeigt wird.
Als Nächstes wird der Betrieb der Kameraabstandsmessvorrichtung erklärt. Wenn der Benutzer eine beliebige Position auf dem auf dem Bildschirm angezeigten Kamerabild spezifiziert durch Verwenden der Bildschirmpositionsbestimmungseinheit 14, werden die Koordinate (u, v) der spezifizierten Position in dem Raum des Kamerabildes in die Abstandsmessarithmetikbetriebseinheit 2A eingegeben. Die Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 der Abstandsmessarithmetikbetriebseinheit 2A führt eine Linsenverzerrungsfunktion i durch hinsichtlich der Koordinaten (u, v) der Position auf dem durch die Bildschirmpositionsbestimmungseinheit 14 spezifizierten Kamerabild, um die Koordinaten in Koordinaten (i(u), i(v)) zu transformieren, die eine Linsenverzerrung erfahren haben. Die Linsenverzerrungsfunktion i stellt die Verzerrung dar, die das Kamerabild, das erfasst wird, wenn die Kamera der Kameraeinheit 3 ein Objekt aufgenommen hat, aufgrund der Form der Linse der Kamera erfährt, was in der oben genannten Ausführungsform 1 gezeigt ist. Zum Beispiel kann die Linsenverzerrungsfunktion i bestimmt werden unter Verwendung des Zhang-Modells hinsichtlich der Linsenverzerrung. In diesem Modell wird die Linsenverzerrung als eine radiale Verzerrung modelliert und, wenn die idealen Bildkoordinaten, die nicht von der Linsenverzerrung beeinflusst wurden, als (u, v)T ausgedrückt werden, die Beobachtungsbildkoordinaten, die von der Linsenverzerrung beeinflusst wurden, ausgedrückt werden als (u^~, v^~)T, und die idealen normalisierten Koordinaten, die nicht von der Linsenverzerrung beeinflusst wurden, ausgedrückt werden als (x, y)T und die normalisierten Beobachtungskoordinaten, die von der Linsenverzerrung beeinflusst werden, ausgedrückt werden als (x^~, y^~)T, sind die folgenden Gleichungen gegeben. x^~ = x + x(k₁r² + k₂r⁴) y^~ = y + y(k₁r² + k₂r⁴) r² = x² + y²
In diesen Gleichungen ist x^~ x Tilde und y^~ ist y Tilde, u^~ isz u Tilde und v^~ ist v Tilde. k₁ und k₂ sind Koeffizienten eines Polynoms, das die Linsenverzerrung ausdrückt, die durch eine radiale Verzerrung verursacht wird, in den normalisierten Koordinaten (x^~, y^~)T, die von der Linsenverzerrung beeinflusst wurden, hinsichtlich der normalisierten Koordinaten (x, y)T, die nicht von der Linsenverzerrung beeinflusst wurden, und sind der Linsen inhärente Konstanten. Wenn der Mittelpunkt der radialen Verzerrung in den Koordinaten, die nicht von der Linsenverzerrung beeinflusst wurden, ausgedrückt werden als Hauptpunkt (u0, v0)T, gibt einen Zusammenhang durch die folgende Gleichung. u^~ = u + (u – u0)(k₁r² + k₂r⁴) v^~ = v + (v – v0)(k₁r² + k₂r⁴), wobei u0 und v0 der Linse inhärente Konstanten sind. Durch Verwenden dieser Zusammenhangsausdrücke, kann die Position (u, v) eines Objekts in dem Raum des Kamerabildes in Positionskoordinaten (x, y) (=(i(u), i(v))) des Objekts im Realraum transformiert werden.
Die Projektionsfunktions-Arithmetikbetriebeseinheit 11 führt eine Funktion h aus entsprechend einem Projektionsverfahren, das bestimmt wird auf Basis einer Projektionsverfahrensinformation, die darin von der Parameterspeichereinheit 4 eingegeben wird, hinsichtlich der Koordinaten (i(x), i(y)), die die Linsenverzerrung erfahren haben und die von der Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 ausgegeben werden, um die Koordinaten (i(x), i(y)) in Koordinaten (h(i(x)), h(i(y))) zu transformieren, die eine Projektionsverzerrung erfahren haben. Die Funktion h entsprechend dem Projektionsverfahren zeigt funktional, wie weit Einfallslicht auf der Linse mit einem Winkel θ von dem Linsenmittelpunkt fokussiert ist. Die Funktion h entsprechend dem Projektionsverfahren hat den folgenden Zusammenhang, wenn die Brennweite der Linse als f ausgedrückt wird, der Einfallswinkel des Einfallslichts, d. h. der halbe Blickwinkel ausgedrückt wird als θ und die Bildhöhe auf der Abbildungsoberfläche der Kamera als Y ausgedrückt wird. Im Fall einer stereographischen Projektion, weist die Funktion h den folgenden Zusammenhang auf: Y = ftan(θ/2) im Fall einer äquidistanten Projektion, weist die Funktion h den folgenden Zusammenhang auf: Y = fθ, im Fall einer raumwinkelgleichen Projektion weist die Funktion h den folgenden Zusammenhang auf: Y = 2fsin(θ/2) und im Fall einer orthogonalen Projektion weist die Funktion h den folgenden Zusammenhang auf: Y = fsinθ. Deshalb kann der Wert h(i(u)), der die Projektionsverzerrung erfahren hat, erfasst werden durch Transformieren des Wertes i(u) der Koordinaten (i(u), i(v)), die die Linsenverzerrung erfahren haben und die von der Linsenverzerrungsfunktions-Arithmetikbetriebseinheit 10 ausgegeben werden, in einen Einfallswinkel θ auf der Linse und dann Substituieren dieses Winkels in der oben genannten Projektionsgleichung. Ähnlich kann der Wert h(i(v)) erfasst werden durch Transformieren des Wertes i(v) der Koordinaten (i(u), i(v)), die die Linsenverzerrung erfahren haben, in den Einfallswinkel θ auf der Linse, und dann Substituieren dieses Winkels in der oben genannten Projektionsgleichung. Dadurch kann die Projektionsfunktions-Arithmetikbetriebeseinheit die Koordinaten (h(i(u)), h(i(v))) erfassen, die die Projektionsverzerrung erfahren haben.
Die Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 führt eine Projektionsebenentransformationsfunktion f durch, die bestimmt wird auf Basis von Befestigungsinformation, die darin von der Parameterspeichereinheit eingegeben werden, hinsichtlich der Koordinate (h(i(u)), h(i(v))), die die Projektionsverzerrung erfahren haben und die von der Projektionsfunktions-Arithmetikbetriebeseinheit 11 ausgegeben werden, um die Koordinaten (h(i(u)), h(i(v))) in Koordinaten (f(h(i(u))), f(h(i(v)))) zu transformieren, die eine Projektionsebenentransformation (d. h. eine Abbildungsoberflächentransformation) erfahren haben. Die Projektionsebenentransformation ist eine Projektion zum Hinzufügen eines Einflusses, der durch den Befestigungszustand der Kamera verursacht wird, der die Befestigungsposition und den Befestigungswinkel der Kamera enthält, hinsichtlich des von der Kamera aufgenommenen Kamerabildes, weil der Befestigungszustand der Kamera einen Einfluss auf das Kamerabild hat. Die Projektionsebenentransformation f wird ausgedrückt durch eine geometrische Funktion, die als ihre Koeffizienten die Höhe L der Befestigungsposition der Kamera hinsichtlich der Grundoberfläche, den vertikalen Befestigungswinkel phi, der der Grad eines Inklinationswinkels der optischen Achse der Kamera hinsichtlich einer vertikalen Linie ist, der horizontale Befestigungswinkel θ, der der Grad eines Inkliniationswinkels der optischen Achse der Kamera hinsichtlich einer Mittellinie ist, die sich in einer Richtung der Länge des Fahrzeugs erstreckt, und des Abstands H, der der Betrag einer Verschiebung der Kamera vom Mittelpunkt der Breite des Fahrzeugs ist, aufweist. Es wird angenommen, dass die Kamera nicht in Richtung einer Richtung einer Neigungsrotation verschoben ist, die die optische Achse der Kamera als die Rotationsachse aufweist, und präzise befestigt ist.
Die Bildausgabefunktions-Arithmetikbetriebseinheit 13 führt eine Bildausgabefunktion g durch, die bestimmt wird auf Basis von Blickwinkelinformation und Bildschirmgrößeninformation, die daran von der Parameterspeichereinheit 4 eingegeben werden, hinsichtlich der Koordinaten (f(h(i(u))), f(h(i(v)))), die die Projektionsebenentransformation erfahren haben, um die Koordinaten (f(h(i(u))), f(h(i(v)))) in Koordinaten für eine Bildausgabe (g(f(h(i(u)))), g(f(z(i(v))))) zu transformieren. Die Bildausgabefunktions-Arithmetikbetriebseinheit 13 führt einen Transformationsprozess aus entsprechend einer Änderung der Größe der Kamerabildes auf eine Größe, die auf der Anzeigeeinheit angezeigt werden kann, hinsichtlich der Koordinaten (g(f(h(i(u)))), g(f(h(i(v)))))), die die Projektionsebenentransformation erfahren haben, so dass das transformierte Bild einen Maßstab aufweisen kann, der dem des Kamerabilds entspricht. Die Bildausgabetransformationsfunktion g wird ausgedrückt durch eine Abbildungsfunktion, die als ihre Koeffizienten einen horizontalen maximalen Blickwinkel Xa und einen vertikalen maximalen Blickwinkel Ya der Kamera, und einen maximalen horizontalen Zeichenpixelgröße Xp und eine maximale vertikale Zeichenpixelgröße Yp in dem Bildausgabepunkt aufweist.
In dem oben erklärten Beispiel werden die Arithmetikoperationen hinsichtlich der Koordinate ausgeführt, die jeden Schnittpunkt von Teillinien zeigen, in der Reihenfolge der Linsenverzerrungsfunktion, der Projektionsfunktion, der Projektionsebenentransformationsfunktion und der Bildausgabefunktion. Die Reihenfolge, in der die Funktionen hinsichtlich der Koordinaten ausgeführt werden, die jeden Schnittpunkt von Teillinien anzeigen, ist jedoch nicht auf die oben genannte Reihenfolge beschränkt.
Die Projektionsebenentransformationsfunktion f in der Projektionsebenen-Transformationsfunktions-Arithmetikbetriebseinheit 12 enthält weiterhin den Blickwinkel der Kamera (den maximalen horizontalen Blickwinkel Xa und den maximalen vertikalen Blickwinkel Ya der Kamera) als die Bildschirmgrößeninformation die die Größe des aufgenommenen Kamerabildes zeigt. Deshalb, sogar wenn ein Teil des Kamerabildes extrahiert und angezeigt wird, kann die Kameraabstandsmessvorrichtung die Teillinien auf solch eine Weise anzeigen, dass die Teillinien auf den extrahierten Teil des Kamerabildes passen, durch Ändern der Koeffizienten des Blickwinkels der Kamera in der Projektionsebenentransformationsfunktion f. Als Ergebnis kann die Kameraabstandsmessvorrichtung eine gegenseitige Umwandlung zwischen einer Position in dem zweidimensionalen Raum des Kamerabilds und einer Position in dem dreidimensionalen Realraum, dessen Höhe als eine Dimension davon fixiert ist, ausführen. Da die Kameraabstandsmessvorrichtung dadurch eine gegenseitige Umwandlung zwischen dem zweidimensionalen Raum des Kamerabildes und dem dreidimensionalen Realraum durchführen kann, versetzt die Kameraabstandsmessvorrichtung den Benutzer in die Lage, eine beliebige Position in dem Kamerabild durch Verwenden der Bildschirmpositionsbestimmungseinheit 14 zu bestimmten, um eine entsprechende Position im Realraum dem Benutzer auf Basis er Kamerabildes darzustellen.
Nachdem die Abstandsmessarithmetikbetriebseinheit 2A die Position im Realraum entsprechend der Position in dem Kamerabildschirm berechnet, die durch die Bildschirmpositionsbestimmungseinheit 14 (die Koordinatenposition an einer Höhe z im Realraum) spezifiziert wird, stellt die Ausgabeeinheit 5A diesen berechneten Wert für den Benutzer bereit. Zum Beispiel, in dem Fall, in dem die Ausgabeeinheit 5A als eine Klangausgabeeinheit konstruiert ist, gibt die Ausgabeeinheit die von der Abstandsmessarithmetikbetriebseinheit 2A berechnete Position mittels Sprache aus. Als eine Alternative, in dem Fall, in dem die Ausgabeeinheit 5A als eine Anzeigeeinheit zum Anzeigen des von der Kameraeinheit 3 aufgenommene Kamerabildes konstruiert ist, zeigt die Ausgabeeinheit den Abstand von dem Fahrzeug zu einer Position auf dem Anzeigebildschirm mit Zeichen oder stellt eine Korrespondenz einer Farbe mit dem Abstand her und zeigt den Abstand farbig an, wodurch der Benutzer in die Lage versetzt wird, den Abstand visuell zu erkennen.
Wie oben beschrieben, enthält die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 2: die Parameterspeichereinheit 4 zum Speichern von Befestigungsinformation, die die Befestigungsposition und den Befestigungswinkel anzeigt, an und mit dem die Kamera an dem Fahrzeug befestigt ist, Blickwinkelinformation, die den Blickwinkel der Kamera anzeigt, Projektionsverfahrensinformation, die ein Projektionsverfahren zur Verwendung in der Linse der Kamera anzeigt, und Bildschirmgrößeninformation, die die Bildschirmgröße der Anzeigeinformation anzeigt, als Parameterinformation; Bildschirmpositionsbestimmungseinheit 14 zum Bestimmen einer Position im auf der Anzeigeeinheit angezeigten Kamerabild; die Abstandsmessarithmetikbetriebseinheit 2A zum Durchführen des Prozesses zum Korrigieren der Verzerrung der Linse auf der Kamera hinsichtlich der Koordinaten der Position im Raum des Kamerabildes, bestimmt durch die Bildschirmpositionsbestimmungseinheit 14, und zum Transformieren der Positionskoordinaten, in denen die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten einer vorbestimmten Höhe von einer Grundoberfläche im Realraum auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit gelesen werden, um Positionsinformation zu erzeugen; und die Ausgabeeinheit 5A zum Ausgeben des Abstands von der Position in dem Kamerabild, das von der Bildschirmpositionsbestimmungseinheit 14 bestimmt wurde, zu dem Fahrzeug auf Basis der Positionsinformation. Da die Kameraabstandsmessvorrichtung auf diese Weise konstruiert ist, kann die Kameraabstandsmessvorrichtung den Abstand zu einem Objekt von dem Fahrzeug erkennen durch Transformieren einer beliebigen Position in dem Kamerabild zu einer Koordinatentransformation einer Höhe z (z. B. die Höhe von der Grundoberfläche zu der Kamera) im Realraum.
Ausführungsform 3
In Ausführungsform 3 wird eine Struktur mit einer Kombination der oben genannten Ausführungsformen 1 und 2 gezeigt. 6 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 3 der vorliegenden Erfindung zeigt. Mit Bezug auf 6 weist die Kameraabstandsmessvorrichtung 1B eine Struktur auf, die eine Kombination derjenigen ist, die in 1 und 2 gezeigt werden. Während die Kameraabstandsmessvorrichtung ein Teillinienbild auf der Anzeigeeinheit 5 anzeigt, wie dasjenige entsprechend der oben genannten Ausführungsform 1, bestimmt die Kameraabstandsmessvorrichtung eine beliebige Position in dem Teillinienbild durch Verwenden einer Bildschirmpositions-Bestimmungseinheit 14 und transformiert die beliebige Position in eine Koordinatenposition einer Höhe z im Realraum (z. B. die Höhe von einer Grundoberfläche zu einer Kamera), wie diejenige entsprechend der oben genannten Ausführungsform 2.
7 ist eine Ansicht, die ein Beispiel eines Teillinienbildes in Übereinstimmung mit Ausführungsform 3 zeigt. Mit Bezug auf 7 weist jeder der Gitterblöcke, die durch gerade Linien L1a bis L5a gebildet werden, eine Seite auf, die sich in einer Richtung der Breite des Fahrzeugs erstreckt und einen vorbestimmten Abstand (z. B. 0,50 Meter) aufweist, und eine Seite, die sich in einer Richtung (eine Tiefenrichtung) vertikal zu der Richtung der Breite des Fahrzeugs erstreckt und einen vorbestimmten Abstand (z. B. 0,50 Meter) aufweist, wie in der oben genannten Ausführungsform 1. Weiterhin wird ein berührungsempfindlicher Bildschirm, der in einer Anzeigeeinheit 5 zum Anzeigen des Teillinienbildes angeordnet ist, als die Bildschirmpositionsbestimmungseinheit 14 verwendet, so dass die Kameraabstandsmessvorrichtung den Benutzer in die Lage versetzt, eine beliebige Position auf dem Teillinienbild durch Verwenden der Bildschirmpositions-Bestimmungseinheitzu spezifizieren, wie in 7 gezeigt, und kann den Abstand von dem Fahrzeug zu der Position bestimmen. Die Anzeigeeinheit 5 kann den von der Abstandsmessarithmetikbetriebseinheit 2 berechneten Abstand auf dem Bildschirm mit Zeichen anzeigen. In dem Beispiel der 7 ist ein Abstand in einer Richtung einer x-Achse definiert hinsichtlich einer geraden Linie L5a entsprechend dem Mittelpunkt der Breite des Fahrzeugs, und ein Abstand in einer Richtung einer y-Achse wird definiert auf Basis des vorbestimmten Abstands in der Tiefenrichtung jedes Gitterblocks. Der in der Figur spezifizierte beliebige Punkt weist einen Abstand von 0,5 Metern in Richtung der x-Achse vom Mittelpunkt der Breite des Fahrzeugs und einen Abstand von 1,25 Metern in Richtung der y-Achse (in der Tiefenrichtung) auf. Dadurch versetzt die Kameraabstandsmessvorrichtung den Benutzer in die Lage, den Abstand von dem Fahrzeug visuell zu erkennen.
Die Kameraabstandsmessvorrichtung kann solch ein Teillinienbild wie in 4 gezeigt anzeigen, um den Benutzer in die Lage zu versetzen, ein Hindernis durch Verwenden der Bildschirmpositionsbestimmungseinheit 14 zu spezifizieren, das in einem Parkplatz existiert, wenn das Fahrzeug in dem Parkplatz geparkt wird, und den Abstand zwischen dem Hindernis und dem Fahrzeug anzeigen.
Wie oben beschrieben, enthält die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 3 die Bildschirmpositionsbestimmungseinheit 14 zum Bestimmen einer Position in dem auf der Anzeigeeinheit 5 angezeigten Kamerabild zusätzlich zu der Struktur gemäß der oben beschriebenen Ausführungsform 1, und führt den Prozess durch zum Korrigieren der Verzerrung der Linse der Kamera hinsichtlich der Koordinaten der Position in dem Raum des Kamerabildes, bestimmt durch die Bildschirmpositionsbestimmungseinheit 14, und transformiert die Positionskoordinaten, in denen die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten einer vorbestimmten Höhe von einer Grundoberfläche im Realraum auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit 4 gelesen werden, um Positionsinformation zu erzeugen, und die Anzeigeeinheit 5 gibt den Abstand von der Position in dem Kamerabild, das von der Bildschirmpositions-Bestimmungseinheit 14 bestimmt wird, an das Fahrzeug aus auf Basis der Positionsinformation. Da die Kameraabstandsmessvorrichtung auf diese Weise konstruiert ist, kann die Kameraabstandsmessvorrichtung eine beliebige Position in dem Teillinienbild hinsichtlich einer Koordinatenposition einer Höhe z (zum Beispiel einer Höhe von einer Grundoberfläche bis zu der Kamera) in dem Realraum transformieren, um den Benutzer in die Lage zu versetzen, den Abstand von dem Fahrzeug zu einer Position zu erkennen, während das Teillinienbild dargestellt wird, was die Messung der Distanz zu einem Objekt in dem Kamerabild erleichtern kann.
Ausführungsform 4
8 ist ein Blockdiagramm, das die Struktur einer Kameraabstandsmessvorrichtung in Übereinstimmung mit Ausführungsform 4 der vorliegenden Erfindung zeigt. Die Kameraabstandsmessvorrichtung 1C ist ausgestattet mit einer Bilderkennungseinheit 15 als die Bildschirmpositionsbestimmungseinheit 14, die in der oben genannten Ausführungsform 2 gezeigt ist. Der Bilderkennungsabschnitt 15 ist eine Komponente zum Ausführen einer Bilderkennung hinsichtlich des spezifischen Objekts (ein Hindernis), das auf dem Anzeigebildschirm angezeigt wird, um die Koordinatenposition des Objekts in dem Kamerabild zu bestimmen. Zum Beispiel, wenn der Fahrer während eines Parkvorgangs unterstützt wird, erkennt die Kameraabstandsmessvorrichtung ein Hindernis, das in einem Parkplatz existiert, durch Verwenden einer existierenden Bilderkennungstechnik, um die Koordinaten der Position des Hindernisses in dem Kamerabild zu bestimmen. Durch Verarbeiten dieser Positionskoordinaten durch Verwenden einer Abstandsmessarithmetikbetriebseinheit 2A kann die Kameraabstandsmessvorrichtung den Abstand zwischen dem Hindernis und dem Fahrzeug dem Fahrer darstellen.
Obwohl in dem in 8 gezeigten Beispiel die Struktur gezeigt ist, in der die Bilderkennungseinheit 15 als die in der obigen Ausführungsform 2 gezeigte Bildschirmpositions-Bestimmungseinheit angeordnet ist, kann die Kameraabstandsmessvorrichtung alternativ auf solch eine Weise konstruiert sein, die Bilderkennungseinheit 15 als die Bildschirmpositions-Bestimmungseinheit 14 mit der Struktur zu enthalten, die erklärt wird durch Bezug auf 6 in der obigen Ausführungsform 3.
Wie oben angemerkt, da die Kameraabstandsmessvorrichtung in Übereinstimmung mit dieser Ausführungsform 4 die Bilderkennungseinheit 15 enthält zum Erfassen der Position eines Objekts in dem Kamerabild durch Ausführen einer Bilderkennung in dem Kamerabild, kann die Kameraabstandsmessvorrichtung eine beliebige Position (die Position eines Hindernisses) in dem Kamerabild erkennen entsprechend der Bilderkennung in dem Kamerabild, wodurch diese in der Lage ist, den Abstand zu dem Hindernis in dem Kamerabild einfach abzuschätzen.
GEWERBLICHE ANWENDBARKEIT
Da die Kameraabstandsmessvorrichtung in Übereinstimmung mit der vorliegenden Erfindung den Abstand zu einem Objekt in dem Kamerabild messen kann, kann die Kameraabstandsmessvorrichtung effizient in einer Parkunterstützvorrichtung oder dergleichen angewandt werden, die eine rückwärtige Kamera einem Bildaufnahmebereich in einer rückwärtigen Richtung hinter einem Fahrzeug verwendet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2004-328657 [0004]

Claims

Kameraabstandsmessvorrichtung zum Anzeigen eines Bildes auf einer Anzeigeeinheit, in dem eine Vielzahl von Teillinien, die in Form eines Gitters hinsichtlich eines Fahrzeugs angeordnet sind, auf einem Kamerabild überlagert werden, das durch eine an dem Fahrzeug befestigte Kamera aufgenommen wird, um einen Abstand in einer Richtung einer Breite des Fahrzeugs und ein Abstand in einer Richtung der Aufnahme der Kamera von einem Einheitsabstand, der für jede Gitterseite der Teillinien definiert ist, zu messen, wobei die Kameraabstandsmessvorrichtung umfasst: eine Parameterspeichereinheit zum Speichern von Befestigungsinformation, die eine Befestigungsposition und einen Befestigungswinkel anzeigt, an und mit dem die Kamera auf dem Fahrzeug befestigt ist, Blickwinkelinformation, die einen Blickwinkel der Kamera anzeigt, Projektionsverfahrensinformation, die ein Projektionsverfahren zur Verwendung in einer Linse der Kamera anzeigt, und Bildschirmgrößeninformation, die eine Bildschirmgröße der Anzeigeeinheit anzeigt, als Parameterinformation; eine Abstandsmessarithmetikbetriebseinheit zum Durchführen eines Prozesses zum Korrigieren einer Verzerrung der Linse der Kamera hinsichtlich Positionskoordinaten im Realraum jedes Gitterpunkts, definiert durch die Vielzahl von Teillinien, die in Form eines Gitters und in Intervallen des Einheitsabstands angeordnet sind, und zum Transformieren der Positionskoordinaten jedes Gitterpunkts, in dem die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten in dem Kamerabild auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation und der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit gelesen werden, um Teillinieninformation zu erzeugen; eine Linienzeicheneinheit zum Anordnen der Vielzahl von Teillinien auf Basis der Teillinieninformation auf solch eine Weise, dass diese sich in rechten Winkeln in Form eines Gitters schneiden, um ein Teillinienbild zu erzeugen; eine Bildkorrektureinheit zum Durchführen eines Korrekturprozesses zum Entfernen der Verzerrung der Linse der Kamera im dem Kamerabild und einer von dem Korrekturverfahren verursachten Verzerrung; und eine Bildüberlagerungseinheit zum Überlagern des von der Linienzeicheneinheit erzeugten Teillinienbildes auf dem von der Bildkorrektureinheit korrigierten Kamerabild, um das Kamerabild, auf dem das Teillinienbild überlagert ist, an die Anzeigeeinheit auszugeben.
Kameraabstandsmessvorrichtung zum Anzeigen eines Kamerabildes auf einer Anzeigeeinheit, das von einer an einem Fahrzeug befestigten Kamera aufgenommen wird, um einen Abstand von einer Position in dem Kamerabild zu dem Fahrzeug zu bestimmen, wobei die Kameraabstandsmessvorrichtung umfasst: eine Parameterspeichereinheit zum Speichern von Befestigungsinformation, die eine Befestigungsposition und einen Befestigungswinkel anzeigt, an und mit dem die Kamera am dem Fahrzeug befestigt ist, Blickwinkelinformation, die einen Blickwinkel der Kamera anzeigt, Projektionsverfahrensinformation, die ein Projektionsverfahren zur Verwendung in einer Linse der Kamera anzeigt, und Bildschirmgrößeninformation, die eine Bildschirmgröße der Anzeigeeinheit anzeigt, als Parameterinformation; eine Bildschirmpositions-Bestimmungseinheit zum Bestimmen einer Position in dem auf der Anzeigeeinheit angezeigten Kamerabild; eine Abstandsmessarithmetikbetriebseinheit zum Durchführen eines Prozesses zum Korrigieren einer Verzerrung der Linse der Kamera hinsichtlich Koordinaten der Position in einem Raum des Kamerabildes, bestimmt von der Bildschirmpositions-Bestimmungseinheit, und zum Transformieren der Positionskoordinaten, in denen die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten einer vorbestimmten Höhe von einer Grundoberfläche im Realraum basierend auf der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation und der Bildschirmgrößeninformation, die von der Parameterspeichereinheit ausgelesen werden, um Positionsinformation zu erzeugen; und eine Ausgabeeinheit zum Ausgeben eines Abstands von der Position zu dem Kamerabild, die von der Bildschirmpositions-Bestimmungseinheit bestimmt wird, zu dem Fahrzeug auf Basis der Positionsinformation.
Kameraabstandsmessvorrichtung nach Anspruch 1, wobei die Kameraabstandsmessvorrichtung eine Bildschirmpositions-Bestimmungseinheit enthält zum Bestimmen einer Position in dem auf der Anzeigeeinheit angezeigten Kamerabild und wobei die Abstandsmessarithmetikbetriebseinheit den Prozess führt zum Korrigieren der Verzerrung der Linse der Kamera hinsichtlich Koordinaten der Position im Raum des von der Bildschirmpositions-Bestimmungseinheit bestimmt Kamerabildes, und die Positionskoordinaten, in denen die Verzerrung der Linse korrigiert wurde, in Positionskoordinaten einer vorbestimmten Höhe von einer Grundoberfläche im Realraum transformiert auf Basis der Befestigungsinformation, der Blickwinkelinformation, der Projektionsverfahrensinformation, der Bildschirmgrößeninformation, die aus der Parameterspeichereinheit gelesen werden, um die Positionsinformation zu erzeugen, und die Anzeigeeinheit einen Abstand von der Position in dem Kamerabild, der von der Bildschirmpositions-Bestimmungseinheit bestimmt wird, zu dem Fahrzeug auf Basis der Positionsinformation ausgibt.
Kameraabstandsmessvorrichtung nach Anspruch 2, wobei die Bildschirmpositions-Bestimmungseinheit eine Bilderkennungseinheit ist zum Erfassen einer Position eines Objekts in dem Kamerabild durch Ausführen einer Bilderkennung hinsichtlich des Kamerabilds.