DE112016000689T5

DE112016000689T5 - Kameraparametereinstellvorrichtung

Info

Publication number: DE112016000689T5
Application number: DE112016000689.6T
Authority: DE
Inventors: Daisuke SUGIURA
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2015-02-10
Filing date: 2016-02-08
Publication date: 2017-10-19
Also published as: JP6471522B2; WO2016129552A1; JP2016149613A

Abstract

Es wird eine Kameraparametereinstellvorrichtung geschaffen, die in der Lage ist, ein nichtkontinuierliches Anzeigen einer Gestalt eines Objektes an einer Verbindungsstelle zwischen Teilvogelperspektivenbildern sogar dann zu verringern, wenn ein Objekt in einem integrierten Vogelperspektivenbild über mehrere Teilvogelperspektivenbilder angezeigt wird. Wenn eine Vorwärtskamera 2 als eine Bezugskamera und eine Rückwärtskamera 3 als eine eingestellte Zielkamera dasselbe Objekt erlangen, berechnet ein Verschiebungsgradberechnungsteil einen Verschiebungsgrad zwischen einer Relativposition eines gemeinsamen abgebildeten Objektes, das unter Verwendung der Vorwärtskamera 2 bestimmt wird, und einer Relativposition des gemeinsamen abgebildeten Objektes, die unter Verwendung der Rückwärtskamera 3 bestimmt wird. Ein Parameterberechnungsteil berechnet Übereinstimmungsparameter als Kameraparameter der Rückwärtskamera 3, die einen Verschiebungsgrad von 0 aufweisen. Eine Vogelperspektivenumwandlungsverarbeitungseinheit erzeugt ein hinteres Vogelperspektivenbild von einem Bild, das unter Verwendung der Rückwärtskamera 3 erlangt wird.

Description

Diese Anmeldung basiert auf der am 10. Februar 2015 eingereichten japanischen Patentanmeldung Nr. 2015-24544 , deren Offenbarung hiermit durch Bezugnahme darauf enthalten ist.
Technisches Gebiet
Die Erfindung betrifft eine Kameraparametereinstellvorrichtung zum Einstellen von Kameraparametern zum Erzeugen eines Vogelperspektivenbildes aus Bildern, die mit Fahrzeugkameras zum Erlangen einer Nachbarschaft eines Fahrzeugs erlangt werden.
Stand der Technik
In einem herkömmlich verwendeten System zum Unterstützen eines Betriebs eines Fahrers werden Bilder, die unter Verwendung von mehreren Fahrzeugkameras zum Erlangen jeweiliger Bereiche in einer Nachbarschaft eines eigenen Fahrzeugs erlangt werden, synthetisierend verarbeitet. Dieses erzeugt ein Bild (d. h. Vogelperspektivenbild), das die Nachbarschaft des eigenen Fahrzeugs und das eigene Fahrzeug im Rundblick von oben (panoramisch) repräsentiert. Danach wird das Vogelperspektivenbild auf einer Anzeige angezeigt.
In einem derartigen System wird jedes der Bilder, die unter Verwendung der Fahrzeugkameras erlangt werden, unter Verwendung von Parametern (im Folgenden als „Kameraparameter“ bezeichnet) in ein entsprechendes Vogelperspektivenbild umgewandelt. Die Kameraparameter werden im Voraus in jeder der Fahrzeugkameras festgelegt und entsprechen einer Installationsposition und einer Montagelage der Fahrzeugkamera. Die Vogelperspektivenbilder, die von den Bildern, die unter Verwendung der Fahrzeugkameras erlangt werden, erzeugt werden, werden im Folgenden aus Vereinfachungsgründen als „Teilvogelperspektivenbilder“ bezeichnet. Außerdem werden die Teilvogelperspektivenbilder, die von den Bildern erzeugt werden, die unter Verwendung der Fahrzeugbilder erlangt werden, durch eine Zusammensetzungsverarbeitung verbunden. Dadurch wird ein Vogelperspektivenbild (das auch als „integriertes Vogelperspektivenbild“ bezeichnet wird) erzeugt, das eine Nachbarschaft in sämtlichen Richtungen des eigenen Fahrzeugs zeigt.
In einer Betriebsunterstützungsvorrichtung, die ein Anzeigen des integrierten Vogelperspektivenbildes auf einer Anzeige ermöglicht, müssen die Kameraparameter nicht einer tatsächlichen Montagelage und tatsächlichen Montageposition der Fahrzeugkameras entsprechen. Dann ist eine Relativposition zwischen einem Objekt des Vogelperspektivenbildes und dem eigenen Fahrzeug nicht mit einer tatsächlichen Relativposition ausgerichtet.
Dann wird eine Differenz zwischen einer derzeitigen Installationsposition der Fahrzeugkamera und einer Entwurfsinstallationsposition erfasst. Außerdem wird ein Fehler zwischen einer derzeitigen Montagelage des Fahrzeugs und einer gewünschten Montagelage erfasst. Danach wurden verschiedene Verfahren zum Korrigieren der Kameraparameter in Parameter, die der derzeitigen Installationsposition an dem Fahrzeug und der derzeitigen Montagelage entsprechen, studiert. Das folgende Verfahren ist beispielsweise in dem Patentdokument 1 offenbart. Ein Nickwinkel und eine Montagehöhe der Fahrzeugkamera, die an dem Fahrzeug montiert ist, werden bestimmt. Danach werden der Nickwinkel und die Montagehöhe als Kameraparameter korrigiert. Außerdem ist ein Verfahren zum Auswerten eines Montagefehlers der Fahrzeugkamera in dem Patentdokument 2 offenbart.
Stand der Technik
Patentdokumente

Patentdokument 1: JP 2014-059 793 A
Patentdokument 2: JP 2010-199 712 A

Offenbarung der Erfindung
Gemäß den Verfahren, die in dem Patentdokument 1 und dem Patentdokument 2 offenbart sind, können die jeweiligen Kameraparameter eingestellt werden. Sogar wenn es möglich ist, eine Einstellung des Kameraparameters der Fahrzeugkamera zu verwirklichen, wird jedoch eine Gestalt eines Objektes oder Ähnliches in einer Nachbarschaft einer Verbindungsstelle zwischen den Teilvogelperspektivenbilden nach der Erzeugung des integrierten Vogelperspektivenbildes diskontinuierlich angezeigt. An der Verbindungsstelle zwischen den Teilvogelperspektivenbildern kann dieses zu einer Verwirrung eines Nutzers führen, da die Gestalt eines Objektes in dem integrierten Vogelperspektivenbild oder Ähnliches diskontinuierlich angezeigt wird.
Mittel zum Lösen der Probleme
Die vorliegende Erfindung entstand im Hinblick auf diese Situation und schafft eine Kameraparametereinstellvorrichtung, die eine Verringerung einer Fehlausrichtung zwischen einer Gestalt eines Objektes in einem integrierten Vogelperspektivenbild, das an einer Verbindungsstelle zwischen jeweiligen Teilvogelperspektivenbildern angezeigt wird, und einer tatsächlichen Position, bei der eine Gestalt des Objektes angeordnet ist, sogar dann ermöglicht, wenn ein Objekt des integrierten Vogelperspektivenbildes quer über mehrere Teilvogelperspektivenbilder angezeigt wird.
Die vorliegende Erfindung, die die obige Aufgabe löst, enthält mindestens zwei Kameras, eine Vogelperspektivenumwandlungsverarbeitungseinheit, einen Bezugskameraauswahlteil, ein Bild, das unter Verwendung einer Bezugskamera erlangt wird, einen ersten Relativpositionsspezifizierungsteil, einen zweiten Relativpositionsspezifizierungsteil, einen Bestimmungsteil, einen Verschiebungsgradberechnungsteil und einen Parameterberechnungsteil. Die Kameras sind in einem Fahrzeug montiert und erlangen jeweils unterschiedliche Bereiche in einer Umgebung des Fahrzeugs. Der Parameterspeicherteil speichert Kameraparameter, die eine Montageposition und eine Montagelage in Bezug auf das Fahrzeug angeben. Die Montageposition und die Montagelage werden für jede der Kameras festgelegt. Die Vogelperspektivenumwandlungsverarbeitungseinheit erzeugt Teilvogelperspektivenbilder, die jeweils ein Vogelperspektivenbild sind, das einem erlangten Bereich der Kamera entspricht, auf der Grundlage eines Bildes, das unter Verwendung der Kamera zusammen mit den Kameraparametern, die der Kamera entsprechen, erlangt wird. Der Bezugskameraauswahlteil bestimmt unter den Kameras eine Kamera als eine Bezugskamera, die eine Kamera ist, die die Kameraparameter einer vorbestimmten Kamera einstellt. Der erste Relativpositionsspezifizierungsteil spezifiziert eine Relativposition des Objektes, das unter Verwendung der Bezugskamera erlangt wird, in Bezug auf das Fahrzeug auf der Grundlage eines Bildes, das unter Verwendung der Bezugskamera zusammen mit den Kameraparametern, die der Bezugskamera entsprechen, erlangt wird. Eine eingestellte Zielkamera ist unter den Kameras eine Kamera mit Ausnahme der Bezugskamera, und deren Kameraparameter werden eingestellt. Der zweite Relativpositionsspezifizierungsteil spezifiziert eine Relativposition des Objektes, das unter Verwendung der eingestellten Zielkamera erlangt wird, in Bezug auf das Fahrzeug auf der Grundlage eines Bildes, das unter Verwendung der eingestellten Zielkamera zusammen mit den Kameraparametern, die der eingestellten Zielkamera entsprechen, erlangt wird. Der Bestimmungsteil bestimmt auf der Grundlage des Bildes, das unter Verwendung der Bezugskamera erlangt wird, zusammen mit dem Bild, das unter Verwendung der eingestellten Zielkamera erlangt wird, ob die Bezugskamera und die eingestellte Zielkamera dasselbe Objekt erlangt haben. Wenn der Bestimmungsteil bestimmt, dass die eingestellte Zielkamera und die Bezugskamera dasselbe Objekt erlangt haben, berechnet der Verschiebungsgradberechnungsteil einen Verschiebungsgrad zwischen der Relativposition, die unter Verwendung des zweiten Relativpositionsspezifizierungsteils spezifiziert wird, in Bezug auf ein gemeinsames abgebildetes Objekt und der Relativposition, die unter Verwendung des ersten Relativpositionsspezifizierungsteils in Bezug auf ein gemeinsames abgebildetes Objekt spezifiziert wird. Das gemeinsame abgebildete Objekt wird unter Verwendung der eingestellten Zielkamera zusammen mit der Bezugskamera erlangt. Der Parameterberechnungsteil berechnet die Kameraparameter (d. h. Übereinstimmungsparameter bzw. übereinstimmende Parameter) als Kameraparameter der eingestellten Zielkamera, und die Übereinstimmungsparameter weisen einen Verschiebungsgrad auf, der unter Verwendung des Verschiebungsgradberechnungsteils berechnet wird und gleich 0 wird. Die Vogelperspektivenumwandlungsverarbeitungseinheit verwendet die Übereinstimmungsparameter, die unter Verwendung des Parameterberechnungsteils berechnet werden, als Kameraparameter, wenn das Teilvogelperspektivenbild von dem Bild erzeugt wird, das unter Verwendung der eingestellten Zielkamera abgebildet wird.
Wenn gemäß der oben beschriebenen Konfiguration die Bezugskamera und die eingestellte Zielkamera dasselbe Objekt erlangen, berechnet der Verschiebungsgradberechnungsteil den Verschiebungsgrad zwischen der Relativposition des Objektes, das unter Verwendung eines Bildes bestimmt wird, das unter Verwendung der Bezugskamera erlangt wird, und der Relativposition des Objektes, das unter Verwendung eines Bildes bestimmt wird, das unter Verwendung der eingestellten Objektkamera erlangt wird. Außerdem berechnet der Parameterberechnungsteil Kameraparameter (d. h. Übereinstimmungsparameter), bei denen der Verschiebungsgrad, der von dem Verschiebungsgradberechnungsteil berechnet wird, gleich 0 ist, als Kameraparameter der eingestellten Zielkamera. Außerdem erzeugt die Vogelperspektivenumwandlungsverarbeitungseinheit das Teilvogelperspektivenbild unter Verwendung der berechneten Übereinstimmungsparameter in Bezug auf die Bilder, die unter Verwendung der eingestellten Zielkamera erlangt werden.
Die berechneten Übereinstimmungsparameter sind Kameraparameter, wenn die Relativposition des gemeinsamen abgebildeten Objektes, die von dem ersten Relativpositionsspezifizierungsteil spezifiziert wird, und die Relativposition des gemeinsamen abgebildeten Objektes, die von dem zweiten Relativpositionsspezifizierungsteil unter Verwendung der Übereinstimmungsparameter anstelle der voreingestellten Kameraparameter spezifiziert wird, übereinstimmen.
Das heißt, gemäß der oben beschriebenen Konfiguration wird eine Positionsbeziehung zwischen dem Objekt und dem Fahrzeug in dem Teilvogelperspektivenbild, das von dem Bild erzeugt wird, das unter Verwendung der eingestellten Zielkamera unter Verwendung der Übereinstimmungsparameter erlangt wird, in Übereinstimmung mit einer Positionsbeziehung zwischen dem Objekt und dem Fahrzeug in dem Teilvogelperspektivenbild gebracht, das von dem Bild erzeugt wird, das unter Verwendung der Bezugskamera erlangt wird.
Wie es oben bei dem Stand der Technik beschrieben wurde, werden die Teilvogelperspektivenbilder, der auf der Grundlage der Bilder erzeugt werden, die unter Verwendung der Kameras erlangt werden, verwendet, um ein Vogelperspektivenbild (d. h. integriertes Vogelperspektivenbild) zu erzeugen, das die Umgebung des Fahrzeugs panoramisch repräsentiert.
Gemäß der oben beschriebenen Konfiguration ist es gemäß einer Ausführungsform, die das integrierte Vogelperspektivenbild auf einer Anzeige zeigt, sogar dann, wenn ein Objekt über mehrere Teilvogelperspektivenbilder angezeigt wird, möglich, eine Fehlausrichtung zwischen der Gestalt des Objektes in dem integrierten Vogelperspektivenbild, das an der Verbindungsstelle zwischen den Teilvogelperspektivenbildern angezeigt wird, und der tatsächlichen Position, bei der die Gestalt des Objektes angeordnet ist, zu verringern.
Die Bezugszeichen in den Ansprüchen zeigen eine Entsprechung zu speziellen Einrichtungen, die in den Ausführungsformen beschrieben sind, die später als eine Ausführungsform beschrieben werden. Die vorliegende Erfindung wird durch diese Bezugszeichen jedoch nicht beschränkt.
Kurze Beschreibung der Zeichnungen
1 zeigt ein Blockdiagramm eines Beispiels einer schematischen Konfiguration eines Betriebsunterstützungssystems 100 gemäß der vorliegenden Ausführungsform;
2 zeigt ein Blockdiagramm eines Beispiels einer schematischen Konfiguration eines Steuerungsteils 1;
3 zeigt ein Diagramm zum Erläutern einer Änderung einer Positionsbeziehung zwischen einem entsprechenden Bereich eines Historienbildes, das mit einer Bewegung eines eigenen Fahrzeugs einhergeht, und dem eigenen Fahrzeug;
4 zeigt ein konzeptionelles Diagramm, das eine Umgebung, in der das eigene Fahrzeug fährt, einen vorderen Vogelperspektivenbereich Af und einen hinteren Vogelperspektivenbereich Ar zeigt.
5 zeigt eine Ansicht eines Beispiels eines integrierten Vogelperspektivenbildes.
6 zeigt ein Diagramm zum Erläutern einer Parameterberechnungsverarbeitung, wenn das eigene Fahrzeug vorwärts fährt;
7 zeigt eine Ansicht eines vorderen Vogelperspektivenbildes und eines hinteren Vogelperspektivenbildes zu einem Zeitpunkt T;
8 zeigt eine Ansicht eines vorderen Vogelperspektivenbildes und eines hinteren Vogelperspektivenbildes zu einem Zeitpunkt T + n;
9 zeigt ein Diagramm zum Erläutern einer Wirkung der vorliegenden Ausführungsform;
10 zeigt eine Ansicht eines Steuerungsteils 1 gemäß einer Modifikation;
11 zeigt eine Ansicht einer Konfiguration eines Betriebsunterstützungssystems 100 gemäß der Modifikation; und
12 zeigt ein konzeptionelles Diagramm zum Erläutern einer Wirkung einer Konfiguration einer Modifikation 5.
Modus zum Ausführen der Erfindung
Im Folgenden wird eine Ausführungsform der vorliegenden Erfindung beschrieben. 1 zeigt ein Blockdiagramm eines Beispiels einer schematischen Konfiguration eines Betriebsunterstützungssystems 100, das eine Kameraparametereinstellvorrichtung gemäß der vorliegenden Erfindung aufweist. Das Betriebsunterstützungssystem 100 unterstützt einen Fahrer bei einer Erkennung einer Situation einer Umgebung eines Fahrzeugs durch Umwandeln von Bildern, die unter Verwendung von Kameras erlangt werden, die vorbestimmte Bereiche außerhalb des Fahrzeugs erlangen, in Vogelperspektivenbilder und anschließendes Anzeigen dieser Bilder auf einer Anzeige. Im Folgenden wird ein Fahrzeug, an dem das Betriebsunterstützungssystem 100 montiert ist, als ein eigenes Fahrzeug bezeichnet, und es werden im Folgenden eine Konfiguration und ein Betrieb des Betriebsunterstützungssystems 100 beschrieben.
Das Betriebsunterstützungssystem 100 der vorliegenden Ausführungsform weist, wie es in 1 gezeigt ist, einen Steuerungsteil 1, eine Vorwärtskamera 2, eine Rückwärtskamera 3, einen Raddrehzahlsensor 4, einen Lenkwinkelsensor 5, einen Schaltpositionssensor 6 und eine Anzeige 7 auf. Der Steuerungsteil 1, die Vorwärtskamera 2, die Rückwärtskamera 3, der Raddrehzahlsensor 4, der Lenkwinkelsensor 5, der Schaltpositionssensor 6 und die Anzeige 7 sind über ein bekanntes Netzwerk in dem Fahrzeug kommunikativ miteinander verbunden. Der Steuerungsteil 1 steuert das Betriebsunterstützungssystem 100. Die Details des Steuerungsteils 1 werden unten beschrieben.
Die Vorwärtskamera 2 ist eine Kamera zum Erlangen eines vorbestimmten Bereiches (im Folgenden als „vorderer erlangter Bereich“ bezeichnet) vor dem eigenen Fahrzeug. Die Vorwärtskamera 2 kann mit einer Weitwinkellinse verwendet werden, die den erlangten Bereich in einem Weitwinkel (beispielsweise Winkel von 175°) erlangt, und ist beispielsweise eine bekannte CMOS-Kamera, eine CCD-Kamera oder Ähnliches. Die Vorwärtskamera 2 kann in der Nähe des mittleren Abschnitts in einer Fahrzeugbreitenrichtung des vorderen Stoßfängers des Fahrzeugs montiert sein, sodass der vorbestimmte Bereich vor dem eigenen Fahrzeug der erlangte Bereich ist.
Selbstverständlich ist die Installationsposition der Vorwärtskamera 2 nicht auf die Nachbarschaft des mittleren Abschnitts des vorderen Stoßfängers des Fahrzeugs in der Fahrzeugbreitenrichtung beschränkt, und die Kamera 2 kann beispielsweise an einer Position wie oben an der vorderen Windschutzscheibe und in der Nähe des Rückspiegels des Fahrzeugs montiert sein, um die Sicht des Fahrers auf die Straße vor dem Fahrzeug nicht zu blockieren. Ein Bildsignal, das unter Verwendung der Vorwärtskamera 2 erlangt wird, wird aufeinanderfolgend an den Steuerungsteil 1 ausgegeben.
Die Rückwärtskamera 3 ist eine Kamera zum Erlangen eines vorbestimmten Bereiches der Rückseite des Fahrzeugs (im Folgenden als „hinterer erlangter Bereich“ bezeichnet). Für die Rückwärtskamera 3 kann ähnlich wie für die Vorwärtskamera 2 eine bekannte CMOS-Kamera, CCD-Kamera oder Ähnliches verwendet werden, die einen Weitwinkelabbildungsbereich mit einer Weitwinkellinse aufnimmt. Die Rückwärtskamera 3 kann beispielsweise in der Nähe des mittleren Abschnitts des hinteren Stoßfängers des Fahrzeugs in der Fahrzeugbreitenrichtung montiert sein, sodass der vorbestimmte Bereich der Rückseite des Fahrzeugs der erlangte Bereich ist.
Selbstverständlich ist die Installationsposition der Rückwärtskamera 3 nicht auf die Nachbarschaft des mittleren Abschnitts des hinteren Stoßfängers des Fahrzeugs in der Fahrzeugbreitenrichtung beschränkt, und die Rückwärtskamera 3 kann beispielsweise an einer Position wie beispielsweise der oberen Seite der hinteren Scheibe des Fahrzeugs montiert sein und die Rücksicht des Fahrers nicht blockieren. Ein Bildsignal, das unter Verwendung der Rückwärtskamera 3 erlangt wird, wird aufeinanderfolgend an den Steuerungsteil 1 ausgegeben.
Im Folgenden wird eine Kamera einfach als „Fahrzeugkamera“ bezeichnet, wenn zwischen der Vorwärtskamera 2 und der Rückwärtskamera 3 nicht unterschieden wird.
Der Raddrehzahlsensor 4 gibt aufeinanderfolgend Pulssignale (beispielsweise alle wenige zehn Millisekunden) entsprechend einer Drehgeschwindigkeit eines Rads aus. Der Steuerungsteil 1 verwendet die Pulssignale, die von dem Raddrehzahlsensor 4 eingegeben werden, durch Umwandeln dieser in eine Fahrzeuggeschwindigkeit unter Verwendung eines bekannten Verfahrens. Der Lenkwinkelsensor 5 erfasst aufeinanderfolgend Lenkwinkel und gibt aufeinanderfolgend Signale entsprechend den Lenkwinkeln aus. Der Lenkwinkelsensor 5 kann beispielsweise einen Drehmomentsensor oder Ähnliches verwenden, der ein Drehmoment erfasst, das erzeugt wird, wenn ein Nutzer das Lenkrad betätigt. Der Schaltpositionssensor 6 erfasst eine Schaltposition des Fahrzeugs und gibt ein Signal entsprechend der erfassten Schaltposition an den Steuerungsteil 1 aus. Die Schaltposition weist eine Rückwärtsposition zum Übertragen einer Antriebskraft zum rückwärts Fahren des eigenen Fahrzeugs und eine Vorwärtsposition zum vorwärts Fahren des eigenen Fahrzeugs auf.
Die Anzeige 7 zeigt Text und Bilder auf der Grundlage von Signalen, die von dem Steuerungsteil 1 eingegeben werden, an. Die Anzeige 7 kann eine Vollfarbenanzeige sein und kann aus einer Flüssigkristallanzeige, einer organischen EL-Anzeige oder Ähnlichem ausgebildet sein. Gemäß einem Beispiel ist die Anzeige 7 eine Anzeige, die in der Nähe des mittleren Teils des Armaturenbrettes des Fahrzeugs in der Fahrzeugbreitenrichtung angeordnet ist. Gemäß anderen Ausführungsformen kann die Anzeige 7 auch eine Anzeige sein, die an einer Messgeräteeinheit montiert ist. Außerdem kann die Anzeige 7 eine bekannte Head-up-Anzeige sein.
Der Steuerungsteil 1 ist als ein typischer Computer ausgebildet. Außerdem sind eine bekannte CPU 11, ein Speicher 12, ein Speicher 13, eine Eingangs/Ausgangsschnittstelle (im Folgenden als „I/O“ bezeichnet) und eine Busleitung, die diese miteinander verbindet, in dem Steuerungsteil 1 enthalten.
Die CPU 11, die ein bekannter zentraler Verarbeitungsprozessor ist, führt verschiedene Arithmetikprozesse unter Verwendung des Speichers 12 als ein Arithmetikbereich aus. Es ist ausreichend, wenn der Speicher 12 eine Verarbeitung unter Verwendung beispielsweise eines zeitweiligen Speichermediums wie beispielsweise eines RAM durchführt. Außerdem dient der Speicher 12 als eine Hauptspeichervorrichtung in Bezug auf die CPU 11. Es ist ausreichend, wenn der Speicher 13 eine Verarbeitung unter Verwendung eines nichtflüchtigen Speichermediums wie beispielsweise eines ROM oder eines Flash-Speichers durchführt. Außerdem dient der Speicher 13 als ein Hilfsspeicher in Bezug auf die CPU 11. In der vorliegenden Ausführungsform ist nur eine CPU 11 gezeigt, es können jedoch mehrere CPUs 11 vorhanden sein.
Die I/O steuert ein Senden und Empfangen von Verarbeitungsdaten, die zwischen dem Steuerungsteil 1 und beispielsweise einer externen Vorrichtung, die mit dem Steuerungsteil 1 verbunden ist, beispielsweise der Vorwärtskamera 2 und der Rückwärtskamera 3, ausgetauscht werden. Die I/O wandelt Bildsignale, die von der Vorwärtskamera 2 und der Rückwärtskamera 3 eingegeben werden, in Bilddaten um, die eine Form aufweisen, die einen Bildprozess zum Erzeugen eines unten beschriebenen Vogelperspektivenbildes ermöglicht, und dann wird das verarbeitete Bild in dem Speicher 12 gespeichert.
Der Speicher 13 enthält ein Programm zum Ausführen verschiedener Prozesse. Außerdem enthält der Speicher 13 die Kameraparameter, die im Voraus in jeder der Fahrzeugkameras festgelegt werden. Die Kameraparameter weisen Parameter (im Folgenden als „Montageparameter“ bezeichnet), die eine Installationsposition und eine Montagelage der Fahrzeugkamera in Bezug auf die Mitte des eigenen Fahrzeugs angeben, und Parameter (im Folgenden als „Abbildungsparameter“ bezeichnet), die einen Linsenverzerrungskoeffizienten, eine Brennweite, eine Mitte einer optischen Achse, eine Pixelgröße und ein Pixelverhältnis angeben, auf.
Es ist ausreichend, wenn die Installationsposition der Fahrzeugkamera beispielsweise mittels dreidimensionaler Koordinaten in einem System mit einem Ursprung, einer X-Achse, einer Y-Achse und einer Z-Achse angegeben wird. Der Ursprung ist die Mitte des eigenen Fahrzeugs, die X-Achse ist eine Richtung in einer Fahrzeuglängsrichtung, die Y-Achse ist eine Fahrzeugbreitenrichtung und die Z-Achse ist eine vertikale Richtung des Fahrzeugs. Die Montagelage legt eine Richtung einer optischen Achse der Fahrzeugkamera fest. Es ist beispielsweise ausreichend, wenn die Montagelage durch Winkel (d. h. Nickwinkel, Wankwinkel und Gierwinkel) der optischen Achse der Fahrzeugkamera in Bezug auf jeweils die X-Achse, Y-Achse und Z-Achse angegeben wird.
Die Mitte des eigenen Fahrzeugs als Bezugspunkt zum Definieren der Installationsposition beispielsweise auf der Mittellinie des Fahrzeugs, die beispielweise äquidistant zu beiden Seiten des Fahrzeugs ist, ist ein Punkt, bei dem die Abstände von dem Punkt zu dem jeweiligen Fahrzeugvorderende und Fahrzeughinterende gleich sind. Selbstverständlich kann der Bezugspunkt auch eine Position sein, die in der Mitte der Hinterradachse des Fahrzeugs in der Fahrzeugbreitenrichtung angeordnet ist.
Die Abbildungsparameter werden verwendet, um eine Verzerrungskorrektur oder Ähnliches für Bilddaten, die unter Verwendung der Fahrzeugkamera erlangt werden, durchzuführen. Außerdem werden die Montageparameter zur Blickpunktumwandlung von einem Bild, das einer Verzerrungskorrekturverarbeitung (oder Koordinatentransformation) unterzogen wurde, und zum Spezifizieren einer Relativposition eines Objektes in Bezug auf das Fahrzeug von einer Position des Objektes in einem erlangten Bild verwendet.
Eine Bereich 13a, der die Kameraparameter speichert, unter Speicherbereichen des Speichers 13 entspricht einem Parameterspeicherteil in den Ansprüchen. Außerdem speichert der Speicher 13 Daten eines Bildes, das das eigene Fahrzeug in der Draufsicht repräsentiert.
Der Steuerungsteil 1 ist ein Funktionsblock, der durch Ausführen des Programmes, das in dem Speicher 13 enthalten ist, erzielt wird. Wie es in 2 gezeigt ist, enthält der Steuerungsteil 1 einen Parametererlangungsteil F1, einen Vogelperspektivenumwandlungsverarbeitungsteil F2, einen Verschiebungsspezifizierungsteil F3, einen Historienbildverwaltungsteil F4, einen Interpolationsvogelperspektivenbilderzeugungsteil F5, einen Bildsynthetisierungsteil F6 und einen Anzeigeverarbeitungsteil F7. Zusätzlich zu den oben beschriebenen Funktionen enthält der Steuerungsteil 1 einen Bezugskameraeinstellteil F8, einen Gemeinsam-Abbildungsobjektbestimmungsteil F9, einen Vorderseitenrelativpositionsspezifizierungsteil G1, einen Rückseitenrelativpositionsspezifizierungsteil G2, einen Abweichungsgradberechnungsteil G3 und einen Parameterberechnungsteil G4. Einige oder sämtliche der Funktionen des Steuerungsteils 1 können optional durch eine oder mehrere ICs oder Ähnliches bereitgestellt werden oder können als zweckgebundene Hardware ausgebildet sein. Der Steuerungsteil 1 entspricht der Kameraparametereinstellvorrichtung in den Ansprüchen.
Zunächst nimmt der Parametererlangungsteil F1 Bezug auf den Speicher 13 und erlangt Kameraparameter für jede Fahrzeugkamera. Außerdem weist der Parametererlangungsteil F1 der vorliegenden Ausführungsform einen Fehlerkorrekturteil F11 auf, der einer Kameramontagefehlerkompensationsfunktion entspricht, die in dem Patentdokument 1 beschrieben ist.
Hinsichtlich eines Nickwinkels und einer Montagehöhe unter verschiedenen Parametern, die den Fahrzeugkameras entsprechen, berechnet der Fehlerkorrekturteil F11 einen Fehler zwischen einem tatsächlichen Nickwinkel und einem Entwurfsnickwinkel der Fahrzeugkamera und berechnet einen Fehler zwischen einer tatsächlichen Montagehöhe und einer Entwurfsmontagehöhe der Fahrzeugkamera. Außerdem werden der Nickwinkel und die Montagehöhe unter Verwendung des berechneten Fehlers korrigiert. Das heißt, der Fehlerkorrekturteil F11 korrigiert unter den verschiedenen Kameraparametern den Nickwinkel und die Montagehöhe. Daten (Fehlerdaten), die den Fehler zwischen dem tatsächlichen Nickwinkel und dem Entwurfsnickwinkel und den Fehler zwischen der tatsächlichen Montagehöhe und der Entwurfsmontagehöhe angeben und die unter Verwendung des Fehlerkorrekturteils F11 erlangt werden, werden in dem Bezugskameraeinstellteil 8 verwendet. Der Fehlerkorrekturteil F11 entspricht einem Fehlerberechnungsteil in den Ansprüchen.
Der Vogelperspektivenumwandlungsverarbeitungsteil F2 erzeugt das Vogelperspektivenbild (d. h. Teilvogelperspektivenbild) entsprechend einem erlangten Bereich einer jeweiligen Fahrzeugkamera aus den Bilddaten, die von der jeweiligen Fahrzeugkamera erlangt wurden und in dem Speicher 12 gespeichert sind. Der Vogelperspektivenumwandlungsverarbeitungsteil F2 führt beispielsweise eine bekannte Verzerrungskorrekturverarbeitung in Bezug auf die Bilddaten, die unter Verwendung der Vorwärtskamera 2 erlangt werden, unter Verwendung von Verzerrungskorrekturparametern der Vorwärtskamera 2 aus. Dann wird für ein Bild, das der Verzerrungskorrekturverarbeitung unterzogen wurde, eine Blickpunktumwandlungsverarbeitung unter Verwendung der Kameraparameter der Vorwärtskamera 2 durchgeführt. Dadurch wird ein Teilvogelperspektivenbild (vorderes Vogelperspektivenbild), das einem erlangten Bereich der Vorwärtskamera 2 entspricht, erzeugt. Im Folgenden wird eine Folge von Verarbeitungen zum Erzeugen des Teilvogelperspektivenbildes aus dem erlangten Bild auch als Vogelperspektivenumwandlungsverarbeitung bezeichnet.
In dem Vogelperspektivenumwandlungsverarbeitungsteil F2 ist ein Prozess zum Erzeugen eines Teilvogelperspektivenbildes (hinteres Vogelperspektivenbild), das einem Bereich entspricht, der von der Rückwärtskamera 3 erlangt wird, aus Bilddaten, die von der Rückwärtskamera 3 erlangt werden, derselbe wie der Prozess zum Erzeugen des vorderen Vogelperspektivenbildes aus den Bilddaten, die von der Vorwärtskamera 2 erlangt werden. Der Vogelperspektivenumwandlungsverarbeitungsteil F2 erzeugt ein hinteres Vogelperspektivenbild auf der Grundlage der Bilddaten, die von der Rückwärtskamera 3 erlangt werden, und der Kameraparameter, die der Rückwärtskamera 3 entsprechen.
Das vordere Vogelperspektivenbild ist ein Bild, das panoramisch einen vorbestimmten Bereich von dem vorderen erlangten Bereich repräsentiert, und das hintere Vogelperspektivenbild ist ein Bild, das panoramisch einen vorbestimmten Bereich von dem hinteren erlangten Bereich repräsentiert. Im Folgenden ist in einem Umgebungsbereich des Fahrzeugs ein Bereich, der das vordere Vogelperspektivenbild repräsentiert, ein vorderer Vogelperspektivenbildbereich, und ein Bereich, der das hintere Vogelperspektivenbild repräsentiert, ein hinterer Vogelperspektivenbildbereich.
Der vordere Vogelperspektivenbildbereich und der hintere Vogelperspektivenbildbereich, die unter Verwendung des Vogelperspektivenumwandlungsverarbeitungsteils F2 erzeugt werden, werden zeitweilig in dem Speicher 12 gespeichert und von anderen Funktionsblöcken verwendet. Das aktualisierte Teilvogelperspektivenbild, das aufeinanderfolgend von dem Vogelperspektivenumwandlungsverarbeitungsteil F2 erzeugt wird, ist ein Vogelperspektivenbild, das einen derzeitigen Zustand eines erlangten Bereiches der Fahrzeugkamera in Echtzeit repräsentiert.
In dem Speicher 12 werden das vordere Vogelperspektivenbild und das hintere Vogelperspektivenbild unterscheidbar gespeichert. Außerdem können das vordere Vogelperspektivenbild und das hintere Vogelperspektivenbild, die mehrmals erzeugt wurden, in zeitlicher Reihenfolge sortiert und gespeichert werden. Unter den Speicherbereichen in dem Speicher 12 entspricht ein Bereich 12a, der das Teilvogelperspektivenbild entsprechend der Fahrzeugkamera speichert, einem Bilddatenspeicherteil in den Ansprüchen. Hier ist beispielhaft eine Ausführungsform dargestellt, die den Bilddatenspeicherteil in dem Speicher 12 bereitstellt, der Bilddatenspeicherteil kann jedoch auch in dem Speicher 13 angeordnet sein.
Der Verschiebungsspezifizierungsteil F3 berechnet eine Verschiebung des eigenen Fahrzeugs zwischen einem bestimmten Zeitpunkt und dem derzeitigen Zeitpunkt auf der Grundlage von Signalen, die von dem Raddrehzahlsensor 4, dem Lenkwinkelsensor 5 und dem Schaltpositionssensor 6 eingegeben werden. Die Verschiebung des eigenen Fahrzeugs enthält eine Bewegungsstrecke und eine Bewegungsrichtung. Die Bestimmung einer Änderung der Position des eigenen Fahrzeugs anhand von Fahrzeuginformationen kann gemäß einem bekannten Verfahren durchgeführt werden.
Der Verschiebungsspezifizierungsteil F3 spezifiziert beispielsweise aufeinanderfolgend die derzeitige Fahrzeuggeschwindigkeit auf der Grundlage des Signals, das von dem Raddrehzahlsensor 4 eingegeben wird, und berechnet die Bewegungsstrecke je Zeiteinheit durch Integrieren der Fahrzeuggeschwindigkeit. Außerdem spezifiziert der Verschiebungsspezifizierungsteil F3 die Bewegungsrichtung des eigenen Fahrzeugs auf der Grundlage des Signals, das von dem Schaltpositionssensor 6 eingegeben wird, zusammen mit dem Signal, das von dem Lenkwinkelsensor 5 eingegeben wird. Eine Größe einer Änderung der Fahrzeugposition, die der Verschiebungsspezifizierungsteil F3 aufeinanderfolgend berechnet, wird von dem Historienbildverwaltungsteil F4 oder Ähnlichem verwendet.
Außerdem bestimmt der Verschiebungsspezifizierungsteil F3, ob das eigene Fahrzeug vorwärts oder rückwärts fährt. Der Verschiebungsspezifizierungsteil F3 bestimmt beispielsweise auf der Grundlage des Signals, das von dem Schaltpositionssensor 6 eingegeben wird, ob das eigene Fahrzeug vorwärts oder rückwärts fährt. Das Verfahren zum Bestimmen, ob das eigene Fahrzeug vorwärts oder rückwärts fährt (d. h. die Fahrtrichtung), ist nicht darauf beschränkt. Wenn beispielsweise ein Sensor zum Erfassen der Drehrichtung eines Reifens vorhanden ist, kann auch anhand der Drehrichtung bestimmt werden, ob das Fahrzeug vorwärts oder rückwärts fährt. Wenn ein GPS-Empfänger oder Ähnliches vorhanden ist, kann auch anhand einer zeitlichen Änderung einer Position des eigenen Fahrzeugs, die entsprechend einem Empfangsergebnis des GPS-Empfängers bestimmt wird, bestimmt werden, ob das eigene Fahrzeug vorwärts oder rückwärts fährt.
Der Historienbildverwaltungsteil F4 verwaltet mehrere vordere Vogelperspektivenbilder und hintere Vogelperspektivenbilder, die in dem Speicher 12 gespeichert sind. Insbesondere verwaltet der Historienbildverwaltungsteil F4 auf der Grundlage der Verschiebung, die der Verschiebungsspezifizierungsteil F3 spezifiziert, für jedes der Teilvogelperspektivenbilder Relativpositionen von Bereichen (im Folgenden als „entsprechender Bereich“ bezeichnet), die unter Verwendung des Teilvogelperspektivenbildes eines Umgebungsbereiches des eigenen Fahrzeugs repräsentiert werden. Das heißt, auf der Grundlage einer Verschiebung des eigenen Fahrzeugs zwischen einem bestimmten Zeitpunkt, zu dem das Teilvogelperspektivenbild erzeugt wurde, und dem derzeitigen Zeitpunkt wird ein entsprechender Bereich des Teilvogelperspektivenbildes aufeinanderfolgend berechnet und aktualisiert.
3 zeigt eine Ansicht zum Erläutern einer Änderung einer Positionsbeziehung zwischen einem entsprechenden Bereich (Entsprechungsbereich) des Teilvogelperspektivenbildes und dem eigenen Fahrzeug, wobei die Änderung der Positionsbeziehung mit einer Bewegung des eigenen Fahrzeugs einhergeht. Wie es auf der linken Seite der 3 gezeigt ist, ist ein entsprechender Bereich eines vorderen Vogelperspektivenbildes If (T1), das zu dem Zeitpunkt T1 erzeugt wird, der vordere Vogelperspektivenbildbereich. Die rechte Seite der 3 zeigt eine Positionsbeziehung zwischen dem entsprechenden Bereich des vorderen Vogelperspektivenbildes If (T1) und dem eigenen Fahrzeug zwischen dem Zeitpunkt T1 und einem Punkt (im Folgenden als „Zeitpunkt T2“ bezeichnet), zu dem sich das eigene Fahrzeug um 0,3 m seit dem Zeitpunkt T1 vorwärts bewegt hat.
Der vordere Vogelperspektivenbildbereich selbst weist eine konstante Relativposition in Bezug auf das eigene Fahrzeug auf. Das heißt, ein entsprechender Bereich des vorderen Vogelperspektivenbildes If (T2), das zu dem Zeitpunkt T2 erzeugt wird, ist der vordere Vogelperspektivenbildbereich. Andererseits ist der entsprechende Bereich des vorderen Vogelperspektivenbildes If (T1) ein Bereich, der, wie es in 5 gezeigt ist, entsprechend der Vorwärtsbewegung des eigenen Fahrzeugs nur 0,3 m hinter dem Vogelperspektivenbildbereich des eigenen Fahrzeugs liegt.
Der Historienbildverwaltungsteil F4 aktualisiert aufeinanderfolgend den entsprechenden Bereich des Teilvogelperspektivenbildes für jedes Teilvogelperspektivenbild auf der Grundlage der Verschiebung, die der Verschiebungsspezifizierungsteil F3 spezifiziert. Der entsprechende Bereich jedes Teilvogelperspektivenbildes kann in Koordinaten einer XY-Ebene ausgedrückt werden, die durch X- und Y-Achsen ausgebildet wird, die in einem XYZ-Koordinatensystem enthalten sind, wie es oben beschrieben wurde. Daten, die den entsprechenden Bereich angeben, der in Zuordnung zu dem Teilvogelperspektivenbild zu speichern ist, entsprechen einem Beispiel der Positionsspezifizierungsdaten in den Ansprüchen.
Gemäß einem Aspekt der vorliegenden Ausführungsform wird das Teilvogelperspektivenbild gesichert wie es ist (d. h. in voller Größe), gemäß anderen Aspekten ist es jedoch möglich, auch nur einen Differenzteil zwischen einem neu erzeugten Teilvogelperspektivenbild und einem alten Teilvogelperspektivenbild aus den alten Teilvogelperspektivenbildern zu sichern. Der Differenzteil kann beispielsweise einen Bereich des vorderen Vogelperspektivenbild If (T1) in 5 enthalten, der sich nicht mit dem vorderen Vogelperspektivenbild If (T2) überdeckt.
Ohne aufeinanderfolgend den entsprechenden Bereich des Teilvogelperspektivenbildes zu aktualisieren, werden gemäß anderen Aspekten Informationen (beispielsweise Zeitinformationen oder Positionsinformationen) zum Spezifizieren der Position des eigenen Fahrzeugs zu dem Zeitpunkt, zu dem das Teilvogelperspektivenbild erzeugt wurde, gespeichert, und dann kann der entsprechende Bereich des Teilvogelperspektivenbildes auch nach Bedarf berechnet werden. Dieses kommt daher, dass, wenn Zeitinformationen und Positionsinformationen zu dem Zeitpunkt, zu dem das Teilvogelperspektivenbild erzeugt wurde, verfügbar sind, das entsprechende Bild des Teilvogelperspektivenbildes in Bezug auf eine derzeitige Position des eigenen Fahrzeugs rückwärts berechnet werden kann. Wenn es beispielsweise Zeitinformationen zu dem Zeitpunkt, zu dem das Teilvogelperspektivenbild erzeugt wurde, vorhanden sind, ist es möglich, den entsprechenden Bereich des Teilvogelperspektivenbildes in Bezug auf die derzeitige Position des eigenen Fahrzeugs aus einer Gesamtverschiebung des eigenen Fahrzeugs, das sich zwischen dem Zeitpunkt, zu dem das Teilvogelperspektivenbild aufgenommen wurde, und dem derzeitigen Zeitpunkt bewegt hat, rückwärts zu berechnen. Das heißt, die Zeit und die der Zeit entsprechenden Positionsinformationen, wenn das Teilvogelperspektivenbild erzeugt wird, sind ein Beispiel von Positionsspezifizierungsdaten in den Ansprüchen.
Unter den Teilvogelperspektivenbildern für jede Fahrzeugkamera, die in dem Speicher 12 gespeichert werden, wird das Teilvogelperspektivenbild mit der Ausnahme des aktualisierten Teilvogelperspektivenbildes auch als „Historienbild“ bezeichnet. Außerdem wird ein vorheriges vorderes Vogelperspektivenbild auch als „vorderes Historienbild“ bezeichnet. Ein nicht aktualisiertes hinteres Vogelperspektivenbild wird auch als „hinteres Historienbild“ bezeichnet.
Der Interpolationsvogelperspektivenbilderzeugungsteil F5 erzeugt auf der Grundlage des Historienbildes, das in dem Speicher 12 gespeichert ist, das Teilvogelperspektivenbild (im Folgenden als „Interpolationsvogelperspektivenbild“ bezeichnet), das einen Bereich repräsentiert, der zwischen dem vorderen Vogelperspektivenbildbereich und dem hinteren Vogelperspektivenbildbereich angeordnet ist. Wenn beispielsweise der Verschiebungsspezifizierungsteil F3 bestimmt, dass das eigene Fahrzeug vorwärts fährt, wird das Interpolationsvogelperspektivenbild auf der Grundlage des Historienbildes erzeugt. Wenn der Verschiebungsspezifizierungsteil F3 bestimmt, dass das eigene Fahrzeug rückwärts fährt, wird das Interpolationsvogelperspektivenbild auf der Grundlage des hinteren Historienbildes erzeugt. Das heißt, das Interpolationsvogelperspektivenbild wird auf der Grundlage des Teilvogelperspektivenbildes erzeugt, das von einem jeweiligen Bild erzeugt wird, das unter Verwendung der Fahrzeugkamera (im Folgenden als „Bewegungsrichtungskamera“ bezeichnet) in einer Bewegungsrichtung des eigenen Fahrzeugs erlangt wird.
Der Bildsynthetisierungsteil F6 erzeugt durch Synthetisieren eines aktualisierten vorderen Vogelperspektivenbildes, eines aktualisierten hinteren Vogelperspektivenbildes und des Interpolationsvogelperspektivenbildes Bilder (im Folgenden als „Integrationsvogelperspektivenbilder“ bezeichnet), die einen vorbestimmten Bereich des eigenen Fahrzeugs und eine Nachbarschaft des eigenen Fahrzeugs von oberhalb des eigenen Fahrzeugs panoramisch repräsentieren. Der Bildsynthetisierungsteil F6 entspricht einem Vogelperspektivenbildintegrationsprozessor in den Ansprüchen. Das Teilvogelperspektivenbild des eigenen Fahrzeugs in den integrierten Vogelperspektivenbildern wird aus dem Speicher 13 ausgelesen.
Entsprechend dem Beispiel, das in 4 gezeigt ist, ist das integrierte Vogelperspektivenbild, das erzeugt wird, wenn das eigene Fahrzeug vorwärts auf einer Fahrspur fährt, die unter Verwendung von weißen Linien L1, L2 begrenzt wird, in 5 gezeigt. Ein Bereich, der in 4 von einer gestrichelten Linie umgeben ist und mit dem Zeichen Af angegeben ist, zeigt ein Beispiel des vorderen Vogelperspektivenbildbereiches. Ein Bereich, der von einer gestrichelten Linie umgeben und mit dem Zeichen Ar angegeben ist, zeigt ein Beispiel des hinteren Vogelperspektivenbildbereiches.
Wie es in 5 gezeigt ist, ist das integrierte Vogelperspektivenbild ein Bild, wenn ein aktualisiertes vorderes Vogelperspektivenbild If, ein aktualisiertes hinteres Vogelperspektivenbild Ir und ein Interpolationsvogelperspektivenbild Im jeweils an vorbestimmten Positionen auf der Grundlage des eigenen Fahrzeugs angeordnet sind. Gemäß einem Beispiel ist bei einer Verbindungsstelle zwischen den Teilvogelperspektivenbildern in dem integrierten Vogelperspektivenbild ein Aspekt zum Anzeigen von Grenzlinien B1, B2 dargestellt, die Verbindungsstellen repräsentieren. Gemäß anderen Aspekten kann es jedoch auch ausreichend sein, die Grenzlinien B1, B2 nicht anzuzeigen.
Das Interpolationsvogelperspektivenbild Im wird auf der Grundlage des vorderen Historienbildes erzeugt. Daher ist eine weiße Linie L1f kontinuierlich zu einer weißen Linie L1m, und die weiße Linie L1f und die weiße Linie L1m sind Bilder, die der weißen Linie L1 entsprechen. Eine weiße Linie L2f ist kontinuierlich zu einer weißen Linie L2m, wobei die weiße Linie L2f und die weiße Linie L2m sind Bilder, die der weißen Linie L2 an einer Verbindungsstelle zwischen dem Interpolationsvogelperspektivenbild Im und dem vorderen Historienbild entsprechen. Andererseits unterscheidet sich die Fahrzeugkamera, die die Bilddaten des Ursprungs des integrierten Vogelperspektivenbildes an einer Verbindungsstelle zwischen dem hinteren Vogelperspektivenbild Ir und dem Interpolationsvogelperspektivenbild Im erlangt, von der Fahrzeugkamera, die die Bilddaten des Ursprungs des integrierten Vogelperspektivenbildes an einer Verbindungsstelle zwischen dem Interpolationsvogelperspektivenbild Im und dem vorderen Historienbild erlangt. Daher kann eine Abweichung zwischen Charakteristika der Fahrzeugkameras erzeugt werden. Das heißt, die weiße Linie L1m kann nicht kontinuierlich zu der weißen Linie L1r sein, und die weiße Linie L2m kann nicht kontinuierlich zu der weißen Linie L2r sein.
Die vorliegende Ausführungsform enthält den Interpolationsvogelperspektivenbilderzeugungsteil F5, und das Interpolationsvogelperspektivenbild ist in dem integrierten Vogelperspektivenbild enthalten. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Die vorliegende Ausführungsform kann optional den Interpolationsvogelperspektivenbilderzeugungsteil F5 nicht enthalten.
Der Anzeigeverarbeitungsteil F7 zeigt das integrierte Vogelperspektivenbild, das unter Verwendung des Bildsynthetisierungsteils F6 erzeugt wurde, auf einer Anzeige 7 an. Der Bezugskameraeinstellteil F8 stellt mindestens eine aus der Vorwärtskamera 2 und der Rückwärtskamera 3 als die Fahrzeugkamera (im Folgenden als „Bezugskamera“ bezeichnet) als ein Bezug ein, wenn Übereinstimmungsparameter, die später beschrieben werden, bestimmt werden. In der vorliegenden Ausführungsform stellt der Bezugskameraeinstellteil F8 die Bezugskamera auf der Grundlage der Fehlerdaten jeder Fahrzeugkamera, die von dem Parametererlangungsteil F1 erlangt werden, ein.
Genauer gesagt wird die Zuverlässigkeit der Vorwärtskamera 2 durch einen Fehler zwischen einem tatsächlichen Nickwinkel und einem Entwurfsnickwinkel in der Vorwärtskamera 2 und durch einen Fehler zwischen einer tatsächlichen Montagehöhe und einer Entwurfsmontagehöhe der Vorwärtskamera 2 berechnet. Außerdem wird die Zuverlässigkeit der Rückwärtskamera 3 durch einen Fehler zwischen einem tatsächlichen Nickwinkel und einem Entwurfsnickwinkel der Rückwärtskamera 3 und durch einen Fehler zwischen einer tatsächlichen Montagehöhe und einer Entwurfsmontagehöhe der Rückwärtskamera 3 berechnet. Der Bezugskameraeinstellteil F8, der einen Zuverlässigkeitsberechnungsteil F81 aufweist, wird zum Berechnen der Zuverlässigkeit jeder der Fahrzeugkameras verwendet. Der Zuverlässigkeitsberechnungsteil F81 entspricht einem Zuverlässigkeitsauswertungsteil in den Ansprüchen.
Der Bezugskameraeinstellteil F8 wählt die Fahrzeugkamera, deren Zuverlässigkeit, die unter Verwendung des Zuverlässigkeitsberechnungsteils F81 berechnet wurde, die höhere von der Vorwärtskamera 2 und der Rückwärtskamera 3 ist, als Bezugskamera aus. Werte des Fehlers zwischen dem tatsächlichen Nickwinkel und dem Entwurfsnickwinkel in der Fahrzeugkamera und des Fehlers zwischen der tatsächlichen Montagehöhe und der Entwurfsmontagehöhe der Fahrzeugkamera werden als Variablen verwendet. Die Zuverlässigkeit kann unter Verwendung einer vorbestimmten Funktion, die die Variablen enthält, einer Tabelle oder Ähnlichem berechnet werden. Wenn der Wert des Fehlers zwischen dem tatsächlichen Nickwinkel und dem Entwurfsnickwinkel der Fahrzeugkamera größer ist und wenn der Wert des Fehlers zwischen der tatsächlichen Montagehöhe und der Entwurfsmontagehöhe der Fahrzeugkamera größer ist, wird die Zuverlässigkeit kleiner.
Gemäß einem Beispiel wird der Montagefehler der Fahrzeugkamera mittels eines Verfahrens, das in dem Patentdokument 1 beschrieben ist, ausgewertet, und es wird ein Verfahren zum Berechnen der Zuverlässigkeit für jede der Fahrzeugkameras verwendet. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Der Montagefehler einer Fahrzeugkamera kann beispielsweise mittels eines Verfahrens ausgewertet werden, das in dem Patentdokument 2 beschrieben ist, und es kann die Zuverlässigkeit für jede der Fahrzeugkameras berechnet werden.
Der Bezugskameraeinstellteil F8 entspricht einem Bezugskameraauswahlteil in den Ansprüchen. Im Folgenden wird die Fahrzeugkamera, die als Bezugskamera bestimmt wird, auch als „Bezugskamera“ bezeichnet, und die Fahrzeugkamera, die nicht als Bezugskamera verwendet wird, wird auch als „Übereinstimmungszielkamera“ bezeichnet. Die Übereinstimmungszielkamera entspricht einer eingestellten Zielkamera in den Ansprüchen.
Der Gemeinsam-Abbildungsobjektbestimmungsteil F9 bestimmt, ob die Vorwärtskamera 2 und die Rückwärtskamera 3 dasselbe Objekt (im Folgenden als „gemeinsames abgebildetes Objekt“ bezeichnet) abgebildet haben. Der Betrieb des Gemeinsam-Abbildungsobjektbestimmungsteils F9 wird später beschrieben. Der Gemeinsam-Abbildungsobjektbestimmungsteil F9 entspricht einem Bestimmungsteil in den Ansprüchen.
Der Vorderseitenrelativpositionsspezifizierungsteil G1 spezifiziert eine Relativposition des gemeinsamen abgebildeten Objektes auf der Grundlage des vorderen Vogelperspektivenbildes, das das aktualisierte vordere Vogelperspektivenbild enthält, das in dem Speicher 12 gespeichert ist. Der Rückseitenrelativpositionsspezifizierungsteil G2 spezifiziert eine Relativposition des gemeinsamen abgebildeten Objektes auf der Grundlage des hinteren Vogelperspektivenbildes, das das aktualisierte hintere Vogelperspektivenbild enthält, das in dem Speicher 12 gespeichert ist. Wenn die Vorwärtskamera 2 von dem Bezugskameraeinstellteil F8 als Bezugskamera eingestellt wird, entspricht der Vorderseitenrelativpositionsspezifizierungsteil G1 einem ersten Relativpositionsspezifizierungsteil in den Ansprüchen, und der Rückseitenrelativpositionsspezifizierungsteil G2 entspricht einem zweiten Relativpositionsspezifizierungsteil in den Ansprüchen. Wenn die Rückwärtskamera 3 von dem Bezugskameraeinstellteil F8 als Bezugskamera eingestellt wird, entspricht der Vorderseitenrelativpositionsspezifizierungsteil G1 dem zweiten Relativpositionsspezifizierungsteil in den Ansprüchen, und der Rückseitenrelativpositionsspezifizierungsteil G2 entspricht dem ersten Relativpositionsspezifizierungsteil.
Der Abweichungsgradberechnungsteil G3 berechnet einen Abweichungsgrad zwischen der Relativposition des gemeinsamen abgebildeten Objektes, die von dem Vorderseitenrelativpositionsspezifizierungsteil G1 spezifiziert wird, und der Relativposition des gemeinsamen abgebildeten Objektes, die von dem Rückseitenrelativpositionsspezifizierungsteil G2 spezifiziert wird. Der Abweichungsgrad entspricht einem Verschiebungsgrad in den Ansprüchen. Ein Abweichungsgradberechnungsteil entspricht einem Verschiebungsgradberechnungsteil in den Ansprüchen. Der Parameterberechnungsteil G4 berechnet Kameraparameter (im Folgenden als „Übereinstimmungsparameter“ bezeichnet), deren Abweichungsgrad, der unter Verwendung des Abweichungsgradberechnungsteils G3 berechnet wird, gleich 0 ist, als Kameraparameter der Übereinstimmungszielkamera auf der Grundlage einer Relativposition, die unter Verwendung des Teilvogelperspektivenbildes spezifiziert wird, das unter Verwendung der Fahrzeugkamera erlangt wird.
Für die Abbildungsparameter aus den Kameraparametern ist die Wahrscheinlichkeit, dass diese sich gegenüber einem Anfangswert ändern, gering. Daher entsprechen die Übereinstimmungsparameter, die unter Verwendung des Parameterberechnungsteils G4 berechnet werden, den Montageparametern aus den Kameraparametern. Selbstverständlich können gemäß anderen Aspekten die Übereinstimmungsparameter auch den Abbildungsparametern entsprechen.
Parameterberechnungsverarbeitung
Im Folgenden wird eine Folge von Verarbeitungen (im Folgenden als „Parameterberechnungsverarbeitung“ bezeichnet) zum Berechnen der Übereinstimmungsparameter mittels des Steuerungsteils 1 mit Bezug auf das Flussdiagramm der 6 beschrieben. Gemäß einem Beispiel zeigt 6 ein Flussdiagramm der Parameterberechnungsverarbeitung unter Verwendung des Steuerungsteils 1 in einem Zustand, in dem sich das eigene Fahrzeug vorwärts bewegt. Das eigene Fahrzeug bewegt sich beispielsweise auf der Fahrspur, die unter Verwendung der weißen Linien L1, L2 abgegrenzt wird, wie es in 4 gezeigt ist.
Das in 6 gezeigte Flussdiagramm kann gestartet werden, wenn eine vorbestimmte Bedingung erfüllt ist. Gemäß einem Beispiel wird der Prozess des Flussdiagramms der 6 gestartet, wenn der Lenkwinkel gleich 0° ist und die Fahrzeuggeschwindigkeit größer als 0 km/h und kleiner als eine vorbestimmte Geschwindigkeit, beispielsweise 30 km/h, wird. Der Bereich, der für die Fahrzeuggeschwindigkeit eingestellt wird, kann geeignet ausgelegt werden.
Wenn in der Verarbeitung der vorliegenden Ausführungsform die Fahrzeuggeschwindigkeit gleich einem Wert wird, der außerhalb des oben beschriebenen Bereiches liegt, und der Lenkwinkel nicht gleich 0° ist, wird die Verarbeitung unterbrochen. Selbstverständlich kann gemäß anderen Aspekten die Verarbeitung fortgesetzt werden, wenn die Fahrzeuggeschwindigkeit gleich einem Wert wird, der außerhalb des oben beschriebenen Bereiches liegt, und der Lenkwinkel in der Verarbeitung nicht gleich 0° ist.
Zunächst liest der Parametererlangungsteil F1 in Schritt S1 die Kameraparameter für jede der Fahrzeugkameras aus dem Speicher 13 aus. Außerdem berechnet der Fehlerkorrekturteil F11 den Montagefehler für jede der Fahrzeugkameras, und die Kameraparameter, die aus dem Speicher 13 ausgelesen werden, werden korrigiert. Wenn die Verarbeitung in Schritt S1 beendet ist, schreitet die Verarbeitung zum Schritt S2. Dann werden die Fehlerdaten, die den Montagefehler repräsentieren, der unter Verwendung des Fehlerkorrekturteils F11 berechnet wurde, dem Bezugskameraeinstellteil F8 bereitgestellt.
In Schritt S2 berechnet der Bezugskameraeinstellteil F8 eine Zuverlässigkeit für jede der Fahrzeugkameras auf der Grundlage der Fehlerdaten, die in Schritt S1 berechnet wurden. Außerdem wählt der Bezugskameraeinstellteil F8 die Fahrzeugkamera, deren Zuverlässigkeit von der Vorwärtskamera 2 und der Rückwärtskamera 3 die höhere ist, als Bezugskamera aus, und die Verarbeitung schreitet zum Schritt S3. Gemäß einem Beispiel wird die Vorwärtskamera 2 als Bezugskamera verwendet.
In Schritt S3 erzeugt der Vogelperspektivenumwandlungsverarbeitungsteil F2 das vordere Vogelperspektivenbild und das hintere Vogelperspektivenbild unter Verwendung der Bilddaten, die von der Vorwärtskamera 2 und der Rückwärtskamera 3 eingegeben werden, zusammen mit den Kameraparametern, die in Schritt S1 erlangt wurden, und dann schreitet die Verarbeitung zum Schritt S4.
In Schritt S4 bestimmt der Verschiebungsspezifizierungsteil F3, ob sich das eigene Fahrzeug vorwärts bewegt. Wenn die Fahrzeuggeschwindigkeit größer als 0 ist, bestimmt der Verschiebungsspezifizierungsteil F3, dass sich das eigene Fahrzeug bewegt (Ja in Schritt S4), und die Verarbeitung schreitet zum Schritt S5. Wenn andererseits die Fahrzeuggeschwindigkeit gleich 0 ist, bestimmt der Verschiebungsspezifizierungsteil F3, dass die Bewegung des eigenen Fahrzeugs unterbrochen ist (Nein in Schritt S4). Dann wird das Flussdiagramm beendet.
In Schritt S5 erzeugt der Vogelperspektivenumwandlungsverarbeitungsteil F2 ein aktualisiertes vorderes Vogelperspektivenbild und aktualisiertes hinteres Vogelperspektivenbild auf der Grundlage von Bilddaten, die von der Vorwärtskamera 2 und der Rückwärtskamera 3 neu eingegeben werden, und dann schreitet die Verarbeitung zum Schritt S6. Das vorherige vordere Vogelperspektivenbild, wird in dem Speicher 12 als ein vorderes Historienbild gespeichert.
In Schritt S6 spezifiziert der Verschiebungsspezifizierungsteil F3 eine Verschiebung des eigenen Fahrzeugs durch Ausführen des Schrittes S4, und dann schreitet die Verarbeitung zum Schritt S7. In Schritt S7 aktualisiert der Historienbildverwaltungsteil F4 einen entsprechenden Bereich des vorderen Historienbildes auf der Grundlage der Verschiebung des eigenen Fahrzeugs, die unter Verwendung des Verschiebungsspezifizierungsteils F3 in Schritt S6 spezifiziert wurde, und dann schreitet die Verarbeitung zum Schritt S8.
In Schritt S8 bestimmt der Gemeinsam-Abbildungsobjektbestimmungsteil F9, ob ein Objekt, das unter Verwendung der Vorwärtskamera 2 erlangt wurde, ebenfalls unter Verwendung der Rückwärtskamera 3 abgebildet wurde. Wenn der Gemeinsam-Abbildungsobjektbestimmungsteil F9 bestimmt, dass das Objekt, das unter Verwendung der Vorwärtskamera 2 erlangt wurde, ebenfalls unter Verwendung der Rückwärtskamera 3 abgebildet wurde, ist das Ergebnis in Schritt S8 Ja, und dann schreitet die Verarbeitung zum Schritt S9. Wenn andererseits der Gemeinsam-Abbildungsobjektbestimmungsteil F9 bestimmt, dass das Objekt, das unter Verwendung der Vorwärtskamera 2 erlangt wurde, unter Verwendung der Rückwärtskamera 3 nicht abgebildet wurde, ist das Ergebnis in Schritt S8 Nein, und der Prozess kehrt zum Schritt S4 zurück.
Das heißt, solange wie die Bewegung des eigenen Fahrzeugs andauert, bis der Gemeinsam-Abbildungsobjektbestimmungsteil F9 bestimmt, dass das Objekt, das unter Verwendung der Vorwärtskamera 2 erlangt wurde, ebenfalls unter Verwendung der Rückwärtskamera 3 abgebildet wurde, werden die Prozesse der Schritte S4 bis S8 wiederholt ausgeführt.
Ein Beispiel einer Aktion, wenn der Gemeinsam-Abbildungsobjektbestimmungsteil F9 bestimmt, ob das Objekt, das unter Verwendung der Vorwärtskamera 2 erlangt wurde, ebenfalls unter Verwendung der Rückwärtskamera 3 abgebildet wurde, wird mit Bezug auf die 7 und 8 beschrieben.
Zunächst bestimmt der Gemeinsam-Abbildungsobjektbestimmungsteil F9 jedes Mal, wenn der Vogelperspektivenumwandlungsverarbeitungsteil F2 das vordere Vogelperspektivenbild erzeugt hat, ob das vordere Vogelperspektivenbild ein Bild ist, das ein Objekt repräsentiert, das eine vorbestimmte Merkmalsgröße aufweist.
Das Objekt, das die vorbestimmte Merkmalsgröße aufweist, ist beispielsweise ein Objekt, das von anderen Objekten mittels bekannter Kantenextraktion, bekannter Konturextraktion oder einer ähnlichen Technik unter Verwendung von Grenzlinien wie beispielsweise den weißen Linien, die eine Fahrspur definieren, Verkehrszeichen, Blöcken, die entlang einer Straße angeordnet sind, und Ähnlichem unterscheidbar ist. Das Objekt, das die Merkmalsgröße aufweist, die in dem vorderen Vogelperspektivenbild enthalten ist, dient als das gemeinsame abgebildete Objekt. Die Verkehrszeichen sind Zeichen, Buchstaben, Linien oder Ähnliches, die auf die Straße gezeichnet sind, um eine Regel oder eine Richtung des Straßenverkehrs zu repräsentieren.
Wenn das vordere Vogelperspektivenbild, das von dem Vogelperspektivenumwandlungsverarbeitungsteil F2 erzeugt wird, ein vorderes Vogelperspektivenbild ist, das das Objekt repräsentiert, das die vorbestimmte Merkmalsgröße aufweist, verwendet der Gemeinsam-Abbildungsobjektbestimmungsteil F9 das vordere Vogelperspektivenbild als ein Bild (im Folgenden als „Vergleichsbild“ bezeichnet) zum Bestimmen, ob das Objekt, das unter Verwendung der Vorwärtskamera 2 erlangt wurde, auch unter Verwendung der Rückwärtskamera 3 abgebildet wurde.
7 zeigt eine Positionsbeziehung zwischen einem entsprechenden Bereich eines aktualisierten vorderen Vogelperspektivenbildes If (T) und dem eigenen Fahrzeug zu dem Zeitpunkt T. Das aktualisierte vordere Vogelperspektivenbild If (T) ist ein Bild, das die weißen Linien L1, L2 als das Objekt erlangt, das die vorbestimmte Merkmalsgröße aufweist. Das heißt, der Gemeinsam-Abbildungsobjektbestimmungsteil F9 verwendet das vordere Vogelperspektivenbild If (T) als Vergleichsbild. Ein Signal L1f, das in 7 gezeigt ist, zeigt ein Bild, das einer tatsächlichen weißen Linie L1 entspricht. Ein Signal L2f, das in 7 gezeigt ist, zeigt ein Bild, das einer tatsächlichen weißen Linie L2 entspricht. Ein hinteres Vogelperspektivenbild Ir (T) zeigt ein hinteres Vogelperspektivenbild, das zu dem Zeitpunkt T erzeugt wurde.
Danach nähert sich, wie es in 3 gezeigt ist, eine Relativposition des entsprechenden Bereiches des vorderen Vogelperspektivenbildes If (T) dem hinteren Vogelperspektivenbildbereich an, wenn sich das eigene Fahrzeug vorwärts bewegt. Die weißen Linien L1, L2 sind in dem hinteren erlangten Bereich enthalten, wenn sich das eigene Fahrzeug vorwärts bewegt hat.
8 zeigt eine Positionsbeziehung zwischen dem entsprechenden Bereich des vorderen Vogelperspektivenbildes If (T) und dem hinteren Vogelperspektivenbildbereich zu dem Zeitpunkt (im Folgenden als „Zeitpunkt T + n“) bezeichnet, zu dem die weißen Linien L1, L2 in dem hinteren erlangten Bereich enthalten sind. Die weißen Linien L1, L2, die in dem hinteren erlangten Bereich angeordnet sind, entsprechen daher, wie es in 8 gezeigt ist, den weißen Linien L1, L2, die in einem aktualisierten hinteren Vogelperspektivenbild Ir (T + n) zu dem Zeitpunkt T + n enthalten sind. Das Bezugszeichen L1r, das in 8 gezeigt ist, repräsentiert ein Bild, das einer tatsächlichen weißen Linie L1 entspricht, und das Bezugszeichen L2r repräsentiert ein Bild, das einer tatsächlichen weißen Linie L2 entspricht.
Bis ein Bild L1r, das die weiße Linie L1 enthält, und ein Bild L2r, das die weiße Linie L2 enthält, aufgenommen werden, bestimmt somit der Gemeinsam-Abbildungsobjektbestimmungsteil F9, ob dasselbe abgebildete Objekt (hier weiße Linien L1, L2) im Vergleich zwischen dem aufeinanderfolgend erzeugten hinteren Vogelperspektivenbild und vorderen Vogelperspektivenbild If (T) enthalten ist.
Wenn das Objekt, das die vorbestimmte Merkmalsgröße aufweist, die unter Verwendung der Vorwärtskamera 2 erlangt wurde, das in dem vorderen Vogelperspektivenbild erfasst wird, ebenfalls in dem hinteren Vogelperspektivenbild erfasst wurde, bestimmt der Gemeinsam-Abbildungsobjektbestimmungsteil F9, dass das Objekt, das unter Verwendung der Vorwärtskamera 2 erlangt wurde, ebenfalls unter Verwendung der Rückwärtskamera 3 abgebildet wurde.
Der Gemeinsam-Abbildungsobjektbestimmungsteil F9 kann durch einen Vergleich zwischen dem aufeinanderfolgend erzeugten hinteren Vogelperspektivenbild und vorderen Vogelperspektivenbild If (T) mithilfe eines bekannten Verfahrens wie beispielsweise einer Kantenextraktion, einer Konturextraktion und eines Pixelanalyseprozesses bestimmen, ob dasselbe abgebildete Objekt enthalten ist.
Anhand von 6 wird die Parameterberechnungsverarbeitung weiter beschrieben. In Schritt S9 spezifiziert der Vorderseitenrelativpositionsspezifizierungsteil G1 eine Relativposition (im Folgenden als „Vorderseitenrelativposition“ bezeichnet) der weißen Linie L1 in Bezug auf das eigene Fahrzeug auf der Grundlage einer Position der weißen Linie L1f in dem vorderen Vogelperspektivenbild If (T) und des entsprechenden Bereiches des vorderen Vogelperspektivenbildes If (T) zu dem Zeitpunkt T. Außerdem spezifiziert der Vorderseitenrelativpositionsspezifizierungsteil G1 eine Vorderseitenrelativposition der weißen Linie L2 in Bezug auf das eigene Fahrzeug auf der Grundlage einer Position der weißen Linie L2f in dem vorderen Vogelperspektivenbild If (T) und des entsprechenden Bereiches des vorderen Vogelperspektivenbildes If (T) zu dem Zeitpunkt T.
Der Rückseitenrelativpositionsspezifizierungsteil G2 spezifiziert eine Relativposition (im Folgenden als „Rückseitenrelativposition“ bezeichnet) der weißen Linie L1 in Bezug auf das eigene Fahrzeug auf der Grundlage einer Position der weißen Linie L1r in dem hinteren Vogelperspektivenbild Ir (T + n). Der Rückseitenrelativpositionsspezifizierungsteil G2 spezifiziert eine Rückseitenrelativposition der weißen Linie L2 in Bezug auf das eigene Fahrzeug auf der Grundlage einer Position der weißen Linie L2r in dem hinteren Vogelperspektivenbild Ir (T + n). Dann wird der Prozess in Schritt S9 beendet und die Verarbeitung schreitet zum Schritt S10.
In Schritt S10 berechnet der Abweichungsgradberechnungsteil G3 einen Abweichungsgrad zwischen der Vorderseitenrelativposition und der Rückseitenrelativposition der jeweiligen weißen Linien L1, L2, und dann schreitet die Verarbeitung zum Schritt S11. In Schritt S11 berechnet der Parameterberechnungsteil G4 die Übereinstimmungsparameter in Bezug auf die Rückwärtskamera 3, deren Abweichungsgrad, der unter Verwendung des Abweichungsgradberechnungsteils G3 berechnet wurde, gleich 0 wird.
Die Übereinstimmungsparameter sind Parameter der Rückwärtskamera 3, die derart berechnet werden, dass sie mit der Vorderseitenrelativposition und der Rückseitenrelativposition übereinstimmen.
Wie es oben beschrieben wurde und in 9 gezeigt ist, ist es möglich, das integrierte Vogelperspektivenbild anzuzeigen, bei dem eine Abweichung zwischen Anzeigepositionen der Teilvogelperspektivenbilder, die Objekte (weiße Linien L1, L2) repräsentieren, verringert wird.
Wie es oben beschrieben wurde, ist gemäß einem Beispiel die Vorwärtskamera 2 die Bezugskamera, und daher wurden die Übereinstimmungsparameter in Bezug auf die Rückwärtskamera 3 berechnet. Wenn jedoch die Bezugskamera die Rückwärtskamera 3 ist, berechnet der Parameterberechnungsteil G4 die Übereinstimmungsparameter in Bezug auf die Vorwärtskamera 2.
Wie es oben beschrieben wurde, wurde ein Betrieb des Steuerungsteils 1 dargestellt, wenn sich das eigene Fahrzeug vorwärts bewegt. Wenn sich das eigene Fahrzeug jedoch rückwärts bewegt, kann derselbe Prozess durchgeführt werden wie in dem Fall, in dem sich das eigene Fahrzeug vorwärts bewegt.
(Zusammenfassung der vorliegenden Ausführungsform)
Gemäß der oben beschriebenen Konfiguration berechnet der Abweichungsgradberechnungsteil G3, wenn der Gemeinsam-Abbildungsobjektbestimmungsteil F9 bestimmt, dass die Vorwärtskamera 2 und die Rückwärtskamera 3 dasselbe Objekt aufgenommen haben, den Abweichungsgrad zwischen den Relativpositionen des gemeinsamen abgebildeten Objektes, das in den erlangten Bildern von den jeweiligen Fahrzeugkameras repräsentiert wird. Außerdem berechnet der Parameterberechnungsteil G4 Kameraparameter (d. h. Übereinstimmungsparameter), deren Abweichungsgrad gleich 0 ist (oder deren Abweichungsgrad verringert ist), als Kameraparameter der Übereinstimmungszielkamera. Außerdem erzeugt der Vogelperspektivenumwandlungsverarbeitungsteil F2 das Teilvogelperspektivenbild von einem Bild, das unter Verwendung der Übereinstimmungszielkamera erlangt wird, auf der Grundlage der berechneten Übereinstimmungsparameter. Außerdem erzeugt der Bildsynthetisierungsteil F6 das integrierte Vogelperspektivenbild auf der Grundlage des Teilvogelperspektivenbildes, das unter Verwendung der Übereinstimmungsparameter erzeugt wird.
Wenn beispielsweise die Vorwärtskamera 2 als Bezugskamera verwendet wird, berechnet der Parameterberechnungsteil G4 die Übereinstimmungsparameter für die Rückwärtskamera 3. Eine Positionsbeziehung zwischen dem Objekt und dem Fahrzeug, die in dem hinteren Vogelperspektivenbild repräsentiert wird, das unter Verwendung der Übereinstimmungsparameter erzeugt wird, gelangt in Übereinstimmung mit einer Positionsbeziehung zwischen dem Objekt und dem Fahrzeug, das in dem vorderen Vogelperspektivenbild repräsentiert wird.
Sogar wenn ein Objekt zwischen den Teilvogelperspektivenbildern angezeigt wird, ist es dementsprechend möglich, eine Fehlausrichtung zwischen einer Position, bei der die Gestalt des Objektes des integrierten Vogelperspektivenbildes an der Verbindungsstelle zwischen den Teilvogelperspektivenbildern angezeigt wird, und einer tatsächlichen Position, bei der die Gestalt des Objektes angeordnet ist, zu verringern.
In der vorliegenden Ausführungsform wählt der Bezugskameraeinstellteil F8 die Fahrzeugkamera, deren Zuverlässigkeit, die unter Verwendung des Zuverlässigkeitsberechnungsteils F81 berechnet wurde, die höhere aus der Vorwärtskamera 2 und der Rückwärtskamera 3 ist, als Bezugskamera aus. Die Fahrzeugkamera, deren Zuverlässigkeit aus der Vorwärtskamera 2 und der Rückwärtskamera 3 die höhere ist, ist die Fahrzeugkamera, deren Montagefehler aus der Vorwärtskamera 2 und der Rückwärtskamera 3 die kleinere ist.
Die Fahrzeugkamera, deren Montagefehler aus der Vorwärtskamera 2 und der Rückwärtskamera 3 die kleinere ist, wird als Bezug ausgewählt, und es werden die Übereinstimmungsparameter für die andere Fahrzeugkamera erzeugt. Daher ist es möglich, eine Fehlausrichtung zwischen einer Relativposition des eigenen Fahrzeugs in Bezug auf das Objekt in einer Nachbarschaft des eigenen Fahrzeugs, die unter Verwendung des integrierten Vogelperspektivenbildes repräsentiert wird, das das Teilvogelperspektivenbild enthält, das unter Verwendung der Übereinstimmungsparameter erzeugt wird, und einer tatsächlichen Relativposition des eigenen Fahrzeugs in Bezug auf das Objekt in der Nachbarschaft des eigenen Fahrzeugs zu verringern.
Das heißt, gemäß der Konfiguration der vorliegenden Ausführungsform ist es möglich, Teilvogelperspektivenbilder und das integrierte Vogelperspektivenbild, das noch geeigneter eine Positionsbeziehung zwischen dem eigenen Fahrzeug und dem Objekt repräsentiert, das in der Nachbarschaft des eigenen Fahrzeugs angeordnet ist, anzuzeigen. In der vorliegenden Ausführungsform wird die Zuverlässigkeit der Fahrzeugkamera als höher berechnet, wenn der Montagefehler kleiner ist. Gemäß anderen Aspekten kann die Zuverlässigkeit der Fahrzeugkamera unter Berücksichtigung der Eigenschaften der Fahrzeugkamera (beispielsweise Auflösung oder Anzahl der Pixel) und der Anzahl der Jahre, die seit der Montage der Fahrzeugkamera an dem eigenen Fahrzeug verstrichen sind, berechnet werden. Wenn die Anzahl der Jahre, die seit der Montage der Fahrzeugkamera an dem eigenen Fahrzeug verstrichen sind, kleiner ist, kann beispielsweise die Zuverlässigkeit der Fahrzeugkamera größer sein. Wenn die Eigenschaften der Fahrzeugkamera verbessert werden, kann die Zuverlässigkeit der Fahrzeugkamera als höher berechnet werden.
Gemäß einer Vergleichskonfiguration kann in einem System, das zwei Fahrzeugkameras aufweist, um einen Teil der erlangten Bereiche der beiden Fahrzeugkameras zu überlagern, auch eine Konfiguration verwendet werden, die Kameraparameter der beiden Fahrzeugkameras auf der Grundlage von Relativpositionen eines Objektes, das in einem Bereich (Überlagerungsbereich) angeordnet ist, in dem die beiden Fahrzeugkameras eine Erlangung gemeinsam durchführen, einstellt. Das heißt, in der Vergleichskonfiguration wird eine Position, bei der das Objekt in dem Überlagerungsbereich angeordnet ist, auf der Grundlage der von den jeweiligen Fahrzeugkameras erlangten Bilder berechnet. Die Kameraparameter werden derart eingestellt, dass sie mit den jeweiligen Relativpositionen des Objektes übereinstimmen.
Gemäß dem oben beschriebenen Aspekt müssen jedoch die Kameraparameter nicht in einer Kombination aus einer Vorwärtskamera 2 mit einer Rückwärtskamera 3 eingestellt werden, die keinen Bereich aufweisen, der sowohl von der Vorwärtskamera 2 als auch der Rückwärtskamera 3 aufgenommen wird. Andererseits können gemäß der oben beschriebenen vorliegenden Ausführungsform Kameraparameter der Vorwärtskamera 2 oder der Rückwärtskamera 3 unter Verwendung des Historienbildes, das in dem Speicher 12 gespeichert ist, eingestellt werden.
Wie es oben beschrieben wurde, ist die Erfindung nicht auf einen Aspekt zum Erzeugen des Vogelperspektivenbildes (d. h. Vogelperspektivenumwandlungsverarbeitung) beschränkt, der die Übereinstimmungsparameter verwendet. Die berechneten Übereinstimmungsparameter können für eine andere Verarbeitung anstatt der Vogelperspektivenumwandlungsverarbeitung verwendet werden.
Oben wurde eine Ausführungsform der vorliegenden Erfindung beschrieben, aber die vorliegende Erfindung ist nicht auf die oben beschriebene Ausführungsform beschränkt. Die folgenden Modifikationen sind ebenfalls innerhalb des technischen Bereiches der vorliegenden Erfindung möglich. Außerdem können verschiedene andere Modifikationen anstatt der unten beschriebenen Modifikationen innerhalb des Bereiches der vorliegenden Erfindung möglich sein.
Modifikation 1
In der oben beschriebenen Ausführungsform wurde ein Aspekt zum Spezifizieren der Relativposition des Objektes auf der Grundlage einer Position des Objektes in dem Teilvogelperspektivenbild beschrieben. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Es kann eine Relativposition eines Objektes auch auf der Grundlage einer Position des Objektes in einem Bild (d. h. erlangtes Bild) vor der Ausführung einer Verzerrungskorrekturverarbeitung oder einem Bild vor einer Änderung in die jeweiligen Teilvogelperspektivenbilder spezifiziert werden. Außerdem kann ein Bild, das von einem Historienbildverwaltungsteil F4 verwaltet wird, auch ein Bild, das von einer anderen Fahrzeugkamera eingegeben wird, anstatt das Teilvogelperspektivenbild sein.
Modifikation 2
In der oben beschriebenen Ausführungsform wurde die Zuverlässigkeit der jeweiligen Fahrzeugkamera unter Verwendung des Montagefehlers der Fahrzeugkamera berechnet, und die Fahrzeugkamera, deren Zuverlässigkeit unter den Fahrzeugkameras am höchsten ist, wurde als Bezugskamera ausgewählt. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Ein Bezugskameraeinstellteil F8 kann auch eine Kamera in der Bewegungsrichtung als Bezugskamera einstellen. Das heißt, wenn sich das eigene Fahrzeug vorwärts bewegt, kann die Vorwärtskamera 2 die Bezugskamera sein. Wenn sich das eigene Fahrzeug rückwärts bewegt, kann die Rückwärtskamera 3 die Bezugskamera sein.
Für einen Fahrer ist eine Umgebungssituation des eigenen Fahrzeugs in der Richtung, in der sich das eigene Fahrzeug hin bewegt, wichtiger als die Umgebungssituation des eigenen Fahrzeugs in der Richtung, in der sich das eigene Fahrzeug weg bewegt. Daher weist ein Nutzer die Neigung auf, Teilvogelperspektivenbilder, die einem erlangten Bereich der Kamera in der Bewegungsrichtung in einem integrierten Vogelperspektivenbild entsprechen, zu betrachten. Wenn andererseits sich das eigene Fahrzeug vorwärts bewegt, bewegt sich das eigene Fahrzeug von einem Hindernis, das auf der Rückseite des eigenen Fahrzeugs angeordnet ist, weg. Daher weisen Informationen der Umgebungssituation des eigenen Fahrzeugs in der Richtung, in der sich das eigene Fahrzeug weg bewegt, eine relativ niedrige Nützlichkeit auf.
Dementsprechend kann daran gedacht werden, dass eine strikte Positionsgenauigkeit der Beziehung zwischen dem Hindernis und dem eigenen Fahrzeug weniger wichtig ist, wenn sich das Hindernis von dem eigenen Fahrzeug weg bewegt, als wenn das Hindernis in der Bewegungsrichtung des eigenen Fahrzeugs liegt.
In dem integrierten Vogelperspektivenbild können, wie es in 5 gezeigt ist, Objekte (im Folgenden als „Indexobjekte“ bezeichnet) wie beispielsweise weiße Linien, die als eine Führung für eine Positionsbeziehung zwischen dem eigenen Fahrzeug und der Außenseite der Umgebungssituation des eigenen Fahrzeugs dienen, den Teilvogelperspektivenbildern überlagert angezeigt werden. Dieses kann zu einer Verwirrung des Nutzers führen, da die Gestalt der jeweiligen Indexobjekte in dem integrierten Vogelperspektivenbild nicht kontinuierlich an der Verbindungsstelle zwischen den Teilvogelperspektivenbildern angezeigt wird.
Gemäß einer Konfiguration der vorliegenden Modifikation kann das visuelle Erscheinungsbild des integrierten Vogelperspektivenbildes verbessert werden, ohne die Zuverlässigkeit in Bezug auf Informationen, die unter Verwendung des Teilvogelperspektivenbildes repräsentiert werden, das die Umgebungssituation des eigenen Fahrzeugs in der Richtung zeigt, in der sich das eigene Fahrzeug bewegt, zu beeinträchtigen. Die Umgebungssituation des eigenen Fahrzeugs in der Richtung, in der sich das eigene Fahrzeug bewegt, ist für den Fahrer wichtiger.
Modifikation 3
Es gibt unter Betriebsunterstützungsvorrichtungen eine Betriebsunterstützungsvorrichtung, die einen Objektdetektor aufweist, der durch Aussenden einer Prüfwelle an einen vorbestimmten Erfassungsbereich eine Relativposition eines Objektes erfasst, das in dem vorbestimmten Erfassungsbereich angeordnet ist. Wenn ein Betriebsunterstützungssystem 100 diesen Objektdetektor aufweist, wird die Zuverlässigkeit jeder der Fahrzeugkameras durch Vergleichen einer Relativposition desselben Objektes, das unter Verwendung des Objektdetektors erfasst wird, mit einer Relativposition desselben Objektes, das unter Verwendung von Bildern, die von der Fahrzeugkamera erlangt werden, erfasst wird, ausgewertet. Die Bezugskamera kann auch auf der Grundlage des Auswertungsergebnisses bestimmt werden.
Diese Modifikation kann beispielsweise die im Folgenden beschriebene Konfiguration aufweisen. Zunächst weist das Betriebsunterstützungssystem 100 einen vorderen Objektdetektor und einen hinteren Objektdetektor auf. Ein Erfassungsbereich des vorderen Objektdetektors enthält mindestens einen Teil eines vorderen Erlangungsbereiches. Ein Erfassungsbereich des hinteren Objektdetektors enthält mindestens einen Teil eines hinteren Erlangungsbereiches. Ein Laserradar, ein Sonar, ein Millimeterwellenradar oder Ähnliches kann beispielsweise als vorderer Objektdetektor bzw. hinterer Objektdetektor verwendet werden.
Zusätzlich weist ein Steuerungsteil 1 dieser Modifikation, wie es in 10 gezeigt ist, verschiedene Funktionsblöcke, die in dem Steuerungsteil 1 der oben beschriebenen Ausführungsform angeordnet sind, sowie einen Bildanalyseteil G5 auf. Der Bildanalyseteil G5 analysiert Bilder, die unter Verwendung der jeweiligen Fahrzeugkameras erlangt werden, und weist als feinere funktionelle Einheiten einen Vorderbildanalyseteil G51 und einen Hinterbildanalyseteil G52 auf. Der Vorderbildanalyseteil G51 analysiert ein Bild, das unter Verwendung der Vorwärtskamera 2 erlangt wird. Der Hinterbildanalyseteil G52 analysiert ein Bild, das unter Verwendung der Rückwärtskamera 3 erlangt wird.
Der Vorderbildanalyseteil G51 führt eine Kantenextraktion, Gestaltsextraktion, Gaußsche Verarbeitung, Rauschentfernungsverarbeitung, Musterabbildungsverarbeitung oder Ähnliches in Bezug auf das Bild, das unter Verwendung der Vorwärtskamera 2 erlangt wird, durch und erfasst ein vorbestimmtes Erfassungsobjekt. Wenn das Erfassungsobjekt erfasst wird, wird außerdem eine Relativposition des Erfassungsobjektes in Bezug auf das eigene Fahrzeug auf der Grundlage einer Position und einer Größe des Erfassungsobjektes in dem Bild, das unter Verwendung der Vorwärtskamera 2 erlangt wird, spezifiziert.
Ein Verfahren zum Erfassen des vorbestimmten Erfassungsobjektes und zum Spezifizieren der Relativposition kann mittels eines bekannten Verfahrens durchgeführt werden. Das Erfassungsobjekt ist beispielsweise vorzugsweise ein Objekt, das durch Aussenden und Empfangen einer Prüfwelle erfassbar ist, beispielsweise ein Block, ein Randstein oder ein Verkehrszeichen, das auf einer Straße vorhanden ist. Das Erfassungsobjekt ist vorzugweise ein stationäres Objekt.
Der Hinterbildanalyseteil G52 führt denselben Prozess wie der Vorderbildanalyseteil G51 für Bilder durch, die unter Verwendung der Rückwärtskamera 3 aufgenommen werden. Wenn das Erfassungsobjekt in dem Bild, das unter Verwendung der Rückwärtskamera 3 erlangt wird, mit einer Erfassung des vorbestimmten Erfassungsobjektes erfasst wird, wird die Relativposition des Erfassungsobjektes in Bezug auf das eigene Fahrzeug spezifiziert.
Außerdem berechnet ein Bezugskameraeinstellteil F8 einen Fehler zwischen einer Relativposition eines vorbestimmten Objektes, das vor dem eigenen Fahrzeug angeordnet ist und unter Verwendung des Vorderbildanalyseteils G51 spezifiziert wird, und einer Relativposition des vorbestimmten Objektes, das vor dem eigenen Fahrzeug angeordnet und unter Verwendung des vorderen Objektdetektors erfasst wird. Außerdem berechnet der Bezugskameraeinstellteil F8 einen Fehler zwischen einer Relativposition eines vorbestimmten Objektes, das auf der Rückseite des eigenen Fahrzeugs angeordnet und unter Verwendung des Hinterbildanalyseteils G52 spezifiziert wird, und einer Relativposition des vorbestimmten Objektes, das auf der Rückseite des eigenen Fahrzeugs angeordnet und unter Verwendung des hinteren Objektdetektors erfasst wird.
Im Allgemeinen ist die Genauigkeit der Relativposition des Objektes, das unter Verwendung des Objektdetektors erfasst wird, höher als die Genauigkeit einer Relativposition des Objektes, die mittels Bildanalyse eines Bildes, das unter Verwendung einer Fahrzeugkamera (d. h. monokulare Kamera) erlangt wird, spezifiziert wird. Dementsprechend weist eine Fahrzeugkamera, die eine große Abweichung zwischen der Relativposition des Objektes, das unter Verwendung des Objektdetektors erfasst wird, und der Relativposition des Objektes, das mittels Bildanalyse eines Bildes, das unter Verwendung der Fahrzeugkamera erlangt wird, spezifiziert wird, aufweist, eine niedrige Zuverlässigkeit auf. Mit anderen Worten, eine Fahrzeugkamera, die eine kleine Abweichung zwischen der Relativposition des Objektes, das unter Verwendung des Objektdetektors erfasst wird, und der Relativposition des Objektes, die mittels Bildanalyse eines Bildes, das unter Verwendung der Fahrzeugkamera erlangt wird, spezifiziert wird, aufweist, weist eine hohe Zuverlässigkeit auf. Das heißt, die Fahrzeugkamera, die eine kleine Abweichung zwischen der Relativposition des Objektes, das unter Verwendung des Objektdetektors erfasst wird, und der Relativposition des Objektes, die mittels Bildanalyse des Bildes, das unter Verwendung der Fahrzeugkamera erlangt wird, spezifiziert wird, aufweist, kann als Bezugskamera verwendet werden.
Modifikation 4
Daten, die als Material zum Bestimmen, ob eine Vorwärtskamera 2 und eine Rückwärtskamera 3 ein gemeinsames Objekt aufnehmen, verwendet werden, müssen nicht in einer Einheit wie beispielsweise dem erlangten Bild oder den Vogelperspektivenbildern, die von dem erlangten Bild erzeugt werden, enthalten sein, sondern können eine Einheit eines Erfassungsobjektes sein, das eine vorbestimmte Merkmalsgröße aufweist, die in dem erlangten Bild enthalten ist.
In dem Betrieb und der Konfiguration eines Steuerungsteils 1 gemäß dieser Modifikation 4 wird ein Beispiel erläutert, bei dem sich ein eigenes Fahrzeug vorwärts bewegt. Der Steuerungsteil 1 der Modifikation 4 weist einen Bildanalyseteil G5 auf, der in der Modifikation 3 beschrieben wurde.
Wenn sich das eigene Fahrzeug vorwärts bewegt, extrahiert ein Vorderbildanalyseteil G51 ein vorbestimmtes Erfassungsobjekt aus einem Bild, das unter Verwendung der Vorwärtskamera 2 erlangt wird, und spezifiziert eine Relativposition des vorbestimmten Erfassungsobjektes. Daten in Bezug auf das Erfassungsobjekt und die Relativposition werden in einem Speicher 12 gespeichert. Die Relativposition des Erfassungsobjektes kann in einer Koordinate einer XY-Ebene wie oben beschrieben ausgedrückt werden. Daten in Bezug auf das Erfassungsobjekt, die nicht die Relativposition des Erfassungsobjektes betreffen, entsprechen einer Gestalt, einer Farbe des Erfassungsobjektes oder Ähnlichem. Die Relativposition des Erfassungsobjektes kann aufeinanderfolgend unter Verwendung des Vorderseitenrelativpositionsspezifizierungsteils G1 auf der Grundlage einer Verschiebung des eigenen Fahrzeugs aktualisiert werden, die unter Verwendung des Verschiebungsspezifizierungsteils F3 spezifiziert wird.
Das erfasste Erfassungsobjekt weist eine Erfassungs-ID auf, die einen speziellen Identifizierer aufweist, und kann unter Verwendung der Erfassungs-ID unterschieden werden. Außerdem können Erfassungsobjekte, die in mehreren Rahmen gemeinsam erfasst werden, als dasselbe Erfassungsobjekt betrachtet werden. Ein Verfahren zum Bestimmen, ob ein Objekt, das in einem Bild zu einem vorherigen Zeitpunkt enthalten war, und ein Objekt, das in einem Bild eines nächsten Zeitpunkts enthalten ist, dasselbe Objekt sind, kann unter Verwendung eines bekannten Verfahrens durchgeführt werden.
Außerdem führt ein Hinterbildanalyseteil G52 eine Kantenextraktion, Gestaltsextraktion, Gaußsche Verarbeitung, Rauschentfernungsverarbeitung oder Ähnliches in Bezug auf ein Bild, das unter Verwendung der Rückwärtskamera 3 erlangt wird, durch. Das Bild, das unter Verwendung der Rückwärtskamera 3 erlangt wird, wird verschiedenen Verarbeitungen unterzogen, um ein verarbeitetes Bild zu erzeugen. Außerdem kann ein Gemeinsam-Abbildungsobjektbestimmungsteil F9 unter Verwendung einer Musterabbildungsverarbeitung bestimmen, ob ein Objekt, das unter Verwendung des Vorderbildanalyseteils G51 erfasst wird, in dem verarbeiteten Bild enthalten ist, das unter Verwendung des Hinterbildanalyseteils G52 erzeugt wird.
Wie es oben beschrieben wurde, wurde ein Beispiel erläutert, bei dem sich das eigene Fahrzeug vorwärts bewegt. Wenn sich das eigene Fahrzeug rückwärts bewegt, sind jedoch die Konfiguration und der Betrieb des Steuerungsteils 1 dieselben wie in dem Fall, in dem sich das eigene Fahrzeug vorwärts bewegt.
Genauer gesagt können Daten, die eine Relativposition des Erfassungsobjektes repräsentieren, als eine Relativposition für jeweilige Merkmalspunkte, die das Erfassungsobjekt bilden, repräsentiert werden.
Modifikation 5
Wie es oben beschrieben wurde, sind die Vorwärtskamera 2 und die Rückwärtskamera 3 vorhanden, und eine von diesen wird als Bezugskamera ausgewählt und die andere wird als Übereinstimmungszielkamera ausgewählt. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Wie es in 11 gezeigt ist, kann ein Betriebsunterstützungssystem 100 auch eine rechte Kamera 8 und eine linke Kamera 9 aufweisen. In diesem Fall kann eine Vorwärtskamera 2 oder eine Rückwärtskamera 3 eine Bezugskamera sein, und die anderen Fahrzeugkameras können jeweils als eine Abbildungszielkamera Übereinstimmungsparameter berechnen. Wenn beispielsweise die Vorwärtskamera 2 die Bezugskamera ist und die rechte Kamera 8 die Übereinstimmungszielkamera ist, kann ein Gemeinsam-Abbildungsobjektbestimmungsteil F9 durch Vergleich mit einem durch die Vorwärtskamera 2 erlangten Bild mit einem durch die rechte Kamera 8 erlangten Bild bestimmen, ob es ein gemeinsames abgebildetes Objekt gibt.
Wenn es einen Bereich (im Folgenden als „Überlagerungsbereich“ bezeichnet) gibt, bei dem ein erlangter Bereich der Vorwärtskamera 2 und ein erlangter Bereich der rechten Kamera 8 überlagert sind, kann, wenn der Gemeinsam-Abbildungsobjektbestimmungsteil F9 ein Objekt erfasst, das einen vorbestimmten Merkmalspunkt in dem Überlagerungsbereich aufweist, bestimmt werden, dass ein Objekt, das unter Verwendung der Bezugskamera erlangt wird, ebenfalls unter Verwendung der Abbildungszielkamera erlangt wird. Das Objekt entspricht dem gemeinsamen abgebildeten Objekt.
Außerdem können Übereinstimmungsparameter der rechten Kamera 8 derart berechnet werden, dass eine Relativposition des gemeinsamen abgebildeten Objektes, das unter Verwendung des durch die Vorwärtskamera 2 erlangten Bildes spezifiziert wird, mit einer Relativposition des gemeinsamen abgebildeten Objektes übereinstimmt, das unter Verwendung des durch die rechte Kamera 8 erlangten Bildes spezifiziert wird. Es ist möglich, eine Abweichung einer Anzeigeposition eines Objektes an einer Verbindungsstelle zwischen den jeweiligen vorderen Teilvogelperspektivenbildern und den jeweiligen Teilvogelperspektivenbildern, die dem erlangten Bereich der rechten Kamera 8 entsprechen, durch Verwenden der Abbildungsparameter als Parameter zum Erzeugen des Teilvogelperspektivenbildes auf der Grundlage des erlangten Bildes der rechten Kamera 8 zu verringern. Wenn die Vorwärtskamera 2 die Bezugskamera ist und die linke Kamera 9 die Übereinstimmungszielkamera ist, ist der Prozess derselbe wie in dem Fall, in dem die Vorwärtskamera 2 die Bezugskamera ist und die rechte Kamera 8 die Übereinstimmungszielkamera ist.
Außerdem wird die Vorwärtskamera 2 als Bezugskamera eingestellt, und es werden jeweils Übereinstimmungsparameter der Rückwärtskamera 3, der rechten Kamera 8 und der linken Kamera 9 berechnet. Die berechneten Übereinstimmungsparameter können für die Vogelperspektivenumwandlungsverarbeitung unter Verwendung des Vogelperspektivenumwandlungsverarbeitungsteils F2 verwendet werden. Gemäß diesem Aspekt kann ein integriertes Vogelperspektivenbild, in dem eine Abweichung an einer Verbindungsstelle zwischen den Teilvogelperspektivenbildern geringer ist, angezeigt werden. Die linke Seite der 12 zeigt ein integriertes Vogelperspektivenbild, das ohne Verwendung der Übereinstimmungsparameter erzeugt wurde. Die rechte Seite der 12 ist ein konzeptionelles Diagramm, das ein integriertes Vogelperspektivenbild zeigt, das durch Verwendung der Übereinstimmungsparameter erzeugt wurde.
Wie es oben beschrieben wurde, wurde ein Beispiel erläutert, bei dem die Vorwärtskamera 2 die Bezugskamera ist, der Prozess ist jedoch derselbe, wenn die Rückwärtskamera 3 die Bezugskamera ist.
Bezugszeichenliste

100: Betriebsunterstützungssystem
1: Steuerungsteil (Kameraparametereinstellvorrichtung)
2: Vorwärtskamera
3: Rückwärtskamera
4: Raddrehzahlsensor
5: Lenkwinkelsensor
6: Schaltpositionssensor
7: Anzeige
F1: Parametererlangungsteil
F11: Fehlerkorrekturteil (Fehlerberechnungsteil)
F2: Vogelperspektivenumwandlungsverarbeitungsteil
F3: Verschiebungsspezifizierungsteil
F4: Historienbildverwaltungsteil
F5: Interpolationsvogelperspektivenbilderzeugungsteil
F6: Bildsynthetisierungsteil (Vogelperspektivenbildintegrationsprozessor)
F7: Anzeigeverarbeitungsteil
F8: Bezugskameraeinstellteil (Bezugskameraauswahlteil)
F81: Zuverlässigkeitsberechnungsteil (Zuverlässigkeitsauswertungsteil)
F9: Gemeinsam-Abbildungsobjektbestimmungsteil (Bestimmungsteil)
G1: Vorderseitenrelativpositionsspezifizierungsteil
G2: Rückseitenrelativpositionsspezifizierungsteil
G3: Abweichungsgradberechnungsteil (Verschiebungsgradberechnungsteil)
G4: Parameterberechnungsteil

Claims

Kameraparametereinstellvorrichtung, die aufweist: mindestens zwei Kameras (2, 3), die an einem Fahrzeug montiert sind und jeweils einen anderen Bereich in einer Nachbarschaft des Fahrzeugs erlangen; einen Parameterspeicherteil (13a), der Kameraparameter speichert, die eine Montageposition und eine Montagelage in Bezug auf das Fahrzeug zeigen, wobei der Parameterspeicherteil für jede der Kameras vorhanden ist; eine Vogelperspektivenumwandlungsverarbeitungseinheit (F2), die Teilvogelperspektivenbilder erzeugt, die jeweils einem erlangten Bereich der Kamera entsprechen, auf der Grundlage eines Bildes, das unter Verwendung der Kamera zusammen mit den Kameraparametern, die der Kamera entsprechen, erlangt wird; einen Bezugskameraauswahlteil (F8), der aus den Kameras eine Kamera als eine Bezugskamera auswählt, wenn die Kameraparameter der vorbestimmten Kamera eingestellt sind; einen ersten Relativpositionsspezifizierungsteil (G1), der eine Relativposition eines Objektes, das unter Verwendung der Bezugskamera erlangt wird, in Bezug auf das Fahrzeug auf der Grundlage eines Bildes, das unter Verwendung der Bezugskamera zusammen mit den Kameraparametern, die der Bezugskamera entsprechen, erlangt wird, spezifiziert; einen zweiten Relativpositionsspezifizierungsteil (G2), der eine Relativposition eines Objektes, das unter Verwendung einer eingestellten Zielkamera erlangt wird, in Bezug auf das Fahrzeug auf der Grundlage eines Bildes, das unter Verwendung der eingestellten Zielkamera als Kamera, die die Kameraparameter einstellt, erlangt wird, spezifiziert, wobei die Kamera, die die Kameraparameter einstellt, eine andere als die Bezugskamera aus den Kameras ist; einen Bestimmungsteil (F9), der auf der Grundlage des Bildes, das unter Verwendung der Bezugskamera erlangt wird, zusammen mit dem Bild, das unter Verwendung der eingestellten Zielkamera erlangt wird, bestimmt, ob die Bezugskamera und die eingestellte Zielkamera dasselbe Objekt erlangen; einen Abweichungsgradberechnungsteil (G3), der einen Abweichungsgrad zwischen einer Relativposition, in Bezug auf ein gemeinsames abgebildetes Objekt, die von dem ersten Relativpositionsspezifizierungsteil spezifiziert wird, und einer Relativposition, die von dem zweiten Relativpositionsspezifizierungsteil in Bezug auf das gemeinsame abgebildete Objekt spezifiziert wird, berechnet, wenn der Bestimmungsteil bestimmt, dass die eingestellte Zielkamera und die Bezugskamera dasselbe Objekt erlangen, wobei das gemeinsame abgebildete Objekt ein Objekt ist, das unter Verwendung der eingestellten Zielkamera zusammen mit der Bezugskamera erlangt wird; und einen Parameterberechnungsteil (G4), der die Übereinstimmungsparameter als Kameraparameter berechnet, bei denen der Abweichungsgrad, der unter Verwendung des Abweichungsgradberechnungsteils berechnet wird, gleich 0 oder verringert wird, wobei die Kameraparameter die eingestellte Zielkamera betreffen, wobei die Vogelperspektivenumwandlungsverarbeitungseinheit die Übereinstimmungsparameter, die unter Verwendung des Parameterberechnungsteils berechnet werden, als Kameraparameter verwendet, wenn die jeweiligen Teilvogelperspektivenbilder von dem Bild, das unter Verwendung der eingestellten Zielkamera erlangt wird, erzeugt werden.
Kameraparametereinstellvorrichtung nach Anspruch 1, wobei ein Zuverlässigkeitsauswertungsteil (F81) eine Zuverlässigkeit jeder der Kameras auswertet; und der Bezugskameraauswahlteil die Kamera, die unter den Kameras die höchste Zuverlässigkeit aufweist, die unter Verwendung des Zuverlässigkeitsauswertungsteils ausgewertet wird, als Bezugskamera verwendet.
Kameraparametereinstellvorrichtung nach Anspruch 2, wobei ein Fehlerberechnungsteil (F11) einen Montagefehler jeder der Kameras berechnet, wobei der Montagefehler einen Fehler zwischen einer Montageposition der Kamera, die unter Verwendung der Kameraparameter, die in der Kamera eingestellt sind, repräsentiert wird, und einer tatsächlichen Montageposition der Kamera und einen Fehler zwischen einer Montagelage der Kamera, die unter Verwendung der Kameraparameter, die in der Kamera eingestellt sind, repräsentiert wird, und einer tatsächlichen Montagelage der Kamera aufweist; und der Zuverlässigkeitsauswertungsteil eine höhere Zuverlässigkeit in Bezug auf die Kamera auswertet, wenn der Fehler, der unter Verwendung des Fehlerberechnungsteils berechnet wird, kleiner ist.
Kameraparametereinstellvorrichtung nach einem der Ansprüche 1 bis 3, wobei ein Bilddatenspeicherteil (12a) das Teilvogelperspektivenbild, das unter Verwendung der Vogelperspektivenumwandlungsverarbeitungseinheit auf der Grundlage des Bildes, das unter Verwendung der Kamera erlangt wird, oder des Bildes, das unter Verwendung der Kamera erlangt wird, erzeugt wird, in Zuordnung zu Positionsspezifizierungsdaten als Daten zum Spezifizieren einer tatsächlichen Relativposition des Objektes, das in dem Bild enthalten ist, in Bezug auf das Fahrzeug speichert; der erste Relativpositionsspezifizierungsteil die Relativposition des gemeinsamen abgebildeten Objektes auf der Grundlage eines derzeitig erlangten Bildes, das von der Bezugskamera zusammen mit den derzeitigen Kameraparametern erlangt wird, spezifiziert, wenn das gemeinsame abgebildete Objekt in dem derzeitig erlangten Bild, das von der Bezugskamera erlangt wird, enthalten ist; wenn das gemeinsame abgebildete Objekt nicht in dem derzeitig erlangten Bild, das von der Bezugskamera erlangt wird, enthalten ist, die Relativposition des gemeinsamen abgebildeten Objektes auf der Grundlage eines Bildes, das das gemeinsame abgebildete Objekt enthält, Positionsspezifizierungsdaten, die dem Bild entsprechen, das das gemeinsame abgebildete Objekt enthält, und der Kameraparameter der Bezugskamera unter Bildern, die der Bezugskamera entsprechen, die in dem Bilddatenspeicherteil gespeichert sind, spezifiziert wird; der zweite Relativpositionsspezifizierungsteil die Relativposition des gemeinsamen abgebildeten Objektes auf der Grundlage eines derzeitig erlangten Bildes, das durch die eingestellte Zielkamera zusammen mit den derzeitigen Kameraparametern erlangt wird, spezifiziert, wenn das gemeinsame abgebildete Objekt in dem derzeitig erlangten Bild, das von der eingestellten Zielkamera erlangt wird, enthalten ist; und wenn das gemeinsame abgebildete Objekt nicht in dem derzeitig erlangten Bild, das von der eingestellten Zielkamera aufgenommen wird, enthalten ist, die Relativposition des gemeinsamen abgebildeten Objektes auf der Grundlage eines Bildes, das das gemeinsame abgebildete Objekt enthält, Positionsspezifizierungsdaten, die dem Bild entsprechen, das das gemeinsame abgebildete Objekt enthält, und der Kameraparameter der eingestellten Zielkamera unter Bildern, die der eingestellten Zielkamera entsprechen und in dem Bilddatenspeicherteil gespeichert sind, spezifiziert wird.
Kameraparametereinstellvorrichtung nach Anspruch 4, wobei ein Verschiebungsspezifizierungsteil (F3) aufeinanderfolgend aufeinanderfolgende Informationen in Bezug auf eine Bewegung des Fahrzeugs erlangt und aufeinanderfolgend eine Verschiebung des Fahrzeugs auf der Grundlage der Informationen spezifiziert; die Positionsspezifizierungsdaten Daten, die einem Bereich entsprechen, der in einem Bild, das den Positionsspezifizierungsdaten entspricht, aufgenommen wird, aus Zeitinformationen, einer Nachbarschaft des Fahrzeugs und einer Gesamtverschiebung des Fahrzeugs zwischen einem Zeitpunkt, zu dem das Bild, das den Positionsspezifizierungsdaten entspricht, erlangt wird, und einem derzeitigen Zeitpunkt sind; die Zeitinformationen Informationen darüber sind, wann ein Bild, das den Positionsspezifizierungsdaten entspricht, erlangt oder erzeugt wurde; die Nachbarschaft des Fahrzeugs auf der Grundlage der Gesamtverschiebung des eigenen Fahrzeugs bestimmt wird; und die Gesamtverschiebung des eigenen Fahrzeugs auf der Grundlage der Verschiebung des eigenen Fahrzeugs, die aufeinanderfolgend unter Verwendung des Verschiebungsspezifizierungsteils spezifiziert wird, bestimmt wird.
Kameraparametereinstellvorrichtung nach einem der Ansprüche 1 bis 5, wobei ein Vogelperspektivenbildintegrationsprozessor (F6) ein integriertes Vogelperspektivenbild, das ein Vogelperspektivenbild der Nachbarschaft des Fahrzeugs ist, durch Synthetisieren der Teilvogelperspektivenbilder, die den erlangten Bildern der Kameras entsprechen, erzeugt; die erlangten Bilder der Kameras unter Verwendung der Vogelperspektivenumwandlungsverarbeitungseinheit erzeugt werden; und ein Anzeigeverarbeitungsteil (F7) das integrierte Vogelperspektivenbild, das unter Verwendung des Vogelperspektivenbildintegrationsprozessors erzeugt wird, auf einer Anzeige anzeigt.
Kameraparametereinstellvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Kameras eine Vorwärtskamera, die einen vorbestimmten Bereich vor dem Fahrzeug erlangt, und eine Rückwärtskamera, die einen vorbestimmten Bereich auf der Rückseite des Fahrzeugs erlangt, enthalten; und der Bezugskameraauswahlteil die Vorwärtskamera oder die Rückwärtskamera als Bezugskamera verwendet und die andere aus der Vorwärtskamera und der Rückwärtskamera als die eingestellte Zielkamera verwendet.
Kameraparametereinstellvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Kamera eine Vorwärtskamera, die einen vorbestimmten Bereich vor dem Fahrzeug erlangt, eine Rückwärtskamera, die einen vorbestimmten Bereich auf der Rückseite des Fahrzeugs erlangt, eine rechte Kamera (8), die einen vorbestimmten Bereich auf einer rechten Seite des Fahrzeugs erlangt und eine linke Kamera (9) enthält, die einen vorbestimmten Bereich auf einer linken Seite des Fahrzeugs erlangt; ein erlangter Bereich der Vorwärtskamera sich mit einem Teil eines erlangten Bereiches der rechten Kamera und einem Teil eines erlangten Bereiches der linken Kamera überdeckt; ein erlangter Bereich der Rückwärtskamera einen Teil des erlangten Bereiches der rechten Kamera und einen Teil des erlangten Bereiches der linken Kamera überdeckt; der Bezugskameraauswahlteil die Vorwärtskamera oder die Rückwärtskamera als Bezugskamera verwendet; wenn der Bezugskameraauswahlteil die Vorwärtskamera als Bezugskamera verwendet, der Parameterberechnungsteil die Übereinstimmungsparameter in Bezug auf die Rückwärtskamera, die rechte Kamera und die linke Kamera berechnet; und wenn andererseits die Rückwärtskamera die Bezugskamera ist, der Parameterberechnungsteil die Übereinstimmungsparameter in Bezug auf die Vorwärtskamera, die rechte Kamera und die linke Kamera berechnet.