DE112014004506B4

DE112014004506B4 - Fahrzeugumgebungsbildanzeigevorrichtung und Kameraeinstellverfahren

Info

Publication number: DE112014004506B4
Application number: DE112014004506.3T
Authority: DE
Inventors: Hitoshi Tanaka; Muneaki Matsumoto
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-09-30
Filing date: 2014-09-17
Publication date: 2021-04-29
Anticipated expiration: 2034-09-18
Also published as: US10358086B2; JP2015070512A; WO2015045329A1; DE112014004506T5; CN105594203B; JP6277652B2; CN105594203A; US20160236619A1

Abstract

Elektronische Steuereinheit (3) für eine bordeigene Umgebungsbildanzeigevorrichtung (1), die an einem Kraftfahrzeug montiert ist, wobei die elektronische Steuereinheit (3) aufweist:einen Fahrzeugumgebungsbilderzeugungsabschnitt (21), der entsprechend einer Transformationsregel, die für jede von mehreren Kameras (5, 7, 9, 11) bestimmt ist, die an dem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden, eine Projektionstransformation auf die Bilder, die von den Kameras (5, 7, 9, 11) aufgenommen werden, anwendet, um ein Fahrzeugumgebungsbild zu erzeugen, das in einem einzigen Bildraum synthetisiert ist, wobei das Fahrzeugumgebungsbild die Umgebung des Kraftfahrzeugs repräsentiert, die von einem speziellen Blickpunkt beobachtet wird, wobei der Fahrzeugumgebungsbilderzeugungsabschnitt (21) mit einer Anzeigevorrichtung (13) kommuniziert, die das Fahrzeugumgebungsbild anzeigt; undeinen Einstellabschnitt (21), der die Transformationsregel einstellt, die für jede der Kameras (5, 7, 9, 11) bestimmt ist, wobeiin einer Situation, in derein Kalibrierungselement (31), in dem mehrere Kalibrierungsmuster (A, B) mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Kraftfahrzeug angeordnet ist;ein vorbestimmtes Kalibrierungsmuster (B) der Kalibrierungsmuster (A, B) in einem Aufnahmebereich einer Bezugskamera (7) angeordnet ist, die eine Kamera ist, die als ein Bezug zum Einstellen der Transformationsregel dient; undein anderes Kalibrierungsmuster (A) der Kalibrierungsmuster (A, B) in einem Aufnahmebereich einer einzustellenden Kamera (5) angeordnet ist, die eine Kamera ist, für die die Transformationsregel einzustellen ist,der Einstellabschnitt (21)eine Koordinate eines Bilds eines Bezugskalibrierungsmusters (B) durch Anwenden der Projektionstransformation auf das Bild des vorbestimmten Kalibrierungsmusters (B) des Kalibrierungselements (31), das von der Bezugskamera (7) aufgenommen wird, entsprechend der Transformationsregel, die für die Bezugskamera (7) bestimmt ist, erfasst;eine Koordinate eines Bilds eines Einstellkalibrierungsmusters (A) durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters (A) des Kalibrierungselements (31), das von der einzustellenden Kamera (5) aufgenommen wird, entsprechend der Transformationsregel, die für die einzustellende Kamera (5) bestimmt ist, erfasst;ein Erfassen einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters (B') entsprechend dem Bezugskalibrierungsmuster (B) auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters (A) und den Kalibrierungsmustern (A, B) oder ein Erfassen einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters (A') entsprechend dem Einstellkalibrierungsmuster (A) auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Bezugskalibrierungsmusters (B) und den Kalibrierungsmustern (A, B) durchführt; unddie Transformationsregel, die für die einzustellende Kamera (5) bestimmt ist, derart einstellt, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters (B') mit der Koordinate des Bilds des Bezugskalibrierungsmusters (B) oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters (A') mit der Koordinate des Bilds des Einstellkalibrierungsmusters (A) übereinstimmt.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Fahrzeugumgebungsbildanzeigevorrichtung zum Anzeigen eines Bilds um ein Fahrzeug, eine elektronische Steuereinheit dafür und ein Einstellverfahren für eine Kamera, die für die Fahrzeugumgebungsbildanzeigevorrichtung verwendet wird.
STAND DER TECHNIK
Eine bekannte Technologie transformiert ein Bild, das von einer bordeigenen Kamera aufgenommen wird, in ein Projektionsbild (Vogelperspektivenbild), das die Fahrzeugumgebung repräsentiert (einen Zustand der Fahrzeugumgebung aus der Sicht von oberhalb des Fahrzeugs).
Eine kürzlich offenbarte Technologie kalibriert (stellt ein bzw. passt an) eine Kamera, wenn die Kamera oder eine elektronische Steuerung zum Steuern der Kamera ersetzt wird oder wenn eine Kameraposition oder eine Kameralage während der Verwendung fehlausgerichtet ist.
In der offenbarten Technologie verwendet die Kamera eine Transformationsregel (Parameter) zum Transformieren eines Bilds, das von der Kamera aufgenommen wird, in ein Projektionsbild. Die Transformationsregel kann aufgrund der Ersetzung der Kamera oder einer Fehlausrichtung der Kameraposition oder der Kameralage nicht richtig sein. In einem derartigen Fall nimmt die Technologie an, dass die Kamera eine einzustellende bzw. anzupassende Kamera ist, und korrigiert die Transformationsregel.
Die folgende Beschreibung erläutert ein Verfahren, das als Technologie zum Korrigieren der Transformationsregel bekannt ist.
Wenn die Transformationsregel der Kamera in einer Fabrik eingestellt wird, wird ein speziell gestaltetes Kalibrierungsmuster mit spezieller Größe an einem vorbestimmten Ort des Grundes oder der Erde in der Fabrik gemalt. Ein Fahrzeug wird an eine vorbestimmte Stelle bewegt, um die Transformationsregel der Kamera einzustellen. Dadurch wird eine Positionsbeziehung zwischen dem Kalibrierungsmuster und dem Fahrzeug bestimmt, und dementsprechend wird eine Positionsbeziehung zwischen dem Kalibrierungsmuster und der Kamera, die für das Fahrzeug bereitgestellt wird, bestimmt. Eine Arithmetikoperation wird verwendet, um die Transformationsregel der Kamera einzustellen.
Ein Fahrzeughändler muss nicht in der Lage sein, eine spezielle Stelle zum Einstellen der Transformationsregel der Kamera zu gewährleisten, wenn die Transformationsregel der Kamera eingestellt wird. Um dieses Problem zu lösen, ordnet die Technologie, die in der JP 2008 - 92 575 A offenbart ist, ein Kalibrierungsmuster in einem teilweise überdeckenden Bereich eines Aufnahmebereichs der einzustellenden Kamera und eines Aufnahmebereichs einer benachbarten Bezugskamera (bei der keine Einstellung notwendig ist) an. Die Technologie stellt die Transformationsregel, die für die einzustellende Kamera bestimmt wird, derart ein, dass das Kalibrierungsmuster mit Koordinaten des Kalibrierungsmusters in dem Video in einem Bildraum übereinstimmt, der entsprechend einer Transformationsregel, die für die Bezugskamera bestimmt ist, projektionstransformiert ist.
Beim Einstellen der Transformationsregel der Kamera durch Anordnen des Kalibrierungsmusters an einem beliebigen Ort bei dem Fahrzeughändler überdeckt sich der Aufnahmebereich der einzustellenden Kamera mit dem Aufnahmebereich einer Kamera, die als ein Kandidat für die Bezugskamera dient, und das Kalibrierungsmuster wird in dem Überdeckungsbereich angeordnet. Ansonsten ist die Einstellung der Transformationsregel, die für die einzustellende Kamera bestimmt ist, schwierig.
Zusätzlich ist die Genauigkeit des aufgenommenen Bilds des Kalibrierungsmusters in Abhängigkeit von der Anordnungsposition des Kalibrierungsmusters niedrig, was eine genaue Einstellung verhindert.
Die US 2012 / 0 002 057 A1 offenbart eine elektronische Steuereinheit (3) für eine bordeigene Umgebungsbildanzeigevorrichtung, die an einem Kraftfahrzeug montiert ist, wobei die elektronische Steuereinheit aufweist: einen Fahrzeugumgebungsbilderzeugungsabschnitt, der entsprechend einer Transformationsregel, die für jede von mehreren Kameras bestimmt ist, die an dem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden, eine Projektionstransformation auf die Bilder, die von den Kameras aufgenommen werden, anwendet, um ein Fahrzeugumgebungsbild zu erzeugen, das in einem einzigen Bildraum synthetisiert ist, wobei das Fahrzeugumgebungsbild die Umgebung des Kraftfahrzeugs repräsentiert, die von einem speziellen Blickpunkt beobachtet wird, wobei der Fahrzeugumgebungsbilderzeugungsabschnitt mit einer Anzeigevorrichtung kommuniziert, die das Fahrzeugumgebungsbild anzeigt; wobei ein Kalibrierungselement, in dem mehrere Kalibrierungsmuster mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Kraftfahrzeug angeordnet ist; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer der Kameras angeordnet ist; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer anderen Kamera der Kameras angeordnet ist.
Die US 2010 / 0 194 886 A1 beschreibt eine Kamerakalibrierungsvorrichtung für ein Fahrzeug, wobei mehrere Kamerabilder von mehreren Kameras auf eine vorbestimmte Oberfläche projiziert werden. Kalibrierungsmuster, die in einem gemeinsamen Aufnahmebereich der Kameras angeordnet werden, werden von den Kameras fotografiert und kombiniert. Das Kamerakalibrierungsgerät beurteilt anhand der fotografierten Ergebnisse, wo die Kalibrierungsmuster von den Kameras aufgenommen werden.
Die US 2012 / 0 287 232 A1 beschreibt ein System zum Kalibrieren eines Surround-View-Systems eines Fahrzeugs. Das System enthält eine Kalibrierungslogik und positioniert einen Satz von Markierungen auf einer Ebene, die das Objekt zumindest teilweise umgibt. Die Ebene befindet sich in einem Sichtfeld einer Kamera des Surround-View-Systems, und die Kamera enthält eine vorbestimmte intrinsische Kalibrierung. das System bestimmt außerdem extrinsische Parameter der Kamera in Bezug auf die Markierungen.
Die US 2009 / 0 299 684 A1 beschreibt ein Verfahren zum Kalibrieren von Fahrzeugkameras, wobei gemalte Muster auf einer Straßenoberfläche bereitgestellt und diese Muster von zu kalibrierenden Kameras erfasst werden. Gemäß einer vordefinierten Positionsbeziehung der Kameras zu den gemalten Mustern werden aufgenommene Bilder der gemalten Muster in die Vogelperspektive konvertiert und mit berechneten Kamerapositionen abgeglichen, um Kamerarichtungen und dergleichen automatisch zu kalibrieren.
Außerdem wird noch auf die JP 4 555 876 B2 verwiesen, die ein Kalibrierungsverfahren für eine fahrzeugeigene Kamera beschreibt.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung entstand im Hinblick auf die obigen Probleme. Es ist eine Aufgabe der Erfindung, eine elektronische Steuervorrichtung für eine Fahrzeugumgebungsbildanzeigevorrichtung, eine Fahrzeugumgebungsbildanzeigevorrichtung und ein Kameraeinstellverfahren zu schaffen, die in der Lage sind, auf einfache Weise eine Transformationsregel einer einzustellenden Kamera sogar dann einzustellen, wenn ein Kalibrierungsmuster in einem Bereich ausschließlich einer Überdeckung zwischen einem Aufnahmebereich der einzustellenden Kamera und einem Aufnahmebereich einer Bezugskamera angeordnet wird. Die Aufgabe wird durch eine elektronische Steuervorrichtung mit den Merkmalen der Ansprüche 1 bzw. 2, durch eine Fahrzeugumgebungsbildanzeigevorrichtung mit den Merkmalen des Anspruchs 12 sowie durch ein Kameraeinstellverfahren mit den Merkmalen des Anspruches 10 bzw. 11 gelöst. Die abhängigen Ansprüche sind auf vorteilhafte Weiterbildungen der Erfindung gerichtet.
Eine bordeigene Umgebungsbildanzeigevorrichtung gemäß einem ersten Beispiel der vorliegenden Erfindung ist an einem Kraftfahrzeug montiert und weist mehrere Kameras, einen Fahrzeugumgebungsbilderzeugungsabschnitt, eine Anzeigevorrichtung und einen Einstellabschnitt auf. Die Kameras sind an dem Kraftfahrzeug montiert, um eine Umgebung des Kraftfahrzeugs abzubilden. Entsprechend einer Transformationsregel, die für jede Kamera bestimmt ist, die vorhanden ist, um das Bild aufzunehmen, wendet der Fahrzeugumgebungsbilderzeugungsabschnitt eine Projektionstransformation auf die Bilder, die von den Kameras aufgenommen werden, an, um ein Fahrzeugumgebungsbild zu erzeugen, das in einem einzigen Bildraum synthetisiert ist. Das Fahrzeugumgebungsbild repräsentiert die Umgebung des Kraftfahrzeugs von einem speziellen Blickpunkt aus. Die Anzeigevorrichtung zeigt das Fahrzeugumgebungsbild, das von dem Fahrzeugumgebungsbilderzeugungsabschnitt erzeugt wird, an. Der Einstellabschnitt stellt die Transformationsregel ein, die für jede der Kameras bestimmt ist. In einer Situation, in der: ein Kalibrierungselement, in dem mehrere Kalibrierungsmuster mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Kraftfahrzeug angeordnet ist; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer Bezugskamera angeordnet ist, die eine Kamera ist, die als Bezug zum Einstellen der Transformationsregel dient; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer einzustellenden Kamera angeordnet ist, die eine Kamera ist, für die die Transformationsregel einzustellen ist, erfasst der Einstellabschnitt eine Koordinate eines Bilds eines Bezugskalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des vorbestimmten Kalibrierungsmusters des Kalibrierungselements, das von der Bezugskamera entsprechend der Transformationsregel aufgenommen wird, die für die Bezugskamera bestimmt ist; erfasst der Einstellabschnitt eine Koordinate eines Bilds eines Einstellkalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters des Kalibrierungselements, das von der einzustellenden Kamera entsprechend der Transformationsregel aufgenommen wird, die für die einzustellende Kamera bestimmt ist; führt der Einstellabschnitt ein Erfassen einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters entsprechend dem Bezugskalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters und den Kalibrierungsmustern oder ein Erfassen einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters entsprechend dem Einstellkalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Bezugskalibrierungsmusters und den Kalibrierungsmustern durch; und stellt der Einstellabschnitt die Transformationsregel, die für die einzustellende Kamera bestimmt ist, derart ein, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters mit der Koordinate des Bilds des Bezugskalibrierungsmusters oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters mit der Koordinate des Bilds des Einstellkalibrierungsmusters übereinstimmt.
Ein Kameraeinstellverfahren gemäß einem ersten Beispiel der vorliegenden Erfindung ist für eine bordeigene Umgebungsbildanzeigevorrichtung ausgebildet, die enthält: mehrere Kameras , die an einem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden; einen Fahrzeugumgebungsbilderzeugungsabschnitt, der entsprechend einer Transformationsregel, die für jede Kamera bestimmt ist, die ausgebildet ist, um das Bild aufzunehmen, eine Projektionstransformation auf die Bilder, die von den Kameras aufgenommen werden, anwendet, um ein Fahrzeugumgebungsbild, das in einem einzigen Bildraum synthetisiert ist, zu erzeugen, wobei das Fahrzeugumgebungsbild die Umgebung des Kraftfahrzeugs repräsentiert, die aus der Sicht eines speziellen Blickpunkts beobachtet wird; und eine Anzeigevorrichtung, die das Fahrzeugumgebungsbild, das von dem Fahrzeugumgebungsbilderzeugungsabschnitt erzeugt wird, anzeigt, und wobei das Kameraeinstellverfahren zum Einstellen der Transformationsregeln für die Kameras ausgebildet ist. In einer Situation, in der: ein Kalibrierungselement, in dem mehrere Kalibrierungsmuster mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Fahrzeug angeordnet ist; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer Bezugskamera angeordnet ist, die eine Kamera ist, die als Bezug zum Einstellen der Transformationsregel dient; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer einzustellenden Kamera angeordnet ist, die eine Kamera ist, für die die Transformationsregel einzustellen ist, weist das Kameraeinstellverfahren auf: Erfassen einer Koordinate eines Bilds eines Bezugskalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des vorbestimmten Kalibrierungsmusters des Kalibrierungselements, das von der Bezugskamera entsprechend der Transformationsregel, die für die Bezugskamera bestimmt ist, aufgenommen wird; Erfassen einer Koordinate eines Bilds eines Einstellkalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters des Kalibrierungselements, das von der einzustellenden Kamera entsprechend der Transformationsregel aufgenommen wird, die für die einzustellende Kamera bestimmt ist; Durchführen eines Erfassens einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters entsprechend dem Bezugskalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters und den Kalibrierungsmustern oder eines Erfassens einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters entsprechend dem Einstellkalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Bezugskalibrierungsmusters und den Kalibrierungsmustern; und Einstellen der Transformationsregel, die für die einzustellende Kamera bestimmt ist, derart, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters mit der Koordinate des Bilds des Bezugskalibrierungsmusters oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters mit der Koordinate des Bilds des Einstellkalibrierungsmusters übereinstimmt.
Sogar wenn Aufnahmebereiche für die Kameras einander nicht überdecken, können die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren gemäß der vorliegenden Erfindung auf einfache Weise die einzustellende Kamera durch Anordnen der Kalibrierungsmuster in den entsprechenden Aufnahmebereichen und Durchführen des oben genannten Prozesses kalibrieren.
Herkömmlich kann ein sehr kleines (einzelnes) Muster auf einem Bildschirm angezeigt werden. Sogar in einem derartigen Fall verwenden die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren gemäß der vorliegenden Erfindung das Kalibrierungselement, das unterschiedliche Muster enthält, die in Aufnahmebereichen für die unterschiedlichen Kameras angeordnet sind, um die Genauigkeit der Kameras zum Erfassen von Kalibrierungsmustern zu verbessern. Die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren gemäß der vorliegenden Erfindung können in vorteilhafter Weise die Kalibrierung mittels des oben genannten Prozesses genau durchführen.
Eine bordeigene Umgebungsbildanzeigevorrichtung gemäß einem zweiten Beispiel der vorliegenden Erfindung ist an einem Kraftfahrzeug montiert und weist mehrere Kameras, einen Fahrzeugumgebungsbilderzeugungsabschnitt, eine Anzeigevorrichtung und einen Einstellabschnitt auf. Die Kameras sind an einem Kraftfahrzeug montiert, um eine Umgebung des Kraftfahrzeugs abzubilden. Entsprechend einer Transformationsregel, die für jede Kamera bestimmt ist, die zum Aufnehmen des Bilds ausgebildet ist, wendet der Fahrzeugumgebungsbilderzeugungsabschnitt eine Projektionstransformation auf die Bilder, die von den Kameras aufgenommen werden, an, um ein Fahrzeugumgebungsbild, das in einem einzigen Bildraum synthetisiert ist, zu erzeugen. Das Fahrzeugumgebungsbild repräsentiert die Umgebung des Kraftfahrzeugs, die von einem speziellen Blickpunkt beobachtet wird. Die Anzeigevorrichtung zeigt das Fahrzeugumgebungsbild, das von dem Fahrzeugumgebungsbilderzeugungsabschnitt erzeugt wird, an. Der Einstellabschnitt stellt die Transformationsregel, die für jede der Kameras bestimmt ist, ein. In einer Situation, in der: Kalibrierungselemente, in denen mehrere Kalibrierungsmuster mit vorbestimmten Größen und Gestalten und einer vorbestimmten Positionsbeziehung um das Kraftfahrzeug angeordnet sind; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer vorbestimmten Kamera angeordnet ist; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer anderen Kamera angeordnet ist, verwendet der Einstellabschnitt aus einem Satz von zwei einzustellenden Kameras, die in der Lage sind, unabhängig zwei Kalibrierungsmuster eines vorbestimmten Kalibrierungselements der Kalibrierungselemente aufzunehmen, eine Kamera als eine vorläufige Bezugskamera und die andere Kamera als eine einzustellende Kamera; erfasst der Einstellabschnitt eine Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild eines vorbestimmten Kalibrierungsmusters der beiden Kalibrierungsmuster, das von der Bezugskamera aufgenommen wird, entsprechend der Transformationsregel, die für die vorläufige Bezugskamera bestimmt ist; erfasst der Einstellabschnitt eine Koordinate eines Bilds eines Einstellkalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters der beiden Kalibrierungsmuster, das von der einzustellenden Kamera aufgenommen wird, entsprechend der Transformationsregel, die für die einzustellende Kamera bestimmt ist; führt der Einstellabschnitt ein Erfassen einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters entsprechend dem vorläufigen Bezugskalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters und den beiden Kalibrierungsmustern oder ein Erfassen einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters entsprechend dem Einstellkalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters und den beiden Kalibrierungsmustern durch; und stellt der Einstellabschnitt die Transformationsregel, die für die einzustellende Kamera bestimmt ist, derart ein, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters mit der Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters mit der Koordinate des Bilds des Einstellkalibrierungsmusters übereinstimmt. Diese Satz-um-Satz-Basis-Einstellung wird angewendet, um die Transformationsregeln für sämtliche Kameras einzustellen.
Ein Kameraeinstellverfahren gemäß einem zweiten Beispiel der vorliegenden Erfindung ist für eine bordeigene Umgebungsbildanzeigevorrichtung ausgebildet, die enthält: mehrere Kameras, die an einem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden; einen Fahrzeugumgebungsbilderzeugungsabschnitt, der eine Projektionstransformation auf die Bilder, die von den Kameras aufgenommen werden, entsprechend einer Transformationsregel anwendet, die für jede Kamera bestimmt ist, die ausgebildet ist, um das Bild aufzunehmen, um ein Fahrzeugumgebungsbild zu erzeugen, das in einem einzigen Bildraum synthetisiert ist, wobei das Fahrzeugumgebungsbild die Umgebung des Kraftfahrzeugs repräsentiert, die von einem speziellen Blickpunkt beobachtet wird; und eine Anzeigevorrichtung, die das Fahrzeugumgebungsbild, das von dem Fahrzeugumgebungsbilderzeugungsabschnitt erzeugt wird, anzeigt. Das Kameraeinstellverfahren ist zum Einstellen der Transformationsregeln für die Kameras ausgebildet. In einer Situation, in der: Kalibrierungselemente, in denen mehrere Kalibrierungsmuster mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Kraftfahrzeug angeordnet sind; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer vorbestimmten Kamera angeordnet ist; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer anderen Kamera angeordnet ist, weist das Kameraeinstellverfahren auf: von einem Satz von zwei einzustellenden Kameras, die in der Lage sind, unabhängig zwei Kalibrierungsmuster eines vorbestimmten Kalibrierungselements der Kalibrierungselemente aufzunehmen, Verwenden einer Kamera als eine vorläufige Bezugskamera und der anderen Kamera als eine einzustellende Kamera; Erfassen einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild eines vorbestimmten Kalibrierungsmusters der beiden Kalibrierungsmuster, das von der vorläufigen Bezugskamera aufgenommen wird, entsprechend der Transformationsregel, die für die vorläufige Bezugskamera bestimmt ist; Erfassen einer Koordinate eines Bilds eines Einstellkalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters der beiden Kalibrierungsmuster, das von der einzustellenden Kamera aufgenommen wird, entsprechend der Transformationsregel, die für die einzustellende Kamera bestimmt ist; Durchführen eines Erfassens einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters entsprechend dem vorläufigen Bezugskalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters und den beiden Kalibrierungsmustern oder eines Erfassens einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters entsprechend dem Einstellkalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters und den beiden Kalibrierungsmustern; und Einstellen der Transformationsregel, die für die einzustellende Kamera bestimmt ist, derart, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters mit der Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters mit der Koordinate des Bilds des Einstellkalibrierungsmusters übereinstimmt. Diese Satz-um-Satz-Basis-Einstellung wird angewendet, um die Transformationsregeln für sämtliche Kameras einzustellen.
In der bordeigenen Umgebungsbildanzeigevorrichtung und dem Kameraeinstellverfahren gemäß der vorliegenden Erfindung ist es sogar dann, wenn sämtliche Kameras beispielsweise aufgrund einer Ersetzung der elektronischen Steuereinheit einzustellen sind, möglich, die einzustellenden Kameras durch Anordnen der Kalibrierungsmuster in den entsprechenden Aufnahmebereichen und Durchführen des obigen Prozesses sogar dann, wenn sich die Aufnahmebereiche der Kameras nicht überdecken, auf einfache Weise zu kalibrieren.
Herkömmlich kann ein sehr kleines einzelnes Muster auf einem Bildschirm angezeigt werden. In einem derartigen Fall verwenden die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren gemäß der vorliegenden Erfindung das Kalibrierungselement, das unterschiedliche Kalibrierungsmuster enthält, die in Aufnahmebereichen für die unterschiedlichen Kameras angeordnet werden, um die Genauigkeit für die Kameras zum Erfassen von Kalibrierungsmustern zu verbessern. Die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren können in vorteilhafter Weise die Kalibrierung mittels des oben genannten Prozesses genau durchführen.
Figurenliste

1 ist ein Blockdiagramm, das eine Konfiguration einer Fahrzeugumgebungsbildanzeigevorrichtung gemäß einer ersten Ausführungsform darstellt;
2 ist eine Draufsicht, die ein Kalibrierungsblatt einschließlich Mustern A und B darstellt;
3 ist ein Diagramm, das eine Anordnung eines Kalibrierungsblatts (aus der Sicht von oberhalb eines Fahrzeugs) gemäß der ersten Ausführungsform darstellt.
4 ist ein Flussdiagramm, das ein Kamerakalibrierungsverfahren gemäß der ersten Ausführungsform darstellt;
5A ist ein Diagramm, das eine Verzerrungskorrektur, die auf ein Bild, das von einer Weitwinkelkamera aufgenommen wird, angewendet wird, darstellt;
5B ist eine Linienzeichnung der 5A;
6 ist ein Diagramm, das ein Beispiel eines Fahrzeugkoordinatensystems und Kameraparameter darstellt;
7 ist ein Flussdiagramm, das ein Verfahren zum Aktualisieren von Rollen, Nicken und Z, die zu dem Kalibrierungsverfahren gemäß der ersten Ausführungsform gehören, darstellt;
8 ist ein Diagramm, das eine Anordnung eines Kalibrierungsblatts (aus der Sicht von oberhalb eines Fahrzeugs) gemäß einer zweiten Ausführungsform darstellt;
9 ist ein Flussdiagramm, das ein Kamerakalibrierungsverfahren gemäß der zweiten Ausführungsform darstellt;
10 ist ein Diagramm, das eine Anordnung eines Kalibrierungsblatts (aus der Sicht von oberhalb eines Fahrzeugs) gemäß einer dritten Ausführungsform darstellt;
11 ist ein Diagramm, das eine Anordnung eines Kalibrierungsblatts (aus der Sicht von oberhalb eines Fahrzeugs) gemäß einer vierten Ausführungsform darstellt;
12A stellt ein Bild dar, das aus der Anwendung einer Verzerrungskorrektur auf ein Bild, das von einer linken Kamera aufgenommen wird, gemäß der vierten Ausführungsform resultiert;
12B stellt ein Bild dar, das aus einem Vergrößern eines Bereichs entsprechend dem Muster A in 12A resultiert;
12C stellt ein Bild dar, das aus einem Vergrößern eines Bereichs entsprechend dem Muster B in 12A resultiert;
12D ist eine Linienzeichnung der 12A;
12E ist eine Linienzeichnung der 12B;
12F ist eine Linienzeichnung der 12C;
13 ist ein Diagramm, das ein Beispiel einer Anordnung eines Kalibrierungsblatts (aus der Sicht von oberhalb eines Fahrzeugs) gemäß einer fünften Ausführungsform darstellt;
14 ist ein Diagramm, das eine Anordnung eines Kalibrierungsblatts (aus der Sicht von oberhalb eines Fahrzeugs) gemäß einer sechsten Ausführungsform darstellt;
15A ist ein Flussdiagramm, das die erste Hälfte des Kamerakalibrierungsverfahrens gemäß der sechsten Ausführungsform darstellt;
15B ist ein Flussdiagramm, das die zweite Hälfte des Kamerakalibrierungsverfahrens gemäß der sechsten Ausführungsform darstellt;
16 ist ein Diagramm, das eine Beziehung zwischen einem vorläufigen Bezugskamerakoordinatensystem und einem Fahrzeugkoordinatensystem (aus der Sicht von oberhalb eines Fahrzeugs) darstellt;
17A ist ein Diagramm, das ein Verfahren einer Transformation in ein Fahrzeugkoordinatensystem und eine Technik zum Finden von θ1 (aus der Sicht von oberhalb eines Fahrzeugs) darstellt;
17B ist ein Diagramm, das ein Verfahren einer Transformation in ein Fahrzeugkoordinatensystem und eine Technik zum Finden von θ2 (aus der Sicht von oberhalb eines Fahrzeugs) darstellt;
18A ist ein Diagramm, das ein Verfahren einer Transformation in ein Fahrzeugkoordinatensystem und eine Technik zum Drehen der Koordinate um den Ursprung eines vorläufigen Bezugskamerakoordinatensystems (aus der Sicht von oberhalb eines Fahrzeugs) darstellt;
18B ist ein Diagramm, das ein Verfahren einer Transformation in ein Fahrzeugkoordinatensystem und eine Technik zum Finden von OFFSET_X und OFFSET_Y (aus der Sicht von oberhalb eines Fahrzeugs) darstellt;
19A ist ein Diagramm, das eine Technik zum Schätzen des Musters B unter Verwendung des Musters A darstellt; und
19B ist ein Diagramm, das eine Technik zum Schätzen des Musters B unter Verwendung der Muster A und C gemäß einer siebten Ausführungsform darstellt.

AUSFÜHRUNGSFORMEN ZUM AUSFÜHREN DER ERFINDUNG
Im Folgenden werden Ausführungsformen einer Fahrzeugumgebungsbildanzeigevorrichtung 1 gemäß der vorliegenden Erfindung mit Bezug auf die zugehörigen Zeichnungen beschrieben. Die Fahrzeugumgebungsbildanzeigevorrichtung 1 ist ein Beispiel einer bordeigenen Umgebungsbildanzeigevorrichtung.
(Erste Ausführungsform)
Die Fahrzeugumgebungsbildanzeigevorrichtung 1 gemäß einer Ausführungsform kalibriert (stellt ein bzw. passt an) eine Kamera durch Einstellen bzw. Anpassen einer Transformationsregel einer Projektionstransformation, die auf ein Bild angewendet wird, das von einer Kamera (bordeigenen Kamera), die an einem Fahrzeug montiert ist, aufgenommen wird.
(a) Im Folgenden wird zunächst eine Basiskonfiguration der Fahrzeugumgebungsbildanzeigevorrichtung 1 gemäß der Ausführungsform mit Bezug auf 1 beschrieben.
Wie es in 1 dargestellt ist, ist die Fahrzeugumgebungsbildanzeigevorrichtung 1 gemäß der Ausführungsform an einem Fahrzeug (Kraftfahrzeug) montiert und zeigt ein um das Fahrzeug aufgenommene Bild an. Die Fahrzeugumgebungsbildanzeigevorrichtung 1 enthält eine elektronische Steuereinheit (ECU) 3, eine vordere Kamera 5, eine linke Kamera 7, eine rechte Kamera 9, eine hintere Kamera 11 und eine Anzeigevorrichtung 13. Die ECU 3 enthält einen bekannten Mikrocomputer. Die vordere Kamera 5 ist auf der Vorderseite des Fahrzeugs angeordnet. Die linke Kamera 7 ist auf der linken Seite des Fahrzeugs angeordnet. Die rechte Kamera 9 ist auf der rechten Seite des Fahrzeugs angeordnet. Die hintere Kamera 11 ist auf der Hinterseite des Fahrzeugs angeordnet. Die Anzeigevorrichtung 13 zeigt Bilder an.
Eine Weitwinkelkamera wird für jede der vier Kameras 5 bis 11 verwendet. Der Zweck besteht darin, Bilder, die von den vier Kameras 5 bis 11 aufgenommen werden, in ein Projektionsbild (Vogelperspektivenbild des Fahrzeugs aus der Sicht von oberhalb des Fahrzeugs) zu transformieren, das in einem einzigen Bildraum synthetisiert ist, so dass das Bild einen gesamten Bereich um das Fahrzeug abdeckt.
Die vordere Kamera 5 ist in der Mitte der Fahrzeugbreitenrichtung der Fahrzeugvorderseite eingebettet, um Bilder auf der Vorderseite des Fahrzeugs aufzunehmen.
Die linke Kamera 7 ist in der Mitte oder zur Vorderseite der linken Seite des Fahrzeugs in der Längsrichtung des Fahrzeugs eingebettet, um Bilder auf der linken Seite des Fahrzeugs aufzunehmen.
Die rechte Kamera 9 ist in der Mitte oder zur Vorderseite der rechten Seite des Fahrzeugs in der Längsrichtung des Fahrzeugs eingebettet, um Bilder auf der rechten Seite des Fahrzeugs aufzunehmen.
Die hintere Kamera 11 ist in der Mitte der Fahrzeugbreitenrichtung der Fahrzeughinterseite eingebettet, um Bilder der Hinterseite des Fahrzeugs aufzunehmen.
Die ECU 3 enthält eine Energieversorgung 15, einen Bildeingangssignalverarbeitungsabschnitt 17, einen Eingangssignalverarbeitungsabschnitt 19, einen Bildverarbeitungsabschnitt 21, einen Speicher 23 und einen Bildausgangssignalverarbeitungsabschnitt 25. Die Energieversorgung 15 führt der ECU 3 Energie zu.
Der Bildeingangssignalverarbeitungsabschnitt 17 trennt ein Videosignal aus analogen Aufnahmedaten, die von den Kameras 5 bis 11 zugeführt werden, und gibt das Videosignal an den Bildverarbeitungsabschnitt 21 aus.
Der Eingangssignalverarbeitungsabschnitt 19 verarbeitet Eingangsverschiebungspositionsinformationen, Fahrzeuggeschwindigkeitsinformationen, Lenkwinkelinformationen und ein Signal von einem Diagnosewerkzeug 27. Der Eingangssignalverarbeitungsabschnitt 19 führt dem Bildverarbeitungsabschnitt 21 die Verschiebungspositionsinformationen, die eine Vorwärts- oder Rückwärtsbewegung angeben, die Fahrzeuggeschwindigkeitsinformationen, die eine niedrige oder hohe Geschwindigkeit angeben, die Lenkwinkelinformationen, die eine Rechts- oder Linksdrehung eines Lenkrads oder einen Drehwinkel angeben, und eine Anweisung von dem Diagnosewerkzeug zu.
Der Bildverarbeitungsabschnitt 21 wandelt ein Videosignal von einem analogen Signal in ein digitales Signal um. Der Bildverarbeitungsabschnitt 21 verarbeitet benötigte Informationen unter Verwendung des Speichers 23 und holt benötigte Daten von dem unten beschriebenen Bildprozess betreffend ein Kalibrierungsblatt 31 (siehe 2). Der Bildverarbeitungsabschnitt 21 gibt die Daten (digitales Signal) an den Bildausgangssignalverarbeitungsabschnitt 25 aus.
Wie es später beschrieben wird, erfasst der Bildprozess betreffend das Kalibrierungsblatt 31 ein Kalibrierungsmuster A (im Folgenden einfach als Muster bezeichnet) an einem Ende des Kalibrierungsblatts 31 und erfasst ein Muster B (das eine vorbestimmte Positionsbeziehung zu dem Muster A hält) aus den Daten des Musters A.
Auf der Grundlage von Informationen von dem Eingangssignalverarbeitungsabschnitt 19 wandelt der Bildverarbeitungsabschnitt 21 ein Videosignal in ein Draufsichtvideo um, wenn die Fahrzeuggeschwindigkeit beispielsweise niedrig ist. Genauer gesagt wendet der Bildverarbeitungsabschnitt 21 eine Projektionstransformation auf Bilder, die von den Kameras aufgenommen werden, an. Die Projektionstransformation erfüllt eine Transformationsregel, die für jede der Kameras, die die Bilder aufnehmen, vorbestimmt ist. Der Bildverarbeitungsabschnitt 21 synthetisiert die Bilder in einen einzigen Bildraum und erzeugt ein Fahrzeugumgebungsbild, das die Fahrzeugumgebung repräsentiert, die von einem vorbestimmten Blickpunkt beobachtet wird. Der Bildverarbeitungsabschnitt 21 ist ein Beispiel eines Fahrzeugumgebungsbilderzeugungsabschnitts und einer Fahrzeugumgebungsbilderzeugungseinrichtung.
Der Speicher 23 speichert ein Videosignal von dem Bildverarbeitungsabschnitt 21 und Koordinateninformationen über einen Scheitelpunkt CT (siehe 2) als einen Merkmalspunkt für das Muster A oder B.
Der Bildausgangssignalverarbeitungsabschnitt 25 wandelt ein Videosignal, das von dem Bildverarbeitungsabschnitt 21 eingegeben wird, von einem digitalen Signal in ein analoges Signal um und gibt das Videosignal an die Anzeigevorrichtung 13 aus.
Die Anzeigevorrichtung 13 zeigt das Videosignal (demzufolge ein Bild), das von dem Bildausgangssignalverarbeitungsabschnitt 25 eingegeben wird, an und ist beispielsweise eine Flüssigkristallanzeige.
Ein Mikrocomputerprozess implementiert beispielsweise den Eingangssignalverarbeitungsabschnitt 19 oder den Bildverarbeitungsabschnitt 21, die oben erwähnt sind.
(b) Im Folgenden wird das Kalibrierungsblatt 31 beschrieben, das zur Kamerakalibrierung gemäß der ersten Ausführungsform verwendet wird.
<Konfiguration des Kalibrierungsblatts 31>
Im Folgenden wird eine Konfiguration des Kalibrierungsblatts 31 erläutert.
Wie es in 2 dargestellt ist, ist das Kalibrierungsblatt 31 als ein faltbares Blatt mit 4700 mm x 900 mm x 5 mm Dicke vorhanden. Quadratische Muster A und B (gleich gestaltet) sind an beiden Enden der Längsrichtung des Kalibrierungsblatts 31 angeordnet. Jedes Muster weist einen Außendurchmesser von 900 mm auf.
Es ist vorteilhaft, wenn sich ein Material für das Kalibrierungsblatt 31 in Abhängigkeit von der Temperatur oder der Feuchtigkeit kaum zusammenzieht oder ausdehnt (um die Kalibrierung nicht zu beeinflussen). Insbesondere ist das Material vorzugsweise ein Stoff, der aus einer kaum dehnbaren und zusammenziehbaren chemischen Faser besteht.
Die Muster A und B, die oben erwähnt sind, werden durch Bedrucken oder Ähnliches auf der Oberfläche oder Ähnlichem des Stoffes, der für das Kalibrierungsblatt 31 verwendet wird, farbig ausgebildet. Die Muster A und B weisen weiße quadratische Kalibrierungsmarkierungen 33 und 35 auf, in denen beispielsweise jeweils ein 500-mm-Qadrat in der Mitte eines schwarzen Quadrates (Basismarkierung) angeordnet ist. Mit anderen Worten, die schwarzen quadratischen Rahmen 34 und 36 sind derart ausgebildet, dass sie die weißen quadratischen Kalibrierungsmarkierungen 33 und 35 umgeben.
Der Schwarz-weiß-Kontrast ermöglicht einen bekannten Bildprozess zum Erfassen der vier Scheitelpunkte CT (Kanten) der jeweiligen Kalibrierungsmarkierung 33, 35 auf der Grundlage einer Luminanzdifferenz in den Bilddaten des Musters A, B. Unter Berücksichtigung des Kontrasts wird beispielsweise eine rote Farbe für einen Zwischenteil zwischen den Mustern A und B verwendet. Während die Rahmen 34 und 36 in Schwarz und der Zwischenteil 37 in Rot beschrieben wurden, können beide in derselben Farbe wie Schwarz oder Rot vorhanden sein.
Stangenähnliche Gewichte (Endgewichte) 39 und 41, die jeweils 950 mm lang sind, sind an den Enden des Kalibrierungsblatts 31 in der axialen Richtung, d. h. entlang der axialen Außenseiten (kürzeren Seiten) der Muster A und B angeordnet.
Die Endgewichte 39 und 41 verhindern eine Fehlausrichtung des Kalibrierungsblatts 31, wenn es angeordnet wird. Zu diesem Zweck können die Endgewichte 39 und 41 in vorteilhafter Weise aus Harz (beispielsweise ABS) oder Metall (beispielsweise Eisen) bestehen, das schwer genug ist, um Einflüssen von Wind zu widerstehen.
Das Kalibrierungsblatt 31 kann nicht nur als ein Blatt ausgebildet sein, sondern kann auch auf eine Straße gemalt sein, wenn die Muster A und B eine spezifizierte Größe erfüllen.
Die Muster A und B müssen nur verwendet werden, um Scheitelpunkte CT der Kalibrierungsmarkierungen 33 und 35 zu finden. Die Muster A und B sind nicht auf ein Quadrat beschränkt, sondern können als Polygon, beispielsweise als ein Rechteck oder ein Dreieck, ausgebildet sein.
<Anordnung des Kalibrierungsblatts 31>
Im Folgenden wird eine Anordnung des Kalibrierungsblatts 31 beschrieben.
Wie es in 3 dargestellt ist, deckt die vordere Kamera 5 einen Aufnahmebereich SF (einen horizontalen langen rechteckigen Bereich, der durch die gestrichelte Linie in der Zeichnung angegeben ist) auf der Vorderseite des Fahrzeugs ab. Die linke Kamera 7 deckt einen Aufnahmebereich SL (einen vertikalen langen rechteckigen Bereich, der durch die gestrichelte Linie in der Zeichnung angegeben ist) auf der linken Seite des Fahrzeugs ab. Die Aufnahmebereiche SF und SL überdecken sich teilweise (an der linken Spitze der Zeichnung). Die folgende Beschreibung erläutert einen Fall, in dem das Kalibrierungsblatt 31 derart angeordnet wird, dass es sich quer über die Aufnahmebereiche SF und SL erstreckt. Eine Überdeckung zwischen Aufnahmebereichen SF und SL wird als Überdeckungsbereich SFL bezeichnet.
Genauer gesagt ist das Muster A an dem einem Ende des Kalibrierungsblatts 31 in dem Aufnahmebereich SF (mit der Ausnahme des Überdeckungsbereichs SFL) angeordnet. Das Muster B an dem anderen Ende des Kalibrierungsblatts 31 ist in dem Aufnahmebereich SL (mit der Ausnahme des Überdeckungsbereichs SFL) angeordnet.
c) Im Folgenden wird ein Kalibrierungsverfahren gemäß der ersten Ausführungsform beschrieben.
Ein Signal von dem Diagnosewerkzeug 27 bestimmt beispielsweise, welche Kamera als Bezugskamera (die richtig positioniert oder ausgerichtet ist und keine Kalibrierung benötigt) und welche Kamera als eine einzustellende Kamera dient (die eine Kalibrierung benötigt, da die Kamera nicht richtig positioniert oder ausgerichtet ist oder ersetzt wurde). Die Einstellung dient zum Einstellen bzw. Anpassen einer Transformationsregel (Parameter) für die Projektionstransformation der Kamera. Die folgende Beschreibung richtet sich auf ein Beispiel, bei dem die linke Kamera 7 als Bezugskamera dient und die vordere Kamera 5 als einzustellende Kamera dient.
Ein Signal von dem Diagnosewerkzeug 27 startet beispielsweise die Kalibrierung. Die ECU 3 (beispielsweise Bildverarbeitungsabschnitt 21), die ein Beispiel eines Einstellabschnitts und einer Einstelleinrichtung ist, empfängt das Signal von dem Diagnosewerkzeug 27 und führt ein Kalibrierungsverarbeitungsprogramm aus, um die Transformationsregel einzustellen, wie es unten beschrieben wird.
Wie es in 4 dargestellt ist, startet das Signal von dem Diagnosewerkzeug 27 das Kalibrierungsverarbeitungsprogramm. In S100 erlangt die ECU 3 Informationen über die Bezugskamera und die einzustellende Kamera.
In S110 nimmt die vordere Kamera 5, die als die einzustellende Kamera dient, ein Bild auf. Dieses ermöglicht es der ECU 3, Bilddaten des Aufnahmebereichs SF von der vorderen Kamera 5 zu erlangen. Die Bilddaten enthalten das Muster A als ein Kalibrierungsmuster. Die aufgenommenen Daten werden in den Bildeingangssignalverarbeitungsabschnitt 17 eingegeben.
In S120 wendet die ECU 3 einen Bildprozess auf das Bild des Aufnahmebereichs SF an, das von der vorderen Kamera aufgenommen wurde. Die ECU 3 erfasst das Muster A (im Detail das Muster A als ein Bild, das dem tatsächlichen Muster A entspricht), wie es unten beschrieben wird.
Dieser Bildprozess erzeugt ein Bild eines Einstellkalibrierungsmusters GA. Tatsächlich werden Muster GA und GB verwendet, um auf die Bilddaten jedes Musters A und B Bezug zu nehmen. Dasselbe gilt für die anderen Muster.
Der Bildeingangssignalverarbeitungsabschnitt 17 separiert ein Videosignal (das Informationen über die Luminanz enthält) aus dem eingegebenen analogen Signal. Der Bildverarbeitungsabschnitt 21 wandelt das Videosignal von einem analogen Signal in ein digitales Signal um und erfasst dann das Muster A.
Insbesondere verwendet die ECU 3 ein digitales Videosignal, um eine bekannte Verzerrungskorrektur auf ein aufgenommenes Bild anzuwenden.
Ein Bild wird von einer Weitwinkellinse aufgenommen und daher verzerrt (siehe obere Teile der 5A und 5B). Eine gerade Linie wird beispielsweise angezeigt, als ob sie gekrümmt ist. Die Verzerrung muss korrigiert werden, so dass die gerade Linie korrigiert und gerade angezeigt wird (siehe untere Teile der 5A und 5B). Die Verzerrungskorrektur ist bekannt, und deren Beschreibung wird aus Vereinfachungsgründen weggelassen.
Nach der Verzerrungskorrektur vergleicht die ECU 3 die Luminanz in dem Videosignal und erfasst Kanten entsprechend den Scheitelpunkten CT des Musters A auf der Grundlage einer Luminanzdifferenz (einem Schnittpunkt zwischen geraden Linien). Von den erfassten Kanten findet die ECU 3 Kanten, die den Kanten (Ecken) der weißen Grafik (Kalibrierungsmarkierung 35) entsprechen, die von dem schwarzen Rahmenbereich innerhalb des Musters A umschlossen ist. Die ECU 3 erfasst die Kanten als vier Scheitelpunkte CT entsprechend dem Muster A. Anschließend speichert der Speicher 23 das Ergebnis der Erfassung der vier Scheitelpunkte CT.
In dieser Stufe wird nur die Verzerrungskorrektur auf das Bild angewendet. Normalerweise wird das Muster A nicht als Quadrat repräsentiert, sondern als Viereck wie beispielsweise ein Trapez.
In S130 holt (berechnet) und korrigiert der Bildverarbeitungsabschnitt 21 einen Parameter, der als Transformationsregel für die vordere Kamera 5 dient, auf der Grundlage der Bilddaten des Musters A, die in dem Speicher 23 gespeichert sind.
Insbesondere verwendet die vordere Kamera 5 Parameter X, Y, Z, Rollen, Nicken und Gieren. Die ECU 3 holt (berechnet) und korrigiert Rollen, Nicken und Z aus den Parametern, so dass das Muster A ein 500-mm-Quadrat hinsichtlich der Gestalt und der Größe erfüllt.
Die Bestimmung des Rollens und Nickens bestimmt die grafische Gestalt. Die Bestimmung von Z bestimmt die grafische Größe.
6 stellt ein Fahrzeugkoordinatensystem dar, d. h. ein Koordinatensystem, das auf dem Bezug (Ursprung) basiert, der einem Punkt auf der Erde unmittelbar unterhalb der vorderen Mitte des Fahrzeugs entspricht. X bezeichnet einen Abstand in der X-Achsenrichtung oder der Längsrichtung des Fahrzeugs, während die +-Seite die Vorwärtsrichtung bezeichnet. Y bezeichnet einen Abstand in der Y-Achsenrichtung oder der Breitenrichtung des Fahrzeugs, während die +-Seite die Richtung nach links bezeichnet. Z bezeichnet einen Abstand in der Z-Achsenrichtung oder der vertikalen Richtung, während die +-Seite die Richtung nach oben bezeichnet. Die linke Kamera 7 verwendet beispielsweise Parameter in dem Fahrzeugkoordinatensystem, das in 6 dargestellt ist.
Im Folgenden wird ein Verfahren zum Berechnen von Rollen, Nicken und von Z auf der Grundlage der 7 beschrieben.
In S200 der 7 aktualisiert die ECU 3 das Rollen, Nicken und Z.
Die ECU 3 unterteilt beispielsweise den Bereich entsprechend jedem Parameter in winzige Bereiche (winzige Werte) und aktualisiert aufeinanderfolgend die winzigen Werte des Parameters, um den Parameter zu aktualisieren.
Es wird beispielsweise angenommen, dass das Rollen den Bereich zwischen -3 und +3 Grad um den Bezugswert abdeckt. Dann ändert die ECU 3 aufeinanderfolgend den Rollwert in Inkrementen von 0,1 Grad. Dasselbe gilt für das Nicken und Z.
In S210 findet die ECU 3 ein Projektionsbild (Vogelperspektivenbild als eine Draufsicht) von den Bilddaten unter Verwendung der Parameter. Die Parameter Rollen, Nicken, Z werden aufeinanderfolgend geändert. Die Parameter X, Y und Gieren verbleiben unverändert. Das Verfahren zum Finden eines Projektionsbilds unter Verwendung der Parameter ist bekannt, und dessen Beschreibung wird aus Vereinfachungsgründen weggelassen.
In S220 bestimmt die ECU 3, ob das Muster A (im Detail die Kalibrierungsmarkierung 35) in dem Projektionsbild angenähert ein Quadrat ist. Insbesondere findet die ECU 3 eine Grafik, die am besten ein Quadrat annähert (ein Bild, das am besten das Bild des 500-mm-Quadrats annähert), aus Koordinaten für die vier Scheitelpunkte CT der Kalibrierungsmarkierung 35 innerhalb des Musters A.
Die ECU 3 findet beispielsweise Koordinaten für Scheitelpunkte eines korrigierten Quadrats und Koordinaten für Scheitelpunkte des Vierecks in dem Projektionsbild. Die ECU 3 setzt die Grafik, die ein Quadrat am besten annähert, mit einer Grafik gleich, die den Gesamtwert der Abstände zwischen den entsprechenden Scheitelpunkten minimiert. Dieses Verfahren ist beispielsweise aus der JP 4 555 876 B2 bekannt (siehe 7).
Die ECU 3 wiederholt den Prozess von S200 bis S220, während sie die Parameterwerte, die oben beschrieben sind, aktualisiert, um eine Grafik zu finden, die ein Quadrat am meisten annähert. Die ECU 3 identifiziert die Parameter, die verwendet werden, um die Grafik zu finden, als richtige Werte für die Parameter Rollen, Nicken und Z für die vordere Kamera 5 und speichert die Parameterwerte in dem Speicher 23.
Die ECU 3 bewirkt, dass der Speicher 23 Koordinaten für die Scheitelpunkte CT der Kalibrierungsmarkierung 35 in der Grafik, die wie oben beschrieben für das Muster A gefunden wurde und am besten ein Quadrat annähert, speichert.
Die Beschreibung kehrt zur 4 zurück. In S130 findet die ECU 3 Koordinaten für Scheitelpunkte CT der Kalibrierungsmarkierung 33 für ein vorläufiges Muster B' aus den Koordinaten, die in dem Speicher 23 für die Scheitelpunkte CT der Kalibrierungsmarkierung 35 in der Grafik gespeichert sind, die am besten ein Quadrat für das Muster A annähern.
Da die Abmessungen des Kalibrierungsblatts 31 im Voraus bekannt sind, kann die ECU 3 Koordinaten für Scheitelpunkte CT des vorläufigen Musters B' aus den Koordinaten für die Scheitelpunkte CT des Musters A und den Abmessungen des Kalibrierungsblatts 31 finden.
In der folgenden Beschreibung folgt ein Apostroph „ “‘dem Buchstaben eines vorläufigen Musters, das als Zusatz berechnet wird.
In S150 nimmt die ECU 3 das Muster B unter Verwendung der linken Kamera 7, die als Bezugskamera dient, für die die Einstellung der Transformationsregel nicht benötigt wird, auf.
In S160 werden die Aufnahmedaten für das Muster B in den Bildeingangssignalverarbeitungsabschnitt 17 eingegeben. Der Bildverarbeitungsabschnitt 21 erfasst dann das Muster B auf dieselbe Weise wie das Muster A. Das Bild, das durch diesen Bildprozess erlangt wird, ist das Bezugskalibrierungsmuster GB, das dem tatsächlichen Muster B entspricht, wie es oben beschrieben wurde.
Da das Muster B quadratisch ist, erfasst die ECU 3 insbesondere vier Scheitelpunkte CT des Quadrats für die Kalibrierungsmarkierung 33.
Die Bilddaten, die von der Bezugskamera erlangt werden, werden in ein Projektionsbild (mit einer richtigen Transformationsregel) transformiert. Koordinatendaten für das Projektionsbild sind Koordinatendaten in dem Fahrzeugkoordinatensystem.
In S170 nähert die ECU 3 das vorläufige Muster B' dem Muster B unter Verwendung von Bilddaten für das vorläufige Muster B' und das Muster B an. Das heißt, die ECU 3 richtet Scheitelpunkte CT der Kalibrierungsmarkierung für das vorläufige Muster B' an denjenigen für das Muster B aus, so dass die Scheitelpunkte CT für das vorläufige Muster B' den entsprechenden Scheitelpunkten CT für das Muster B angenähert werden. Die ECU 3 holt (berechnet) und korrigiert Parameter für die vordere Kamera 5, um einen Positionsfehler zu minimieren.
Die ECU 3 holt (berechnet) und korrigiert das Gieren, X und Y aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, um einen Positionsfehler (d. h. die Gesamtheit der Abstände zwischen den entsprechenden Scheitelpunkten CT) durch Einstellen der Ausrichtung und der Position des vorläufigen Musters B' zu minimieren.
Das Verfahren zum Berechnen von Gieren, X und Y ist ähnlich wie das Verfahren zum Berechnen von Z, Rollen und Nicken, das in 7 dargestellt ist.
Das Bestimmen von Gieren, X und Y kann die Position und den Drehwinkel einer Grafik auf der Ebene bestimmen.
Das Verfahren zum Minimieren eines Positionsfehlers zwischen zwei entsprechenden Grafiken ist bekannt, und dessen Beschreibung wird aus Vereinfachungsgründen weggelassen. Das Verfahren ist beispielsweise detailliert in dem japanischen Patent Nr. 4555876 beschrieben.
In S180 werden die Parameter X, Y, Z, Rollen, Nicken und Gieren nach dem Holen (Berechnen) für die vordere Kamera 5 durch die ECU 3 in dem Speicher 23 gespeichert. Dann wird die Verarbeitung beendet.
Dieses ermöglicht, zu bestätigen, dass die Einstellung unter Verwendung der Parameter nach dem Einstellen der vorderen Kamera 5 richtig durchgeführt wurde.
Insbesondere werden Bilder, die von der vorderen Kamera 5, der linken Kamera 7, der rechten Kamera 9 und der hinteren Kamera 11 aufgenommen werden, in den Bildeingangssignalverarbeitungsabschnitt 17 eingegeben. Der Bildverarbeitungsabschnitt 21 transformiert dann die Bilder, die von den vier Kameras aufgenommen werden, in ein Projektionsbild und kombiniert diese in einem einzelnen bzw. einzigen Bildraum (ein Raum in dem Fahrzeugkoordinatensystem). Der Bildausgangssignalverarbeitungsabschnitt 25 wandelt die Projektionsbilddaten in ein analoges Signal um und gibt das Signal aus. Die Anzeigevorrichtung 13 zeigt das Signal an, so dass das Bild bestätigt werden kann.
Der Speicher 23 speichert benötigte Informationen während der Prozesse in der ECU 3. Der Bildverarbeitungsabschnitt 21 verarbeitet aufeinanderfolgend die Informationen unter Verwendung des Speichers 23.
Eine Verschiebungsposition, eine Fahrzeuggeschwindigkeit und ein Lenkwinkel, die in den Eingangssignalverarbeitungsabschnitt 19 eingegeben werden, können bestimmen, aus welchem Blickpunkt der Raum auf dem Bildschirm angezeigt werden sollte. Wenn das Fahrzeug mit einer niedrigen Geschwindigkeit fährt, wird beispielsweise ein Draufsichtbildschirm ausgewählt, um ein Vogelperspektivenbild bereitzustellen, so dass die Umgebung des Fahrzeugs von oberhalb des Fahrzeugs betrachtet werden kann.
d) Im Folgenden werden die Wirkungen der Ausführungsform werden beschrieben.
Die erste Ausführungsform verwendet das Kalibrierungsblatt 31, das die beiden Muster A und B enthält. Das Muster A ist in einem Aufnahmebereich SF der vorderen Kamera 5 angeordnet, die als eine einzustellende Kamera dient. Das Muster B ist in einem Aufnahmebereich SL der linken Kamera 7 angeordnet, die als eine Bezugskamera dient. Die Muster A und B sind nicht in einem Überdeckungsbereich SFL der Kameras 5 und 7 angeordnet.
In diesem Zustand ist es mittels der oben beschriebenen Kalibrierung möglich, die vordere Kamera 5 einzustellen, die als einzustellende Kamera dient.
Es wird beispielsweise angenommen, dass die Muster A und B als Kalibrierungsmuster auf der Grundlage der Positionsbeziehung in 3 bereitgestellt werden und dass die Bezugskamera die linke Kamera 7 und die einzustellende Kamera die vordere Kamera 5 ist. In diesem Fall kann die linke Kamera 7, die als die Bezugskamera dient, das Muster B aufnehmen. Die vordere Kamera 5, die als die einzustellende Kamera dient, kann jedoch das Muster B nicht aufnehmen.
Die vordere Kamera 5 kann jedoch das Muster A aufnehmen. Die Positionsbeziehung zwischen den Mustern A und B ist bereits bekannt. Das Muster A kann verwendet werden, um das vorläufige Muster B' als eine geschätzte Position für das Muster B zu berechnen. Die Erstellung einer Entsprechung zwischen Koordinaten für das vorläufige Muster B' und Koordinaten für das vorläufige Muster B können die Parameter einstellen oder die Transformationsregel für die vordere Kamera 5 ändern.
Sogar wenn sich die Aufnahmebereiche der Kameras 5 und 7 nicht überdecken, kann die erste Ausführungsform auf einfache Weise die vordere Kamera 5, die als einzustellende Kamera dient, durch Anordnen der Muster A und B in den entsprechenden Aufnahmebereichen SF und SL und Durchführen des oben genannten Prozesses kalibrieren.
Sogar wenn ein Bildschirm das (einzelne) Muster A (oder B) wie in dem herkömmlichen Fall sehr klein anzeigt, verwendet die erste Ausführungsform das Kalibrierungsblatt 31, das die unterschiedlichen Muster A und B enthält, die in den Aufnahmebereichen SF und SL für die unterschiedlichen Kameras 5 und 7 angeordnet sind, um die Genauigkeit für die Kameras 5 und 7 zum Erfassen der Muster A und B zu verbessern. Die erste Ausführungsform kann den technischen Vorteil erzielen, dass die Kalibrierung mittels des oben genannten Prozesses genau durchgeführt werden kann.
Gemäß der ersten Ausführungsform wird das Kalibrierungsblatt 31 als ein längliches (rechteckiges) Element bereitgestellt, und die Muster A und B sind an beiden Enden in der Längsrichtung ausgebildet. Die Muster A und B können sogar dann auf einfache Weise in den entsprechenden Aufnahmebereichen angeordnet werden, wenn die Aufnahmebereiche für die Kameras voneinander entfernt sind.
Gemäß der vorliegenden Ausführungsform besteht das Kalibrierungsblatt 31 aus einem Stoff (Faser) mit einem Material, das sich in Abhängigkeit von der Temperatur und der Feuchtigkeit kaum ausdehnt und zusammenzieht. Die genaue Kalibrierung ist sogar dann stets möglich, wenn sich die Umgebung ändert.
Das Kalibrierungsblatt 31 kann wie eine Rolle gefaltet werden, wodurch Raum eingespart wird und diese ausgezeichnet verwendbar ist.
Die Endgewichte 39 und 41 als stangenförmige Gewichte sind an beiden Enden der Längsrichtung des Kalibrierungsblatts 31 (außenseitige Muster A und B) angeordnet, wodurch eine stabile Anordnung des Kalibrierungsblatts 31 möglich ist.
Die Materialien des Gewichts können Harz (beispielsweise ABS) oder Metall (beispielsweise Eisen) enthalten.
(Zweite Ausführungsform)
Im Folgenden wird eine zweite Ausführungsform erläutert, bei der eine Erläuterung der Inhalte, die denjenigen der ersten Ausführungsform ähneln, weggelassen oder vereinfacht ist. Die zweite Ausführungsform verwendet dieselben Bezugszeichen wie in der ersten Ausführungsform. Dasselbe gilt für die unten beschriebenen weiteren Ausführungsformen.
Die erste Ausführungsform berechnet Koordinaten für das Muster B aus dem Muster A. Wie es in 8 dargestellt ist, berechnet die zweite Ausführungsform Koordinaten für das Muster A aus dem Muster B.
Die Gestalten und die Anordnung der Bezugskamera (linke Kamera 7), der einzustellenden Kamera (vordere Kamera 5) und des Kalibrierungsblatts 31 ähneln denjenigen der ersten Ausführungsform.
9 stellt ein Kalibrierungsverfahren gemäß der zweiten Ausführungsform dar. In S300 erlangt die ECU 3 Informationen über die Bezugskamera und die einzustellende Kamera auf der Grundlage eines Signals von dem Diagnosewerkzeug 27.
In S310 führt die ECU 3 das Aufnehmen unter Verwendung der vorderen Kamera 5 durch, die als die einzustellende Kamera dient.
In S320 erfasst die ECU 3 das Muster A ähnlich wie in S120 der ersten Ausführungsform.
In S330 holt (berechnet) und korrigiert die ECU 3 ähnlich wie in S130 der ersten Ausführungsform Parameter für die vordere Kamera 5 auf der Grundlage des Musters A. Insbesondere holt (berechnet) und korrigiert die ECU 3 das Rollen, Nicken und Z aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, so dass das Muster A (im Detail dessen Kalibrierungsmarkierung 35) ein 500-mm-Quadrat hinsichtlich der Gestalt und der Größe erfüllt.
In S340 nimmt die ECU 3 das Muster B unter Verwendung der linken Kamera 7 auf, die als die Bezugskamera dient, die keine Einstellung der Transformationsregel benötigt.
In S350 erfasst die ECU 3 das Muster B aus dem aufgenommenen Bild. Da das Muster B quadratisch ist, erfasst die ECU 3 insbesondere vier Scheitelpunkte CT des Quadrats für die Kalibrierungsmarkierung 33.
Die Abmessung des Kalibrierungsblatts 31 ist im Voraus bekannt. In S360 berechnet die ECU 3 Koordinaten für das vorläufige Muster A' (im Detail dessen Kalibrierungsmarkierung) entsprechend Koordinaten der vier Scheitelpunkte CT des Musters A (im Detail dessen Kalibrierungsmarkierung 35) aus Koordinaten der vier Scheitelpunkte CT des Musters B (im Detail dessen Kalibrierungsmarkierung 33).
In S370 nähert die ECU 3 das vorläufige Muster A' dem Muster A an (insbesondere nähert sie die Kalibrierungsmarkierungen aneinander an). Die ECU 3 holt (berechnet) und korrigiert Parameter für die vordere Kamera 5, um einen Positionsfehler zu minimieren. Insbesondere nähert die ECU 3 das vorläufige Muster A' dem Muster A durch Einstellen der Ausrichtung und der Position des vorläufigen Musters A' an. Die ECU 3 holt (berechnet) und korrigiert das Gieren, X und Y aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, um einen Positionsfehler zu minimieren.
In S380 werden die Parameter X, Y, Z, Rollen, Nicken und Gieren nach dem Holen (Berechnen) für die vordere Kamera 5 durch die ECU 3 in dem Speicher 23 gespeichert. Dann wird die Verarbeitung beendet.
Die zweite Ausführungsform erzielt dieselben Vorteile wie die erste Ausführungsform.
(Dritte Ausführungsform)
Im Folgenden wird eine dritte Ausführungsform beschrieben, bei der eine Erläuterung von Inhalten, die denjenigen der ersten Ausführungsform ähneln, weggelassen oder vereinfacht ist.
In der dritten Ausführungsform ist, wie es in 10 dargestellt ist, der Aufnahmebereich einer einzustellenden Kamera, die die Transformationsregel erfüllt, nicht zu dem Aufnahmebereich einer Bezugskamera benachbart, für die die Einstellung nicht benötigt wird, sondern von diesem entfernt. Die folgende Beschreibung erläutert einen Fall, bei dem das Kalibrierungsblatt 31 derart angeordnet wird, dass die Aufnahmebereiche, die sich nicht überdecken, miteinander verbunden sind. In diesem Beispiel ist die einzustellende Kamera die vordere Kamera 5. Die Bezugskamera ist die hintere Kamera 11.
Im Folgenden wird ein Kalibrierungsverfahren gemäß der dritten Ausführungsform beschrieben.
Wie es in 10 dargestellt ist, wird das Kalibrierungsblatt 31 auf der Erde angeordnet. Insbesondere wird das Muster A des Kalibrierungsblatts 31 in dem Aufnahmebereich SF für die vordere Kamera 5 angeordnet. Das Muster B wird in dem Aufnahmebereich SB für die hintere Kamera 11 angeordnet.
Ähnlich wie bei der ersten Ausführungsform bewirkt die ECU 3, dass die vordere Kamera 5 das Muster A des Kalibrierungsblatts 31 aufnimmt.
Die ECU 3 erfasst das Muster A aus dem aufgenommenen Bild ähnlich wie in der ersten Ausführungsform. Das heißt, die ECU 3 erfasst Scheitelpunkte CT der Kalibrierungsmarkierung 35 in dem Muster A.
Ähnlich wie in der ersten Ausführungsform holt (berechnet) und korrigiert die ECU 3 Parameter für die vordere Kamera 5 auf der Grundlage des Musters A. Insbesondere holt (berechnet) und korrigiert die ECU 3 das Rollen, Nicken und Z aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, so dass das Muster A (im Detail dessen Kalibrierungsmarkierung 35) ein 500-mm-Quadrat hinsichtlich der Gestalt und der Größe erfüllt.
Ähnlich wie bei der ersten Ausführungsform berechnet die ECU 3 das vorläufige Muster B' (im Detail dessen Kalibrierungsmarkierung) entsprechend dem Muster B (im Detail dessen Kalibrierungsmarkierung 33) aus vier Scheitelpunkten CT des Musters A (im Detail dessen Kalibrierungsmarkierung 35) unter Verwendung der Abmessungen des Kalibrierungsblatts 31.
Ähnlich wie in der ersten Ausführungsform bewirkt die ECU 3, dass die hintere Kamera 11, die als die Bezugskamera dient, das Muster B aufnimmt.
Ähnlich wie in der ersten Ausführungsform erfasst die ECU 3 das Muster B aus dem aufgenommenen Bild. Da das Muster B (und die Kalibrierungsmarkierung 33) quadratisch ist, erfasst die ECU 3 insbesondere die vier Scheitelpunkte CT des Quadrats für die Kalibrierungsmarkierung 35.
Ähnlich wie in der ersten Ausführungsform nähert die ECU 3 das vorläufige Muster B' dem Muster B an (insbesondere nähert sie die entsprechenden Kalibrierungsmarkierungen aneinander an). Die ECU 3 holt (berechnet) und korrigiert Parameter für die vordere Kamera 5, um einen Positionsfehler zu minimieren.
Insbesondere nähert die ECU 3 das vorläufige Muster B' dem Muster B (im Detail dessen Kalibrierungsmarkierung) durch Einstellen der Ausrichtung und der Position des vorläufigen Musters B' (im Detail dessen Kalibrierungsmarkierung) an. Die ECU 3 holt (berechnet) und korrigiert das Gieren, X und Y aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, um einen Positionsfehler zu minimieren.
Die Parameter X, Y, Z, Rollen, Nicken und Gieren nach dem Holen (Berechnen) für die vordere Kamera 5 werden durch die ECU 3 gespeichert.
Die dritte Ausführungsform erzielt dieselben Vorteile wie die erste Ausführungsform.
Insbesondere erzielt die dritte Ausführungsform den Vorteil, dass sie in der Lage ist, die vordere Kamera 5 oder die hintere Kamera 11 sogar dann einzustellen, wenn die Seitenkamera 7 oder 9 nicht verfügbar ist. Eine einfache Einstellung ist sogar dann möglich, wenn sich die Aufnahmebereiche nicht überdecken und voneinander getrennt sind.
(Vierte Ausführungsform)
Im Folgenden wird eine vierte Ausführungsform erläutert, bei der die Erläuterung von Inhalten, die denjenigen der ersten Ausführungsform ähneln, weggelassen oder vereinfacht ist.
In der vierten Ausführungsform überdeckt sich, wie es in 11 dargestellt ist, der Aufnahmebereich der einzustellenden Kamera, die die Transformationsregel erfüllt, teilweise mit dem Aufnahmebereich einer Bezugskamera, die keine Einstellung benötigt. In diesem Beispiel ist die einzustellende Kamera die linke Kamera 7. Die Bezugskamera ist die hintere Kamera 11.
Insbesondere nimmt die linke Kamera 7, wenn sie wie in 11 dargestellt angeordnet ist, ein Bild des Musters B, das als sehr klein angezeigt wird, auf, wie es in den 12A und 12D gezeigt ist, die Bilder nach der Verzerrungskorrektur repräsentieren. Wie es in den 12B und 12E dargestellt ist, ist das Muster B sogar dann defokussiert bzw. unscharf, wenn die Verzerrungskorrektur durchgeführt wird. Die Scheitelpunkte CT können nicht genau erfasst werden. Die vierte Ausführungsform erfasst jedoch die Scheitelpunkte CT unter Verwendung des unten beschriebenen Verfahrens genau.
Wie es später beschrieben wird, ermöglicht es die vierte Ausführungsform, dass das Muster A ausreichend groß ist, wie es in den 12C und 12F dargestellt ist. Da angezeigte Bilder klar sind und die Abmessungen des Kalibrierungsblatts 31 im Voraus bekannt sind, kann die Position des Musters B aus der Position des Musters A berechnet werden.
Im Folgenden wird ein Kalibrierungsverfahren gemäß der vierten Ausführungsform beschrieben.
Wie es in 11 dargestellt ist, ist das Kalibrierungsblatt 31 auf der Erde angeordnet. Insbesondere ist das Muster A des Kalibrierungsblatts 31 in dem Aufnahmebereich SL für die linke Kamera 7 angeordnet. Das Muster B ist in dem Aufnahmebereich SB für die hintere Kamera 11 angeordnet. Das Muster B ist derart angeordnet, dass es nicht in den Überdeckungsbereich SLB zwischen dem Aufnahmebereich SL für die linke Kamera 7 und dem Aufnahmebereich SB für die hintere Kamera 11 eindringt. Das Muster B wird derart angeordnet, dass es in den Überdeckungsbereich SLB eindringt.
Ähnlich wie bei der ersten Ausführungsform (aber ohne die andere Kamera zu verwenden) bewirkt die ECU 3, dass die linke Kamera 7 das Muster A des Kalibrierungsblatts 31 aufnimmt.
Die ECU 3 erfasst das Muster A aus dem aufgenommenen Bild ähnlich wie bei der ersten Ausführungsform. Das heißt, die ECU 3 erfasst die Scheitelpunkte CT der Kalibrierungsmarkierung 35 in dem Muster A.
Ähnlich wie bei der ersten Ausführungsform holt (berechnet) und korrigiert die ECU 3 die Parameter für die linke Kamera 7. Insbesondere holt (berechnet) und korrigiert die ECU 3 das Rollen, Nicken und Z aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, so dass das Muster A (im Detail dessen Kalibrierungsmarkierung 35) ein 500-mm-Quadrat hinsichtlich der Gestalt und der Größe erfüllt.
Ähnlich wie bei der ersten Ausführungsform berechnet die ECU 3 das vorläufige Muster B' (im Detail dessen Kalibrierungsmarkierung) entsprechend dem Muster B (im Detail dessen Kalibrierungsmarkierung 33) aus vier Scheitelpunkten CT des Musters A (im Detail dessen Kalibrierungsmarkierung 35) unter Verwendung der Abmessungen des Kalibrierungsblatts 31.
Ähnlich wie bei der ersten Ausführungsform bewirkt die ECU 3, das die hintere Kamera 11, die als die Bezugskamera dient, das Muster B aufnimmt.
Ähnlich wie bei der ersten Ausführungsform erfasst die ECU 3 das Muster B aus dem aufgenommenen Bild. Da das Muster B (und dessen Kalibrierungsmarkierung 33) quadratisch ist, erfasst die ECU 3 insbesondere vier Scheitelpunkte CT des Quadrats für die Kalibrierungsmarkierung 35.
Ähnlich wie bei der ersten Ausführungsform nähert die ECU 3 das Muster B' dem Muster B an (insbesondere nähert sie die entsprechenden Kalibrierungsmarkierungen aneinander an). Die ECU 3 holt (berechnet) und korrigiert die Parameter für die linke Kamera 7, um einen Positionsfehler zu minimieren.
Insbesondere nähert die ECU 3 das Muster B' dem Muster B (im Detail dessen Kalibrierungsmarkierung 33) durch Einstellen der Ausrichtung und der Position des Musters B' (im Detail dessen Kalibrierungsmarkierung) an. Die ECU 3 holt (berechnet) und korrigiert das Gieren, X und Y aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, um einen Positionsfehler zu minimieren.
Die Parameter X, Y, Z, Rollen, Nicken und Gieren nach dem Holen (Berechnen) für die linke Kamera 7 werden von der ECU 3 gespeichert.
Ähnlich wie bei der ersten Ausführungsform kann die vierte Ausführungsform die linke Kamera 7, die als eine einzustellende Kamera dient, geeignet kalibrieren.
In der vierten Ausführungsform ist das Muster A in vorteilhafter Weise ausreichend groß, sogar dann, wenn die linke Kamera 7 das Muster B ungenau aufnimmt. Angezeigte Bilder sind klar. Die Abmessungen des Kalibrierungsblatts 31 sind im Voraus bekannt. Daher kann die Position des Musters B auf einfache Weise aus der Position des Musters A berechnet werden.
Die vierte Ausführungsform ordnet das Muster B in dem Überdeckungsbereich SLB zwischen der linken Kamera 7 und der hinteren Kamera 11 an. Ähnlich wie bei der ersten Ausführungsform kann jedoch das Muster B auch bzw. stattdessen durch Anordnen des Musters B in dem Aufnahmebereich SB, den die hintere Kamera 11 nicht überdeckt, kalibriert werden.
(Fünfte Ausführungsform)
Im Folgenden wird eine fünfte Ausführungsform beschrieben, bei der die Erläuterung von Inhalten, die denjenigen der ersten Ausführungsform ähneln, weggelassen oder vereinfacht ist.
Diese Ausführungsform erläutert kollektiv ein Verfahren zum Kalibrieren von einer bis drei Kameras durch Ändern von Positionen des einzelnen Kalibrierungsblatts 31, wie es in 13 dargestellt ist.
a) Zunächst wird ein Beispiel der Anordnung des Kalibrierungsblatts 31 beschrieben, wenn die vordere Kamera 5 als eine einzustellende Kamera verwendet wird. Die anderen Kameras werden als Bezugskameras verwendet.
Wie es auf der linken Seite der Reihe „vorne“ in 13 dargestellt ist, ist das Muster A in dem Aufnahmebereich für die vordere Kamera 5 angeordnet, der sich nicht mit dem Aufnahmebereich für die linke Kamera 7 überdeckt. Das Muster B ist in dem Aufnahmebereich für die linke Kamera 7 angeordnet, der sich nicht mit dem Aufnahmebereich für die vordere Kamera 5 überdeckt.
Wie es auf der rechten Seite der Reihe „vorne“ in 13 dargestellt ist, ist das Muster A in dem Aufnahmebereich für die vordere Kamera 5 angeordnet, der sich nicht mit dem Aufnahmebereich für die rechte Kamera 9 überdeckt. Das Muster B ist in dem Aufnahmebereich für die rechte Kamera 9 angeordnet, der sich nicht mit dem Aufnahmebereich für die vordere Kamera 5 überdeckt.
Ähnlich wie bei der ersten Ausführungsform führt die ECU 3 die Kalibrierung unter Verwendung von Daten für die Muster A und B durch.
b) Im Folgenden wird ein Beispiel einer Anordnung des Kalibrierungsblatts 31 beschrieben, wenn die hintere Kamera 11 als eine einzustellende Kamera verwendet wird. Die anderen Kameras werden als Bezugskameras verwendet.
Wie es auf der linken Seite der Reihe „hinten“ in 13 dargestellt ist, ist das Muster B in dem Aufnahmebereich für die linke Kamera 7 angeordnet, der sich nicht mit dem Aufnahmebereich für die hintere Kamera 7 überdeckt. Das Muster A ist in dem Aufnahmebereich für die hintere Kamera 77 angeordnet, der sich nicht mit dem Aufnahmebereich für die linke Kamera 7 überdeckt.
Wie es auf der rechten Seite der Reihe „hinten“ in 13 dargestellt ist, ist das Muster B in dem Aufnahmebereich für die rechte Kamera 9 angeordnet, der sich nicht mit dem Aufnahmebereich für die hintere Kamera 11 überdeckt. Das Muster A ist in dem Aufnahmebereich für die hintere Kamera 11 angeordnet, der sich nicht mit dem Aufnahmebereich für die rechte Kamera 9 überdeckt.
Ähnlich wie bei der ersten Ausführungsform führt die ECU 3 die Kalibrierung unter Verwendung der Daten für die Muster A und B durch.
c) Im Folgenden wird ein Beispiel einer Anordnung des Kalibrierungsblatts 31 beschrieben, wenn die linke Kamera 7 als einzustellende Kamera verwendet wird. Die anderen Kameras werden als Bezugskameras verwendet.
Wie es auf der linken Seite der Reihe „links“ in 13 dargestellt ist, ist das Muster B in dem Aufnahmebereich für die vordere Kamera 5 angeordnet, der sich nicht mit dem Aufnahmebereich für die linke Kamera 7 überdeckt. Das Muster A ist in dem Aufnahmebereich für die linke Kamera 7 angeordnet, der sich nicht mit dem Aufnahmebereich für die vordere Kamera 5 überdeckt.
Wie es auf der rechten Seite der Reihe „links“ in 13 dargestellt ist, ist das Muster A in dem Aufnahmebereich für die linke Kamera 7 angeordnet, der sich nicht mit dem Aufnahmebereich für die hintere Kamera 11 überdeckt. Das Muster B ist in dem Aufnahmebereich für die hintere Kamera 11 angeordnet, der sich nicht mit dem Aufnahmebereich für die linke Kamera 7 überdeckt.
Ähnlich wie bei der ersten Ausführungsform führt die ECU 3 die Kalibrierung unter Verwendung der Daten für die Muster A und B durch.
d) Im Folgenden wird ein Beispiel einer Anordnung des Kalibrierungsblatts 31 beschrieben, wenn die rechte Kamera 9 als eine einzustellende Kamera verwendet wird. Die anderen Kameras werden als Bezugskameras verwendet.
Wie es auf der linken Seite der Reihe „rechts“ in 13 dargestellt ist, ist das Muster B in dem Aufnahmebereich für die vordere Kamera 5 angeordnet, der sich nicht mit dem Aufnahmebereich für die rechte Kamera 9 überdeckt. Das Muster A ist in dem Aufnahmebereich für die rechte Kamera 9 angeordnet, der sich nicht mit dem Aufnahmebereich für die vordere Kamera 5 überdeckt.
Wie es auf der rechten Seite der Reihe „rechts“ in 13 dargestellt ist, ist das Muster A in dem Aufnahmebereich für die rechte Kamera 9 angeordnet, der sich nicht mit dem Aufnahmebereich für die hintere Kamera 11 überdeckt. Das Muster B ist in dem Aufnahmebereich für die hintere Kamera 11 angeordnet, der sich nicht mit dem Aufnahmebereich für die rechte Kamera 9 überdeckt.
Auf ähnliche Weise wie bei der ersten Ausführungsform führt die ECU 3 die Kalibrierung unter Verwendung der Daten für die Muster A und B durch.
e) Wenn zwei einzustellende Kameras verfügbar sind, kann die ECU 3 jede einzustellende Kamera unter Verwendung der Bezugskamera, die benachbart zu der jeweiligen einzustellenden Kamera ist, ähnlich wie bei der ersten Ausführungsform kalibrieren.
f) Wenn drei einzustellende Kameras verfügbar sind, kann die ECU 3 aufeinanderfolgend jede einzustellende Kamera unter Verwendung einer Bezugskamera ähnlich wie bei der ersten Ausführungsform kalibrieren.
Es wird beispielsweise angenommen, dass die vordere Kamera 5 als Bezugskamera verwendet wird und die linke Kamera 7, die rechte Kamera 9 und die hintere Kamera 11 als einzustellende Kameras verwendet werden. In einem derartigen Fall kalibriert die ECU 3 beispielsweise die linke Kamera 7 unter Verwendung der vorderen Kamera 5. Dieses ändert die linke Kamera 7 in die Bezugskamera.
Die ECU 3 kalibriert die hintere Kamera 11 unter Verwendung der linken Kamera 7, die als Bezugskamera dient.
Die ECU 3 kalibriert die rechte Kamera 9 unter Verwendung der hinteren Kamera 11, die als die Bezugskamera dient.
Dadurch können drei einzustellende Kameras kalibriert werden.
(Sechste Ausführungsform)
Im Folgenden wird eine sechste Ausführungsform erläutert, bei der eine Erläuterung der Inhalte, die denjenigen der ersten Ausführungsform ähneln, weggelassen oder vereinfacht ist.
Die sechste Ausführungsform beschreibt ein Kalibrierungsverfahren, das verwendet wird, wenn sämtliche Kameras einzustellende Kameras sind, die eine Einstellung der Transformationsregel für die Projektionstransformation benötigen. Dieses kann auftreten, wenn beispielsweise sämtliche vier Kameras ersetzt werden oder die ECU 3 ersetzt wird.
a) Im Folgenden wird ein Verfahren zum Anordnen des Kalibrierungsblatts 31 beschrieben.
Wie es in 14 dargestellt ist, ordnet die sechste Ausführungsform vier Kalibrierungsblätter 31 (erste bis vierte Kalibrierungsblätter 31a bis 31d) an.
Die vier Kalibrierungsblätter 31 werden derart angeordnet, dass eine Defokussierung aufgrund der Kalibrierungsmuster A bis H, die zu weit von optischen Achsen der Kameras 5 bis 11 beabstandet sind, nicht auftritt.
Zunächst (erstes Mal) wird das Muster A des ersten Kalibrierungsblatts 31a nur in dem Aufnahmebereich SF für die vordere Kamera 5 außerhalb einer Überdeckung zwischen den Aufnahmebereichen SF und SL der vorderen Kamera 5 und der linken Kamera 7 (d. h. außerhalb der Aufnahmebereiche für die anderen Kameras) angeordnet. Das Muster B des ersten Kalibrierungsblatts 31a wird nur in dem Aufnahmebereich SL für die linke Kamera 7 außerhalb einer Überdeckung der Aufnahmebereiche SF und SL der vorderen Kamera 5 und der linke Kamera 7 angeordnet.
Als Zweites (zweites Mal) wird das Muster C (ähnlich dem Muster A) des zweiten Kalibrierungsblatts 31b nur in dem Aufnahmebereich SL für die linke Kamera 7 außerhalb einer Überdeckung zwischen den Aufnahmebereichen SL und SB der linken Kamera 7 und der hinteren Kamera 11 angeordnet. Das Muster D (ähnlich dem Muster B) des zweiten Kalibrierungsblatts 31b wird nur in dem Aufnahmebereich SB für die hintere Kamera 11 außerhalb einer Überdeckung der Aufnahmebereiche SL und SB der linken Kamera 7 und der hinteren Kamera 11 angeordnet.
Als Drittes (drittes Mal) wird das Muster E (ähnlich dem Muster A) des dritten Kalibrierungsblatts 31c nur in dem Aufnahmebereich SB für die hintere Kamera 11 außerhalb einer Überdeckung zwischen den Aufnahmebereichen SB und SR der hinteren Kamera 11 und der rechten Kamera 9 angeordnet. Das Muster F (ähnlich dem Muster B) des dritten Kalibrierungsblatts 31c wird nur in dem Aufnahmebereich SR für die rechte Kamera 9 außerhalb einer Überdeckung zwischen den Aufnahmebereichen SB und SR der hinteren Kamera 11 und der rechten Kamera 9 angeordnet.
Zuletzt (viertes Mal) wird das Muster G (ähnlich dem Muster A) des vierten Kalibrierungsblatts 31d nur in dem Aufnahmebereich SR für die rechte Kamera 9 außerhalb einer Überdeckung zwischen den Aufnahmebereichen SR und SF der rechten Kamera 9 und der vorderen Kamera 5 angeordnet. Das Muster H (ähnlich dem Muster B) des vierten Kalibrierungsblatts 31d wird nur in dem Aufnahmebereich SF für die vordere Kamera 5 außerhalb einer Überdeckung zwischen den Aufnahmebereichen SR und SF der rechten Kamera 9 und der vorderen Kamera 5 angeordnet.
Die sechste Ausführungsform ordnet nur zu Darstellungszwecken die Kalibrierungsblätter 31 in der oben genannten Reihenfolge an. Die Reihenfolge kann auch anders sein.
b) Im Folgenden wird ein Kalibrierungsverfahren gemäß der sechsten Ausführungsform beschrieben.
Die Beschreibung erläutert im Folgenden einen Fall der Aufnahme von Bildern in der Reihenfolge vordere Kamera 5, linke Kamera 7, hintere Kamera 11 und rechte Kamera 9, auch wenn die Reihenfolge nicht darauf beschränkt ist.
Wie es in den 15A und 15B dargestellt ist, holt die ECU 3 in S400 eine Anweisung zum Kalibrieren sämtlicher vier Kameras 5 bis 11 auf der Grundlage eines Signals von dem Diagnosewerkzeug 27.
In S410 bewirkt die ECU 3, dass die vordere Kamera 5 das Muster A des ersten Kalibrierungsblatts 31a und das Muster H des vierten Kalibrierungsblatts 31d aufnimmt.
In S420 erfasst die ECU 3 die Muster A und H aus den aufgenommenen Bildern ähnlich wie in der ersten Ausführungsform.
In S430 holt (berechnet) und korrigiert die ECU 3 Parameter für die vordere Kamera 5 auf der Grundlage der Muster A und H ähnlich wie bei der ersten Ausführungsform.
Insbesondere holt (berechnet) und korrigiert die ECU 3 das Rollen, Nicken und Z aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, so dass die Muster A und H (im Detail deren Kalibrierungsmuster) jeweils ein 500-mm-Quadrat hinsichtlich der Gestalt und der Größe erfüllen.
Die Abmessungen des ersten Kalibrierungsblatts 31a und des vierten Kalibrierungsblatts 31d sind im Voraus bekannt. In S440 berechnet die ECU 3 Koordinaten entsprechend den vier Scheitelpunkten der Muster B und G (im Detail deren Kalibrierungsmuster) als Quadrate aus Koordinaten für die Muster A und H (im Detail deren Kalibrierungsmuster) als Quadrate. Das heißt, die ECU 3 berechnet die Koordinaten des vorläufigen Musters B' und des vorläufigen Musters G' (im Detail deren Kalibrierungsmuster).
In S450 bewirkt die ECU 3, dass die linke Kamera 7 die Muster B und C aufnimmt.
In S460 erfasst die ECU 3 ähnlich wie in S420 die Muster B und C.
In S470 holt (berechnet) und korrigiert die ECU 3 ähnlich wie S430 die Parameter für die linke Kamera 7 auf der Grundlage der Muster B und C
Insbesondere holt (berechnet) und korrigiert die ECU 3 das Rollen, Nicken und Z aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, so dass die Muster B und C (im Detail deren Kalibrierungsmuster) jeweils ein 500-mm-Quadrat hinsichtlich der Gestalt und der Größe erfüllen.
Die Abmessungen des ersten Kalibrierungsblatts 31a und des zweiten Kalibrierungsblatts 31b sind im Voraus bekannt. In S480 berechnet die ECU 3 Koordinaten entsprechend vier Scheitelpunkten der Muster A und D (im Detail deren Kalibrierungsmuster) als Quadrate aus Koordinaten für vier Scheitelpunkte der Muster B und C (im Detail deren Kalibrierungsmuster) als Quadrate. Das heißt, die ECU 3 berechnet die Koordinaten des vorläufigen Musters A' und des vorläufigen Musters D' (im Detail deren Kalibrierungsmuster).
In S490 ermöglicht es die ECU 3 der hinteren Kamera 11, die Muster D und E aufzunehmen.
In S500 erfasst die ECU 3 ähnlich wie in S420 die Muster D und E.
In S510 holt (berechnet) und korrigiert die ECU 3 Parameter für die hintere Kamera 11 auf der Grundlage der Muster D und E.
Insbesondere holt (berechnet) und korrigiert die ECU 3 das Rollen, Nicken und Z aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, so dass die Muster D und E (im Detail deren Kalibrierungsmuster) jeweils ein 500-mm-Quadrat hinsichtlich der Gestalt und der Größe erfüllen.
Die Abmessungen des zweiten Kalibrierungsblatts 31b und des dritten Kalibrierungsblatts 31c sind im Voraus bekannt. In S520 berechnet die ECU 3 Koordinaten entsprechend vier Scheitelpunkten der Muster C und F (im Detail deren Kalibrierungsmuster) als Quadrate aus Koordinaten für vier Scheitelpunkte der Muster D und E (im Detail deren Kalibrierungsmuster) als Quadrate. Das heißt, die ECU 3 berechnet die Koordinaten des vorläufigen Musters C' und des vorläufigen Musters F' (im Detail deren Kalibrierungsmuster).
In S530 bewirkt die ECU 3, dass die rechte Kamera 9 die Muster F und G aufnimmt.
In S540 erfasst die ECU 3 ähnlich wie in S420 die Muster F und G.
In S550 holt (berechnet) und korrigiert die ECU 3 Parameter für die rechte Kamera 9 auf der Grundlage der Muster F und G.
Insbesondere holt (berechnet) und korrigiert die ECU 3 das Rollen, Nicken und Z aus den Parametern X, Y, Z, Rollen, Nicken und Gieren, so dass die Muster F und G (im Detail deren Kalibrierungsmuster) jeweils ein 500-mm-Quadrat hinsichtlich der Gestalt und der Größe erfüllen.
Die Abmessungen des dritten Kalibrierungsblatts 31c und des vierten Kalibrierungsblatts 31d sind im Voraus bekannt. In S560 berechnet die ECU 3 Koordinaten entsprechend vier Scheitelpunkten der Muster E und H (im Detail deren Kalibrierungsmuster) als Quadrate aus Koordinaten für vier Scheitelpunkte der Muster F und G (im Detail deren Kalibrierungsmuster) als Quadrate. Das heißt, die ECU 3 berechnet die Koordinaten des vorläufigen Musters E' und des vorläufigen Musters H' (im Detail deren Kalibrierungsmuster).
Die sechste Ausführungsform berechnet jeweils Koordinaten für vier Scheitelpunkte eines Quadrats für zwei Muster in Einheit. Die Koordinaten können jedoch nacheinander für jedes Muster gefunden werden.
In S570 nähert die ECU 3 das Muster A', das Muster B', das Muster C', das Muster D', das Muster E', das Muster F', das Muster G' und das Muster H' (im Detail deren Kalibrierungsmuster) dem Muster A, dem Muster B, dem Muster C, dem Muster D, dem Muster E, dem Muster F, dem Muster G und dem Muster H (im Detail deren Kalibrierungsmarkierung) jeweils an. Die ECU 3 holt (berechnet) und korrigiert Parameter für die vordere Kamera 5, die linke Kamera 7, die rechte Kamera 9 und die hintere Kamera 11, um einen Positionsfehler zu minimieren.
Insbesondere stellt die ECU 3 ähnlich wie bei der ersten Ausführungsform die Ausrichtungen und Positionen des Musters A', des Musters B', des Musters C', des Musters D', des Musters E', des Musters F', des Musters G', des Musters H' (im Detail deren Kalibrierungsmuster) ein, um diese an jeweils das Muster A, das Muster B, das Muster C, das Muster D, das Muster E, das Muster F, das Muster G, das Muster H (im Detail deren Kalibrierungsmuster) anzunähern. Die ECU 3 holt (berechnet) und korrigiert das Gieren, X und Y aus den Parametern X, Y, Z, Rollen, Nicken und Gieren für die Kameras 5 bis 11, um einen Positionsfehler zu minimieren.
Die Korrektur kann beispielsweise in der im Folgenden beschriebenen Reihenfolge durchgeführt werden.
Ähnlich wie bei der ersten Ausführungsform (oder der zweiten Ausführungsform) wird grundlegend der Prozess zum Einstellen einer benachbarten Kamera unter Verwendung eines Kalibrierungsblatts 31 aufeinanderfolgend wiederholt. Ähnlich wie bei der ersten Ausführungsform kann ein Abbilden bzw. In-Übereinstimmung-Bringen von Koordinaten für ein vorläufiges Einstellkalibrierungsmuster (beispielsweise Muster B') auf bzw. mit Koordinaten für ein Einstellkalibrierungsmuster (beispielsweise Muster B) durchgeführt werden. Ähnlich wie bei der zweiten Ausführungsform kann ein Abbilden bzw. In-Übereinstimmung-Bringen von Koordinaten für ein vorläufiges Bezugskalibrierungsmuster (beispielsweise Muster A') auf bzw. mit Koordinaten für ein vorläufiges Bezugskalibrierungsmuster (beispielsweise Muster A') durchgeführt werden.
Die Beschreibung von „im Detail deren Kalibrierungsmuster“ kann in der folgenden Beschreibung hinsichtlich des jeweiligen Musters weggelassen werden.
Insbesondere nimmt die ECU 3 zunächst die vordere Kamera 5 als vorläufige Bezugskamera an. Die ECU 3 nähert das Muster A', das aus dem Muster B berechnet wird, dem Muster A an und minimiert einen Positionsfehler, um das Gieren, X und Y für die linke Kamera 7 zu holen (berechnen) und zu korrigieren.
Die ECU 3 nimmt die linke Kamera 7 als vorläufige Bezugskamera an. Die ECU 3 nähert das Muster C', das aus dem Muster D berechnet wird, dem Muster C an und minimiert einen Positionsfehler, um das Gieren, X und Y für die hintere Kamera 11 zu holen (berechnen) und zu korrigieren.
Die ECU 3 nimmt die hintere Kamera 11 als vorläufige Bezugskamera an. Die ECU 3 nähert das Muster E', das aus dem Muster F berechnet wird, dem Muster E an und minimiert einen Positionsfehler, um das Gieren, X und Y für die rechte Kamera 9 zu holen (berechnen) und zu korrigieren.
Schließlich nimmt die ECU 3 die rechte Kamera 9 als vorläufige Bezugskamera an. Die ECU 3 nähert das Muster G', das aus dem Muster H berechnet wird, dem Muster G an und minimiert einen Positionsfehler, um das Gieren, X und Y für die vordere Kamera 5 zu holen (berechnen) und zu korrigieren.
Die ECU 3 holt (berechnet) und korrigiert das Gieren, X und Y für sämtliche vier Kameras 5 bis 11 von der linken Kamera 7 bis zu der vorderen Kamera 5. Die ECU 3 folgt dem Korrekturzyklus, stellt Ausrichtungen und Positionen der Muster A bis H ein und minimiert einen Positionsfehler, um das Gieren, X und Y für die Kameras 5 bis 11 zu holen (berechnen) und zu korrigieren.
Die Reihenfolge der Korrekturprozeduren ist nur ein Beispiel und dient nicht zur Beschränkung.
Schließlich bewirkt die ECU 3 in S580, dass der Speicher 23 die Parameter X, Y, Z, Rollen, Nicken und Gieren nach dem Holen (Berechnen) für die vordere Kamera 5, die linke Kamera 7, die rechte Kamera 9 und die hintere Kamera 11 speichert, und beendet einmal den Prozess.
c) Im Folgenden wird ein anschließender Prozess (Nach-Prozess) beschrieben.
Der Nach-Prozess transformiert das Koordinatensystem der vier Kameras 5 bis 11 in das Fahrzeugkoordinatensystem.
Der Prozess von S400 bis S580 stellt Parameter mit Bezug auf eine vorläufige Bezugskamera (beispielsweise die vordere Kamera 5) ein. Eine Beendigung des Einstellprozesses ergibt eine Positionsbeziehung zwischen den vier Kameras 5 bis 11 in Bezug auf die vorläufige Bezugskamera. Das heißt, der Prozess ergibt Parameter wie beispielsweise Koordinaten in einem vorläufigen Bezugskamerakoordinatensystem, wie es in 16 dargestellt ist. Die Kalibrierung zielt jedoch darauf ab, Parameter in dem Fahrzeugkoordinatensystem und keine Werte in Bezug auf die vorläufige Bezugskamera zu finden. Das vorläufige Bezugskamerakoordinatensystem muss in das Fahrzeugkoordinatensystem transformiert werden.
Im Folgenden wird der Prozess zum Transformieren in das Fahrzeugkoordinatensystem als Nach-Prozess entsprechend den folgenden Schritten 1 bis 3 beschrieben.
<Schritt 1 >
Wie es in 17A dargestellt ist, findet die ECU 3 den Winkel θ1 zwischen der vorderen Kamera 5 und der hinteren Kamera 11 in dem Fahrzeugkoordinatensystem unter Verwendung von Entwurfswerten (x1, y1) und (x2, y2) für Kamerapositionen (beispielsweise Positionen der vorderen Kamera 5 und der hinteren Kamera 11). Die gestrichelte Linie gibt die Längsrichtung des Fahrzeugs an (verläuft durch die Position der Kamera 11).
Wie es in 17B dargestellt ist (vorläufiges Bezugskamerakoordinatensystem), findet die ECU 3 θ2 zwischen der vorderen Kamera 5 und der hinteren Kamera 11 in dem vorläufigen Bezugskamerakoordinatensystem unter Verwendung von Positionen (x1', y1') und (x2', y2') der vorderen Kamera 5 und der hinteren Kamera 11 in dem vorläufigen Bezugskamerakoordinatensystem. Die gestrichelte Linie entspricht einer optischen Achse der Kamera 5.
Die ECU 3 findet den Drehwinkel R unter Verwendung der folgenden Gleichung (1). $R = θ 1 - θ 2$
<Schritt 2>
Wie es in 18A dargestellt ist (vorläufiges Bezugskamerakoordinatensystem), dreht die ECU 3 (x2', y2') um den Ursprung in dem vorläufigen Bezugskamerakoordinatensystem unter Verwendung des Drehwinkels R, der durch die Gleichung (1) gefunden wird, wodurch sich die Koordinate nach der Drehung als (x2", y2") ergibt.
18B stellt das Fahrzeugkoordinatensystem und das vorläufige Bezugskamerakoordinatensystem einander überdeckend dar. Der Mittelpunkt M ist zwischen (x1, y1) und (x2, y2) definiert. Der Mittelpunkt M' ist zwischen (x1', y1') und (x2", y2") definiert. Die ECU 3 findet einen X-Richtungsabstand und einen Y-Richtungsabstand für M und M', wodurch sich jeweils die Abstände als OFFSET_X und OFFSET_Y ergeben.
<Schritt 3>
Die ECU 3 addiert den Drehwinkel R, OFFSET_X und OFFSET_Y, die in den Schritten 1 und 2 gefunden wurden, zu entsprechenden Werten von Gieren, X und Y für die Kameras 5 bis 11 mit Bezug auf die jeweilige vorläufige Bezugskamera. Dieses beendet die Transformation in das Fahrzeugkoordinatensystem.
Wie es oben genauer beschrieben wurde, kann die sechste Ausführungsform sämtliche Kameras 5 bis 11 sogar dann kalibrieren, wenn sämtliche vier Kameras 5 bis 11 ersetzt wurden oder die ECU 3 ersetzt wurde.
(Siebte Ausführungsform)
Im Folgenden wird eine siebte Ausführungsform beschrieben, bei der die Erläuterung von Inhalten, die denjenigen in der ersten Ausführungsform ähneln, weggelassen oder vereinfacht ist.
Die siebte Ausführungsform führt die Kalibrierung unter Verwendung eines einzelnen Kalibrierungsblatts durch, das die drei Muster A, B und C enthält (zusammen mit entsprechenden Kalibrierungsmarkierungen).
19A stellt ein Verfahren zum Schätzen des Musters B aus dem Muster A dar. Das Verfahren findet zwei Linien L1 und L2 unter Verwendung von vier Scheitelpunkten CT für die Kalibrierungsmarkierung des Musters A. Das Fahrzeug fährt eine vorbestimmte Strecke in der entsprechenden Richtung, um Scheitelpunkte CT für die Kalibrierungsmarkierung des Musters B zu finden. Das Verfahren ähnelt demjenigen der ersten Ausführungsform.
Die Genauigkeit der Linien L1 und L2 hängt von der Genauigkeit des Musters A ab (dementsprechend von dessen Scheitelpunkt CT für die Kalibrierungsmarkierung).
Diesbezüglich verwendet die siebte Ausführungsform, wie es in 19B dargestellt ist, ein Kalibrierungsblatt, das die Muster A, C und B enthält, die in der Längsrichtung angeordnet sind. Die Muster C und B sind ähnlich wie das Muster A gestaltet.
Das Muster C ist als eine zum Muster A vergleichbare Grafik angeordnet, das gegenüber dem Muster B entlang der Längsrichtung des Kalibrierungsblatts 31 verschoben ist. Das Muster C ist beispielsweise zwischen den Mustern A und B angeordnet.
Die Verwendung der Muster A und C (im Detail Scheitelpunkte CT für die entsprechenden Kalibrierungsmarkierungen) kann die Genauigkeit der Linien L1 und L2 verbessern. Als Ergebnis kann die Genauigkeit der Schätzung des Musters B weiter verbessert werden.
Ein bekanntes Verfahren der kleinsten Quadrate kann verwendet werden, um die Linien L1 und L2 zu finden. Das Verfahren minimiert einen Abstand zwischen der Linie L1 (oder der Linie L2) und den Scheitelpunkten CT für die Kalibrierungsmarkierungen der entsprechenden Muster A und C.
Offensichtlich ist die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt, sondern kann verschiedentlich ausgeführt sein.
In jeder der oben beschriebenen Ausführungsformen kann beispielsweise eine Funktion, die in einer Komponente enthalten ist, auf mehrere Komponenten verteilt werden. Funktionen, die in mehreren Komponenten enthalten sind, können in eine einzelne Komponente integriert werden. Mindestens ein Teil der Konfiguration der Ausführungsform kann durch eine bekannte Konfiguration ersetzt werden, die eine vergleichbare Funktion enthält. Mindestens ein Teil der Konfiguration der Ausführungsform kann zu der Konfiguration einer anderen Ausführungsform hinzugefügt werden oder diese ersetzen.
Das oben genannte Kalibrierungsblatt kann nicht nur ein faltbares Kalibrierungsblatt sein, sondern auch ein plattenförmiges Kalibrierungselement, das nicht gefaltet, sondern gebogen werden kann.
Farben des oben genannten Kalibrierungsblatts sind nicht auf spezielle beschränkt, um die oben genannte Kalibrierung zu ermöglichen.
Das Endgewicht kann weggelassen werden, so dass auch dann noch die oben genannte Kalibrierung möglich ist.
Eine bordeigene Umgebungsbildanzeigevorrichtung gemäß einem ersten Beispiel der vorliegenden Erfindung ist an einem Kraftfahrzeug montiert und weist mehrere Kameras, einen Fahrzeugumgebungsbilderzeugungsabschnitt, eine Anzeigevorrichtung und einen Einstellabschnitt auf. Die Kameras sind an dem Kraftfahrzeug montiert, um eine Umgebung des Kraftfahrzeugs abzubilden. Entsprechend einer Transformationsregel, die für jede Kamera bestimmt ist, die vorhanden ist, um das Bild aufzunehmen, wendet der Fahrzeugumgebungsbilderzeugungsabschnitt eine Projektionstransformation auf die Bilder, die von den Kameras aufgenommen werden, an, um ein Fahrzeugumgebungsbild zu erzeugen, das in einem einzigen Bildraum synthetisiert ist. Das Fahrzeugumgebungsbild repräsentiert die Umgebung des Kraftfahrzeugs von einem speziellen Blickpunkt aus. Die Anzeigevorrichtung zeigt das Fahrzeugumgebungsbild, das von dem Fahrzeugumgebungsbilderzeugungsabschnitt erzeugt wird, an. Der Einstellabschnitt stellt die Transformationsregel ein, die für jede der Kameras bestimmt ist. In einer Situation, in der: ein Kalibrierungselement, in dem mehrere Kalibrierungsmuster mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Kraftfahrzeug angeordnet ist; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer Bezugskamera angeordnet ist, die eine Kamera ist, die als Bezug zum Einstellen der Transformationsregel dient; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer einzustellenden Kamera angeordnet ist, die eine Kamera ist, für die die Transformationsregel einzustellen ist, erfasst der Einstellabschnitt eine Koordinate eines Bilds eines Bezugskalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des vorbestimmten Kalibrierungsmusters des Kalibrierungselements, das von der Bezugskamera entsprechend der Transformationsregel aufgenommen wird, die für die Bezugskamera bestimmt ist; erfasst der Einstellabschnitt eine Koordinate eines Bilds eines Einstellkalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters des Kalibrierungselements, das von der einzustellenden Kamera entsprechend der Transformationsregel aufgenommen wird, die für die einzustellende Kamera bestimmt ist; führt der Einstellabschnitt ein Erfassen einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters entsprechend dem Bezugskalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters und den Kalibrierungsmustern oder ein Erfassen einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters entsprechend dem Einstellkalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Bezugskalibrierungsmusters und den Kalibrierungsmustern durch; und stellt der Einstellabschnitt die Transformationsregel, die für die einzustellende Kamera bestimmt ist, derart ein, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters mit der Koordinate des Bilds des Bezugskalibrierungsmusters oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters mit der Koordinate des Bilds des Einstellkalibrierungsmusters übereinstimmt.
Ein Kameraeinstellverfahren gemäß einem ersten Beispiel der vorliegenden Erfindung ist für eine bordeigene Umgebungsbildanzeigevorrichtung ausgebildet, die enthält: mehrere Kameras , die an einem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden; einen Fahrzeugumgebungsbilderzeugungsabschnitt, der entsprechend einer Transformationsregel, die für jede Kamera bestimmt ist, die ausgebildet ist, um das Bild aufzunehmen, eine Projektionstransformation auf die Bilder, die von den Kameras aufgenommen werden, anwendet, um ein Fahrzeugumgebungsbild, das in einem einzigen Bildraum synthetisiert ist, zu erzeugen, wobei das Fahrzeugumgebungsbild die Umgebung des Kraftfahrzeugs repräsentiert, die aus der Sicht eines speziellen Blickpunkts beobachtet wird; und eine Anzeigevorrichtung, die das Fahrzeugumgebungsbild, das von dem Fahrzeugumgebungsbilderzeugungsabschnitt erzeugt wird, anzeigt, und wobei das Kameraeinstellverfahren zum Einstellen der Transformationsregeln für die Kameras ausgebildet ist. In einer Situation, in der: ein Kalibrierungselement, in dem mehrere Kalibrierungsmuster mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Fahrzeug angeordnet ist; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer Bezugskamera angeordnet ist, die eine Kamera ist, die als Bezug zum Einstellen der Transformationsregel dient; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer einzustellenden Kamera angeordnet ist, die eine Kamera ist, für die die Transformationsregel einzustellen ist, weist das Kameraeinstellverfahren auf: Erfassen einer Koordinate eines Bilds eines Bezugskalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des vorbestimmten Kalibrierungsmusters des Kalibrierungselements, das von der Bezugskamera entsprechend der Transformationsregel, die für die Bezugskamera bestimmt ist, aufgenommen wird; Erfassen einer Koordinate eines Bilds eines Einstellkalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters des Kalibrierungselements, das von der einzustellenden Kamera entsprechend der Transformationsregel aufgenommen wird, die für die einzustellende Kamera bestimmt ist; Durchführen eines Erfassens einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters entsprechend dem Bezugskalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters und den Kalibrierungsmustern oder eines Erfassens einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters entsprechend dem Einstellkalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Bezugskalibrierungsmusters und den Kalibrierungsmustern; und Einstellen der Transformationsregel, die für die einzustellende Kamera bestimmt ist, derart, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters mit der Koordinate des Bilds des Bezugskalibrierungsmusters oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters mit der Koordinate des Bilds des Einstellkalibrierungsmusters übereinstimmt.
Wie es beispielsweise in 3 dargestellt ist, kann das Kalibrierungselement, das zwei oder mehr Kalibrierungsmuster an den vorbestimmten Positionen enthält, derart angeordnet werden, dass die Kalibrierungsmuster in den entsprechenden Aufnahmebereichen für die Bezugskamera und die einzustellende Kamera angeordnet werden. Danach können Koordinaten für das Bezugskalibrierungsmuster (B) aus einem Bild, das von der Bezugskamera aufgenommen wird, erfasst werden. Ein Bild des einzustellenden Kalibrierungsmusters (A) kann aus einem Bild, das von der einzustellenden Kamera aufgenommen wird, erfasst werden.
Es kann einen Fall eines Erfassens von Koordinaten für das Bild des vorläufigen Bezugskalibrierungsmusters (B') entsprechend dem Bezugskalibrierungsmuster (B) auf der Grundlage der Positionsbeziehung zwischen Koordinaten für das Bild des Einstellkalibrierungsmusters (A) und beiden Kalibrierungsmustern (A und B) geben. In einem derartigen Fall kann die Transformationsregel, die für die einzustellende Kamera vorbestimmt ist, derart eingestellt werden, dass Koordinaten für das Bild des vorläufigen Bezugskalibrierungsmusters (B') mit Koordinaten für das Bild des Bezugskalibrierungsmusters (B) übereinstimmen.
Alternativ kann es einen Fall eines Erfassens von Koordinaten für das Bild des vorläufigen Einstellkalibrierungsmusters (A') entsprechend dem Einstellkalibrierungsmuster (A) auf der Grundlage der Positionsbeziehung zwischen Koordinaten für das Bild des Bezugskalibrierungsmusters (B) und beiden Kalibrierungsmustern (A und B) geben. In einem derartigen Fall kann die Transformationsregel, die für die einzustellende Kamera vorbestimmt ist, derart eingestellt werden, dass Koordinaten für das Bild des vorläufigen Einstellkalibrierungsmusters (A') mit Koordinaten für das Bild des Einstellkalibrierungsmusters (B) übereinstimmen.
Sogar wenn die Aufnahmebereiche der Kameras sich nicht überdecken, können die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren gemäß der vorliegenden Erfindung auf einfache Weise die einzustellenden Kameras durch Anordnen der Kalibrierungsmuster in den Aufnahmebereichen und Durchführen des oben beschriebenen Prozesses kalibrieren.
Herkömmlich kann ein Bildschirm ein einzelnes Muster sehr klein anzeigen. In einem derartigen Fall verwenden die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren gemäß der vorliegenden Erfindung das Kalibrierungselement, das unterschiedliche Kalibrierungsmuster enthält, die in Aufnahmebereichen für die unterschiedlichen Kameras angeordnet sind, um die Genauigkeit für die Kameras zum Erfassen von Kalibrierungsmustern zu verbessern. Die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren können die Kalibrierung mittels des oben beschriebenen Prozesses genau durchführen.
Eine bordeigene Umgebungsbildanzeigevorrichtung gemäß einem zweiten Beispiel der vorliegenden Erfindung ist an einem Kraftfahrzeug montiert und weist mehrere Kameras, einen Fahrzeugumgebungsbilderzeugungsabschnitt, eine Anzeigevorrichtung und einen Einstellabschnitt auf. Die Kameras sind an einem Kraftfahrzeug montiert, um eine Umgebung des Kraftfahrzeugs abzubilden. Entsprechend einer Transformationsregel, die für jede Kamera bestimmt ist, die zum Aufnehmen des Bilds ausgebildet ist, wendet der Fahrzeugumgebungsbilderzeugungsabschnitt eine Projektionstransformation auf die Bilder, die von den Kameras aufgenommen werden, an, um ein Fahrzeugumgebungsbild, das in einem einzigen Bildraum synthetisiert ist, zu erzeugen. Das Fahrzeugumgebungsbild repräsentiert die Umgebung des Kraftfahrzeugs, die von einem speziellen Blickpunkt beobachtet wird. Die Anzeigevorrichtung zeigt das Fahrzeugumgebungsbild, das von dem Fahrzeugumgebungsbilderzeugungsabschnitt erzeugt wird, an. Der Einstellabschnitt stellt die Transformationsregel, die für jede der Kameras bestimmt ist, ein. In einer Situation, in der: Kalibrierungselemente, in denen mehrere Kalibrierungsmuster mit vorbestimmten Größen und Gestalten und einer vorbestimmten Positionsbeziehung um das Kraftfahrzeug angeordnet sind; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer vorbestimmten Kamera angeordnet ist; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer anderen Kamera angeordnet ist, verwendet der Einstellabschnitt aus einem Satz von zwei einzustellenden Kameras, die in der Lage sind, unabhängig zwei Kalibrierungsmuster eines vorbestimmten Kalibrierungselements der Kalibrierungselemente aufzunehmen, eine Kamera als eine vorläufige Bezugskamera und die andere Kamera als eine einzustellende Kamera; erfasst der Einstellabschnitt eine Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild eines vorbestimmten Kalibrierungsmusters der beiden Kalibrierungsmuster, das von der Bezugskamera aufgenommen wird, entsprechend der Transformationsregel, die für die vorläufige Bezugskamera bestimmt ist; erfasst der Einstellabschnitt eine Koordinate eines Bilds eines Einstellkalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters der beiden Kalibrierungsmuster, das von der einzustellenden Kamera aufgenommen wird, entsprechend der Transformationsregel, die für die einzustellende Kamera bestimmt ist; führt der Einstellabschnitt ein Erfassen einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters entsprechend dem vorläufigen Bezugskalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters und den beiden Kalibrierungsmustern oder ein Erfassen einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters entsprechend dem Einstellkalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters und den beiden Kalibrierungsmustern durch; und stellt der Einstellabschnitt die Transformationsregel, die für die einzustellende Kamera bestimmt ist, derart ein, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters mit der Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters mit der Koordinate des Bilds des Einstellkalibrierungsmusters übereinstimmt. Diese Satz-um-Satz-Basis-Einstellung wird angewendet, um die Transformationsregeln für sämtliche Kameras einzustellen.
Ein Kameraeinstellverfahren gemäß einem zweiten Beispiel der vorliegenden Erfindung ist für eine bordeigene Umgebungsbildanzeigevorrichtung ausgebildet, die enthält: mehrere Kameras, die an einem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden; einen Fahrzeugumgebungsbilderzeugungsabschnitt, der eine Projektionstransformation auf die Bilder, die von den Kameras aufgenommen werden, entsprechend einer Transformationsregel anwendet, die für jede Kamera bestimmt ist, die ausgebildet ist, um das Bild aufzunehmen, um ein Fahrzeugumgebungsbild zu erzeugen, das in einem einzigen Bildraum synthetisiert ist, wobei das Fahrzeugumgebungsbild die Umgebung des Kraftfahrzeugs repräsentiert, die von einem speziellen Blickpunkt beobachtet wird; und eine Anzeigevorrichtung, die das Fahrzeugumgebungsbild, das von dem Fahrzeugumgebungsbilderzeugungsabschnitt erzeugt wird, anzeigt. Das Kameraeinstellverfahren ist zum Einstellen der Transformationsregeln für die Kameras ausgebildet. In einer Situation, in der: Kalibrierungselemente, in denen mehrere Kalibrierungsmuster mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Kraftfahrzeug angeordnet sind; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer vorbestimmten Kamera angeordnet ist; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster in einem Aufnahmebereich einer anderen Kamera angeordnet ist, weist das Kameraeinstellverfahren auf: von einem Satz von zwei einzustellenden Kameras, die in der Lage sind, unabhängig zwei Kalibrierungsmuster eines vorbestimmten Kalibrierungselements der Kalibrierungselemente aufzunehmen, Verwenden einer Kamera als eine vorläufige Bezugskamera und der anderen Kamera als eine einzustellende Kamera; Erfassen einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild eines vorbestimmten Kalibrierungsmusters der beiden Kalibrierungsmuster, das von der vorläufigen Bezugskamera aufgenommen wird, entsprechend der Transformationsregel, die für die vorläufige Bezugskamera bestimmt ist; Erfassen einer Koordinate eines Bilds eines Einstellkalibrierungsmusters durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters der beiden Kalibrierungsmuster, das von der einzustellenden Kamera aufgenommen wird, entsprechend der Transformationsregel, die für die einzustellende Kamera bestimmt ist; Durchführen eines Erfassens einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters entsprechend dem vorläufigen Bezugskalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters und den beiden Kalibrierungsmustern oder eines Erfassens einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters entsprechend dem Einstellkalibrierungsmuster auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters und den beiden Kalibrierungsmustern; und Einstellen der Transformationsregel, die für die einzustellende Kamera bestimmt ist, derart, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters mit der Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters mit der Koordinate des Bilds des Einstellkalibrierungsmusters übereinstimmt. Diese Satz-um-Satz-Basis-Einstellung wird angewendet, um die Transformationsregeln für sämtliche Kameras einzustellen.
Wie es beispielsweise in 14 dargestellt ist, enthält jedes Kalibrierungselement mehrere Kalibrierungsmuster (A bis H), die jeweils wie spezifiziert gestaltet sind und eine spezifizierte Größe aufweisen und auf der Grundlage einer spezifizierten Positionsbeziehung angeordnet sind. Die Kalibrierungselemente sind um das Kraftfahrzeug angeordnet. Die spezifizierten Kalibrierungsmuster (A bis H) werden in Aufnahmebereichen für die spezifizierten Kameras angeordnet. Die anderen Kalibrierungsmuster (A bis H) sind in Aufnahmebereichen für die anderen Kameras angeordnet. Zwei einzustellende Kameras können als ein Satz unter der Bedingung definiert werden, dass die beiden einzustellenden Kameras in der Lage sind, zwei Kalibrierungsmuster des Kalibrierungselements unabhängig aufzunehmen. Eine der einzustellenden Kameras kann als eine vorläufige Bezugskamera angenommen werden. Die andere Kamera kann als eine einzustellende Kamera angenommen werden. Die Transformationsregel kann für sämtliche Kameras auf einer Satz-Basis entsprechend der unten beschriebenen Prozedur eingestellt werden.
Koordinaten für ein Bild des vorläufigen Bezugskalibrierungsmusters (B) können aus einem Bild, das von der vorläufigen Bezugskamera aufgenommen wird, erfasst werden. Koordinaten für ein Bild des Einstellkalibrierungsmusters (A) können aus einem Bild, das von der einzustellenden Kamera aufgenommen wird, erfasst werden.
Es kann einen Fall eines Erfassens von Koordinaten für ein Bild des vorläufigen Bezugskalibrierungsmusters (A') auf der Grundlage einer Positionsbeziehung zwischen Koordinaten für das Bild des Einstellkalibrierungsmusters (B) und beiden Kalibrierungsmustern (A und B) geben. In einem derartigen Fall kann eine Transformationsregel, die für die einzustellende Kamera vorbestimmt ist, derart eingestellt werden, dass Koordinaten für das Bild des vorläufigen Einstellkalibrierungsmusters (A') mit Koordinaten für das Bild des vorläufigen Bezugskalibrierungsmusters (A) übereinstimmen.
Es kann einen Fall eines Erfassens von Koordinaten für ein Bild des vorläufigen Einstellkalibrierungsmusters (B') auf der Grundlage einer Positionsbeziehung zwischen Koordinaten für das Bild des vorläufigen Bezugskalibrierungsmusters (A) und beiden Kalibrierungsmustern (A und B) geben. In einem derartigen Fall kann die Transformationsregel, die für die einzustellende Kamera vorbestimmt ist, derart eingestellt werden, dass Koordinaten für das Bild des vorläufigen Einstellkalibrierungsmusters (B') mit Koordinaten für das Bild des Einstellkalibrierungsmusters (B) übereinstimmen.
Es kann beispielsweise einen Fall eines Einstellens sämtlicher Kameras aufgrund einer Ersetzung der elektronischen Steuereinheit geben. Die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren gemäß der vorliegenden Erfindung können auf einfache Weise einzustellende Kameras durch Anordnen der Kalibrierungsmuster in den entsprechenden Aufnahmebereichen und Durchführen des oben beschriebenen Prozesses sogar dann kalibrieren, wenn sich die Aufnahmebereiche der Kameras nicht überdecken.
Herkömmlich kann ein Bildschirm ein einzelnes Muster sehr klein anzeigen. In einem derartigen Fall verwenden die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren gemäß der vorliegenden Erfindung das Kalibrierungselement, das unterschiedliche Kalibrierungsmuster enthält, die in Aufnahmebereichen für die unterschiedlichen Kameras angeordnet sind, um die Genauigkeit für die Kameras zum Erfassen von Kalibrierungsmustern zu verbessern. Die bordeigene Umgebungsbildanzeigevorrichtung und das Kameraeinstellverfahren können die Kalibrierung mittels des oben beschriebenen Prozesses genau durchführen.

Claims

Elektronische Steuereinheit (3) für eine bordeigene Umgebungsbildanzeigevorrichtung (1), die an einem Kraftfahrzeug montiert ist, wobei die elektronische Steuereinheit (3) aufweist: einen Fahrzeugumgebungsbilderzeugungsabschnitt (21), der entsprechend einer Transformationsregel, die für jede von mehreren Kameras (5, 7, 9, 11) bestimmt ist, die an dem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden, eine Projektionstransformation auf die Bilder, die von den Kameras (5, 7, 9, 11) aufgenommen werden, anwendet, um ein Fahrzeugumgebungsbild zu erzeugen, das in einem einzigen Bildraum synthetisiert ist, wobei das Fahrzeugumgebungsbild die Umgebung des Kraftfahrzeugs repräsentiert, die von einem speziellen Blickpunkt beobachtet wird, wobei der Fahrzeugumgebungsbilderzeugungsabschnitt (21) mit einer Anzeigevorrichtung (13) kommuniziert, die das Fahrzeugumgebungsbild anzeigt; und einen Einstellabschnitt (21), der die Transformationsregel einstellt, die für jede der Kameras (5, 7, 9, 11) bestimmt ist, wobei in einer Situation, in der ein Kalibrierungselement (31), in dem mehrere Kalibrierungsmuster (A, B) mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Kraftfahrzeug angeordnet ist; ein vorbestimmtes Kalibrierungsmuster (B) der Kalibrierungsmuster (A, B) in einem Aufnahmebereich einer Bezugskamera (7) angeordnet ist, die eine Kamera ist, die als ein Bezug zum Einstellen der Transformationsregel dient; und ein anderes Kalibrierungsmuster (A) der Kalibrierungsmuster (A, B) in einem Aufnahmebereich einer einzustellenden Kamera (5) angeordnet ist, die eine Kamera ist, für die die Transformationsregel einzustellen ist, der Einstellabschnitt (21) eine Koordinate eines Bilds eines Bezugskalibrierungsmusters (B) durch Anwenden der Projektionstransformation auf das Bild des vorbestimmten Kalibrierungsmusters (B) des Kalibrierungselements (31), das von der Bezugskamera (7) aufgenommen wird, entsprechend der Transformationsregel, die für die Bezugskamera (7) bestimmt ist, erfasst; eine Koordinate eines Bilds eines Einstellkalibrierungsmusters (A) durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters (A) des Kalibrierungselements (31), das von der einzustellenden Kamera (5) aufgenommen wird, entsprechend der Transformationsregel, die für die einzustellende Kamera (5) bestimmt ist, erfasst; ein Erfassen einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters (B') entsprechend dem Bezugskalibrierungsmuster (B) auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters (A) und den Kalibrierungsmustern (A, B) oder ein Erfassen einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters (A') entsprechend dem Einstellkalibrierungsmuster (A) auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Bezugskalibrierungsmusters (B) und den Kalibrierungsmustern (A, B) durchführt; und die Transformationsregel, die für die einzustellende Kamera (5) bestimmt ist, derart einstellt, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters (B') mit der Koordinate des Bilds des Bezugskalibrierungsmusters (B) oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters (A') mit der Koordinate des Bilds des Einstellkalibrierungsmusters (A) übereinstimmt.
Elektronische Steuereinheit (3) für eine bordeigene Umgebungsbildanzeigevorrichtung (1), die an einem Kraftfahrzeug montiert ist und die aufweist: einen Fahrzeugumgebungsbilderzeugungsabschnitt (21), der entsprechend einer Transformationsregel, die für jede von mehreren Kameras (5, 7, 9, 11) bestimmt ist, die an dem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden, eine Projektionstransformation auf die Bilder, die von den Kameras (5, 7, 9, 11) aufgenommen werden, anwendet, um ein Fahrzeugumgebungsbild zu erzeugen, das in einem einzigen Bildraum synthetisiert ist, wobei das Fahrzeugumgebungsbild die Umgebung des Kraftfahrzeugs repräsentiert, die von einem speziellen Blickpunkt beobachtet wird, wobei der Fahrzeugumgebungsbilderzeugungsabschnitt (21) mit einer Anzeigevorrichtung (13) kommuniziert, die das Fahrzeugumgebungsbild anzeigt; und einen Einstellabschnitt (21), der die Transformationsregel, die für jede der Kameras (5, 7, 9, 11) bestimmt ist, einstellt, wobei in einer Situation, in der Kalibrierungselemente (31), in denen mehrere Kalibrierungsmuster (A bis H) mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Kraftfahrzeug angeordnet sind; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster (A bis H) in einem Aufnahmebereich einer vorbestimmten Kamera (5, 7, 9, 11) angeordnet ist; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster (A bis H) in einem Aufnahmebereich einer anderen Kamera (5, 7, 9, 11) angeordnet ist, der Einstellabschnitt (21) von einem Satz aus zwei einzustellenden Kameras (5, 7), die in der Lage sind, zwei Kalibrierungsmuster (A, B) eines vorbestimmten Kalibrierungselements (31a) der Kalibrierungselemente (31) unabhängig aufzunehmen, eine Kamera als eine Bezugskamera (7) und die andere Kamera als eine einzustellende Kamera (5) verwendet; eine Koordinate eines Bilds eines Bezugskalibrierungsmusters (B) durch Anwenden der Projektionstransformation auf das Bild eines vorbestimmten Kalibrierungsmusters der beiden Kalibrierungsmuster (A, B), das von der Bezugskamera (7) aufgenommen wird, entsprechend der Transformationsregel, die für die Bezugskamera (7) bestimmt ist, erfasst; eine Koordinate eines Bilds eines Einstellkalibrierungsmusters (A) durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters der beiden Kalibrierungsmuster (A, B), das von der einzustellenden Kamera (5) aufgenommen wird, entsprechend der Transformationsregel, die für die einzustellende Kamera (5) bestimmt ist, erfasst; ein Erfassen einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters (B') entsprechend dem Bezugskalibrierungsmuster (B) auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters (A) und den beiden Kalibrierungsmustern (A, B) oder ein Erfassen einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters (A') entsprechend dem Einstellkalibrierungsmuster (A) auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Bezugskalibrierungsmusters (B) und den beiden Kalibrierungsmustern (A, B) durchführt; und die Transformationsregel, die für die einzustellende Kamera (5) bestimmt ist, derart einstellt, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters (B') mit der Koordinate des Bilds des Bezugskalibrierungsmusters (B) oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters (A') mit der Koordinate des Bilds des Einstellkalibrierungsmusters (A) übereinstimmt, wobei die Satz-um-Satz-Basis-Einstellung angewendet wird, um die Transformationsregeln für sämtliche Kameras (5, 7, 9, 11) einzustellen.
Elektronische Steuereinheit (3) nach Anspruch 1 oder 2, wobei das Kalibrierungselement (31) ein Blatt ist.
Elektronische Steuereinheit (3) nach einem der Ansprüche 1 bis 3, wobei das Kalibrierungselement (31) ein längliches Element ist und die Kalibrierungsmuster (A, B) auf gegenüberliegenden Enden einer Längsrichtung des Kalibrierungselements (31) ausgebildet sind.
Elektronische Steuereinheit (3) nach einem der Ansprüche 1 bis 4, wobei das Kalibrierungselement (31) in einer Draufsicht rechteckig ist.
Elektronische Steuereinheit (3) nach einem der Ansprüche 1 bis 5, wobei das Kalibrierungselement (31) aus einer Faser besteht, die in Abhängigkeit von der Temperatur oder Feuchtigkeit eine vorbestimmte Kontraktion/Expansion oder weniger aufweist.
Elektronische Steuereinheit (3) nach einem der Ansprüche 1 bis 6, wobei das Kalibrierungselement (31) in eine Rolle faltbar ist.
Elektronische Steuereinheit (3) nach einem der Ansprüche 1 bis 7, wobei das Kalibrierungselement (31) ein längliches Element ist und stangenförmige Gewichte (39, 41) an gegenüberliegenden Enden einer Längsrichtung des Kalibrierungselements (31) angebracht sind.
Elektronische Steuereinheit (3) nach Anspruch 8, wobei ein Material des Gewichts (39, 41) Harz oder Metall ist.
Kameraeinstellverfahren für eine bordeigene Umgebungsbildanzeigevorrichtung (1), wobei die bordeigene Umgebungsbildanzeigevorrichtung (1) enthält: einen Fahrzeugumgebungsbilderzeugungsabschnitt (21), der entsprechend einer Transformationsregel, die für jede von mehreren Kameras (5, 7, 9, 11) bestimmt ist, die an einem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden, eine Projektionstransformation auf die Bilder, die von den Kameras (5, 7, 9, 11) aufgenommen werden, anwendet, um ein Fahrzeugumgebungsbild zu erzeugen, das in einem einzigen Bildraum synthetisiert ist, wobei das Fahrzeugumgebungsbild die Umgebung des Kraftfahrzeugs repräsentiert, die von einem speziellen Blickpunkt beobachtet wird, wobei der Fahrzeugumgebungsbilderzeugungsabschnitt (21) mit einer Anzeigevorrichtung (13) kommuniziert, die das Fahrzeugumgebungsbild anzeigt, wobei das Kameraeinstellverfahren zum Einstellen der Transformationsregeln für die Kameras (5, 7, 9, 11) ausgelegt ist, wobei das Kameraeinstellverfahren aufweist: in einer Situation, in der ein Kalibrierungselement (31), in dem mehrere Kalibrierungsmuster (A, B) mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Kraftfahrzeug angeordnet ist; ein vorbestimmtes Kalibrierungsmuster (B) der Kalibrierungsmuster (A, B) in einem Aufnahmebereich einer Bezugskamera (7) angeordnet ist, die eine Kamera ist, die als Bezug zum Einstellen der Transformationsregel dient; und ein anderes Kalibrierungsmuster (A) der Kalibrierungsmuster (A, B) in einem Aufnahmebereich einer einzustellenden Kamera (5) angeordnet ist, die eine Kamera ist, für die die Transformationsregel einzustellen ist, Erfassen einer Koordinate eines Bilds eines Bezugskalibrierungsmusters (B) durch Anwenden der Projektionstransformation auf das Bild des vorbestimmten Kalibrierungsmusters (B) des Kalibrierungselements (31), das von der Bezugskamera (7) aufgenommen wird, entsprechend der Transformationsregel, die für die Bezugskamera (7) bestimmt ist; Erfassen einer Koordinate eines Bilds eines Einstellkalibrierungsmusters (A) durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters (A) des Kalibrierungselements (31), das von der einzustellenden Kamera (5) aufgenommen wird, entsprechend der Transformationsregel, die für die einzustellende Kamera (5) bestimmt ist; Durchführen eines Erfassens einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters (B') entsprechend dem Bezugskalibrierungsmuster (B) auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters (A) und den Kalibrierungsmustern (A, B) oder eines Erfassens einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters (A') entsprechend dem Einstellkalibrierungsmuster (A) auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Bezugskalibrierungsmusters (B) und den Kalibrierungsmustern (A, B); und Einstellen der Transformationsregel, die für die einzustellende Kamera (5) bestimmt ist, derart, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters (B') mit der Koordinate des Bilds des Bezugskalibrierungsmusters (B) oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters (A') mit der Koordinate des Bilds des Einstellkalibrierungsmusters (A) bereinstimmt.
Kameraeinstellverfahren für eine bordeigene Umgebungsbildanzeigevorrichtung (1), die enthält: die bordeigene Umgebungsbildanzeigevorrichtung (1), die enthält: einen Fahrzeugumgebungsbilderzeugungsabschnitt (21), der entsprechend einer Transformationsregel, die für jede von mehreren Kameras (5, 7, 9, 11) bestimmt ist, die an einem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden, eine Projektionstransformation auf die Bilder, die von den Kameras (5, 7, 9, 11) aufgenommen werden, anwendet, um ein Fahrzeugumgebungsbild zu erzeugen, das in einem einzigen Bildraum synthetisiert ist, wobei das Fahrzeugumgebungsbild die Umgebung des Kraftfahrzeugs repräsentiert, die von einem speziellen Blickpunkt beobachtet wird, wobei der Fahrzeugumgebungsbilderzeugungsabschnitt (21) mit einer Anzeigevorrichtung (13) kommuniziert, die das Fahrzeugumgebungsbild anzeigt, wobei das Kameraeinstellverfahren zum Einstellen der Transformationsregeln für die Kameras (5, 7, 9, 11) ausgelegt ist, wobei das Kameraeinstellverfahren aufweist: in einer Situation, in der Kalibrierungselemente (31), in denen mehrere Kalibrierungsmuster (A bis H) mit vorbestimmten Größen und Gestalten eine vorbestimmte Positionsbeziehung aufweisen, um das Kraftfahrzeug angeordnet sind; ein vorbestimmtes Kalibrierungsmuster der Kalibrierungsmuster (A bis H) in einem Aufnahmebereich einer vorbestimmten Kamera (5, 7, 9, 11) angeordnet ist; und ein anderes Kalibrierungsmuster der Kalibrierungsmuster (A bis H) in einem Aufnahmebereich einer anderen Kamera (5, 7, 9, 11) angeordnet ist, von einem Satz aus zwei einzustellenden Kameras (5, 7), die in der Lage sind, zwei Kalibrierungsmuster (A, B) eines vorbestimmten Kalibrierungselements (31a) der Kalibrierungselemente (31) unabhängig aufzunehmen, Verwenden einer Kamera als eine Bezugskamera (7) und der anderen Kamera als eine einzustellende Kamera (5); Erfassen einer Koordinate eines Bilds eines Bezugskalibrierungsmusters (B) durch Anwenden der Projektionstransformation auf das Bild eines vorbestimmten Kalibrierungsmusters der beiden Kalibrierungsmuster (A, B), das von der vorläufigen Bezugskamera (7) aufgenommen wird, entsprechend der Transformationsregel, die für die vorläufige Bezugskamera (7) bestimmt ist; Erfassen einer Koordinate eines Bilds eines Einstellkalibrierungsmusters (A) durch Anwenden der Projektionstransformation auf das Bild des anderen Kalibrierungsmusters der beiden Kalibrierungsmuster (A, B), das von der einzustellenden Kamera (5) aufgenommen wird, entsprechend der Transformationsregel, die für die einzustellende Kamera (5) bestimmt ist; Durchführen eines Erfassens einer Koordinate eines Bilds eines vorläufigen Bezugskalibrierungsmusters (B') entsprechend dem Bezugskalibrierungsmuster (B) auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Einstellkalibrierungsmusters (A) und den beiden Kalibrierungsmustern (A, B) oder eines Erfassens einer Koordinate eines Bilds eines vorläufigen Einstellkalibrierungsmusters (A') entsprechend dem Einstellkalibrierungsmuster (A) auf der Grundlage einer Positionsbeziehung zwischen der Koordinate des Bilds des Bezugskalibrierungsmusters (B) und den beiden Kalibrierungsmustern (A, B); und Einstellen der Transformationsregel, die für die einzustellende Kamera (5) bestimmt ist, derart, dass die Koordinate des Bilds des vorläufigen Bezugskalibrierungsmusters (B') mit der Koordinate des Bilds des Bezugskalibrierungsmusters (B) oder die Koordinate des Bilds des vorläufigen Einstellkalibrierungsmusters (A') mit der Koordinate des Bilds des Einstellkalibrierungsmusters (A) übereinstimmt, wobei die Satz-um-Satz-Basis-Einstellung angewendet wird, um die Transformationsregeln für sämtliche Kameras (5, 7, 9, 11) einzustellen.
Bordeigene Umgebungsbildanzeigevorrichtung (1), die an einem Kraftfahrzeug montiert ist und die aufweist: die elektronische Steuereinheit (3) nach einem der Ansprüche 1 bis 9; mehrere Kameras (5, 7, 9, 11), die an dem Kraftfahrzeug montiert sind, um eine Umgebung des Kraftfahrzeugs abzubilden; und eine Anzeigevorrichtung (13), die das Fahrzeugumgebungsbild, das von der elektronischen Steuereinheit (3) erzeugt wird, anzeigt.