DE112013004851B4

DE112013004851B4 - Kalibrierungsverfahren und Kalibrierungsvorrichtung

Info

Publication number: DE112013004851B4
Application number: DE112013004851.5T
Authority: DE
Inventors: Hitoshi Tanaka; Masayuki Imanishi
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-10-02
Filing date: 2013-09-05
Publication date: 2019-05-09
Anticipated expiration: 2033-09-06
Also published as: CN104718750B; JP6009894B2; CN104718750A; DE112013004851T5; US10171802B2; WO2014054223A1; JP2014074591A; US20150254853A1

Abstract

Kalibrierungsverfahren zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die jeweils vertikal angeordnet sind und jeweils in einer im Voraus bestimmten Höhe gegenüber einer Straßenoberfläche angeordnet sind, wobei das Kalibrierungsverfahren aufweist:
einen ersten Prozess (S205), der ein Aufnehmen eines Bilds der Marker mit der Kamera enthält, wodurch ein zweidimensionales Bild erzeugt wird;
einen zweiten Prozess (S215), der ein Umwandeln des zweidimensionalen Bilds, das in dem ersten Prozess (S205) erzeugt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild in einer speziellen Ebene enthält, so dass das Vogelperspektivenbild die Höhe jedes Markers reflektiert, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und
einen dritten Prozess (S240, S245), der ein Berechnen eines Parameters der Kamera auf der Grundlage einer Positionsdifferenz zwischen den Markern in der speziellen Ebene, die in dem zweiten Prozess (S215) erhalten wurde, enthält.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Technik zum Durchführen einer Messung, die ein Montieren einer Kamera an einem Fahrzeug betrifft.
STAND DER TECHNIK
Bekannte Techniken zum Durchführen einer Messung (sogenannte Kalibrierung), die ein Montieren einer Kamera an einem Fahrzeug betrifft, beinhalten die folgenden.
In dem Verfahren, das in der JP 2009 - 288 152 A beschrieben ist, werden beispielsweise mehrere Kalibrierungsmuster (Ziele) auf der Straßenoberfläche in einer vorbestimmten Positionsbeziehung zueinander angeordnet, ein Fahrzeug wird in der Nähe der Kalibrierungsmuster angeordnet, und es wird eine Messung durchgeführt.
In dem Verfahren, das in der JP 2001 - 285 681 A beschrieben ist, wird eine Messung mit einem Fahrzeug und einer Zielvorrichtung, die in einer festen Positionsbeziehung zueinander angeordnet sind, unter Verwendung einer Positionierungseinrichtung wie Anschlussstücken und eines Rahmens durchgeführt.
Die US 2009 / 0299684 A1 offenbart ein Kalibrierungsverfahren zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die jeweils vertikal angeordnet sind, wobei das Kalibrierungsverfahren aufweist: einen ersten Prozess (S205), der ein Aufnehmen eines Bilds der Marker mit der Kamera enthält, wodurch ein zweidimensionales Bild erzeugt wird; einen zweiten Prozess, der ein Umwandeln des zweidimensionalen Bilds, das in dem ersten Prozess erzeugt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild in einer speziellen Ebene enthält, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und einen dritten Prozess, der ein Berechnen eines Parameters der Kamera auf der Grundlage einer Positionsdifferenz zwischen den Markern in der speziellen Ebene, die in dem zweiten Prozess erhalten wurde, enthält.
Die JP 2004 - 280 728 A beschreibt eine Markereinstellvorrichtung für die parametrische Kalibrierung einer Kamera, wobei eine Referenzmarkeneinheit, die eine Vielzahl von Referenzmarkern und ein Markerträgerteil zum Tragen der Referenzmarker, um eine Höhe von einer Basis zum Fixieren zu variieren, enthält, mit einer Referenzebenen-Erzeugungsvorrichtung zum Erzeugen einer horizontalen Ebene als Referenz für die Referenzmarkerhöheneinstellung kombiniert wird, um die parametrische Kalibrierung der Kamera bereitzustellen.
Die US 2011 / 0115922 A1 beschreibt eine Kalibriervorrichtung zum Ausführen einer Kamerakalibrierung für jede aus einer Vielzahl von Kameras, die an einem Objekt montiert sind, so dass sich Bilderfassungsbereiche von zwei aus der Vielzahl von Kameras überlappen, wobei die Kalibriervorrichtung beinhaltet: eine Bilderfassungseinheit, die erste und zweite Bilder erhält, die von den beiden Kameras aufgenommen wurden; eine Einheit zum Bilden einer temporären Verbindungsstruktur unter Verwendung des ersten und zweiten Bildes, die Bilder von Markersätzen enthalten; eine Verbindungswinkelbestimmungseinheit, die einen effektiven Verbindungswinkel bestimmt, um eine effektive Verbindungsstruktur aus der temporären Verbindungsstruktur zu bilden; und eine Parameterbestimmungseinheit, die einen Parameter zum Positionieren mindestens einer der Kameras auf der Grundlage des effektiven Verbindungswinkels bestimmt.
Die US 2010 / 0194886 A1 beschreibt eine Kamerakalibriervorrichtung, die eine Kamerakalibrierung durchführt, um eine Vielzahl von Kamerabildern von einer Vielzahl von Kameras auf eine vorbestimmte Oberfläche zu projizieren, um sie zu kombinieren, nachdem Kalibriermuster, die in einem gemeinsamen Fotobereich der Kameras angeordnet werden sollen, von jeder der Kameras fotografiert wurden.
ZUSAMMENFASSUNG DER ERFINDUNG
In dem Verfahren, das in der JP 2009 - 288 152 A beschrieben ist, ist es, um eine hohe Messgenauigkeit zu erzielen, notwendig, die Abstände von Kameras zu Zielen und die Winkel, die durch die Kameras in Bezug auf die Ziele ausgebildet werden, geeignet einzustellen. Dieses bedingt, dass die Ziele über einen breiten Bereich auf der Straßenoberfläche angeordnet werden. Als Ergebnis wird ein Messraum (flacher Raum zum Anordnen der Ziele, die für die Messung verwendet werden), der ein Mehrfaches von dem Raum beträgt, der von dem Fahrzeug belegt wird, benötigt.
In dem Fall der Technik, die in der JP 2001 - 285 681 A beschrieben ist, wird ein Ziel, das eine Höhe gegenüber der Straßenoberfläche aufweist, verwendet, so dass der Raum, der für die Messung verwendet wird, gewährleistet werden kann. Um die Messung durchzuführen, werden jedoch Informationen über die Positionsbeziehung zwischen dem Fahrzeug und dem Ziel benötigt. Es ist daher notwendig, das Fahrzeug und das Ziel unter Verwendung von Anschlussstücken in einer vorbestimmten Positionsbeziehung zu fixieren oder die Position des Ziels unter Verwendung einer Rahmeneinrichtung anzupassen, um das Fahrzeug und das Ziel in eine vorbestimmte Positionsbeziehung zu bringen. Dieses macht eine Messung umständlich.
Die vorliegende Erfindung entstand im Hinblick auf das obige Problem, und es ist eine Aufgabe der vorliegenden Erfindung, eine Technik zu schaffen, die eine Messung erleichtert, während der Raum, der für die Messung benötigt wird, gewährleistet wird.
Gemäß einem ersten Beispiel der vorliegenden Erfindung dient ein Kalibrierungsverfahren zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die jeweils vertikal angeordnet sind und jeweils in einer im Voraus bestimmten Höhe in Bezug auf eine Straßenoberfläche angeordnet sind. Das Kalibrierungsverfahren weist auf: einen ersten Prozess, der ein Aufnehmen eines Bilds der Markierungen mit der Kamera enthält, wodurch ein zweidimensionales Bild erzeugt wird; einen zweiten Prozess, der ein Umwandeln des zweidimensionalen Bilds, das in dem ersten Prozess erzeugt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild auf einer speziellen Ebene enthält, so dass das Vogelperspektivenbild die Höhe der jeweiligen Marker reflektiert, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und einen dritten Prozess, der ein Berechnen eines Parameters der Kamera auf der Grundlage einer Positionsdifferenz zwischen den Markern in der speziellen Ebene, die in dem zweiten Prozess erhalten wurde, enthält.
Gemäß dem Kalibrierungsverfahren, das die obigen Prozesse enthält, werden die Marker (Ziele) derart angeordnet, dass sie eine Höhe oberhalb der Straßenoberfläche aufweisen. Dieses kann den Raum, der für die Messung benötigt wird, im Vergleich zu Fällen gewährleisten, in denen die Marker auf der Straßenoberfläche angeordnet werden. Außerdem ist es gemäß dem Kalibrierungsverfahren weder notwendig, das Fahrzeug und die Marker unter Verwendung von Anschlussstücken physikalisch zu fixieren, um diese in einer vorbestimmten Positionsbeziehung zu halten, noch ist es notwendig, die Markerpositionen unter Verwendung einer Rahmeneinrichtung anzupassen, um die Marker in eine vorbestimmte Positionsbeziehung zu dem Fahrzeug zu bringen. Wenn das Kalibrierungsverfahren verwendet wird, ist somit die Messarbeit, die durchzuführen ist, einfacher als in Fällen, in denen eine bekannte Technik verwendet wird.
Gemäß einem zweiten Beispiel der vorliegenden Erfindung ist ein Kalibrierungsverfahren ein Verfahren zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die horizontal in einer vorbestimmten Positionsbeziehung zueinander beabstandet sind, wobei jeder Marker in einem vorbestimmten Abstand zu einer Straßenoberfläche angeordnet ist. Das Kalibrierungsverfahren weist auf: einen ersten Prozess, der ein Aufnehmen eines Bilds der Marker enthält, wodurch ein zweidimensionales Bild erzeugt wird; einen zweiten Prozess, der ein Umwandeln des zweidimensionalen Bilds, das in dem ersten Prozess erzeugt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild auf einer speziellen Ebene enthält, so dass das Vogelperspektivenbild die Höhe der jeweiligen Marker reflektiert, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und einen dritten Prozess, der ein Berechnen eines Parameters der Kamera auf der Grundlage einer Differenz zwischen einem Abstand zwischen den Markern, die in dem Vogelperspektivenbild auf der speziellen Ebene repräsentiert werden, die in dem zweiten Prozess erzeugt wurde, und einem Abstand zwischen den Markern, die auf der Grundlage der im Voraus bestimmten Positionsbeziehung bestimmt wurden, enthält.
Die obige Kalibrierungsvorrichtung kann ähnliche Wirkungen wie diejenigen, die durch das Kalibrierungsverfahren des ersten Beispiels erzielt werden, erzielen.
Gemäß einem dritten Beispiel der vorliegenden Erfindung ist eine Kalibrierungsvorrichtung eine Vorrichtung zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die jeweils vertikal angeordnet sind und jeweils in einer im Voraus bestimmten Höhe gegenüber einer Straßenoberfläche angeordnet sind. Die Kalibrierungsvorrichtung weist auf: eine Bilderlangungseinheit, die ein zweidimensionales Bild erlangt, das die Marker repräsentiert, die von der Kamera aufgenommen werden; eine Umwandlungseinheit, die das zweidimensionale Bild, das von der Bilderlangungseinheit erlangt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild auf einer speziellen Ebene umwandelt, so dass das Vogelperspektivenbild die Höhe der jeweiligen Marker reflektiert, wobei die spezielle Ebene die Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und eine Berechnungseinheit, die einen Parameter der Kamera auf der Grundlage einer Positionsdifferenz zwischen den Markern, die in der speziellen Ebene, die von der Umwandlungseinheit erlangt wurde, repräsentiert werden, berechnet.
Gemäß dem Kalibrierungsverfahren, das die obigen Prozesse enthält, werden die Marker (Ziele) derart positioniert, dass sie eine Höhe oberhalb der Straßenoberfläche aufweisen. Dieses kann den Raum, der für die Messung benötigt wird, im Vergleich zu Fällen gewährleisten, in denen die Marker auf der Straßenoberfläche angeordnet werden. Außerdem ist es gemäß dem Kalibrierungsverfahren weder notwendig, das Fahrzeug und die Marker unter Verwendung von Anschlussstücken physikalisch zu fixieren, um diese in einer vorbestimmten Positionsbeziehung zu halten, noch ist es notwendig, die Markerpositionen unter Verwendung einer Rahmeneinrichtung anzupassen, um die Marker in eine vorbestimmte Positionsbeziehung zu dem Fahrzeug zu bringen. Wenn das Kalibrierungsverfahren verwendet wird, ist somit die Messarbeit, die durchgeführt wird, einfacher als in Fällen, in denen eine bekannte Technik verwendet wird.
Gemäß einem vierten Beispiel der vorliegenden Erfindung ist eine Kalibrierungsvorrichtung eine Vorrichtung zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die horizontal in einer im Voraus bestimmten Positionsbeziehung zueinander beabstandet sind, wobei jeder Marker einen im Voraus bestimmten Abstand zu einer Straßenoberfläche aufweist. Die Kalibrierungsvorrichtung weist auf: eine Bilderlangungseinheit, die ein zweidimensionales Bild erlangt, das die Marker repräsentiert, die von der Kamera aufgenommen werden; eine Umwandlungseinheit, die das zweidimensionale Bild, das von der Bilderlangungseinheit erlangt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild auf einer speziellen Ebene umwandelt, so dass das Vogelperspektivenbild die Höhe der jeweiligen Marker reflektiert, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und eine Berechnungseinheit, die einen Parameter der Kamera auf der Grundlage einer Differenz zwischen einem Abstand zwischen den Markern, die in dem Vogelperspektivenbild auf der speziellen Ebene, die von der Umwandlungseinheit erlangt wurde, repräsentiert werden, und einem Abstand zwischen den Markern, die auf der Grundlage der im Voraus bestimmten Positionsbeziehung bestimmt werden, berechnet.
Die obige Kalibrierungsvorrichtung kann ähnliche Wirkungen wie diejenigen erzielen, die durch das Kalibrierungsverfahren des dritten Beispiels erzielt werden.
Figurenliste
Die obigen und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden anhand der folgenden detaillierten Beschreibung mit Bezug auf die zugehörigen Zeichnungen deutlich. Es zeigen:

1 ein Blockdiagramm, das schematisch eine Konfiguration eines Bildverarbeitungssystems gemäß den Ausführungsformen zeigt;
2A ein Diagramm, das Kamerapositionen und eine Positionsbeziehung zwischen einem Fahrzeug und Markern gemäß einer ersten Ausführungsform zeigt;
2B ein Diagramm, das Kamerapositionen und eine Positionsbeziehung zwischen einem Fahrzeug und Markern gemäß einer zweiten Ausführungsform zeigt;
3 ein Flussdiagramm einer Lageparameterbestimmungsverarbeitung 1;
4A ein Diagramm, das ein Beispiel eines Kameraaufnahmebilds zeigt;
4B ein Diagramm, das eine Berechnung eines Abstands zwischen Markern, die in einem Vogelperspektivenbild repräsentiert werden, das aus einem Kameraaufnahmebild umgewandelt wurde, darstellt;
4C ein Diagramm zur Erläuterung eines tatsächlichen Abstands zwischen Markern;
4D ein Diagramm, das eine Weise darstellt, wie ein Liniensegment, das auf der Grundlage von gemessenen Markerpositionen definiert wird, zur Ausrichtung mit einem Liniensegment, das auf der Grundlage von tatsächlichen Markerpositionen definiert wird, verschoben und gedreht wird;
4E ein Diagramm, das die Liniensegmente, die durch Verschiebung und Drehung ausgerichtet wurden, zeigt;
5A ein Diagramm, das konzeptionell Kamerapositionen, die durch Messung bestimmt werden (Markerkoordinatensystem), zeigt;
5B ein Diagramm, das konzeptionell ein Koordinatensystem zeigt, das auf einem Fahrzeug basiert, das ideal positionierte Kameras enthält;
5C ein Diagramm, das eine Weise darstellt, wie ein Liniensegment, das auf der Grundlage von gemessenen Kamerapositionen definiert wird, zur Ausrichtung mit einem Liniensegment, das auf der Grundlage von idealen Kamerapositionen definiert wird, verschoben und gedreht wird;
5D ein Diagramm, das konzeptionell Ergebnisse einer Umwandlung der horizontalen Komponenten der Position jeder Kamera und des Gierwinkels der Aufnahmerichtung jeder Kamera von einem Markerkoordinatensystem in ein Fahrzeugkoordinatensystem zeigt;
6 ein Flussdiagramm einer Lageparameterbestimmungsverarbeitung 2;
7A ein Diagramm, das ein Beispiel eines Kameraaufnahmebilds zeigt;
7B ein Diagramm, das eine Berechnung einer Positionsdifferenz zwischen Markern an einem jeweiligen Pfosten, der in einem Vogelperspektivenbild repräsentiert wird, das von einem Kameraaufnahmebild umgewandelt wird, darstellt;
7C ein Diagramm, das ein Synthetisieren von Vogelperspektivenbildern in ein Bild unter Verwendung eines Kamerakoordinatensystems von einem der Vogelperspektivenbilder und ein Identifizieren der horizontalen Komponenten der Position jeder Kamera und des Gierwinkels der Aufnahmerichtung jeder Kamera darstellt;
8A ein Diagramm, das konzeptionell die Position jeder Kamera, die durch Messung bestimmt wird (Kamerakoordinatensystem), zeigt;
8B ein Diagramm, das konzeptionell ein Koordinatensystem zeigt, das auf einem Fahrzeug basiert, das ideal positionierte Kameras enthält;
8C ein Diagramm, das eine Weise darstellt, wie ein Liniensegment, das auf der Grundlage von gemessenen Kamerapositionen definiert wird, zur Ausrichtung mit einem Liniensegment, das auf der Grundlage von idealen Kamerapositionen definiert wird, verschoben und gedreht wird; und
8D ein Diagramm, das konzeptionell Ergebnisse einer Umwandlung der horizontalen Komponenten der Position jeder Kamera und des Gierwinkels der Aufnahmerichtung jeder Kamera von einem Kamerakoordinatensystem in ein Fahrzeugkoordinatensystem zeigt.

AUSFÜHRUNGSFORMEN ZUM AUSFÜHREN DER ERFINDUNG
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben. Die im Folgenden beschriebenen Ausführungsformen sind jedoch nur beispielhaft und beschränken andere alternative Ausführungsformen der vorliegenden Erfindung nicht. Die Ausführungsformen der vorliegenden Erfindung enthalten Ausführungsformen, bei denen ein Teil der Konfiguration irgendeiner der folgenden Ausführungsformen weggelassen ist, solange die Aufgaben der vorliegenden Erfindung gelöst werden. Die Ausführungsformen der vorliegenden Erfindung enthalten außerdem Ausführungsformen, die durch geeignetes Kombinieren der folgenden Ausführungsformen gebildet werden.
<Beschreibung der Konfiguration>
Wie es in 1 gezeigt ist, enthält ein Bildverarbeitungssystem 5 gemäß den Ausführungsformen Kameras 11a bis 11d, eine Bildverarbeitungsvorrichtung 21 und eine Anzeigevorrichtung 31.
Die Kameras 11a bis 11d sind jeweilige Weitwinkelkameras, die einen Bildsensor wie beispielsweise eine CCD oder einen CMOS enthalten. Sie nehmen jeweils einen Bereich um ein Fahrzeug auf und geben ein Bild, das durch das Aufnehmen erzeugt wird, an die Bildverarbeitungsvorrichtung 21 mit einer vorbestimmten Frequenz (beispielsweise mit einer Frequenz von 60 Rahmen je Sekunde) aus. In der vorliegenden Ausführungsform, die in 2A gezeigt ist, ist die Kamera 11a an einem mittleren Abschnitt des vorderen Endes des Fahrzeugs montiert, um eine vordere Umgebung des Fahrzeugs aufzunehmen, die Kamera 11b ist an einer rechten Seitenfläche des Fahrzeugs (insbesondere an dem rechten Türspiegel) montiert, um eine rechtsseitige Umgebung des Fahrzeugs aufzunehmen, die Kamera 11c ist an einem mittleren Abschnitt des hinteren Endes des Fahrzeugs montiert, um eine hintere Umgebung des Fahrzeugs aufzunehmen, und die Kamera 11d ist an einer linken Seitenfläche des Fahrzeugs (insbesondere an dem linken Türspiegel) montiert, um eine linksseitige Umgebung des Fahrzeugs aufzunehmen. In der folgenden Beschreibung, wenn die Kameras nicht unterschieden werden müssen, können diese gemeinsam einfach als „Kamera 11“ bezeichnet werden.
Gemäß 1 enthält die Bildverarbeitungsvorrichtung 21 Bildspeichereinheiten 22a bis 22d, eine Betriebseinheit 23, eine Lageparameterspeichereinheit 24 und eine Steuereinheit 25.
Die Bildspeichereinheiten 22a bis 22d enthalten Speichervorrichtungen wie beispielsweise DRAMs und speichern die Bilder, die von den Kameras 11 aufgenommen und aufeinanderfolgend ausgegeben werden, wobei die Bilder in jeder der Bildspeichereinheiten 22a bis 22d für eine vorbestimmte Zeitdauer (beispielsweise die letzten zehn Sekunden) gespeichert werden. Dafür speichern die Bildspeichereinheiten 22a bis 22d die Bilder, die jeweils von den Kameras 11a bis 11d ausgegeben werden. In der folgenden Beschreibung, wenn die Bildspeichereinheiten nicht voneinander unterschieden werden müssen, können diese auch gemeinsam einfach als „Bildspeichereinheit 22“ bezeichnet werden.
Die Betriebseinheit 23 enthält eine berührungsempfindliche Fläche, die auf einem Anzeigebildschirm der Anzeigevorrichtung 31 angeordnet ist, und mechanische Tasten, die beispielsweise um die Anzeigevorrichtung 31 herum angeordnet sind. Die Betriebseinheit 23 ermöglicht es beispielsweise einem Fahrer des Fahrzeugs, verschiedene Betriebsanweisungen über die Betriebseinheit 23 einzugeben.
Die Lageparameterspeichereinheit 24 enthält eine nichtflüchtige Speichervorrichtung, beispielsweise einen Flash-Speicher. Die Lageparameterspeichereinheit 24 speichert beispielsweise Lageparameterwerte von jeder Kamera 11 (horizontale und vertikale Komponenten der Position jeder Kamera 11 und außerdem den Nickwinkel, den Rollwinkel bzw. Wankwinkel und den Gierwinkel der Aufnahmerichtung jeder Kamera 11) und Programme zum Ausführen durch die Steuereinheit 25. Die Bilder, die von jeder Kamera 11 aufgenommen werden, werden unter Verwendung der entsprechenden Lageparameter, die in der Lageparameterspeichereinheit 24 gespeichert sind, verarbeitet (beispielsweise zur Umwandlung in Vogelperspektivenbilder). Die Lageparameter werden auch bei der Bestimmung verwendet, ob irgendeine Kamera 11 vorhanden ist, deren Montageposition oder Montagewinkel abnorm geworden ist, beispielsweise aufgrund einer Vibration des Fahrzeugs, was es notwendig macht, eine Warnung auszugeben.
Die Steuereinheit 25 enthält einen Mikrocomputer, der eine CPU, einen RAM, einen ROM und eine I/O-Vorrichtung (Eingangs/Ausgangs-Vorrichtung) enthält, und führt verschiedene Verarbeitungsbetriebe durch Lesen von Programmen, die in der Lageparameterspeichereinheit 24 gespeichert sind, durch.
Die Anzeigevorrichtung 31 enthält beispielsweise eine Flüssigkristallanzeige oder eine organische EL-Anzeige (organische Elektrolumineszenzanzeige) und kann Bilder, die von den Kameras 11 aufgenommen werden und von der Bildverarbeitungsvorrichtung 21 verarbeitet werden, anzeigen.
<Beschreibung des Betriebs der ersten Ausführungsform>
Im Folgenden wird der Betrieb einer Bildverarbeitungsvorrichtung 21 einer ersten Ausführungsform beschrieben. Im Folgenden fokussiert sich die Beschreibung auf die Verarbeitung gemäß der vorliegenden Erfindung, und die Beschreibung einer bekannten Verarbeitung, die durchgeführt wird, um Bilder, die von in einem Fahrzeug montierten Kameras des Typs, die hier diskutiert sind, aufgenommen werden, anzuzeigen, wird weggelassen (beispielsweise eine Verarbeitung, die durchgeführt wird, um Bilder, die von Kameras aufgenommen werden, in Vogelperspektivenbilder umzuwandeln und vorhergesagte Spuren von Rädern zu synthetisieren und auf einer Anzeigevorrichtung anzuzeigen, um beispielsweise beim Einparken eines Fahrzeugs in eine Garage zu unterstützen).
In der ersten Ausführungsform wird das Fahrzeug in einem Bereich angeordnet, der von vier Markerpfosten 41a bis 41d umgeben ist, wie es in 2A gezeigt ist, um Kameras, die an einem Fahrzeug montiert sind, zu kalibrieren. Die vier Markerpfosten 41a bis 41d sind Säulenpfosten, die derart befestigt sind, dass sie sich vertikal von einer Straßenoberfläche erstrecken. Die Markerpfosten 41a bis 41d enthalten jeweilige Marker 42a bis 42d. Die Marker 42a bis 42d sind an mittleren Positionen der Länge bzw. Längsrichtung der Markerpfosten 41a bis 41d jeweils derart angeordnet, dass sie in derselben Höhe gegenüber der Straßenoberfläche zu dem Fahrzeug zeigen. Das heißt, die Marker 42a bis 42d sind in einer Ebene parallel zu der Straßenoberfläche angeordnet. Die Positionen in der Ebene der Marker 42a bis 42d werden im Voraus bestimmt. Daher werden die tatsächlichen Positionen der Marker 42a bis 42d durch Koordinaten in einem Koordinatensystem (Markerkoordinatensystem) auf der Grundlage einer vorbestimmten Position identifiziert. Die Marker 42a bis 42d können beliebige Objekte sein, solange sie von den Kameras 11, die an dem Fahrzeug montiert sind, aufgenommen werden können und ihre Bilder, die von den Kameras 11 aufgenommen werden, von der Bildverarbeitungsvorrichtung 21 erkannt werden können. Es können beispielsweise Marker, die eine andere Farbe als die Markerpfosten 41a bis 41d aufweisen, oder lichtemittierende Vorrichtungen wie beispielsweise LEDs geeignet als Markerpfosten 41a bis 41d verwendet werden.
Wenn in der folgenden Beschreibung die Markerpfosten nicht voneinander unterschieden werden müssen, können diese gemeinsam auch einfach als „Markerpfosten 41“ bezeichnet werden. Wenn die Marker nicht voneinander unterschieden werden müssen, können diese auch einfach als „Marker 42“ bezeichnet werden.
Im Folgenden wird mit Bezug auf das Flussdiagramm der 3 eine Lageparameterbestimmungsverarbeitung 1, die von der Bildverarbeitungsvorrichtung 21 zur Kamerakalibrierung durchgeführt wird, beschrieben. Wenn eine für die Messung zuständige Person über die Betriebseinheit 23 eine Anweisung zum Aktualisieren der Lageparameter eingibt, wird die Lageparameterbestimmungsverarbeitung 1 von der Lageparameterspeichereinheit 24 in die Programmsteuereinheit 25 eingelesen, und deren Durchführung wird gestartet. Eine Anweisung zum Aktualisieren der Lageparameter wird nur ausgegeben, nachdem das Fahrzeug wie in 2A gezeigt angeordnet wurde, was es jeder Kamera 11 ermöglicht, zwei der Markerpfosten 41 (zwei der Marker 42) aufzunehmen. Die Steuereinheit 25 führt die Schritte S105 bis S140, die im Folgenden beschrieben werden, separat für jede der Kameras 11a bis 11d durch, und nach Beendigung der Schritte S105 bis S140 für jede Kamera führt sie die Schritte S145 und S150 einmal für sämtliche Kameras durch.
Beim Starten der Lageparameterbestimmungsverarbeitung 1 erhält die Steuereinheit 25 das zuletzt aufgenommene Kamerabild von einer ausgewählten Bildspeichereinheit 22 (S105). Das heißt, die Steuereinheit 25 liest Bilddaten von einer der Bildspeichereinheiten 22a bis 22d aus und legt diese in einem RAM, der nicht gezeigt und in der Steuereinheit 25 enthalten ist, ab.
Die Steuereinheit 25 erfasst dann anhand des erhaltenen Kameraaufnahmebilds Koordinaten der Marker 42 (S110). Das heißt, die Steuereinheit 25 identifiziert in einem Bildkoordinatensystem die Mitten der Marker 42a und 42b, die in dem Kameraaufnahmebild gezeigt sind, wie es in 4A gezeigt ist. Die Position jedes Markers 42 kann beispielsweise durch Bestimmen eines Flecks, der eine große Farbdifferenz oder große Luminanzdifferenz in dem entsprechenden Bild repräsentiert, oder in Fällen, in denen jeder Marker 42 eine lichtemittierende Vorrichtung enthält, durch Bewirken, dass die lichtemittierende Vorrichtung leuchtet bzw. blitzt, und Messen der Differenz zwischen einem Bild, das vor dem Leuchten der lichtemittierenden Vorrichtung aufgenommen wurde, und einem Bild, das nach dem Leuchten der lichtemittierenden Vorrichtung aufgenommen wurde, identifiziert werden.
Gemäß 3 wandelt die Steuereinheit 25 anschließend das Kameraaufnahmebild unter Berücksichtigung der Höhen der Marker 42 in ein Vogelperspektivenbild um (S115). Das Verfahren der Vogelperspektivenumwandlung ist bekannt, so dass dieses hier nicht beschrieben wird. Das Verfahren ist in der JP H10-211849 A genauer beschrieben. Wenn S115 das erste Mal nach dem Starten der Ausführung der Lageparameterbestimmungsverarbeitung 1 ausgeführt wird (wenn ein Kameraaufnahmebild in ein Vogelperspektivenbild umgewandelt wird), können die Lageparameterwerte jeder Kamera 11, die zu verwenden sind, Anfangsparameterwerte sein, die beispielsweise bereitgestellt werden, wenn das Fahrzeug von dem Werk ausgeliefert wird, oder können Parameterwerte sein, die in der Lageparameterspeichereinheit 24 gespeichert sind (Parameterwerte, die gespeichert wurden, als die Lageparameterbestimmungsverarbeitung 1 das letzte Mal ausgeführt wurde). Wenn ein Kameraaufnahmebild in ein Vogelperspektivenbild umgewandelt wird, kann das gesamte Kameraaufnahmebild umgewandelt werden oder es kann nur ein Teil des Kameraaufnahmebilds (beispielsweise nur ein Abschnitt, der die Marker 42 zeigt) umgewandelt werden. Es ist möglich, ein Bild der Marker 42 in ein Vogelperspektivenbild auf einer horizontalen Ebene in derselben Höhe wie die Marker 42 umzuwandeln, ein Bild anderer Objekte als die Marker 42 in ein Vogelperspektivenbild auf der Straßenoberfläche umzuwandeln und die Vogelperspektivenbilder miteinander zu synthetisieren.
Anschließend berechnet die Steuereinheit 25 einen Abstand D zwischen den Markern, die in dem somit erzeugten Vogelperspektivenbild gezeigt sind (S120). Das heißt, wie es in 4B gezeigt ist, der Abstand D zwischen den Markern 42a und 42b wird auf der Grundlage der Koordinaten des Markers 42a und der Koordinaten des Markers 42b in dem Koordinatensystem für die Zielkamera 11 (Kamerakoordinatensystem) berechnet.
Gemäß 3 bestimmt die Steuereinheit 25, ob der Abstand D zwischen den Markern, der in S120 berechnet wurde, als nahe genug bei einem vorgeschriebenen Wert ausgewertet werden kann (S125). Der „vorgeschriebene Wert“ repräsentiert den tatsächlichen Abstand zwischen Markern, d. h. den Abstand zwischen den beiden vorbestimmten Markern 42, der auf der Grundlage ihrer Koordinaten in dem Markerkoordinatensystem berechnet wird (siehe 4C). Der Abstand D kann beispielsweise als „nahe genug“ an einem vorgeschriebenen Wert ausgewertet werden, wenn das Verhältnis der Differenz zwischen dem Abstand D zwischen den Markern, der in S120 berechnet wurde, zu dem vorgeschriebenen Wert gleich oder kleiner als ein vorgeschriebenes Verhältnis ist.
Wenn die Steuereinheit 25 in S125 bestimmt, dass der Abstand D zwischen den Markern, der in S120 berechnet wurde, als nahe genug bei dem vorgeschriebenen Wert ausgewertet werden kann, schreitet sie zur Verarbeitung in S135. Wenn andererseits die Steuereinheit 25 bestimmt, dass der Abstand D, der in S120 berechnet wurde, nicht als nahe genug bei dem vorgeschriebenen Wert ausgewertet werden kann, schreitet sie zur Verarbeitung in S130.
In S130, zu dem übergegangen wird, nachdem der Abstand D zwischen den Markern, der in S120 berechnet wurde, als nicht nahe genug bei dem vorgeschriebenen Wert ausgewertet wurde, wählt die Steuereinheit 25 Kandidatenwerte als nächste Werte der vertikalen Komponente (z) der Position der Kamera 11 und des Nickwinkels und Rollwinkels der Aufnahmerichtung der Kamera 11 aus. Diese Parameter werden unter den Lageparametern verwendet, um ein Vogelperspektivenbild in S115 zu erzeugen. Die Kandidatenwerte für die nächste Verwendung werden aus Werten der obigen Elemente eingestellt, wobei mindestens einer dieser um eine geringe Größe aktualisiert bzw. geändert wird (beispielsweise um eine Größe äquivalent zu 0,1 % der Größe vor der Aktualisierung).
Nach der Auswahl der Kandidatenwerte für die nächste Verwendung in S130 kehrt die Steuereinheit 25 zur Verarbeitung in S115, der oben beschrieben wurde, zurück und wandelt erneut das Kameraaufnahmebild in ein Vogelperspektivenbild unter Verwendung der Lageparameterwerte, die wie oben beschrieben ausgewählt wurden, um.
Wenn andererseits die Verarbeitung zu S135 fortschreitet, nachdem der Abstand D zwischen den Markern, der in S120 berechnet wurde, als nahe genug bei dem vorgeschriebenen Wert ausgewertet wurde, speichert die Steuereinheit 25 die vertikale Komponente (z) der Position der Kamera 11 und den Nickwinkel und den Rollwinkel der Aufnahmerichtung der Kamera 11, die das letzte Mal verwendet wurden, um ein Vogelperspektivenbild in S115 zu erzeugen, in der Lageparameterspeichereinheit 24.
Anschließend bewegt und dreht die Steuereinheit 25 das Vogelperspektivenbild (Bild, das in dem Kamerakoordinatensystem repräsentiert wird), das durch die Vogelperspektivenumwandlung, die zuletzt in S115 durchgeführt wurde, erhalten wurde, bis das Liniensegment, das die Marker 42 verbindet, die in dem Vogelperspektivenbild gezeigt sind, zu dem Liniensegment ausgerichtet ist, das die Marker 42 an ihren tatsächlichen Positionen verbindet (tatsächliche Markerpositionen, die in dem Markerkoordinatensystem repräsentiert werden). Gleichzeitig bewegt und dreht die Steuereinheit 25 den Ursprung und die Koordinatenachsen des Kamerakoordinatensystems in dem Vogelperspektivenbild, das in S115 erhalten wurde. Auf der Grundlage des Ursprungs und der Koordinatenachsen des bewegten und gedrehten Kamerakoordinatensystems berechnet die Steuereinheit 25 in dem Markerkoordinatensystem die horizontalen Komponenten (x, y) der Position der Kamera 11 und den Gierwinkel der Aufnahmerichtung der Kamera 11 (S140). Mit anderen Worten, in S140 werden die Kameraposition (x, y) und der Gierwinkel mit dem Liniensegment identifiziert, das die Marker verbindet, die entsprechend der vorgeschriebenen Markeranordnung bewegt und gedreht wurden. Wenn ein Liniensegment zur Ausrichtung an einem anderen Liniensegment bewegt wird, kann das Liniensegment derart bewegt werden, dass die Mittelpunkte der beiden Liniensegmente aneinander ausgerichtet werden, aber es kann auch eine andere Bewegung erfolgen.
Die Verarbeitung, die in S140 durchgeführt wird, wird nun genauer mit Bezug auf die 4B bis 4E beschrieben.
4B zeigt ein Bild, das selektiv auf der Grundlage eines Vogelperspektivenbilds, das aus einem Kameraaufnahmebild umgewandelt wurde, die Marker 42a und 42b und Pfosten 41a und 41b zeigt, und in dem Bild ist ein Liniensegment 44 definiert, das die Marker 42a und 42b verbindet. Die Position der Kamera 11, die verwendet wird, um das Bild aufzunehmen, entspricht dem Ursprung Oc des Kamerakoordinatensystems, und die Aufnahmerichtung der Kamera ist auf einer Yc-Zc-Ebene vorhanden.
4C zeigt die Marker 42a und 42b in der tatsächlichen Anordnung (tatsächliche Markerpositionen). In 4C ist ein Liniensegment 45 definiert, das die Marker 42a und 42b verbindet. Der Ursprung Om des Koordinatensystems für die Marker 42 (Markerkoordinatensystem) ist in 4C gezeigt, aber der Ort des Ursprungs Om ist nicht auf denjenigen begrenzt, der in 4C gezeigt ist.
Die Weise, wie das Liniensegment 44, das in 4B gezeigt ist, zur Ausrichtung an dem Liniensegment 45, das in 4C gezeigt ist, verschoben und gedreht wird, ist in 4D dargestellt. Wenn das Liniensegment 44 wie in 4D gezeigt verschoben und gedreht wird, werden der Ursprung Oc und die Koordinatenachsen des Kamerakoordinatensystems ebenfalls bewegt (die Weise, wie sie bewegt werden, ist nicht gezeigt).
4E zeigt das Liniensegment 44, das in 4B gezeigt ist, nachdem es zur Ausrichtung an dem Liniensegment 45, das in 4C gezeigt ist, verschoben und gedreht wurde. In 4E können die Position des Ursprungs Oc und die Koordinatenachsen des Kamerakoordinatensystems, die in dem Markerkoordinatensystem repräsentiert werden, überprüft werden. Die horizontalen Komponenten (x- und y-Komponenten) der Koordinatenposition des Ursprungs Oc, der in 4E gezeigt ist, repräsentieren die horizontalen Komponenten der Position der Kamera 11 in dem Markerkoordinatensystem. Der Winkel, der zwischen der Yc-Zc-Ebene des Kamerakoordinatensystems und der Ym-Zm-Ebene ausgebildet wird, repräsentiert den Gierwinkel der Aufnahmerichtung der Kamera 11, der in dem Markerkoordinatensystem repräsentiert wird.
Gemäß 3 wandelt die Steuereinheit 25 anschließend die horizontalen Komponenten der Position jeder Kamera 11 und den Gierwinkel der Aufnahmerichtung jeder Kamera 11 in dem Markerkoordinatensystem, die in S140 berechnet wurden, in die horizontalen Komponenten der Position jeder Kamera 11 und den Gierwinkel der Aufnahmerichtung jeder Kamera 11 in dem Fahrzeugkoordinatensystem um (S145). Diese Umwandlungsverarbeitung wird im Folgenden mit Bezug auf die 5A bis 5D beschrieben.
5A zeigt konzeptionell die Positionen der Kameras 11a bis 11d in dem Markerkoordinatensystem auf der Grundlage der Ergebnisse der Durchführung der Schritte S105 bis S140 für jede der Kameras 11a bis 11 d. In dem Beispiel, das in 5A gezeigt ist, sind die Kamera 11a, die an einem mittleren Abschnitt des vorderen Endes des Fahrzeugs montiert ist, und die Kamera 11c, die an einem mittleren Abschnitt des hinteren Endes des Fahrzeugs montiert ist, ausgewählt, und es wird ein Liniensegment 51, das die Positionen der beiden Kameras verbindet, definiert. Die auszuwählenden Kameras sind nicht auf die obigen beiden Kameras beschränkt. Es kann eine andere Kombination von Kameras ausgewählt werden.
5B zeigt konzeptionell ein Koordinatensystem (Fahrzeugkoordinatensystem) auf der Grundlage eines mittleren Abschnitts eines vorderen Endes eines Fahrzeugs einschließlich Kameras in einer idealen Anordnung. Das Fahrzeugkoordinatensystem weist einen Ursprung an der Position der Kamera 11a, die an dem mittleren Abschnitt des vorderen Endes des Fahrzeugs montiert ist, eine Y-Achse, die sich horizontal nach vorne des Fahrzeugs erstreckt, eine X-Achse, die sich horizontal nach rechts des Fahrzeugs erstreckt, und eine Z-Achse, die sich aufwärts (vertikal) von dem Fahrzeug erstreckt, auf. In diesem Beispiel werden ebenfalls die Kamera 11a, die in dem mittleren Abschnitt des vorderen Endes des Fahrzeugs montiert ist, und die Kamera 11c, die in dem mittleren Abschnitt des hinteren Endes des Fahrzeugs montiert ist, ausgewählt, und es wird ein Liniensegment 52, das die beiden Kameras verbindet, definiert.
Gemäß dem obigen Fahrzeugkoordinatensystem wird das Liniensegment 51, das in 5A gezeigt ist, gedreht und verschoben, bis das Liniensegment 51 an dem Liniensegment 52, das in 5B definiert ist, ausgerichtet ist. Zu diesem Zeitpunkt werden die horizontalen Komponenten der Position jeder Kamera 11 und der Gierwinkel der Aufnahmerichtung jeder Kamera 11 ebenfalls gedreht und verschoben. Dieses wandelt die horizontalen Komponenten der Position jeder Kamera 11 und den Gierwinkel der Aufnahmerichtung jeder Kamera 11 in dem Markerkoordinatensystem in diejenigen in dem Fahrzeugkoordinatensystem um.
5C zeigt die Weise, wie das Liniensegment 51, das in 5A gezeigt ist, zur Ausrichtung an dem Liniensegment 52, das in 5B gezeigt ist, gedreht und verschoben wird. Es ist denkbar, das Liniensegment 51 derart zu bewegen, dass der Mittelpunkt des Liniensegments 51 an dem Mittelpunkt des Liniensegments 52 ausgerichtet wird, aber das Liniensegment 51 kann auf eine andere Weise bewegt werden.
5D zeigt konzeptionell die Ergebnisse der Umwandlung der horizontalen Komponenten der Position jeder Kamera 11 und des Gierwinkels der Aufnahmerichtung jeder Kamera 11 in dem Markerkoordinatensystem in diejenigen in dem Fahrzeugkoordinatensystem. Ein Vergleich der 5D und 5B zeigt, dass jede Kamera, die in 5D gezeigt ist, unterschiedlich zu der 5B ausgerichtet ist. Somit wird bestätigt, dass die Position jeder Kamera 11, die in 5A gezeigt ist, in dem Fahrzeugkoordinatensystem identifiziert werden kann.
Gemäß 3 speichert die Steuereinheit 25 anschließend die horizontalen Komponenten der Position jeder Kamera 11 und den Gierwinkel der Aufnahmerichtung jeder Kamera 11 in dem Fahrzeugkoordinatensystem, wie sie durch die Umwandlung in S145 bestimmt wurden, in der Lageparameterspeichereinheit 24 (S150). Die Steuereinheit 25 beendet dann die Verarbeitung (Lageparameterbestimmungsverarbeitung 1).
<Wirkungen der ersten Ausführungsform>
Oben wurde der Betrieb der Bildverarbeitungsvorrichtung 21 gemäß der ersten Ausführungsform beschrieben. Gemäß der ersten Ausführungsform werden die Marker 42 in einer Höhe oberhalb der Straßenoberfläche positioniert. Dieses kann im Vergleich zu Fällen, in denen Marker auf der Straßenoberfläche angeordnet werden, den Raum gewährleisten, der zur Messung benötigt wird. Außerdem ist es gemäß der ersten Ausführungsform weder notwendig, das Fahrzeug und die Marker unter Verwendung von Anschlussstücken physikalisch zu befestigen, um diese in einer vorbestimmten Positionsbeziehung zu halten, noch ist es notwendig, die Markerpositionen unter Verwendung einer Rahmeneinrichtung anzupassen, um die Marker in eine vorbestimmte Positionsbeziehung zu dem Fahrzeug zu bringen. Somit ist die Messarbeit, die durchzuführen ist, gemäß der ersten Ausführungsform einfach im Vergleich zu Fällen, in denen eine bekannte Technik verwendet wird.
Außerdem kann die Bildverarbeitungsvorrichtung 21 gemäß der ersten Ausführungsform die Werte sämtlicher Parameter (Positionen, Nickwinkel, Rollwinkel und Gierwinkel) sämtlicher Kameras 11, die in dem Fahrzeug montiert sind, berechnen.
<Beschreibung des Betriebs der zweiten Ausführungsform>
Im Folgenden wird der Betrieb einer Bildverarbeitungsvorrichtung 21 gemäß einer zweiten Ausführungsform beschrieben. Die folgende Beschreibung der zweiten Ausführungsform fokussiert sich auf Aspekte der zweiten Ausführungsform, die sich von denjenigen der ersten Ausführungsform unterscheiden, und die Beschreibung von identischen Betrieben der ersten und zweiten Ausführungsformen wird weggelassen.
In der zweiten Ausführungsform wird ebenfalls, um Kameras, die an einem Fahrzeug montiert sind, zu kalibrieren, das Fahrzeug in einem Bereich angeordnet, der von vier Markerpfosten 41a bis 41d umgeben ist, wie es in 2B gezeigt ist. Die vier Markerpfosten 41a bis 41d enthalten jeweilige Marker 42a bis 42d. Die Marker 42a bis 42d (im Folgenden auch als „untere Marker“ bezeichnet) sind an mittleren Positionen der Länge bzw. Längsrichtung der Markerpfosten 41a bis 41d jeweils derart angeordnet, dass sie in derselben Höhe gegenüber der Straßenoberfläche zu dem Fahrzeug zeigen. Die vier Markerpfosten 41a bis 41d enthalten außerdem jeweilige Marker 43a bis 43d. Die Marker 43a bis 43d (im Folgenden auch als „obere Marker“ bezeichnet) sind an Positionen in der Nähe der oberen Enden der Markerpfosten 41a bis 41d jeweils derart angeordnet, dass sie in derselben Höhe gegenüber der Straßenoberfläche zu dem Fahrzeug zeigen. Diese Marker 42a bis 42d und 43a bis 43d sind an den jeweiligen Markerpfosten in der vertikalen Richtung ausgerichtet. Im Vergleich zu der ersten Ausführungsform müssen jedoch die Positionen der Marker 42a bis 42d und 43a bis 43d nicht im Voraus in einem speziellen Koordinatensystem identifiziert werden, sondern ihre Höhe gegenüber der Straßenoberfläche ist vorbestimmt.
In der folgenden Beschreibung können, wenn die Marker 42a bis 42d nicht voneinander unterschieden werden müssen, diese gemeinsam auch einfach als „Marker 42“ (oder als „untere Marker 42“) bezeichnet werden. Auf ähnliche Weise können, wenn die Marker 43a bis 43d nicht voneinander unterschieden werden müssen, diese gemeinsam auch einfach als „Marker 43“ (oder als „obere Marker 43“) bezeichnet werden.
Im Folgenden wird mit Bezug auf das Flussdiagramm der 6 eine Lageparameterbestimmungsverarbeitung 2, die von der Bildverarbeitungsvorrichtung 21 zur Kamerakalibrierung durchgeführt wird, beschrieben. Wenn eine für die Messung zuständige Person über die Betriebseinheit 23 eine Anweisung zum Aktualisieren der Lageparameter eingibt, wird die Lageparameterbestimmungsverarbeitung 2 von der Lageparameterspeichereinheit 24 in die Programmsteuereinheit 50 eingelesen, und deren Durchführung wird gestartet. Eine derartige Anweisung zum Aktualisieren der Lageparameter wird nur ausgegeben, nachdem das Fahrzeug wie in 2B gezeigt angeordnet wurde, was es jeder Kamera 11 ermöglicht, die Marker, die an zwei der Markerpfosten 41 angeordnet sind, aufzunehmen. Die Steuereinheit 25 führt die Schritte S205 bis S235, die im Folgenden beschrieben werden, separat für jede der Kameras 11a bis 11d durch, und nach Beendigung der Schritte S205 bis S235 für jede Kamera führt sie die Schritte S240 bis S250 einmal für sämtliche Kameras durch.
Beim Starten der Lageparameterbestimmungsverarbeitung 2 erhält die Steuereinheit 25 das zuletzt aufgenommene Kamerabild von einer ausgewählten Bildspeichereinheit 22 (S205).
Die Steuereinheit 25 erfasst dann aus dem erhaltenen Kameraaufnahmebild die Koordinaten der unteren Marker 42 und der oberen Marker 43 (S210). Das heißt, wie es in 7A gezeigt ist, identifiziert die Steuereinheit 25 in einem Bildverarbeitungssystem die Mitten der Marker 42a, 42b, 43a und 43b, die in dem Kameraaufnahmebild gezeigt sind.
Gemäß 6 wandelt die Steuereinheit 25 anschließend das Kameraaufnahmebild in ein Vogelperspektivenbild um (S215). Dieses erfolgt unter Berücksichtigung der Höhen der unteren Marker 42 und der oberen Marker 43.
Anschließend berechnet die Steuereinheit 25 die Positionsdifferenz in dem Vogelperspektivenbild zwischen dem unteren Marker 42 und dem oberen Marker 43 an jedem Pfosten (S220). Wie es in 7B gezeigt ist, werden beispielsweise der Abstand d1 zwischen den Positionen des unteren Markers 42a und des oberen Markers 43a und der Abstand d2 zwischen den Positionen des unteren Markers 42b und des oberen Markers 43b in einem Koordinatensystem (Kamerakoordinatensystem) basierend auf der Kamera 11a, die zum Aufnehmen des Bilds verwendet wurde, berechnet.
Gemäß 6 bestimmt dann die Steuereinheit 25, ob der Abstand zwischen den Positionen des unteren Markers 42 und des oberen Markers 43 an jedem Pfosten als minimal ausgewertet werden kann (S225). Das „minimal“ ist idealerweise vorzugsweise 0, kann aber einen Wert von näherungsweise 0 unter Berücksichtigung eines Fehlers annehmen.
Wenn in S225 bestimmt wird, dass der Abstand zwischen den Positionen des unteren Markers 42 und des oberen Markers 43 an jedem Pfosten, die in S220 gemessen wurden, als minimal ausgewertet werden kann, schreitet die Steuereinheit 25 zur Verarbeitung in S235. Wenn andererseits in S225 bestimmt wird, dass der Abstand zwischen den Positionen des unteren Markers 42 und des oberen Markers 43 an jedem Pfosten, die in S220 gemessen wurden, nicht als minimal ausgewertet werden kann, schreitet die Steuereinheit 25 zur Verarbeitung in S230.
In S230, zu dem übergegangen wird, nachdem in S225 bestimmt wurde, dass der Abstand zwischen den Positionen des unteren Markers 42 und des oberen Markers 43 an jedem Pfosten, die in S220 gemessen wurden, nicht als minimal ausgewertet werden kann, wählt die Steuereinheit 25 Kandidatenwerte als nächste Werte der vertikalen Komponente (z) der Position der Kamera 11 und des Nickwinkels und Rollwinkels der Aufnahmerichtung der Kamera 11 aus. Diese Elemente werden unter den Lageparametern verwendet, um ein Vogelperspektivenbild in S215 zu erzeugen. Die Kandidatenwerte für die nächste Verwendung werden aus Werten der obigen Elemente eingestellt, wobei mindestens einer dieser um eine geringe Größe aktualisiert bzw. geändert wird (beispielsweise um eine Größe äquivalent zu 0,1 % der Größe vor der Erneuerung).
Nach der Auswahl der Kandidatenwerte für die nächste Verwendung in S230 kehrt die Steuereinheit 25 zur Verarbeitung in dem oben beschriebenen Schritt S215 zurück und wandelt erneut das Kameraaufnahmebild unter Verwendung der Lageparameterwerte, die wie oben beschrieben ausgewählt werden, in ein Vogelperspektivenbild um.
In S235, zu dem übergegangen wird, nachdem in S225 bestimmt wurde, dass der Abstand zwischen den Positionen des unteren Markers 42 und des oberen Markers 43 an jedem Pfosten, die in S220 gemessen wurden, als minimal ausgewertet werden kann, speichert die Steuereinheit 25 die vertikale Komponente (z) der Position der Kamera 11 und den Nickwinkel und Rollwinkel der Aufnahmerichtung der Kamera 11, die das letzte Mal in S215 verwendet wurden, um das Vogelperspektivenbild zu erzeugen, in der Lageparameterspeichereinheit 24.
Die Steuereinheit 25 führt die obige Verarbeitung (S205 bis S235) für jede der Kameras 11a bis 11d durch und startet die Verarbeitung des S240 nach dem Erhalten der Vogelperspektivenbilder (letzte Vogelperspektivenbilder, die durch die in S215 durchgeführte Vogelperspektivenumwandlung erzeugt wurden) entsprechend sämtlichen Kameras 11.
Die Steuereinheit 25 synthetisiert die Vogelperspektivenbilder (Bilder in den jeweiligen Kamerakoordinatensystemen) sämtlicher Kameras 11 in ein einziges (S240). Dieses erfolgt durch Verschieben und Drehen der unterschiedlichen Bilder zur Ausrichtung derart, dass dieselben Marker, die in den unterschiedlichen Bildern gezeigt sind, jeweils aneinander ausgerichtet werden. Zu diesem Zeitpunkt werden ebenfalls die Ursprünge und Koordinatenachsen der Kamerakoordinatensysteme der Kameras 11 mit der Ausnahme des einen, das als Bezugskamerakoordinatensystem ausgewählt wird, verschoben und gedreht. Mit anderen Worten, in dem Kamerakoordinatensystem einer der Kameras 11 werden die Vogelperspektivenbilder der anderen Kameras 11 synthetisiert, und die Position (x, y) und der Gierwinkel jeder Kamera werden identifiziert.
Im Folgenden wird die Bildsynthetisierung mit Bezug auf 7C beschrieben. Ein Vogelperspektivenbild 61a des vorderen Bereichs ist ein Vogelperspektivenbild, das auf der Grundlage eines Bilds erzeugt wird, das von der Kamera 11a aufgenommen wird, die an einem mittleren Abschnitt des vorderen Endes des Fahrzeugs montiert ist; ein Vogelperspektivenbild 61b des rechten Bereichs ist ein Vogelperspektivenbild, das auf der Grundlage eines Bilds erzeugt wird, das von der Kamera 11b aufgenommen wird, die an einem rechten Seitenabschnitt des Fahrzeugs montiert ist; ein Vogelperspektivenbild 61c des hinteren Bereichs ist Vogelperspektivenbild, das auf der Grundlage eines Bilds erzeugt wird, das von der Kamera 11c aufgenommen wird, die an einem mittleren Abschnitt des hinteren Endes des Fahrzeugs montiert ist; und ein Vogelperspektivenbild 61d des linken Bereichs ist ein Vogelperspektivenbild, das auf der Grundlage eines Bilds erzeugt wird, das von der Kamera 11d aufgenommen wird, die an einem linken Seitenabschnitt des Fahrzeugs montiert ist. In dem Beispiel, das in Beispiel 7C gezeigt ist, werden unter Verwendung des Kamerakoordinatensystems des Vogelperspektivenbilds 61a des vorderen Bereichs als Bezugskamerakoordinatensystem die unterschiedlichen Bilder durch Verschieben und Drehen der Vogelperspektivenbilder zur Ausrichtung in ein einziges Bild derart synthetisiert, dass dieselben Marker, die in den unterschiedlichen Bildern gezeigt sind, jeweils aneinander ausgerichtet sind. Zu diesem Zeitpunkt werden auch die horizontalen Komponenten der Position jeder Kamera 11 und der Gierwinkel der Aufnahmerichtung jeder Kamera 11 entsprechend den jeweiligen Vogelperspektivenbildern verschoben und gedreht. Dieses macht es möglich, die horizontalen Komponenten der Aufnahmeposition jeder Kamera 11 und den Gierwinkel der Aufnahmerichtung jeder Kamera 11 in dem Kamerakoordinatensystem des Vogelperspektivenbilds 61a des vorderen Bereichs zu berechnen.
Gemäß 6 wandelt die Steuereinheit 25 anschließend die horizontalen Komponenten der Position jeder Kamera 11 und den Gierwinkel der Aufnahmerichtung jeder Kamera 11 in dem Kamerakoordinatensystem, die in S240 berechnet wurden, in die horizontalen Komponenten der Position jeder Kamera 11 und den Gierwinkel der Aufnahmerichtung jeder Kamera 11 in dem Fahrzeugkoordinatensystem um (S245). Diese Umwandlung wird mit Bezug auf die 8A bis 8D beschrieben.
8A zeigt konzeptionell die horizontalen Komponenten der Position jeder Kamera 11 und den Gierwinkel der Aufnahmerichtung jeder Kamera 11 in dem Kamerakoordinatensystem. In dem Beispiel, das in 8A gezeigt ist, werden die Kamera 11a, die an einem mittleren Abschnitt des vorderen Endes des Fahrzeugs montiert ist, und die Kamera 11c, die an einem mittleren Abschnitt des hinteren Endes des Fahrzeugs montiert ist, ausgewählt, und es wird ein Liniensegment 71, das die Positionen der beiden Kameras verbindet, definiert. Die auszuwählenden Kameras sind nicht auf die obigen beiden Kameras beschränkt. Es kann eine andere Kombination von Kameras ausgewählt werden.
8B zeigt konzeptionell ein Koordinatensystem (Fahrzeugkoordinatensystem) auf der Grundlage eines mittleren Abschnitts des vorderen Endes des Fahrzeugs einschließlich Kameras in einer idealen Anordnung. Das Fahrzeugkoordinatensystem weist einen Ursprung an der Position der Kamera 11a, die an dem mittleren Abschnitt des vorderen Endes des Fahrzeugs montiert ist, eine Y-Achse, die sich horizontal nach vorne des Fahrzeugs erstreckt, eine X-Achse, die sich horizontal nach rechts des Fahrzeugs erstreckt, und eine Z-Achse, die sich aufwärts (vertikal) von dem Fahrzeug erstreckt, auf. In diesem Beispiel werden ebenfalls die Kamera 11a, die an dem mittleren Abschnitt des vorderen Endes des Fahrzeugs montiert ist, und die Kamera 11c, die an dem mittleren Abschnitt des hinteren Endes des Fahrzeugs ist, ausgewählt, und es wird ein Liniensegment 72, das die Positionen der beiden Kameras verbindet, definiert.
Gemäß dem obigen Fahrzeugkoordinatensystem wird das Liniensegment 71, das in 8A gezeigt ist, gedreht und verschoben, bis das Liniensegment 71 an dem Liniensegment 72, das in 8B definiert ist, ausgerichtet ist, was bewirkt, dass die horizontalen Komponenten der Position jeder Kamera 11 und der Gierwinkel der Aufnahmerichtung jeder Kamera 11 entsprechend gedreht und verschoben werden. Dadurch werden die horizontalen Komponenten der Position jeder Kamera 11 und der Gierwinkel der Aufnahmerichtung jeder Kamera 11 in diejenigen in dem Fahrzeugkoordinatensystem umgewandelt.
8C zeigt die Weise, wie das Liniensegment 71, das in 8A gezeigt ist, zur Ausrichtung an dem Liniensegment 72, das in 8B gezeigt ist, gedreht und verschoben wird. Es ist denkbar, das Liniensegment 71 derart zu bewegen, dass der Mittelpunkt des Liniensegments 71 an dem Mittelpunkt des Liniensegments 72 ausgerichtet wird, aber das Liniensegment 71 kann auch anders bewegt werden.
8D zeigt konzeptionell die Ergebnisse der Umwandlung der horizontalen Komponenten der Position jeder Kamera 11 und des Gierwinkels der Aufnahmerichtung jeder Kamera 11 in dem Kamerakoordinatensystem in diejenigen in dem Fahrzeugkoordinatensystem. Ein Vergleich der 8D und 8B zeigt, dass jede Kamera, die in 8D gezeigt ist, unterschiedlich zu der 8B ausgerichtet ist. Somit wird bestätigt, dass die Position jeder Kamera 11, die in 8A gezeigt ist, in dem Fahrzeugkoordinatensystem identifiziert werden kann.
Gemäß 6 speichert die Steuereinheit 25 anschließend die horizontalen Komponenten der Position jeder Kamera 11 und den Gierwinkel der Aufnahmerichtung jeder Kamera 11 in dem Fahrzeugkoordinatensystem, wie sie durch die Bildumwandlung in S245 bestimmt wurden, in der Lageparameterspeichereinheit 24 (S250). Die Steuereinheit 25 beendet dann die Verarbeitung (Lageparameterbestimmungsverarbeitung 2).
<Wirkungen der zweiten Ausführungsform>
Oben wurde der Betrieb der Bildverarbeitungsvorrichtung 21 gemäß der zweiten Ausführungsform beschrieben. Gemäß der zweiten Ausführungsform werden die Marker 42 und 43 derart positioniert, dass sie eine Höhe oberhalb der Straßenoberfläche aufweisen. Dieses kann im Vergleich zu Fällen, in denen Marker auf der Straßenoberfläche angeordnet werden, den Raum gewährleisten, der zur Messung benötigt wird. Außerdem ist es gemäß der zweiten Ausführungsform weder notwendig, das Fahrzeug und die Marker unter Verwendung von Anschlussstücken physikalisch zu befestigen, um diese in einer vorbestimmten Positionsbeziehung zu halten, noch ist es notwendig, die Markerpositionen unter Verwendung einer Rahmeneinrichtung anzupassen, um die Marker in eine vorbestimmte Positionsbeziehung zu dem Fahrzeug zu bringen. Somit ist die Messarbeit, die durchzuführen ist, gemäß der zweiten Ausführungsform einfacher als in Fällen, in denen eine bekannte Technik verwendet wird.
Außerdem kann die Bildverarbeitungsvorrichtung 21 gemäß der zweiten Ausführungsform die Werte sämtlicher Parameter (Positionen, Nickwinkel, Rollwinkel und Gierwinkel) sämtlicher Kameras 11, die an dem Fahrzeug montiert sind, berechnen.
Außerdem müssen gemäß der zweiten Ausführungsform im Vergleich zu der ersten Ausführungsform die Positionen der Markerpfosten 41 nicht im Voraus bestimmt werden (müssen nicht streng an vorbestimmten Positionen sein). Es ist daher möglich, die Markerpfosten 41 vor der Messung aufzustellen, ohne diese an Stelle zu halten. Somit kann die Messung noch einfacher als in der ersten Ausführungsform durchgeführt werden.
<Weitere Ausführungsformen>
(1) Auch wenn in den obigen Ausführungsformen sämtliche Lageparameter der Kameras 11 berechnet werden, ist es nicht unbedingt notwendig, sämtliche Lageparameter zu berechnen. Bei einem alternativen Ansatz können beispielsweise nur der Nickwinkel und der Gierwinkel der Aufnahmerichtung jeder Kamera 11 berechnet werden.
(2) Die Werte der Lageparameter, die in der Lageparameterspeichereinheit 24 zu speichern sind, müssen nicht notwendigerweise diejenigen sein, die auf den Koordinatensystemen basieren, die in Verbindung mit den obigen Ausführungsformen beschrieben wurden. Die Lageparameter, die in diejenigen eines alternativen Koordinatensystems umgewandelt werden, können ebenfalls in der Lageparameterspeichereinheit 24 gespeichert werden.
(3) Auch wenn in den obigen Ausführungsformen die Lageparameterbestimmungsverarbeitung vollständig von der Steuereinheit 25 der Bildverarbeitungsvorrichtung 21, die in dem Fahrzeug montiert ist, durchgeführt wird, kann die Lageparameterbestimmungsverarbeitung teilweise von einer anderen Vorrichtung anstelle der Bildverarbeitungsvorrichtung 21 durchgeführt werden. In einem derartigen Fall kann die andere Vorrichtung an einem Ort (außerhalb des Fahrzeugs) montiert sein, der sich von demjenigen unterscheidet, an dem die Bildverarbeitungsvorrichtung 21 montiert ist, wobei es der Bildverarbeitungsvorrichtung 21 möglich ist, die Lageparameterbestimmungsverarbeitung durchzuführen, während sie mit der anderen Vorrichtung über eine Kommunikationsleitung kommuniziert.
In den obigen Ausführungsformen entsprechen S105 und S205, die von der Steuereinheit 25 durchgeführt werden, einem Beispiel eines ersten Prozesses und einer Bilderlangungseinheit (oder Bilderlangungseinrichtung). S115 und S215, die von der Steuereinheit 25 durchgeführt werden, entsprechen einem Beispiel eines zweiten Prozesses und einer Umwandlungseinheit (oder Umwandlungseinrichtung). S140, S145, S240 und S245, die von der Steuereinheit 25 durchgeführt werden, entsprechen einem Beispiel eines dritten Prozesses und einer Berechnungseinheit (oder Berechnungseinrichtung).
Gemäß der vorliegenden Erfindung können verschiedene Formen von Kalibrierungsverfahren und Kalibrierungsvorrichtungen geschaffen werden.
Ein Kalibrierungsverfahren gemäß dem ersten Beispiel der vorliegenden Erfindung ist beispielsweise ein Verfahren zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die jeweils vertikal angeordnet sind und jeweils in einer im Voraus bestimmten Höhe gegenüber einer Straßenoberfläche angeordnet sind. Das Kalibrierungsverfahren weist auf: einen ersten Prozess, der ein Aufnehmen eines Bilds der Marker mit der Kamera enthält, wodurch ein zweidimensionales Bild erzeugt wird; einen zweiten Prozess, der ein Umwandeln des zweidimensionalen Bilds, das in dem ersten Prozess erzeugt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild auf einer speziellen Ebene enthält, so dass das Vogelperspektivenbild die Höhe der jeweiligen Marker reflektiert, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und einen dritten Prozess, der ein Berechnen eines Parameters der Kamera auf der Grundlage einer Positionsdifferenz zwischen den Markern in der speziellen Ebene, die in dem zweiten Prozess erhalten wird, enthält.
Gemäß dem Kalibrierungsverfahren, das die oben beschriebenen Prozesse enthält, werden die Marker (Ziele) derart positioniert, dass sie eine Höhe oberhalb der Straßenoberfläche aufweisen. Dieses kann im Vergleich zu Fällen, in denen Marker auf der Straßenoberfläche angeordnet werden, den Raum gewährleisten, der für die Messung benötigt wird. Außerdem ist es gemäß dem Kalibrierungsverfahren weder notwendig, das Fahrzeug und die Marker unter Verwendung von Anschlussstücken physikalisch zu befestigen, um diese in einer vorbestimmten Positionsbeziehung zu halten, noch ist es notwendig, die Markerpositionen unter Verwendung einer Rahmeneinrichtung anzupassen, um die Marker in eine vorbestimmte Positionsbeziehung zu dem Fahrzeug zu bringen. Wenn das Kalibrierungsverfahren verwendet wird, ist somit die Messarbeit, die durchzuführen ist, einfacher als in Fällen, in denen eine bekannte Technik verwendet wird.
In dem dritten Prozess enthält der Parameter mindestens eine vertikale Komponente einer Position der Kamera, einen Nickwinkel der Kamera oder einen Rollwinkel der Kamera. Ein derartiger Parameter kann in dem dritten Prozess genau berechnet werden.
An dem Fahrzeug kann entweder eine einzige Kamera montiert sein oder es können mehrere Kameras montiert sein. Wenn mehrere Kameras montiert sind, können die drei Prozesse wie folgt durchgeführt werden (drittes Beispiel). In dem ersten Prozess werden die Marker von jeder Kamera aufgenommen, und das zweidimensionale Bild wird für jede Kamera erzeugt. In dem zweiten Prozess wird jedes der zweidimensionalen Bilder, die in dem ersten Prozess erzeugt wurden, in ein Vogelperspektivenbild umgewandelt. In dem dritten Prozess wird mindestens ein Gierwinkel jeder Kamera oder eine horizontale Komponente der Position jeder Kamera außerdem als Parameter jeder Kamera berechnet, so dass ein spezieller Marker, der von einer Kamera aufgenommen wurde, dieselbe Position in dem umgewandelten Vogelperspektivenbild wie der spezielle Marker, der von einer anderen Kamera aufgenommen wurde, aufweist.
Das Kalibrierungsverfahren, das die obigen Prozesse enthält, macht es möglich, den Gierwinkel der Position jeder der Kameras, die an einem Fahrzeug montiert sind, und/oder die horizontalen Komponenten der Position jeder Kamera in demselben Koordinatensystem zu berechnen, während der Raum, der zur Messung benötigt wird, gewährleistet wird und die Messverarbeitung vereinfacht wird.
Ein Kalibrierungsverfahren eines vierten Beispiels der vorliegenden Erfindung ist ein Verfahren zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die horizontal in einer im Voraus bestimmten Positionsbeziehung zueinander beabstandet sind, wobei jeder Marker in einem im Voraus bestimmten Abstand zu einer Straßenoberfläche angeordnet ist. Das Kalibrierungsverfahren weist auf: einen ersten Prozess, der ein Aufnehmen eines Bilds der Marker enthält, wodurch ein zweidimensionales Bild erzeugt wird; einen zweiten Prozess, der ein Umwandeln des zweidimensionalen Bilds, das in dem ersten Prozess erzeugt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild auf einer speziellen Ebene enthält, so dass das Vogelperspektivenbild die Höhe jedes der Marker reflektiert, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und einen dritten Prozess, der ein Berechnen eines Parameters der Kamera auf der Grundlage einer Differenz zwischen einem Abstand zwischen den Markern, die in dem Vogelperspektivenbild in der speziellen Ebene, die in dem zweiten Prozess erzeugt wurde, repräsentiert werden, und einem Abstand zwischen den Markern, die auf der Grundlage der im Voraus bestimmten Positionsbeziehung bestimmt werden, enthält.
Gemäß dem Kalibrierungsverfahren, das die oben beschriebenen Prozesse enthält, werden die Marker (Ziele) derart positioniert, dass sie eine Höhe oberhalb der Straßenoberfläche aufweisen. Dieses kann den Raum, der zur Messung benötigt wird, im Vergleich zu Fällen, in denen Marker auf der Straßenoberfläche angeordnet werden, gewährleisten. Außerdem ist es gemäß dem Kalibrierungsverfahren weder notwendig, das Fahrzeug und die Marker unter Verwendung von Anschlussstücken physikalisch zu befestigen, um diese in einer vorbestimmten Positionsbeziehung zueinander zu halten, noch ist es notwendig, die Markerpositionen unter Verwendung einer Rahmeneinrichtung anzupassen, um die Marker in eine vorbestimmte Positionsbeziehung zu dem Fahrzeug zu bringen. Wenn das Kalibrierungsverfahren verwendet wird, ist somit die Messarbeit, die durchzuführen ist, einfacher als in Fällen, in denen eine bekannte Technik verwendet wird.
In dem dritten Prozess kann der Parameter mindestens eine vertikale Komponente einer Position der Kamera, einen Nickwinkel der Kamera oder einen Rollwinkel der Kamera enthalten (fünftes Beispiel). Ein derartiger Parameter kann in dem dritten Prozess genau berechnet werden.
Auch wenn der Parameterwert, der in dem dritten Prozess berechnet wird, ein Wert von nur einem aus der vertikalen Komponente, dem Nickwinkel und dem Rollwinkel der Position jeder Kamera sein kann, können andere Parameterwerte ebenfalls wie folgt berechnet werden. Das heißt, mindestens ein Gierwinkel der Kamera oder eine horizontale Komponente der Position der Kamera wird außerdem als Parameter der Kamera auf der Grundlage einer Positionsdifferenz zwischen einem Liniensegment, das die Marker, die in der speziellen Ebene repräsentiert werden, verbindet, und einem Liniensegment, das die Marker verbindet, die auf der Grundlage der im Voraus bestimmten Positionsbeziehung bestimmt werden, berechnet (sechstes Beispiel). Diese Berechnung erfolgt auf der Grundlage der Positionsdifferenz zwischen einem Liniensegment, das mehrere Marker verbindet, die in dem zweiten Prozess in der Straßenoberfläche oder Ebene repräsentiert werden, und einem Liniensegment, das die Marker auf der Grundlage einer im Voraus bestimmten Positionsbeziehung verbindet.
Das Kalibrierungsverfahren, das die obigen Prozesse enthält, macht es möglich, zumindest den Gierwinkel der Position jeder Kamera, die an einem Fahrzeug montiert ist, oder die horizontalen Komponenten der Position jeder Kamera in demselben Koordinatensystem zu berechnen, während der Raum, der zur Messung benötigt wird, gewährleistet wird und die Messverarbeitung vereinfacht wird.
An dem Fahrzeug kann entweder eine einzige Kamera montiert sein oder es können mehrere Kameras montiert sein. Wenn mehrere Kameras montiert sind, können die ersten bis dritten Prozesse für jede Kamera durchgeführt werden (siebtes Beispiel).
Das Kalibrierungsverfahren, das die obigen Prozesse enthält, macht es möglich, Parameterwerte jeder Kamera, die an einem Fahrzeug montiert ist, zu berechnen, während der Raum, der zur Messung benötigt wird, gewährleistet wird und die Messverarbeitung vereinfacht wird.
Gemäß einem achten Beispiel der vorliegenden Erfindung weist eine Kalibrierungsvorrichtung zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die jeweils vertikal angeordnet sind und jeweils in einer im Voraus bestimmten Höhe gegenüber einer Straßenoberfläche angeordnet sind, auf: eine Bilderlangungseinheit, die ein zweidimensionales Bild erlangt, das die Marker repräsentiert, die von der Kamera aufgenommen werden; eine Umwandlungseinheit, die das zweidimensionale Bild, das von der Bilderlangungseinheit erlangt wird, umwandelt und die Marker in einem Vogelperspektivenbild auf bzw. in einer speziellen Ebene repräsentiert, so dass das Vogelperspektivenbild die Höhe jedes Markers reflektiert, wobei die spezielle Ebene die Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und eine Berechnungseinheit, die einen Parameter der Kamera auf der Grundlage einer Positionsdifferenz zwischen den Markern, die in der speziellen Ebene repräsentiert werden, die von der Umwandlungseinheit erlangt wird, berechnet.
Der Parameter, der von der Berechnungseinheit berechnet wird, kann mindestens eines aus einer vertikalen Komponente einer Position der Kamera, eines Nickwinkels der Kamera und eines Rollwinkels der Kamera enthalten (neuntes Beispiel).
Außerdem kann die Kalibrierungsvorrichtung mehrere Kameras enthalten, die an dem Fahrzeug montiert sind, und kann wie folgt ausgelegt sein (zehntes Beispiel). Die Bilderlangungseinheit erlangt mehrere zweidimensionale Bilder, die von den jeweiligen Kameras aufgenommen werden, wobei jedes zweidimensionale Bild die Marker repräsentiert. Die Umwandlungseinheit wandelt jedes zweidimensionale Bild, das von der Bilderlangungseinheit erlangt wird, in ein Vogelperspektivenbild um. Die Berechnungseinheit berechnet einen Parameter von jeder Kamera, so dass ein spezieller Marker, der von einer Kamera aufgenommen wurde, dieselbe Position in dem umgewandelten Vogelperspektivenbild wie derjenige aufweist, der von einer anderen Kamera aufgenommen wurde, wobei der Parameter jeder Kamera mindestens einen Gierwinkel der Kamera oder eine horizontale Komponente der Position der Kamera enthält.
Die obige Kalibrierungsvorrichtung kann dieselben Wirkungen wie die obigen ersten bis dritten Beispiele erzielen.
Gemäß einem elften Beispiel der vorliegenden Erfindung weist eine Kalibrierungsvorrichtung zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die horizontal in einer im Voraus bestimmten Positionsbeziehung zueinander beabstandet sind, wobei jeder Marker einen im Voraus bestimmten Abstand zu einer Straßenoberfläche aufweist, auf: eine Bilderlangungseinheit, die ein zweidimensionales Bild erlangt, das die Marker, die von der Kamera aufgenommen werden, repräsentiert; eine Umwandlungseinheit, die das zweidimensionale Bild, das von der Bilderlangungseinheit erlangt wird und die Marker repräsentiert, in ein Vogelperspektivenbild auf einer speziellen Ebene umwandelt, so dass das Vogelperspektivenbild die Höhe jedes Markers reflektiert, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und eine Berechnungseinheit, die einen Parameter der Kamera auf der Grundlage einer Differenz zwischen einem Abstand zwischen den Markern, die in dem Vogelperspektivenbild auf der speziellen Ebene repräsentiert werden, die von der Umwandlungseinheit erlangt wird, und einem Abstand zwischen den Markern, die auf der Grundlage der im Voraus bestimmten Positionsbeziehung bestimmt werden, berechnet.
Der Parameter, der von der Berechnungseinheit berechnet wird, enthält mindestens eines aus einer vertikalen Komponente einer Position der Kamera, eines Nickwinkels der Kamera und eines Rollwinkels der Kamera.
Außerdem kann die Berechnungseinheit (25, S140, S145) in der Kalibrierungsvorrichtung mindestens einen Gierwinkel der Kamera oder eine horizontale Komponente der Position der Kamera als Parameter der Kamera auf der Grundlage einer Positionsdifferenz zwischen einem Liniensegment, das die Marker, die in der speziellen Ebene repräsentiert werden, verbindet, und einem Liniensegment, das die Marker verbindet, die auf der Grundlage der im Voraus bestimmten Positionsbeziehung bestimmt werden, berechnen (dreizehntes Beispiel).
Außerdem kann die Kalibrierungsvorrichtung mehrere Kameras enthalten, die an dem Fahrzeug montiert sind, und kann derart ausgelegt sein, dass die Einheiten ihre Operationen für jede Kamera durchführen (vierzehntes Beispiel).
Die obige Kalibrierungsvorrichtung kann dieselben Wirkungen wie in den obigen vierten bis siebten Beispielen erzielen.
Es wurden beispielhafte Ausführungsformen und Konfigurationen gemäß der vorliegenden Erfindung beschrieben, aber die Ausführungsformen und Konfigurationen der vorliegenden Erfindung sind nicht auf die obigen beispielhaften Ausführungsformen und Konfigurationen beschränkt. Ausführungsformen und Konfigurationen, die durch geeignetes Kombinieren von technischen Elementen, die in den unterschiedlichen Ausführungsformen und Konfigurationen beschrieben sind, realisiert werden, liegen ebenfalls innerhalb des Bereichs der Ausführungsformen und Konfigurationen gemäß der vorliegenden Erfindung.

Claims

Kalibrierungsverfahren zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die jeweils vertikal angeordnet sind und jeweils in einer im Voraus bestimmten Höhe gegenüber einer Straßenoberfläche angeordnet sind, wobei das Kalibrierungsverfahren aufweist: einen ersten Prozess (S205), der ein Aufnehmen eines Bilds der Marker mit der Kamera enthält, wodurch ein zweidimensionales Bild erzeugt wird; einen zweiten Prozess (S215), der ein Umwandeln des zweidimensionalen Bilds, das in dem ersten Prozess (S205) erzeugt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild in einer speziellen Ebene enthält, so dass das Vogelperspektivenbild die Höhe jedes Markers reflektiert, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und einen dritten Prozess (S240, S245), der ein Berechnen eines Parameters der Kamera auf der Grundlage einer Positionsdifferenz zwischen den Markern in der speziellen Ebene, die in dem zweiten Prozess (S215) erhalten wurde, enthält.
Kalibrierungsverfahren nach Anspruch 1, wobei der Parameter, der in dem dritten Prozess (S240, S245) berechnet wird, mindestens eines aus einer vertikalen Komponente einer Position der Kamera, einem Nickwinkel der Kamera und einem Rollwinkel der Kamera enthält.
Kalibrierungsverfahren nach Anspruch 2, wobei an dem Fahrzeug mehrere der Kameras montiert sind; in dem ersten Prozess (S205) die Marker von jeder Kamera aufgenommen werden und das zweidimensionale Bild für jede Kamera erzeugt wird; in dem zweiten Prozess (S215) jedes zweidimensionale Bild, das in dem ersten Prozess (S205) erzeugt wurde, in das Vogelperspektivenbild umgewandelt wird; und in dem dritten Prozess (S240, S245) mindestens ein Gierwinkel jeder Kamera oder eine horizontale Komponente der Position jeder Kamera außerdem als der Parameter jeder Kamera berechnet wird, so dass ein spezieller Marker, der von einer Kamera aufgenommen wurde, dieselbe Position in dem umgewandelten Vogelperspektivenbild aufweist wie der spezielle Marker, der von einer anderen Kamera aufgenommen wurde.
Kalibrierungsverfahren zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die in einer im Voraus bestimmten Positionsbeziehung horizontal beabstandet sind, wobei jeder Marker in einem im Voraus bestimmten Abstand zu einer Straßenoberfläche angeordnet ist, wobei das Kalibrierungsverfahren aufweist: einen ersten Prozess (S105), der ein Aufnehmen eines Bilds der Marker enthält, wodurch ein zweidimensionales Bild erzeugt wird; einen zweiten Prozess (S115), der ein Umwandeln des zweidimensionalen Bilds, das in dem ersten Prozess (S105) erzeugt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild in einer speziellen Ebene enthält, so dass das Vogelperspektivenbild die Höhe jedes Markers reflektiert, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und einen dritten Prozess (S140, S145), der enthält: ein Berechnen eines Parameters der Kamera auf der Grundlage einer Differenz zwischen einem Abstand zwischen den Markern, die in dem Vogelperspektivenbild auf der speziellen Ebene, die in dem zweiten Prozess (S115) erzeugt wurde, repräsentiert werden, und einem Abstand zwischen den Markern, die auf der Grundlage der im Voraus bestimmten Positionsbeziehung bestimmt werden.
Kalibrierungsverfahren nach Anspruch 4, wobei der Parameter, der in dem dritten Prozess (S140, S145) berechnet wird, mindestens eines aus einer vertikalen Komponente einer Position der Kamera, einem Nickwinkel der Kamera und einem Rollwinkel der Kamera enthält.
Kalibrierungsverfahren nach Anspruch 5, wobei in dem dritten Prozess (S140, S145) mindestens ein Gierwinkel der Kamera oder eine horizontale Komponente der Position der Kamera außerdem als der Parameter der Kamera auf der Grundlage einer Positionsdifferenz zwischen einem Liniensegment, das die Marker, die in der speziellen Ebene repräsentiert werden, verbindet, und einem Liniensegment, das die Marker, die auf der Grundlage der im Voraus bestimmten Positionsbeziehung bestimmt werden, verbindet, berechnet wird.
Kalibrierungsverfahren nach einem der Ansprüche 4 bis 6, wobei an dem Fahrzeug mehrere der Kameras montiert sind; und der erste Prozess (S105) bis zu dem dritten Prozess (S140, S145) für jede Kamera durchgeführt werden.
Kalibrierungsvorrichtung zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die jeweils vertikal angeordnet sind und jeweils in einer im Voraus bestimmten Höhe gegenüber einer Straßenoberfläche angeordnet sind, wobei die Kalibrierungsvorrichtung aufweist: eine Bilderlangungseinheit (25, S205), die ein zweidimensionales Bild erlangt, das die Marker, die von der Kamera aufgenommen werden, repräsentiert; eine Umwandlungseinheit (25, S215), die das zweidimensionale Bild, das von der Bilderlangungseinheit (25, S205) erlangt wird und die Marker repräsentiert, in ein Vogelperspektivenbild in einer speziellen Ebene umwandelt, so dass das Vogelperspektivenbild die Höhe jedes Markers reflektiert, wobei die spezielle Ebene die Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und eine Berechnungseinheit (25, S240, S245), die einen Parameter der Kamera auf der Grundlage einer Positionsdifferenz zwischen den Markern, die in der speziellen Ebene repräsentiert werden, die von der Umwandlungseinheit (25, S215) erlangt wird, berechnet.
Kalibrierungsvorrichtung nach Anspruch 8, wobei der Parameter, der von der Berechnungseinheit (25, S240, S245) berechnet wird, mindestens eines aus einer vertikalen Komponente einer Position der Kamera, einem Nickwinkel der Kamera und einem Rollwinkel der Kamera enthält.
Kalibrierungsvorrichtung nach Anspruch 9, wobei an dem Fahrzeug mehrere der Kameras montiert sind; die Bilderlangungseinheit (25, S205) mehrere zweidimensionale Bilder, die von den jeweiligen Kameras aufgenommen werden, erlangt, wobei jedes zweidimensionale Bild die Marker repräsentiert; die Umwandlungseinheit (25, S215) jedes zweidimensionale Bild, das von der Bilderlangungseinheit (25, S205) erlangt wird, in ein Vogelperspektivenbild umwandelt; und die Berechnungseinheit (25, S240, S245) einen Parameter jeder Kamera berechnet, so dass ein spezieller Marker, der von einer Kamera aufgenommen wurde, dieselbe Position in dem umgewandelten Vogelperspektivenbild wie derjenige aufweist, der von einer anderen Kamera aufgenommen wurde, wobei der Parameter jeder Kamera mindestens einen Gierwinkel der Kamera oder eine horizontale Komponente der Position der Kamera enthält.
Kalibrierungsvorrichtung zum Kalibrieren einer Lage einer Kamera, die an einem Fahrzeug montiert ist, unter Verwendung von mehreren Markern, die in einer im Voraus bestimmten Positionsbeziehung horizontal beabstandet sind, wobei jeder Marker einen im Voraus bestimmten Abstand zu einer Straßenoberfläche aufweist, wobei die Kalibrierungsvorrichtung aufweist: eine Bilderlangungseinheit (25, S105), die ein zweidimensionales Bild, das die Marker repräsentiert, die von der Kamera aufgenommen werden, erlangt; eine Umwandlungseinheit (25, S115), die das zweidimensionale Bild, das von der Bilderlangungseinheit (25, S105) erlangt wurde und die Marker repräsentiert, in ein Vogelperspektivenbild in einer speziellen Ebene umwandelt, so dass das Vogelperspektivenbild die Höhe jedes Markers reflektiert, wobei die spezielle Ebene eine Straßenoberfläche oder eine Ebene parallel zu der Straßenoberfläche ist; und eine Berechnungseinheit (25, S140, S145), die einen Parameter der Kamera berechnet auf der Grundlage einer Differenz zwischen einem Abstand zwischen den Markern, die in dem Vogelperspektivenbild in der speziellen Ebene repräsentiert werden, die von der Umwandlungseinheit (25, S115) erlangt wurde, und einem Abstand zwischen den Markern, die auf der Grundlage der im Voraus bestimmten Positionsbeziehung bestimmt werden.
Kalibrierungsvorrichtung nach Anspruch 11, wobei der Parameter, der von der Berechnungseinheit (25, S140, S145) berechnet wird, mindestens eines aus einer vertikalen Komponente einer Position der Kamera, einem Nickwinkel der Kamera und einem Rollwinkel der Kamera enthält.
Kalibrierungsvorrichtung nach Anspruch 12, wobei die Berechnungseinheit (25, S140, S145) außerdem mindestens einen Gierwinkel der Kamera oder eine horizontale Komponente der Position der Kamera als den Parameter der Kamera berechnet auf der Grundlage einer Positionsdifferenz zwischen einem Liniensegment, das die Marker, die in der speziellen Ebene repräsentiert werden, verbindet, und einem Liniensegment, das die Marker verbindet, die auf der Grundlage der im Voraus bestimmten Positionsbeziehung bestimmt werden.
Kalibrierungsvorrichtung nach einem der Ansprüche 11 bis 13, wobei an dem Fahrzeug mehrere der Kameras montiert sind, und die jeweilige Einheit eine Verarbeitung für jede Kamera durchführt.