DE102020207483A1

DE102020207483A1 - Verfahren und vorrichtung zum kalibrieren einer mehrzahl von kameras

Info

Publication number: DE102020207483A1
Application number: DE102020207483.6A
Authority: DE
Inventors: Hee Soo Kim; Jeong Mok Ha; Byeong Chan JEON; Jun Seok Lee
Original assignee: Vadas Co Ltd
Current assignee: NC & CO., LTD., SEONGNAM-SI, KR
Priority date: 2019-07-01
Filing date: 2020-06-17
Publication date: 2021-01-07
Also published as: KR102297683B1; KR20210003325A; US20210001776A1; CN112184827A; US11198393B2; CN112184827B

Abstract

Ein Kamerakalibrierverfahren umfasst: Erhalten einer Mehrzahl von Bildern der Umgebung eines Fahrzeugs, die durch eine Mehrzahl von Kameras aufgenommen werden, Festlegen eines interessierenden Bereichs (ROI) in jedem der Bilder, Erfassen eines oder mehrerer Merkmalspunkte der festgelegten ROIs, Abgleichen eines ersten Merkmalspunkts eines ersten ROI und eines zweiten Merkmalspunkts eines zweiten ROI auf Basis der erfassten Merkmalspunkte, Berechnen einer ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts und Kalibrieren der Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras auf Basis eines Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG(EN)
Diese Anmeldung beansprucht den Prioritätsvorteil der koreanischen Patentanmeldung Nr. 10-2019-0078562 , die am 1. Juli 2019 bei dem koreanischen Amt für geistiges Eigentum eingereicht wurde und deren Offenbarung hierin durch Verweis für alle Zwecke aufgenommen ist.
HINTERGRUND
Gebiet
Ein oder mehrere beispielhafte Ausführungsbeispiele beziehen sich auf eine Technologie zum Kalibrieren von Kameras eines Fahrzeugs und insbesondere auf eine Technologie zum Kalibrieren von Kameras eines Fahrzeugs während der Fahrt eines Fahrzeugs.
Beschreibung der verwandten Technik
Im Zuge der Weiterentwicklung von Bilderfassungs- und -verarbeitungstechnologie werden neu produzierte Fahrzeuge mit Kameras ausgestattet, und ein Draufsichtsystem, das einen Fahrer oder Benutzer beim Lenken eines Fahrzeugs oder ein Fahrzeug bei der Fortbewegung unterstützt, wird einem Benutzer oder Fahrzeug bereitgestellt. Das Draufsichtsystem kann ein Bild aus der Draufsicht oder ein Bild aus einer Vogelperspektive (nachfolgend einfach als „Vogelperspektivenbild“ bezeichnet) unter Verwendung einer Mehrzahl von Bildern verwenden, die durch eine Mehrzahl von Kameras aufgenommen werden. Das Vogelperspektivenbild kann einem Fahrer eine erhöhte Draufsicht auf ein von oben betrachtetes Fahrzeug bieten und so dazu beitragen, einen toten Winkel auf einer Vorderseite, einer Rückseite, einer linken Seite und/oder einer rechten Seite des Fahrzeugs vollständig zu beseitigen.
KURZDARSTELLUNG
Ein Aspekt stellt ein Verfahren und eine Vorrichtung zum Kalibrieren einer Mehrzahl von Kameras bereit.
Ein anderer Aspekt stellt ein Verfahren und eine Vorrichtung zum Kalibrieren einer Mehrzahl von Kameras während der Fahrt eines Fahrzeugs bereit.
Gemäß einem beispielhaften Ausführungsbeispiel ist ein Kamerakalibrierverfahren bereitgestellt, das durch einen Prozessor durchgeführt werden soll, der in einem Fahrzeug vorgesehen ist. Das Kamerakalibrierverfahren umfasst: Erhalten einer Mehrzahl von Bildern einer Umgebung des Fahrzeugs, die durch eine Mehrzahl von Kameras des Fahrzeugs aufgenommen werden, Festlegen eines interessierenden Bereichs (region of interest, ROI) in jedem der Bilder, unter denen ein erster ROI eines ersten Bildes und ein zweiter ROI eines zweiten Bildes einen gemeinsamen Bereich umfassen, Erfassen eines oder mehrerer Merkmalspunkte der festgelegten ROIs, Abgleichen eines ersten Merkmalspunkts des ersten ROI und eines zweiten Merkmalspunkts des zweiten ROI auf Basis der erfassten Merkmalspunkte, Berechnen einer ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts und Kalibrieren der Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras auf Basis eines Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate.
Die Kameras können Folgendes umfassen: zumindest zwei einer linken Kamera, die dazu konfiguriert ist, ein Bild einer Linksseitenansicht von dem Fahrzeug aus aufzunehmen, einer rechten Kamera, die dazu konfiguriert ist, ein Bild einer Rechtsseitenansicht von dem Fahrzeug aus aufzunehmen, einer vorderen Kamera, die dazu konfiguriert ist, ein Bild einer Vorderseitenansicht von dem Fahrzeug aus aufzunehmen, oder einer hinteren Kamera, die dazu konfiguriert ist, ein Bild einer Rückseitenansicht von dem Fahrzeug aus aufzunehmen.
Der extrinsische Parameter jeder der Kameras kann Rotationsinformationen und Positionsinformationen jeder der Kameras umfassen.
Die Merkmalspunkte können einem Objekt auf einer Straße, auf der das Fahrzeug sich fortbewegt, zugeordnet sein.
Wenn das erste Bild ein Bild einer Vorderseitenansicht ist und das zweite Bild ein Bild einer Linksseitenansicht ist, kann das Festlegen des ROI in jedem der Bilder ein Festlegen des ROI in jedem der Bilder derart umfassen, dass der erste ROI eine äußerste linke Seite des Bilds der Vorderseitenansicht umfasst und der zweite ROI eine äußerste rechte Seite des Bilds der Linksseitenansicht umfasst.
Das Kamerakalibrierverfahren kann ferner ein Erzeugen von Teilbildern durch Beschneiden der festgelegten ROIs umfassen. Das Erfassen der Merkmalspunkte der ROIs kann ein Erfassen des einen oder der mehreren Merkmalspunkte der ROIs auf Basis der erzeugten Teilbilder umfassen.
Wenn die Anzahl von übereinstimmenden Merkmalspunkten des ersten ROI und des zweiten ROI größer als oder gleich einer voreingestellten Anzahl ist, kann das Berechnen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts ein Berechnen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate umfassen.
Das Kalibrieren der Kameras kann ein Berechnen eines ersten Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate und ein Anpassen eines extrinsischen Parameters zumindest einer der Kameras derart umfassen, dass der erste Fehler minimiert wird.
Wenn der extrinsische Parameter der zumindest einen der Kameras angepasst wird, kann das Berechnen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts ein Berechnen einer ersten angepassten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten angepassten Vogelperspektivenkoordinate des zweiten Merkmalspunkts auf Basis des angepassten extrinsischen Parameters umfassen. Das Kalibrieren der Kameras kann ein Berechnen des ersten angepassten Fehlers zwischen der ersten angepassten Vogelperspektivenkoordinate und der zweiten angepassten Vogelperspektivenkoordinate umfassen.
Wenn der erste Fehler kleiner als ein voreingestellter Schwellenwert ist, kann das Kalibrieren der Kameras ferner ein Beenden der Kamerakalibrierung umfassen.
Gemäß einem anderen beispielhaften Ausführungsbeispiel ist eine elektronische Vorrichtung bereitgestellt, die in einem Fahrzeug bereitgestellt ist, um eine Mehrzahl von Kameras zu kalibrieren. Die elektronische Vorrichtung umfasst einen Speicher, in dem ein Programm zum Kalibrieren der Kameras aufgezeichnet ist, und einen Prozessor, der zum Durchführen des Programms konfiguriert ist. Das Programm kann folgende Schritte umfassen: Erhalten einer Mehrzahl von Bildern einer Umgebung des Fahrzeugs, die durch die Kameras des Fahrzeugs aufgenommen werden, Festlegen eines ROI in jedem der Bilder, unter denen ein erster ROI eines ersten Bildes und ein zweiter ROI eines zweiten Bildes einen gemeinsamen Bereich umfassen, Erfassen eines oder mehrerer Merkmalspunkte der festgelegten ROIs, Abgleichen eines ersten Merkmalspunkts des ersten ROI und eines zweiten Merkmalspunkts des zweiten ROI auf Basis der erfassten Merkmalspunkte, Berechnen einer ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts und Kalibrieren der Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras auf Basis eines Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate.
Die Kameras können Folgendes umfassen: zumindest zwei einer linken Kamera, die dazu konfiguriert ist, ein Bild einer Linksseitenansicht von dem Fahrzeug aus aufzunehmen, einer rechten Kamera, die dazu konfiguriert ist, ein Bild einer Rechtsseitenansicht von dem Fahrzeug aus aufzunehmen, einer vorderen Kamera, die dazu konfiguriert ist, ein Bild einer Vorderseitenansicht von dem Fahrzeug aus aufzunehmen, oder einer hinteren Kamera, die dazu konfiguriert ist, ein Bild einer Rückseitenansicht von dem Fahrzeug aus aufzunehmen.
Der extrinsische Parameter jeder der Kameras kann Rotationsinformationen und Positionsinformationen jeder der Kameras umfassen.
Die Merkmalspunkte können einem Objekt auf einer Straße, auf der das Fahrzeug sich fortbewegt, zugeordnet sein.
Wenn das erste Bild ein Bild einer Vorderseitenansicht ist und das zweite Bild ein Bild einer Linksseitenansicht ist, kann das Festlegen des ROI in jedem der Bilder ein Festlegen des ROI in jedem der Bilder derart umfassen, dass der erste ROI eine äußerste linke Seite des Bilds der Vorderseitenansicht und der zweite ROI eine äußerste rechte Seite des Bilds der Linksseitenansicht umfasst.
Das Programm kann ferner ein Erzeugen von Teilbildern durch Beschneiden der festgelegten ROIs umfassen. Das Erfassen der Merkmalspunkte der ROIs kann ein Erfassen der Merkmalspunkte der ROIs auf Basis der erzeugten Teilbilder umfassen.
Wenn die Anzahl von übereinstimmenden Merkmalspunkten des ersten ROI und des zweiten ROI größer als oder gleich einer voreingestellten Anzahl ist, kann das Berechnen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts ein Berechnen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate umfassen.
Das Kalibrieren der Kameras kann ein Berechnen eines ersten Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate und ein Anpassen eines extrinsischen Parameters zumindest einer der Kameras derart umfassen, dass der erste Fehler minimiert wird.
Wenn der extrinsische Parameter der zumindest einen der Kameras angepasst wird, kann das Berechnen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts ein Berechnen einer ersten angepassten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten angepassten Vogelperspektivenkoordinate des zweiten Merkmalspunkts auf Basis des angepassten extrinsischen Parameters umfassen. Das Kalibrieren der Kameras kann ein Berechnen eines ersten angepassten Fehlers zwischen der ersten angepassten Vogelperspektivenkoordinate und der zweiten angepassten Vogelperspektivenkoordinate umfassen.
Wenn der erste Fehler kleiner als ein voreingestellter Schwellenwert ist, kann das Kalibrieren der Kameras ein Beenden der Kamerakalibrierung umfassen.
Gemäß einem noch weiteren beispielhaften Ausführungsbeispiel ist ein Kamerakalibrierverfahren bereitgestellt, das durch einen Prozessor durchgeführt werden soll, der in einem Fahrzeug bereitgestellt ist. Das Kamerakalibrierverfahren umfasst Folgendes: Erhalten einer Mehrzahl von Bildern einer Umgebung des Fahrzeugs, die durch eine Mehrzahl von Kameras des Fahrzeugs aufgenommen werden, Bestimmen eines Teilbereichs jedes der Bilder auf Basis eines ROI, der vorab mit Bezug auf eine Vogelperspektive festgelegt wird, Erzeugen einer Mehrzahl von Vogelperspektiven-Teilbildern durch Umwandeln der bestimmten Teilbereiche aus dem Blickwinkel der Vogelperspektive, wobei ein erstes Vogelperspektiven-Teilbild unter den Vogelperspektiven-Teilbildern einem ersten ROI entspricht und ein zweites Vogelperspektiven-Teilbild unter den Vogelperspektiven-Teilbildern einem zweiten ROI entspricht und der erste ROI und der zweite ROI einen gemeinsamen Bereich umfassen, Erfassen eines ersten Merkmalspunkts des ersten Vogelperspektiven-Teilbilds und eines zweiten Merkmalspunkts des zweiten Vogelperspektiven-Teilbilds, Abgleichen des ersten Merkmalspunkts und des zweiten Merkmalspunkts und Kalibrieren der Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras auf Basis eines Fehlers zwischen einer ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts.
Die Kameras können Folgendes umfassen: zumindest zwei einer linken Kamera, die dazu konfiguriert ist, ein Bild einer Linksseitenansicht von dem Fahrzeug aus aufzunehmen, einer rechten Kamera, die dazu konfiguriert ist, ein Bild einer Rechtsseitenansicht von dem Fahrzeug aus aufzunehmen, einer vorderen Kamera, die dazu konfiguriert ist, ein Bild einer Vorderseitenansicht von dem Fahrzeug aus aufzunehmen, oder einer hinteren Kamera, die dazu konfiguriert ist, ein Bild einer Rückseitenansicht von dem Fahrzeug aus aufzunehmen.
Wenn die Anzahl von übereinstimmenden Merkmalspunkten des ersten Vogelperspektiven-Teilbilds und des zweiten Vogelperspektiven-Teilbilds größer als oder gleich einer voreingestellten Anzahl ist, kann das Kalibrieren der Kameras durch Anpassen des extrinsischen Parameters für jede der Kameras auf Basis des Fehlers zwischen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts ein Kalibrieren der Kameras umfassen.
Das Kalibrieren der Kameras durch Anpassen des extrinsischen Parameters für jede der Kameras auf Basis des Fehlers zwischen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vögelperspektivenkoordinate des zweiten Merkmalspunkts kann ein Berechnen eines ersten Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate und ein Anpassen eines extrinsischen Parameters zumindest einer der Kameras derart umfassen, dass der erste Fehler minimiert wird.
Gemäß einem noch weiteren beispielhaften Ausführungsbeispiel ist eine elektronische Vorrichtung bereitgestellt, die in einem Fahrzeug vorgesehen ist, um eine Mehrzahl von Kameras zu kalibrieren. Die elektronische Vorrichtung umfasst einen Speicher, in dem ein Programm zum Kalibrieren der Kameras aufgezeichnet ist, und einen Prozessor, der zum Durchführen des Programms konfiguriert ist. Das Programm kann Folgendes umfassen: Erhalten einer Mehrzahl von Bildern einer Umgebung des Fahrzeugs, die durch die Kameras des Fahrzeugs aufgenommen werden, Bestimmen eines Teilbereichs jedes der Bilder auf Basis eines ROI, der vorab mit Bezug auf eine Vogelperspektive festgelegt wird, Erzeugen einer Mehrzahl von Vogelperspektiven-Teilbildern durch Umwandeln der bestimmten Teilbereiche aus dem Blickwinkel der Vogelperspektive, wobei ein erstes Vogelperspektiven-Teilbild unter den Vogelperspektiven-Teilbildern einem ersten ROI entspricht und ein zweites Vogelperspektiven-Teilbild unter den Vogelperspektiven-Teilbildern einem zweiten ROI entspricht und der erste ROI und der zweite ROI einen gemeinsamen Bereich umfassen, Erfassen eines ersten Merkmalspunkts des ersten Vogelperspektiven-Teilbilds und eines zweiten Merkmalspunkts des zweiten Vogelperspektiven-Teilbilds, Abgleichen des ersten Merkmalspunkts und des zweiten Merkmalspunkts und Kalibrieren der Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras auf Basis eines Fehlers zwischen einer ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts.
Zusätzliche Aspekte von beispielhaften Ausführungsbeispielen werden zum Teil in der folgenden Beschreibung dargelegt und sind zum Teil aus der Beschreibung ersichtlich oder können durch die Praxis der Offenbarung erlernt werden.
Figurenliste
Diese und/oder andere Aspekte, Merkmale und Vorteile der vorliegenden Offenbarung werden aus der vorliegenden Beschreibung von beispielhaften Ausführungsbeispielen, die in Verbindung mit den begleitenden Zeichnungen derselben erfolgt sind, ersichtlich und sind leichter erkennbar. Es zeigen:

1 ein Diagramm, das ein Beispiel eines Vogelperspektivenbilds eines Fahrzeugs gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht;
2 und 3 Diagramme, die Beispiele von Rotationsinformationen und Positionsinformationen extrinsischer Parameter von Kameras gemäß einem beispielhaften Ausführungsbeispiel veranschaulichen;
4 ein Diagramm, das ein Beispiel einer elektronischen Vorrichtung, die dazu konfiguriert ist, eine Mehrzahl von Kameras zu kalibrieren, gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht;
5 ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Kalibrieren einer Mehrzahl von Kameras gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht;
6 ein Diagramm, das Beispiele von interessierenden Bereichen (ROIs) gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht;
7 ein Diagramm, das ein Beispiel eines Verfahrens zum Extrahieren und Abgleichen von Merkmalspunkten gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht;
8 ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Kalibrieren einer Mehrzahl von Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht;
9 ein Diagramm, das ein Beispiel eines Fehlers zwischen Vogelperspektivenkoordinaten von übereinstimmenden Merkmalspunkten gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht;
10 Beispiele von Vogelperspektiven-Teilbildern, die erzeugt werden, wenn eine Mehrzahl von Kameras in gewünschter Weise kalibriert ist, gemäß einem beispielhaften Ausführungsbeispiel;
11 Beispiele von Vogelperspektiven-Teilbildern, die erzeugt werden, wenn eine Mehrzahl von Kameras in nicht gewünschter Weise kalibriert ist, gemäß einem beispielhaften Ausführungsbeispiel;
12 ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Berechnen eines angepassten Fehlers zwischen Vogelperspektivenkoordinaten auf Basis eines angepassten extrinsischen Parameters gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht;
13 ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Anpassen eines extrinsischen Parameters einer Kamera derart, dass ein Fehler minimiert wird, gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht;
14 ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Kalibrieren einer Mehrzahl von Kameras gemäß einem weiteren beispielhaften Ausführungsbeispiel veranschaulicht;
15 und 16 Diagramme, die Beispiele für einen Teilbereich eines Bildes, der auf Basis eines voreingestellten ROI in einem Vogelperspektivenbild bestimmt wird, gemäß einem beispielhaften Ausführungsbeispiel veranschaulichen;
17 ein Diagramm, das ein Beispiel eines Verfahrens zum Extrahieren und Abgleichen von Merkmalspunkten von Vogelperspektiven-Teilbildern gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht; und
18 ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Kalibrieren einer Mehrzahl von Kameras, indem ein extrinsischer Parameter für jede der Kameras auf Basis eines Fehlers zwischen einer ersten Vogelperspektivenkoordinate und einer zweiten Vogelperspektivenkoordinate angepasst wird, gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung soll dem Leser dabei helfen, ein umfassendes Verständnis der hierin beschriebenen Verfahren, Vorrichtungen und/oder Systeme zu erlangen. Verschiedene Änderungen, Modifikationen und Äquivalente der Verfahren, Vorrichtungen und/oder Systeme, die hierin beschrieben sind, werden jedoch erst nach dem Verständnis der Offenbarung dieser Anmeldung ersichtlich. Beispielsweise sind die hierin beschriebenen Vorgangsabfolgen lediglich Beispiele und sind nicht auf die hierin dargelegten beschränkt, sondern können geändert werden, wie dies nach dem Verständnis der Offenbarung dieser Anmeldung offensichtlich wird, mit Ausnahme von Vorgängen, die notwendigerweise in einer bestimmten Reihenfolge ablaufen. Des Weiteren können Beschreibungen von Merkmalen, die im Stand der Technik bekannt sind, aus Gründen größerer Klarheit und Prägnanz weggelassen werden.
Die hierin verwendete Terminologie dient lediglich zur Beschreibung bestimmter Ausführungsbeispiele und soll nicht einschränkend sein. Wie hierin verwendet, sollen die Singularformen „einer, eine, eines“ und „der, die, das“ auch die Pluralformen einschließen, es sei denn, aus dem Kontext geht eindeutig etwas Anderes hervor. Ferner wird davon ausgegangen, dass die Begriffe „weist auf“, „aufweist“, „umfasst“ und/oder „einschließlich“, wenn dieselben hierin verwendet werden, das Vorhandensein von angegebenen Merkmalen, Ganzzahlen, Vorgängen, Elementen und/oder Komponenten angeben, jedoch nicht das Vorhandensein oder die Hinzufügung eines oder mehrerer anderer Merkmale, Ganzzahlen, Vorgänge, Elemente, Komponenten und/oder Gruppen derselben ausschließen. Begriffe wie erste, zweite, A, B, (a), (b) und dergleichen können hierin zur Beschreibung von Komponenten verwendet werden. Jede dieser Terminologien wird nicht dazu verwendet, das Wesen, die Reihenfolge oder die Abfolge einer entsprechenden Komponente zu definieren, sondern lediglich dazu, die entsprechende Komponente von einer oder mehreren anderen Komponenten zu unterscheiden. Beispielsweise kann eine erste Komponente als zweite Komponente bezeichnet werden, und in ähnlicher Weise kann die zweite Komponente als auch als erste Komponente bezeichnet werden.
Sofern nicht anders definiert, haben alle hierin verwendeten Begriffe, einschließlich technischer und wissenschaftlicher Begriffe, dieselbe Bedeutung, wie sie nach dem Verständnis der vorliegenden Offenbarung von einem Fachmann mit gewöhnlichen Kenntnissen auf dem Gebiet, auf das sich die Offenbarung bezieht, üblicherweise verstanden wird. Begriffe, wie sie in den allgemein gebräuchlichen Wörterbüchern definiert sind, sind so auszulegen, dass dieselben eine Bedeutung haben, die mit ihrer Bedeutung im Zusammenhang mit dem relevanten Stand der Technik und der vorliegenden Offenbarung übereinstimmt, und sind nicht in einem idealisierten oder übermäßig formalen Sinn zu interpretieren, es sei denn, dies ist hierin ausdrücklich so definiert.
Nachfolgend sind einige beispielhafte Ausführungsbeispiele mit Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben. Bezüglich der Bezugszeichen, die den Elementen in den Zeichnungen zugeordnet sind, ist zu beachten, dass dieselben Elemente nach Möglichkeit mit denselben Bezugszeichen bezeichnet werden, auch wenn dieselben in unterschiedlichen Zeichnungen dargestellt sind.
1 ist ein Diagramm, das ein Beispiel eines Vogelperspektivenbilds eines Fahrzeugs gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.
Um eine erhöhte Draufsicht oder ein Bild aus der Vogelperspektive eines Fahrzeugs zu erzeugen (nachfolgend einfach als „Vogelperspektivenbild“ bezeichnet), muss eine Mehrzahl von Bildern zusammengeführt werden, die durch eine Mehrzahl von Kameras des Fahrzeugs aufgenommen werden. Um die Bilder zusammenzuführen, müssen Koordinatensysteme der Bilder abgeglichen werden. Das heißt, es müssen Vogelperspektiven-Teilbilder erzeugt werden, indem die Koordinatensysteme der Bilder in ein gemeinsames Koordinatensystem umgewandelt werden, das vorab für das Fahrzeug festgelegt wird, und ein endgültiges Vogelperspektivenbild erzeugt werden, in dem die erzeugten Vogelperspektiven-Teilbilder zusammengeführt werden. Dabei kann ein Vogelperspektiven-Teilbild beispielsweise durch Warping eines Bildes erzeugt werden. Das erzeugte Vogelperspektiven-Teilbild kann für einen Rundumsichtmonitor (AVM) verwendet werden. Der hierin verwendete Begriff „Vogelperspektivenbild“ kann sich auf ein Bild beziehen, das aus der Vogelperspektive aufgenommen wird.
Bei dem Beispiel von 1 kann ein erzeugtes Vogelperspektivenbild 100 ein Bild eines Fahrzeugs 110 sein, das aus der Vogelperspektive aufgenommen wird. Bei diesem Beispiel umfasst das Vogelperspektivenbild 100 unter Umständen nicht das Bild des Fahrzeugs 110. Alternativ kann das Vogelperspektivenbild 100 ein voreingestelltes Bild des Fahrzeugs 110 umfassen, das kein tatsächlich aufgenommenes Bild des Fahrzeugs 110 ist. Das Vogelperspektivenbild 100 kann eine linke Linie 120 auf einer linken Seite des Fahrzeugs 110, eine rechte Linie 130 auf einer rechten Seite des Fahrzeugs 110, eine erste Markierung 140 und eine zweite Markierung 150 umfassen. Das Vogelperspektivenbild 100 kann ferner beispielsweise eine Leitplanke auf einer Straße umfassen.
Aufgrund eines Fehlers, der beim Installieren einer Kamera in einem Fahrzeug auftritt, kann es in der Realität jedoch unter Umständen nicht möglich sein, Koordinatenachsen von Kameras vollständig mit einem gemeinsamen Koordinatensystem abzugleichen. Obwohl es möglich sein kann, einen Kamerainstallationsfehler in einem Werk, das ein Fahrzeug herstellt, genau zu kalibrieren, kann der Kamerainstallationsfehler sich nach der Freigabe des Fahrzeugs ändern oder ständig auftreten, weil sich die Einbauposition einer Kamera im Fahrzeug durch eine physikalische Kraft ändert, zum Beispiel durch einen Aufprall und eine Verdrehung, die während der Fortbewegung des Fahrzeugs auftreten. Um also ein genaues Vogelperspektivenbild zu erzeugen, muss möglicherweise eine Mehrzahl von Kameras eines Fahrzeugs in regelmäßigen Abständen oder bei jedem Auftreten eines Aufpralls kalibriert werden.
Um eine Mehrzahl von Bildern zusammenzuführen, muss zunächst eine Kamerakalibrierung durchgeführt werden, um einen derartigen Kamerainstallationsfehler zu korrigieren. Für die Kamerakalibrierung können Informationen, die zum Beispiel eine Höhe und einen Winkel umfassen, in dem eine Kamera installiert ist, erforderlich sein. Um derartige Informationen für die Kamerakalibrierung zu erhalten, wurde ein bestehendes Verfahren verwendet, bei dem ein bestimmtes Referenzmuster, beispielsweise ein Schachbrettmuster, auf dem Boden eingerichtet wird und Kamerainformationen unter Verwendung eines Musterbilds des Schachbretts, das durch Fahrzeugkameras aufgenommen wurde, erhalten werden.
Das bestehende Verfahren kann präzise Kamerainformationen erhalten, da eine genaue relative Position eines bestimmten Markers, beispielsweise eines Musters, vorab erhalten werden kann. Zum Durchführen des Verfahrens muss jedoch unter Umständen ein derartiges bestimmtes Muster um ein Fahrzeug herum angebracht sein. Außerdem wird das Verfahren unter Umständen nicht durchgeführt, während das Fahrzeug sich fortbewegt.
Im Falle eines allgemeinen Fahrzeugs kann ein Kamerainstallationsfehler in regelmäßigen Abständen oder bei jedem Aufprall aufgrund einer tatsächlichen Bewegung des Fahrzeugs auftreten, und somit kann es erforderlich sein, dass eine Kamerakalibrierung automatisch sogar dann durchgeführt wird, während das Fahrzeug sich fortbewegt. Die Kamerakalibrierung, die während der Fortbewegung eines Fahrzeugs durchgeführt wird, kann als On-Road-Kalibrierung (ORC) bezeichnet werden.
Wenn die Kalibrierung lediglich unter Verwendung einer Linie auf einer Straße durchgeführt wird, ist es möglich, lediglich die Rotationsinformationen von extrinsischen Parametern einer Kamera zu schätzen. Die extrinsischen Parameter können Rotationsinformationen und Positionsinformation umfassen. Wenn beispielsweise lediglich die Rotationsinformationen geschätzt werden, während die Positionsinformationen als ungenauer Wert festgelegt sind, können die geschätzten Rotationsinformationen infolgedessen ungenau sein.
Die Rotationsinformationen können als stärker ungenauer Wert geschätzt werden, um die Positionsinformationen zu korrigieren, die als ungenauer Wert festgelegt sind, und somit kann es vorkommen, dass andere Abschnitte, mit Ausnahme von Linien auf einer Straße, nicht übereinstimmen, obwohl die Linien gut übereinstimmen.
Daher können, zusätzlich zu den Linien, alle Muster auf einer Straße für eine genauere Kamerakalibrierung verwendet werden. Die Muster auf der Straße können Muster umfassen, die in anderen Farben als denjenigen aufgebracht sind, die die Fahrspuren auf der Straße kennzeichnen, um den Fahrern Informationen zu vermitteln, beispielsweise Linien, Geschwindigkeitsbegrenzungsmarkierungen, linke und rechte Richtungsmarkierungen und Kinderschutzzonen. Die Gründe zum Verwenden der Muster können darin liegen, dass sich die meisten der Muster auf der Straße und auf dem Boden befinden und die Muster daher in einem Vogelperspektivenbild dieselben Punkte anzeigen und die Muster markante Merkmalspunkte aufweisen.
Nachfolgend ist ein Verfahren zum Kalibrieren einer Mehrzahl von Kameras, hier einfach als Kamerakalibrierverfahren bezeichnet, mit Bezugnahme auf 2 bis 13 ausführlich beschrieben.
2 und 3 sind Diagramme, die Beispiele von Rotationsinformationen und Positionsinformationen extrinsischer Parameter von Kameras gemäß einem beispielhaften Ausführungsbeispiel veranschaulichen.
Zum Kalibrieren von Kameras kann es erforderlich sein, dass extrinsische Parameter der Kameras korrigiert oder kalibriert werden. Die extrinsischen Parameter können Rotationsinformationen und Positionsinformationen der Kameras umfassen.
Bei dem Beispiel von 2 veranschaulicht ein oberer Abschnitt 210 ein Stampfen (Rx) einer Kamera, ein mittlerer Abschnitt 220 veranschaulicht ein Rollen (Rz) der Kamera und ein unterer Abschnitt 230 veranschaulicht ein Gieren (Ry) der Kamera.
Bei dem Beispiel von 3 veranschaulichen ein oberer Abschnitt 310 und ein unterer Abschnitt 320 Positionsinformationen (Tx, Ty und Tz). Die Positionsinformationen können auf Basis einer Fahrzeugposition festgelegt sein. Beispielsweise kann ein Weltkoordinatensystem, bei dem eine bestimmte Position des Fahrzeugs als Referenzpunkt festgelegt ist, vorab festgelegt werden, und Positionsinformationen der Kameras können durch das Weltkoordinatensystem dargestellt werden.
4 ist ein Diagramm, das ein Beispiel einer elektronischen Vorrichtung, die zum Kalibrieren einer Mehrzahl von Kameras konfiguriert ist, gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.
Mit Bezugnahme auf 4 umfasst eine elektronische Vorrichtung 400 eine Kommunikationsvorrichtung 410, einen Prozessor 420, einen Speicher 430 und eine Kamera 440. Die elektronische Vorrichtung 400 kann in einem Fahrzeug vorgesehen sein. Die elektronische Vorrichtung 400 kann beispielsweise eine Vorrichtung wie eine elektronische Steuereinheit (electronic control unit, ECU) sein. Für ein weiteres Beispiel kann die elektronische Vorrichtung 400 eine unabhängige Vorrichtung sein, die mit einer ECU verbunden ist.
Die Kommunikationsvorrichtung 410 kann mit dem Prozessor 420, dem Speicher 430 und der Kamera 440 verbunden sein, um Daten zu senden und zu empfangen. Die Kommunikationsvorrichtung 410 kann mit einer anderen externen Vorrichtung verbunden sein, um Daten an dieselbe zu senden und von derselben zu empfangen. Nachfolgend wird der Ausdruck „A senden und empfangen“ das Senden und Empfangen von Informationen oder Daten bezeichnen, die A angeben. Die Kommunikationsvorrichtung 410 kann als eine Schaltungsanordnung in der elektronischen Vorrichtung 400 verkörpert sein. Beispielsweise kann die Kommunikationsvorrichtung 410 einen internen Bus und einen externen Bus umfassen. Bei einem anderen Beispiel kann die Kommunikationsvorrichtung 410 ein Element sein, das die elektronische Vorrichtung 400 und eine externe Vorrichtung verbindet. Die Kommunikationsvorrichtung 410 kann eine Schnittstelle sein. Die Kommunikationsvorrichtung 410 kann Daten von der externen Vorrichtung empfangen und die empfangenen Daten an den Prozessor 420 und den Speicher 430 senden.
Der Prozessor 420 kann die durch die Kommunikationsvorrichtung 410 empfangenen Daten und die in dem Speicher 430 gespeicherten Daten verarbeiten. Der Prozessor 420 kann eine Datenverarbeitungsvorrichtung sein, die durch Hardware verkörpert ist, die eine Schaltungsanordnung einer physikalischen Struktur aufweist, um gewünschte Vorgänge auszuführen. Die gewünschten Vorgänge können beispielsweise einen Code oder Befehle umfassen, die in einem Programm enthalten sind. Die Datenverarbeitungsvorrichtung, die durch Hardware verkörpert ist, kann beispielsweise einen Mikroprozessor, eine Zentralverarbeitungseinheit (CPU), einen Prozessorkern, einen Multikernprozessor, einen Multiprozessor, eine anwendungsspezifische integrierte Schaltung (ASIC) und ein feldprogrammierbares Gatterarray (FPGA) sein.
Der Prozessor 420 kann einen computerlesbaren Code, zum Beispiel Software, der in dem Speicher 430 gespeichert ist, und Befehle, die von dem Prozessor 420 stammen, ausführen.
Der Speicher 420 kann die durch die Kommunikationsvorrichtung 410 empfangenen Daten und die durch den Prozessor 420 verarbeiteten Daten speichern. Beispielsweise kann der Speicher 430 ein Programm speichern, beispielsweise eine Anwendung und Software. Das zu speichernde Programm kann ein Satz von Syntaxen sein, der zum Kalibrieren von Kameras durch Anpassen von extrinsischen Parametern der Kameras codiert ist, und kann durch den Prozessor 420 ausgeführt werden.
Der Speicher 430 kann zumindest einen flüchtigen Speicher, einen nicht flüchtigen Speicher, einen Direktzugriffsspeicher (RAM), einen Flash-Speicher, einen Festplattenspeicher und einen optischen Plattenspeicher umfassen.
Der Speicher 430 kann einen Satz von Befehlen speichern, der die elektronische Vorrichtung 20 betreibt, zum Beispiel Software, Der Satz von Befehlen, der die elektronische Vorrichtung 400 betreibt, kann durch den Prozessor 420 ausgeführt werden.
Die Kamera 440 kann ein Bild durch Aufnehmen einer Szene erzeugen. Die Kamera 440 kann eine Mehrzahl von Kameras umfassen. Die Kameras können beispielsweise auf einer Vorderseite, einer Rückseite, einer linken Seite und einer rechten Seite des Fahrzeugs eingebaut sein.
Nachfolgend sind die Kommunikationsvorrichtung 410, der Prozessor 420, der Speicher 430 und die Kamera 440 mit Bezugnahme auf 5 bis 13 ausführlich beschrieben.
5 ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Kalibrieren einer Mehrzahl von Kameras gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht. Das Verfahren zum Kalibrieren einer Mehrzahl von Kameras kann hierin auch einfach als ein Kamerakalibrierverfahren bezeichnet werden.
Die Vorgänge 510 bis 560, die nachfolgend mit Bezugnahme auf 5 beschrieben werden sollen, können seitens der elektronischen Vorrichtung 400 durchgeführt werden, die weiter oben mit Bezugnahme auf 4 beschrieben ist.
Mit Bezugnahme auf 5 erhält die elektronische Vorrichtung 400 bei Vorgang 510 eine Mehrzahl von Bildern einer Fahrzeugumgebung. Beispielsweise kann die elektronische Vorrichtung 400 die Bilder erhalten, die unter Verwendung der Kamera 440 aufgenommen werden. Zum Erfassen von Merkmalspunkten eines Musters, die zur selben Zeit und an derselben Position vorhanden sind, können die Bilder zur selben Aufnahmezeit aufgenommen werden. Das Muster kann ein Objekt auf einer Straße angeben.
Die Kamera 440 kann eine Weitwinkellinse mit einem größeren Betrachtungswinkel als eine allgemeine Linse oder eine Fischaugenlinse umfassen, die eine Superweitwinkellinse mit einem Betrachtungswinkel von 180 Grad oder mehr ist. Bei Verwendung einer derartigen Linse, die einen großen Betrachtungswinkel zum Erzeugen eines Bilds aufweist, ist es beispielsweise möglich, ein Bild der gesamten Umgebung des Fahrzeugs aufzunehmen.
Wenn beispielsweise die Kamera 440 vier Kameras umfasst, die jeweils ein Bild einer Vorderseitenansicht von dem Fahrzeug aus, ein Bild einer Rückseitenansicht von dem Fahrzeug aus, ein Bild einer Linksseitenansicht von dem Fahrzeug aus und ein Bild einer Rechtsseitenansicht von dem Fahrzeug aus aufnehmen, und eine Kamerakalibrierung auf Basis der Bilder durchgeführt wird, die durch die vier Kameras aufgenommen werden, kann ein extrinsischer Parameter für jede der Kameras geschätzt werden. Beispielsweise können ein Stampfen (Rx), ein Gieren (Ry) und ein Rollen (Rz) als Rotationsinformationen der Kamera geschätzt werden. Als weiteres Beispiel können translatorische Informationen (Tx, Ty) und Höheninformationen (Tz) als Positiönsinformationen einer Kamera geschätzt werden.
Bei diesem Beispiel können, wenn die Kamera 440 die vier Kameras umfasst, die die Bilder der Vorderseitenansicht, der Rückseitenansicht, der Linksseitenansicht und der Rechtsseitenansicht des Fahrzeugs aufnehmen, vier Kanäle für jede der Kameras definiert sein.
Wenn beispielsweise auf einer Straße ein Muster vorhanden ist, das gleichzeitig durch zumindest zwei der Kameras aufgenommen wird, kann es sein, dass das Muster in Bildern, die aus einer Vogelperspektive umgewandelt werden, dieselbe Position angeben muss. Bei diesem Beispiel kann, wenn ein extrinsischer Parameter jeder der vier Kameras genau ist, das Muster als einzelnes Muster aus der Vogelperspektive angezeigt werden. Wenn der extrinsische Parameter jedoch nicht genau ist, kann das Muster als Mehrzahl von Mustern angezeigt werden.
Auf diese Weise ist es möglich, einen genauen extrinsischen Parameter für jede der Kameras zu schätzen. Nachfolgend wird ein Verfahren zum Schätzen eines genauen extrinsischen Parameters unter Verwendung der erhaltenen Bilder ausführlich beschrieben.
Bei Vorgang 520 legt die elektronische Vorrichtung 400 einen interessierenden Bereich (ROI) in jedem der Bilder fest. Der ROI kann ein Abschnitt eines Bildes sein, der ein anderes Bild überlappt. Somit können beispielsweise ein erster ROI eines ersten Bildes unter den Bildern und ein zweiter ROI eines zweiten Bildes unter den Bildern einen gemeinsamen Bereich umfassen. Bei diesem Beispiel können, wenn das erste Bild das Bild einer Vorderseitenansicht ist und das zweite Bild das Bild einer Linksseitenansicht ist, der erste ROI des ersten Bildes und der zweite ROI des zweiten Bildes an einer Position liegen, die ein oberes linkes Ende des Fahrzeugs angibt. Der ROI ist nachfolgend mit Bezugnahme auf 6 und 7 ausführlich beschrieben.
Bei Vorgang 530 erfasst die elektronische Vorrichtung 400 einen oder mehrere Merkmalspunkte der festgelegten ROIs. Beispielsweise kann die elektronische Vorrichtung 400 Merkmalspunkte des ersten ROI und Merkmalspunkte des zweiten ROI erfassen. Die elektronische Vorrichtung 400 kann Merkmalspunkte des Musters erfassen, das auf der Straße vorhanden ist. Die Merkmalspunkte können beispielsweise einen Merkmalspunkt einer Linie auf der Straße umfassen, einen Merkmalspunkt einer Richtungsmarkierung und dergleichen. Zum Erfassen der Merkmalspunkte können ein skaleninvarianter Merkmals-Transformations(scale-invariant feature transform, SIFT)-Algorithmus, ein beschleunigter Algorithmus mit robusten Merkmalen (speeded-up robust feature algorithm, SURF-Algorithmus), ein Haar-Algorithmus, ein Ferns-Algorithmus und ein orientierter Algorithmus mit Merkmalen aus beschleunigtem Segmenttest (features from accelerated segment test, FAST) sowie rotierter Algorithmus mit binären, robusten, unabhängigen, elementaren Merkmalen (binary robust independent elementary features, BRIEF) (Oriented FAST and Rotated BRIEF algorithm, ORB-Algorithmus) verwendet werden. Die Beispiele sind jedoch nicht auf die vorstehend beschriebenen Beispielalgorithmen beschränkt.
Bei Vorgang 540 gleicht die elektronische Vorrichtung 400 einen ersten Merkmalspunkt des ersten ROI und einen zweiten Merkmalspunkt des zweiten ROI ab. Ein Merkmalspunkt eines ROI eines Bildes der Vorderseitenansicht kann mit einem Merkmalspunkt eines ROI des Bilds einer Linksseitenansicht übereinstimmen, der Merkmalspunkt des ROI eines Bilds der Vorderseitenansicht kann mit einem Merkmalspunkt eines ROI des Bilds einer Rechtsseitenansicht übereinstimmen, ein Merkmalspunkt eines ROI eines Bilds der Rückseitenansicht kann mit einem Merkmalspunkt des ROI eines Bilds der Linksseitenansicht übereinstimmen und der Merkmalspunkt des ROI eines Bilds der Rückseitenansicht kann mit dem Merkmalspunkt des ROI eines Bilds der Rechtsseitenansicht übereinstimmen.
Bei Vorgang 550 berechnet die elektronische Vorrichtung 400 eine erste Vogelperspektivenkoordinate des ersten Merkmalspunkts und eine zweite Vogelperspektivenkoordinate des zweiten Merkmalspunkts. Wenn der erste Merkmalspunkt ein Merkmalspunkt eines Bilds der Vorderseitenansicht ist und der zweite Merkmalspunkt ein Merkmalspunkt des Bilds einer Linksseitenansicht ist, kann zum Beispiel die elektronische Vorrichtung 400 die erste Vogelperspektivenkoordinate des ersten Merkmalspunkts auf Basis eines extrinsischen Parameters einer vorderen Kamera berechnen und die zweite Vogelperspektivenkoordinate des zweiten Merkmalspunkts auf Basis eines extrinsischen Parameters einer linken Kamera berechnen. Der Begriff „Vogelperspektivenkoordinate“, der hierin beschrieben ist, kann Koordinaten in einem Koordinatensystem eines zu erzeugenden Vogelperspektivbilds angeben. Beispielsweise kann das Koordinatensystem des Vogelperspektivbilds ein Weltkoordinatensystem sein, das oben beschrieben ist.
Als Voraussetzung zum Durchführen von Vorgang 550 kann nach Durchführen von Vorgang 540 bestimmt werden, ob die Anzahl von übereinstimmenden Merkmalspunkten größer als oder gleich einer voreingestellten Anzahl ist. Wenn beispielsweise die Anzahl von übereinstimmenden Merkmalspunkten des ersten ROI und des zweiten ROI größer als oder gleich der voreingestellten Anzahl ist, können die erste Vogelperspektivenkoordinate und die zweite Vogelperspektivenkoordinate berechnet werden. Während die Anzahl der übereinstimmenden Merkmalspunkte des ersten ROI und des zweiten ROI zunimmt, kann ein genauerer extrinsischer Parameter geschätzt werden.
Wenn jedoch die Anzahl der übereinstimmenden Merkmalspunkte des ersten ROI und des zweiten ROI kleiner als die voreingestellte Anzahl ist, kann keine Genauigkeit beim Anpassen des extrinsischen Parameters garantiert werden. Somit kann der extrinsische Parameter möglicherweise für eine Mehrzahl von aktuellen Bildern, zum Beispiel für aktuelle Rahmen, nicht angepasst werden.
Bei Vorgang 560 kalibriert die elektronische Vorrichtung 400 die Kameras, indem der extrinsische Parameter für jede der Kameras auf Basis eines Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate angepasst wird.
Wenn die Kameras nicht genau kalibriert sind, können unterschiedliche Weltkoordinatensysteme für die Kameras erzeugt werden. Zum Ersetzen eines genauen Weltkoordinatensystems kann somit eine Position einer benachbarten Kamera, die an eine Zielkamera angrenzt, verwendet werden. Die Kametakalibrierung kann beispielsweise durchgeführt werden, indem die Position der benachbarten Kamera in eine Position der Zielkamera umgewandelt wird und die umgewandelte Position als ein Referenzpunkt des Weltkoordinatensystems festgelegt wird. Unter Verwendung eines derartigen Verfahrens, das vorstehend beschrieben ist, kann die Kamerakalibrierung unter Verwendung des Referenzpunkts durchgeführt werden, obwohl ein genauer Referenzpunkt des Weltkoordinatensystems nicht bekannt ist, und somit kann es möglich sein, den extrinsischen Parameter anzupassen.
Wenn ein extrinsischer Parameter der benachbarten Kamera jedoch ungenau ist, kann der festgelegte Referenzpunkt des Weltkoordinatensystems ebenfalls eine ungenaue Position sein. Somit kann ein Verfahren zum wiederholten Durchführen der Kamerakalibrierung auf jeder der Kameras, bei der die Kamerakalibrierung nicht einmalig auf einer Kamera durchgeführt wird, verwendet werden, um einen Fehler des extrinsischen Parameters graduell zu reduzieren. Wie oben beschrieben ist, kann durch Festlegen eines Referenzpunkts eines Weltkoordinatensystems für jede Zielkamera, während die Zielkamera gewechselt wird, und durch wiederholtes Durchführen der Kamerakalibrierung unter Verwendung des festgelegten Referenzpunkts des Weltkoordinatensystems eine Mehrzahl von Kameras gleichzeitig kalibriert werden.
Nachfolgend ist das Kamerakalibrierverfahren mit Bezugnahme auf 8 bis 13 ausführlicher beschrieben.
6 ist ein Diagramm, das Beispiele von ROIs gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.
Mit Bezugnahme auf 6 kann ein erstes Bild 611 ein Bild einer Vorderseitenansicht sein, dass durch eine vordere Kamera 610 erzeugt wird, oder ein erstes Vogelperspektiven-Teilbild, das auf Basis des Bilds der Vorderseitenansicht erzeugt wird. Ein zweites Bild 621 kann ein Bild einer Linksseitenansicht sein, das durch eine linke Kamera 620 erzeugt wird, oder ein zweites Vogelperspektiven-Teilbild, das auf Basis eines Bilds der Linksseitenansicht erzeugt wird. Ein drittes Bild 631 kann ein Bild der Rückseitenansicht sein, das durch eine hintere Kamera 630 erzeugt wird, oder ein drittes Vogelperspektiven-Teilbild, das auf Basis des Bilds einer Rückseitenansicht erzeugt wird. Ein viertes Bild 641 kann ein Bild der Rechtsseitenansicht sein, das durch eine rechte Kamera 640 erzeugt wird, oder ein viertes Vogelperspektiven-Teilbild, das auf Basis des Bilds einer Rechtsseitenansicht erzeugt wird.
Die Bilder 611, 621, 631 und 641 sind als Beispiele bereitgestellt, um die ROIs um ein Fahrzeug 600 herum zu beschreiben. Ob es sich bei den Bildern 611, 621, 631 und 641 um Bilder handelt, die durch die Kameras erzeugt werden, oder um umgewandelte Vogelperspektiven-Teilbilder, ist somit nicht auf die vorstehend beschriebenen Beispiele beschränkt.
Ein erster ROI kann derart festgelegt sein, dass der erste ROI zumindest einen Abschnitt eines ersten gemeinsamen Bereichs 651 des ersten Bilds 611 und des zweiten Bilds 621 umfasst. Beispielsweise kann der erste ROI eine äußerste linke Seite des Bilds einer Linksseitenansicht umfassen, und ein zweiter ROI kann eine oberste Seite des Bilds einer Linksseitenansicht umfassen. Auf ähnliche Weise können ROIs derart festgelegt sein, dass die ROIs zumindest einen Abschnitt eines zweiten gemeinsamen Bereichs 652 des zweiten Bilds 621 und des dritten Bilds 631 umfassen. ROIs können derart festgelegt sein, dass die ROIs zumindest einen Abschnitt eines dritten gemeinsamen Bereichs 653 des dritten Bilds 631 und des vierten Bilds 641 umfassen. ROIs können derart festgelegt sein, dass der vierte ROI zumindest einen Abschnitt eines vierten gemeinsamen Bereichs 654 des vierten Bilds 641 und des ersten Bilds 611 umfasst.
7 ist ein Diagramm, das ein Beispiel eines Verfahrens zum Extrahieren und Abgleichen von Merkmalspunkten gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.
Mit Bezugnahme auf 7 kann ein erster ROI 712 in dem Bild einer Vorderseitenansicht 710 festgelegt sein, und ein zweiter ROI 722 kann in dem Bild einer Linksseitenansicht 720 festgelegt sein. Die elektronische Vorrichtung 400 kann Teilbilder erzeugen, indem die festgelegten ROIs 712 und 722 beschnitten werden.
Auf Basis der festgelegten ROIs 712 und 722 oder der erzeugten Teilbilder können ein oder mehrere Merkmalspunkte 713, 714, 723 und 724 der ROIs 712 und 722 erfasst werden. Obwohl lediglich einige Merkmalspunkte von Richtungsmarkierungen veranschaulicht sind, um die Beschreibung zu erleichtern, kann eine Mehrzahl anderer Merkmalspunkte auf Basis eines Textes und einem Bildrand erfasst werden.
Die elektronische Vorrichtung 400 kann die erfassten Merkmalspunkte abgleichen. Beispielsweise kann der Merkmalspunkt 713 des ersten ROI 712 mit dem Merkmalspunkt 723 des zweiten ROI 722 übereinstimmen, und der Merkmalspunkt 714 des ersten ROI 712 kann mit dem Merkmalspunkt 724 des zweiten ROI 722 übereinstimmen.
Zum Übereinstimmen der Merkmalspunkte können verschiedene Algorithmen wie beispielsweise ein SIFT-Algorithmus, ein SURF-Algorithmus, ein Haar-Algorithmus, ein Ferns-Algorithmus und ein ORB-Algorithmus verwendet werden, ohne jedoch darauf beschränkt zu sein.
8 ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Kalibrieren einer Mehrzahl von Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.
Vorgang 560, der weiter oben mit Bezugnahme auf 5 beschrieben ist, kann die Vorgänge 810 bis 830 umfassen, die nachfolgend mit Bezugnahme auf 8 beschrieben werden sollen.
Mit Bezugnahme auf 8 berechnet die elektronische Vorrichtung 400 bei Vorgang 810 einen ersten Fehler zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate. Wenn ein extrinsischer Parameter jeder der Kameras festgelegt oder genau angepasst ist, können die erste Vogelperspektivenkoordinate und die zweite Vogelperspektivenkoordinate als gleich angegeben werden, und somit kann der erste Fehler 0 oder ein Wert nahe 0 sein.
Die erste Vogelperspektivenkoordinate und die zweite Vogelperspektivenkoordinate können einem Paar von übereinstimmenden Merkmalspunkten zugeordnet sein. Wenn beispielsweise eine Mehrzahl von Paaren von übereinstimmenden Merkmalspunkten vorhanden ist, kann für jedes der Paare ein Fehler berechnet werden.
Bei Vorgang 820 bestimmt die elektronische Vorrichtung 400, ob der erste Fehler größer als oder gleich einem voreingestellten Schwellenwert ist. Wenn der erste Fehler kleiner als der Schwellenwert ist, kann die Kamerakalibrierung zum Kalibrieren der Kameras beendet werden. Wenn jedoch einer der Fehler eine derartige Bedingung, die weiter oben beschrieben ist, nicht erfüllt, obwohl ein anderer Fehler der Fehler die Bedingung erfüllt, kann die Kamerakalibrierung fortgesetzt durchgeführt werden.
Bei Vorgang 830 passt die elektronische Vorrichtung 400, wenn der erste Fehler größer als oder gleich dem Schwellenwert ist, einen extrinsischen Parameter zumindest einer der Kameras derart an, dass der erste Fehler minimiert wird. Die elektronische Vorrichtung 400 kann beispielsweise zumindest eine von Rotationsinformationen oder Positionsinformationen der Kamera anpassen.
Gemäß einem beispielhaften Ausführungsbeispiel kann auf Basis einer Mehrzahl von Fehlern eine Ursache für das Auftreten der Fehler bestimmt werden. Die Ursache kann beispielsweise ungenaue Rotationsinformationen einer linken Kamera umfassen. Um eine derartige Ursache zu beheben, kann zumindest eine von Rotationsinformationen oder Positionsinformationen einer Kamera angepasst werden. Beispielsweise können die Rotationsinformationen der linken Kamera angepasst werden. Zum Bestimmen einer derartigen Ursache können verschiedene Verfahren verwendet werden, und die Verfahren sind unter Umständen nicht auf ein spezifisches Verfahren beschränkt.
Beispielsweise können für die Kamerakalibrierung ein Levenberg-Marquardt-Algorithmus und ein Gradientenabstiegsalgorithmus verwendet werden.
9 ist ein Diagramm, das ein Beispiel eines Fehlers zwischen Vogelperspektivenkoordinaten von übereinstimmenden Merkmalspunkten gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.
Wenn der Merkmalspunkt 713 und der Merkmalspunkt 723 übereinstimmen, wie in 7 veranschaulicht ist, können eine erste Vogelperspektivenkoordinate 910 des Merkmalspunkts 713 und eine zweite Vogelperspektivenkoordinate 920 des Merkmalspunkts 723 berechnet werden.
Wenn ein extrinsischer Parameter jeder der Kameras genau ist, können die erste Vogelperspektivenkoordinate 910 und die zweite Vogelperspektivenkoordinate 920 in einem Weltkoordinatensystem dieselbe Koordinate aufweisen. Wenn der extrinsische Parameter jedoch nicht genau ist, können die erste Vogelperspektivenkoordinate 910 und die zweite Vogelperspektivenkoordinate 920 in dem Weltkoordinatensystem unterschiedliche Koordinaten aufweisen.
Wenn die Genauigkeit des extrinsischen Parameters abnimmt, kann ein erster Fehler 930 zwischen der ersten Vogelperspektivenkoordinate 910 und der zweiten Vogelperspektivenkoordinate 920 zunehmen. Der erste Fehler 930 kann als Abstand zwischen denselben berechnet werden. Wenn die Genauigkeit des extrinsischen Parameters durch Anpassen zunimmt, kann der erste Fehler 930 abnehmen.
10 veranschaulicht Beispiele von Vogelperspektiven-Teilbildern, die erzeugt werden, wenn eine Mehrzahl von Kameras in gewünschter Weise kalibriert ist, gemäß einem beispielhaften Ausführungsbeispiel.
Mit Bezugnahme auf 10 kann ein Merkmalspunkt 1011 in einem ersten Vogelperspektiven-Teilbild 1010 eines Bilds der Linksseitenansicht mit einem Merkmalspunkt 1021 in einem zweiten Vogelperspektiven-Teilbild 1020 eines Bilds der Rückseitenansicht übereinstimmen, und die Merkmalspunkte 1022 und 1023 in dem zweiten Vogelperspektiven-Teilbild 1020 können jeweils mit Merkmalspunkten 1031 und 1032 in einem dritten Vogelperspektiven-Teilbild 1030 übereinstimmen.
Wenn eine Mehrzahl von Kameras in gewünschter Weise kalibriert ist, können eine Koordinate des Merkmalspunkts 1011 und eine Koordinate des Merkmalspunkts 1021 in einem Weltkoordinatensystem einander entsprechen oder miteinander übereinstimmen, beispielsweise können sie dieselben sein oder nahezu dieselben. In ähnlicher Weise können die Koordinaten der Merkmalspunkte 1022 und 1023 und die Koordinaten der Merkmalspunkte 1031 und 1032 in dem Weltkoordinatensystem einander entsprechen oder miteinander übereinstimmen, beispielsweise können gleich oder nahezu gleich sein.
11 veranschaulicht Beispiele von Vogelperspektiven-Teilbildern, die erzeugt werden, wenn eine Mehrzahl von Kameras in nicht gewünschter Weise kalibriert ist, gemäß einem beispielhaften Ausführungsbeispiel.
Mit Bezugnahme auf 11 kann ein Merkmalspunkt 1111 in einem ersten Vogelperspektiven-Teilbild 1110 eines Bilds der Linksseitenansicht mit einem Merkmalspunkt 1121 in einem zweiten Vogelperspektiven-Teilbild 1120 eines Bilds der Rückseitenansicht übereinstimmen, und die Merkmalspunkte 1122 und 1123 in dem zweiten Vogelperspektiven-Teilbild 1110 können mit den Merkmalspunkten 1131 und 1132 in einem dritten Vogelperspektiven-Teilbild 1130 eines Bilds der Rechtsseitenansicht jeweils übereinstimmen.
Wenn eine Mehrzahl von Kameras in nicht gewünschter Weise kalibriert ist, können eine Koordinate des Merkmalspunkts 1111 und eine Koordinate des Merkmalspunkts 1121 in einem Weltkoordinatensystem nicht einander entsprechen oder nicht miteinander übereinstimmen. In ähnlicher Weise können die Koordinaten der Merkmalspunkte 1122 und 1123 und die Koordinaten der Merkmalspunkte 1131 und 1132 in dem Weltkoordinatensystem nicht einander entsprechen oder nicht miteinander übereinstimmen.
Selbst wenn die Koordinate des Merkmalspunkts 1111 und die Koordinate des Merkmalspunkts 1121 einander entsprechen oder miteinander übereinstimmen, kann es sein, dass die Koordinaten der Merkmalspunkte 1122 und 1123 und der Merkmalspunkte 1131 und 1132 nicht einander entsprechen oder nicht miteinander übereinstimmen. In einem derartigen Fall kann ein extrinsischer Parameter jeder der Kameras derart angepasst werden, dass die Koordinaten der Merkmalspunkte 1122 und 1123 und der Merkmalspunkte 1131 und 1132 einander entsprechen oder miteinander übereinstimmen.
12 ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Berechnen eines angepassten Fehlers zwischen Vögelperspektivenkoordinaten auf Basis eines angepassten extrinsischen Parameters gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.
Nachdem Vorgang 560, der oben mit Bezugnahme auf 5 beschrieben ist, durchgeführt wird, kann Vorgang 550, der oben mit Bezugnahme auf 5 beschrieben ist, erneut durchgeführt werden. Das heißt, durch wiederholtes Durchführen der Vorgänge 550 und 560 ist es möglich, eine Mehrzahl von Kameras zu kalibrieren.
Der Vorgang 550 kann ferner einen Vorgang 1210 umfassen, der nachfolgend mit Bezugnahme auf 12 beschrieben werden soll. Bei Vorgang 1210 berechnet die elektronische Vorrichtung 400 eine erste angepasste Vogelperspektivenkoordinate des ersten Merkmalspunkts und eine zweite Vogelperspektivenkoordinate des zweiten Merkmalspunkts auf Basis des angepassten extrinsischen Parameters.
Der Vorgang 560 kann ferner einen Vorgang 1220 umfassen, der nachfolgend mit Bezugnahme auf 12 beschrieben werden soll. Bei Vorgang 1220 berechnet die elektronische Vorrichtung 400 einen ersten angepassten Fehler zwischen der ersten angepassten Vogelperspektivenkoordinate und der zweiten angepassten Vogelperspektivenkoordinate.
Der Vorgang 1220 kann dem Vorgang 810 entsprechen, der weiter oben mit Bezugnahme auf 8 beschrieben ist, und die Vorgänge 820 und 830, die weiter oben mit Bezugnahme auf 8 beschrieben sind, können durchgeführt werden, nachdem der Vorgang 1220 durchgeführt wurde.
13 ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Anpassen eines extrinsischen Parameters einer Kamera derart, dass ein Fehler minimiert wird, gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.
Der Vorgang 830, der weiter oben mit Bezugnahme auf 8 beschrieben ist, kann die Vorgänge 1310 und 1320 umfassen, die nachfolgend mit Bezugnahme auf 13 beschrieben werden sollen.
Mit Bezugnahme auf 13 passt die elektronische Vorrichtung 400 bei Vorgang 1310 einen extrinsischen Parameter jeder einer vorderen Kamera und einer hinteren Kamera an.
Bei Vorgang 1320 passt die elektronische Vorrichtung 400 einen extrinsischen Parameter jeder einer linken Kamera und einer rechten Kamera an.
Ein Beispiel eines Verfahrens zum Extrahieren und Abgleichen von Merkmalspunkten aus Bildern, die keine Vogelperspektivenbilder sind, jedoch zum Beispiel Fischaugenbilder, und zum Umwandeln von übereinstimmenden Merkmalspunkten aus einer Vogelperspektive, ist weiter oben mit Bezugnahme auf 5 bis 13 beschrieben.
Nachfolgend wird ein Beispiel eines Verfahrens zum Umwandeln eines Abschnitts eines Bilds, das kein Vogelperspektivenbild ist, jedoch beispielsweise ein Fischaugenbild, in ein Vogelperspektivenbild, ein Extrahieren von Merkmalspunkten aus Vogelperspektiven-Teilbildern und ein Abgleichen der extrahierten Merkmalspunkte mit Bezugnahme auf 14 bis 18 beschrieben.
14 ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Kalibrieren einer Mehrzahl von Kameras gemäß einem weiteren beispielhaften Ausführungsbeispiel veranschaulicht. Das Verfahren des Kalibrierens einer Mehrzahl von Kameras kann hierin auch einfach als Kamerakalibrierverfahren bezeichnet sein.
Die Vorgänge 1410 bis 1460, die nachfolgend mit Bezugnahme auf 14 beschrieben werden sollen, können durch die elektronische Vorrichtung 400, die weiter oben mit Bezugnahme auf 4 beschrieben ist, durchgeführt werden.
Mit Bezugnahme auf 14 erhält die elektronische Vorrichtung 400 bei Vorgang 1410 eine Mehrzahl von Bildern der Umgebung eines Fahrzeugs. Die erhaltenen Bilder können Bilder sein, die unter Verwendung einer Fischaugenlinse aufgenommen werden.
Für eine ausführlichere Beschreibung des Vorgangs 1410 kann Bezug auf die Beschreibung von Vorgang 510 genommen werden, die weiter oben mit Bezugnahme auf 5 bereitgestellt ist.
Bei Vorgang 1420 bestimmt die elektronische Vorrichtung 400 einen Teilbereich jedes der Bilder auf Basis eines ROI, der vorab mit Bezug auf eine Vogelperspektive festgelegt ist. So kann beispielsweise ein Bereich, der einer vorderen linken Seite eines zu erzeugenden gesamten Vogelperspektivenbilds entspricht, als erster ROI voreingestellt sein, und ein Bereich eines Bilds der Vorderseitenansicht, der dem ersten ROI entspricht, kann als Teilbereich bestimmt sein. Für ein anderes Beispiel kann ein Bereich, der einer vorderen linken Seite eines zu erzeugenden gesamten Vogelperspektivenbilds entspricht, als zweiter ROI festgelegt sein, und ein Bereich eines Bilds der Linksseitenansicht, der dem zweiten ROI entspricht, kann als Teilbereich bestimmt sein. Der erste ROI, der zweite ROI und die Teilbereiche, die jeweils dem ersten ROI und dem zweiten ROI entsprechen, werden nachfolgend mit Bezugnahme auf 15 und 16 ausführlich beschrieben.
Bei Vorgang 1430 erzeugt die elektronische Vorrichtung 400 eine Mehrzahl von Vogelperspektiven-Teilbildern durch Umwandeln der bestimmten Teilbereiche der Bilder aus der Vogelperspektive. Die Teilbereiche der Bilder, die bei Vorgang 1420 bestimmt werden, können Bilder sein, die unter Verwendung einer Fischaugenlinse aufgenommen werden, und deshalb können Formen in den Bildern verzerrt sein. Durch Umwandeln der Teilbereiche aus der Vogelperspektive ist es möglich, die Formen in den Bildern wiederherzustellen. Ein Vogelperspektiven-Teilbild wird nachfolgend mit Bezugnahme auf 17 ausführlich beschrieben.
Bei Vorgang 1440 erfasst die elektronische Vorrichtung 400 einen ersten Merkmalspunkt eines ersten Vogelperspektiven-Teilbilds und einen zweiten Merkmalspunkt eines zweiten Vogelperspektiven-Teilbilds. Beispielsweise kann ein Merkmalspunkt auf einem Muster erfasst werden, das auf einer Straße positioniert ist. Zum Erfassen von Merkmalspunkten können verschiedene Algorithmen, beispielsweise ein SIFT-Algorithmus, ein SURF-Algorithmus, ein Haar-Algorithmus, ein Fems-Algorithmus und ein ORB-Algorithmus verwendet werden, ohne jedoch darauf beschränkt zu sein.
Bei Vorgang 1450 gleicht die elektronische Vorrichtung 400 den ersten Merkmalspunkt und den zweiten Merkmalspunkt ab. Die elektronische Vorrichtung 400 kann beispielsweise den ersten Merkmalspunkt des ersten Vogelperspektiven-Teilbilds einer vorderen Seite und den zweiten Merkmalspunkt des zweiten Vogelperspektiven-Teilbilds einer linken Seite abgleichen. Bei einem Beispiel kann die elektronische Vorrichtung 400 den ersten Merkmalspunkt des ersten Vogelperspektiven-Teilbilds einer linken Seite und den zweiten Merkmalspunkt des zweiten Vogelperspektiven-Teilbilds einer hinteren Seite abgleichen. Wenn die Bilder, die unter Verwendung einer Fischaugenlinse aufgenommen werden, in Vogelperspektivenbilder umgewandelt werden, kann die Genauigkeit beim Abgleichen von Merkmalspunkten in ROIs für dieselben Merkmale zunehmen.
Bei Vorgang 1460 kalibriert die elektronische Vorrichtung 400 eine Mehrzahl von Kameras, indem ein extrinsischer Parameter für jede der Kameras auf Basis eines Fehlers zwischen einer ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts angepasst wird.
Für eine ausführlichere Beschreibung von Vorgang 1460 kann Bezug auf die Beschreibung von Vorgang 560 genommen werden, die weiter oben mit Bezugnahme auf 5 bereitgestellt ist.
Als Voraussetzung zum Durchführen von Vorgang 560 kann nach Durchführen von Vorgang 550, der oben mit Bezugnahme auf 5 beschrieben ist, bestimmt werden, ob die Anzahl von übereinstimmenden Merkmalspunkten größer als oder gleich einer voreingestellten Anzahl ist. Wenn beispielsweise die Anzahl von übereinstimmenden Merkmalspunkten des ersten Vogelperspektiven-Teilbilds und des zweiten Vogelperspektiven-Teilbilds größer als oder gleich der voreingestellten Anzahl ist, kann eine Kamerakalibrierung durchgeführt werden. Wenn die Anzahl von übereinstimmenden Merkmalspunkten zunimmt, kann ein extrinsischer Parameter genauer geschätzt werden.
Wenn jedoch die Anzahl der übereinstimmenden Merkmalspunkte des ersten Vogelperspektiven-Teilbilds und des zweiten Vogelperspektiven-Teilbilds kleiner als die voreingestellte Anzahl ist, kann keine Genauigkeit beim Anpassen des extrinsischen Parametes garantiert werden, und somit kann der extrinsische Parameter möglicherweise für eine Mehrzahl von aktuellen Bildern, zum Beispiel für aktuelle Rahmen, nicht angepasst werden.
Nachfolgend wird das Kamerakalibrierverfahren mit Bezugnahme auf 18 ausführlicher beschrieben.
15 und 16 sind Diagramme, die Beispiele für einen Teilbereich eines Bilds, der auf Basis eines voreingestellten ROI in einem Vogelperspektivenbild bestimmt wird, gemäß einem beispielhaften Ausführungsbeispiel veranschaulichen.
Ein rechter Abschnitt von 15 veranschaulicht einen vorderen Bereich 1510 eines gesamten Vogelperspektivenbilds, und ein Abschnitt des vorderen Bereichs 1510 kann vorab als ROI 1511 festgelegt werden.
Ein linker Abschnitt von 15 veranschaulicht ein Bild der Vorderseitenansicht 1520 unter einer Mehrzahl von Bildern, und das Bild der Vorderseitenansicht 1520 kann ein Bild sein, das unter Verwendung einer Fischaugenlinse aufgenommen wird. Ein Teilbereich 1521 des Bilds der Vorderseitenansicht 1520, der dem ROI 1511 entspricht, kann bestimmt werden. Beispielsweise kann der Teilbereich 1521, der dem ROI 1511 entspricht, auf Basis eines extrinsischen Parameters einer vorderen Kamera bestimmt werden. Wenn der extrinsische Parameter der vorderen Kamera angepasst wird, kann der Teilbereich 1521, der dem ROI 1511 entspricht, sich ändern.
In ähnlicher Weise veranschaulicht ein rechter Abschnitt von 16 einen linken Bereich 1610 eines gesamten Vogelperspektivenbilds, und ein Abschnitt des linken Bereichs 1610 kann vorab als ROI 1611 festgelegt werden.
Ein linker Abschnitt von 16 veranschaulicht ein Bild der Linksseitenansicht 1620 unter einer Mehrzahl von Bildern, und das Bild der Linksseitenansicht 1620 kann ein Bild sein, das unter Verwendung einer Fischaugenlinse aufgenommen wird. Ein Teilbereich 1621 des Bilds der Linksseitenansicht 1620, der dem ROI 1611 entspricht, kann bestimmt werden. Beispielsweise kann der Teilbereich 1621, der dem ROI 1611 entspricht, auf Basis eines extrinsischen Parameters einer linken Kamera bestimmt werden. Wenn der extrinsische Parameter der linken Kamera angepasst wird, kann der Teilbereich 1621, der dem ROI 1611 entspricht, sich ändern.
In einer derartigen Beziehung zwischen dem ROI 1511 und dem ROI 1611 kann der ROI 1511 hierin als erster ROI bezeichnet werden, und der ROI 1611 kann hierin als zweiter ROI bezeichnet werden.
17 ist ein Diagramm, das ein Beispiel eines Verfahrens zum Extrahieren und Abgleichen von Merkmalspunkten von Vogelperspektiven-Teilbildern gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.
Mit Bezugnahme auf 17 können der Teilbereich 1521 von 15 und der Teilbereich 1621 von 16 in ein erstes Vogelperspektiven-Teilbild 1710 beziehungsweise ein zweites Vogelperspektiven-Teilbild 1720 umgewandelt werden. Das erste Vogelperspektiven-Teilbild 1710 und das zweite Vogelperspektiven-Teilbild 1720 können Bilder aus der Vogelperspektive sein.
Ein oder mehrere Merkmalspunkte 1711 und 1712 des ersten Vogelperspektiven-Teilbilds 1710 können extrahiert werden. Ein oder mehrere Merkmalspunkte 1721 und 1722 des zweiten Vogelperspektiven-Teilbilds 1720 können extrahiert werden. Der Merkmalspunkt 1711 kann mit dem Merkmalspunkt 1721 übereinstimmen, und der Merkmalspunkt 1712 kann mit dem Merkmalspunkt 1722 übereinstimmen.
18 ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Kalibrieren einer Mehrzahl von Kameras, indem ein extrinsischer Parameter für jede der Kameras auf Basis eines Fehlers zwischen einer ersten Vogelperspektivenkoordinate und einer zweiten Vogelperspektivenkoordinate angepasst wird, gemäß einem beispielhaften Ausführungsbeispiel veranschaulicht.
Der Vorgang 1460, der oben mit Bezugnahme auf 14 beschrieben ist, kann die Vorgänge 1810 bis 1830 umfassen, die nachfolgend mit Bezugnahme auf 18 beschrieben werden sollen.
Mit Bezugnahme auf 18 berechnet die elektronische Vorrichtung 400 bei Vorgang 1810 einen ersten Fehler zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate. Wenn ein extrinsischer Parameter einer Kamera genau festgelegt oder angepasst ist, können die erste Vogelperspektivenkoordinate und die zweite Vogelperspektivenkoordinate als gleich angegeben werden, und somit kann der erste Fehler 0 oder ein Wert nahe 0 sein.
Die erste Vogelperspektivenkoordinate und die zweite Vogelperspektivenkoordinate können einem Paar von übereinstimmenden Merkmalspunkten zugeordnet sein. Wenn eine Mehrzahl von Paaren von übereinstimmenden Merkmalspunkten vorhanden ist, kann für jedes der Paare ein Fehler berechnet werden.
Bei Vorgang 1820 bestimmt die elektronische Vorrichtung 400, ob der erste Fehler größer als oder gleich einem voreingestellten Schwellenwert ist. Wenn der erste Fehler kleiner als der Schwellenwert ist, kann eine Kamerakalibrierung zum Kalibrieren einer Mehrzahl von Kameras beendet werden. Wenn jedoch einer der Fehler eine derartige Bedingung, die im Vorgenannten beschrieben ist, nicht erfüllt, obwohl ein anderer Fehler der Fehler die Bedingung erfüllt, kann die Kamerakalibrierung fortgesetzt durchgeführt werden.
Bei Vorgang 1830 passt die elektronische Vorrichtung 400, wenn der erste Fehler größer als oder gleich dem Schwellenwert ist, einen extrinsischen Parameter zumindest einer der Kameras derart an, dass der erste Fehler minimiert wird. Beispielsweise kann die elektronische Vorrichtung 400 zumindest eine von Rotationsinformationen oder Positionsinformationen der Kamera anpassen.
Gemäß einem beispielhaften Ausführungsbeispiel kann auf Basis einer Mehrzahl von Fehlern eine Ursache für das Auftreten der Fehler bestimmt werden. Die Ursache kann beispielsweise ungenaue Rotationsinformationen einer linken Kamera umfassen. Um eine derartige Ursache zu beheben, kann zumindest eine von Rotationsinformationen oder Positionsinformationen einer Kamera angepasst werden. Beispielsweise können die Rotationsinformationen der linken Kamera angepasst werden. Zum Bestimmen einer derartigen Ursache können verschiedene Verfahren verwendet werden, und die Verfahren sind unter Umständen nicht auf ein bestimmtes Verfahren beschränkt.
Beispielsweise können für die Kamerakalibrierung ein Levenberg-Marquardt-Algorithmus und ein Gradientenabstiegsalgorithmus verwendet werden.
Gemäß einem beispielshaften Ausführungsbeispiel, das hierin beschrieben ist, sind ein Verfahren und eine Vorrichtung zum Kalibrieren einer Mehrzahl von Kameras bereitgestellt.
Gemäß einem weiteren beispielhaften Ausführungsbeispiel, das hierin beschrieben ist, sind ein Verfahren und eine Vorrichtung zum Kalibrieren einer Mehrzahl von Kameras während der Fahrt eines Fahrzeugs bereitgestellt.
Die hierin beschriebenen Einheiten können unter Verwendung von Hardwarekomponenten und Softwarekomponenten implementiert sein. Die Hardwarekomponenten können beispielsweise Mikrofone, Verstärker, Bandpassfilter, Audio-zu-Digital-Wandler, nicht flüchtige Computerspeicher und Verarbeitungsvorrichtungen umfassen. Eine Verarbeitungsvorrichtung kann unter Verwendung eines oder mehrerer allgemeiner oder spezifischer Computer implementiert sein, zum Beispiel eines Prozessors, einer Steuerung und einer arithmetischen Logikeinheit (ALU), eines digitalen Signalprozessors, eines Mikrocomputers, eines feldprogrammierbaren Gatterarrays (FPGA), einer programmierbaren Logikeinheit (PLU), eines Mikroprozessors oder einer anderen Vorrichtung, die in der Lage ist, in einer definierten Weise auf Befehle zu reagieren und dieselben auszuführen. Die Verarbeitungsvorrichtung kann ein Betriebssystem (OS) und eine oder mehrere Softwareanwendungen ausführen, die auf dem OS laufen. Die Verarbeitungsvorrichtung kann außerdem ansprechend auf das Ausführen der Software auf Daten zugreifen, dieselben speichern, manipulieren, verarbeiten und erzeugen. Der Einfachheit halber wird die Beschreibung einer Verarbeitungsvorrichtung im Singular verwendet; jedoch wird es einem Fachmann auf dem Gebiet klar sein, dass eine Verarbeitungsvorrichtung mehrere Verarbeitungselemente und mehrere Arten von Verarbeitungselementen umfassen kann. Zum Beispiel kann eine Verarbeitungsvorrichtung mehrere Prozessoren oder einen Prozessor und eine Steuerung umfassen. Darüber hinaus sind unterschiedliche Verarbeitungskonfigurationen wie beispielsweise parallele Prozessoren möglich.
Die Software kann ein Computerprogramm, ein Stück Code, einen Befehl oder eine Kombination derselben umfassen, um die Verarbeitungsvorrichtung unabhängig oder gemeinsam dahingehend zu instruieren oder zu konfigurieren, dass dieselbe wie gewünscht funktioniert. Software und Daten können dauerhaft oder vorübergehend in einem beliebigen Typ von Maschine, Komponente, physikalischer oder virtueller Ausrüstung, Computerspeichermedium oder -vorrichtung oder in einer sich ausbreitenden Signalwelle verkörpert sein, die in der Lage ist, Befehle öder Daten der Verarbeitungsvorrichtung bereitzustellen oder von derselben interpretiert zu werden. Die Software kann auch über netzwerkgekoppelte Computersysteme verteilt werden, so dass die Software auf verteilte Weise gespeichert und ausgeführt wird. Die Software und die Daten können auf einem oder mehreren nicht flüchtigen computerlesbaren Aufzeichnungsmedien gespeichert sein. Das nicht flüchtige computerlesbare Aufzeichnungsmedium kann eine beliebige Datenspeichervorrichtung umfassen, die in der Lage ist, Daten zu speichern, die später durch ein Computersystem oder eine Verarbeitungsvorrichtung gelesen werden können.
Die Verfahren gemäß den oben beschriebenen beispielhaften Ausführungsbeispielen können in nicht flüchtigen computerlesbaren Medien aufgezeichnet sein, die Programmbefehle zum Implementieren verschiedener Vorgänge der oben beschriebenen beispielhaften Ausführungsbeispiele umfassen. Die Medien können außerdem, allein oder in Kombination mit den Programmbefehlen, Datendateien, Datenstrukturen und dergleichen umfassen. Die auf den Medien aufgezeichneten Programmbefehle können diejenigen sein, die speziell für die Zwecke der beispielhaften Ausführungsbeispiele entworfen und konstruiert wurden, oder können von der Art sein, die Fachleuten auf dem Gebiet der Computersoftware bekannt und verfügbar sind. Beispiele für nicht flüchtige computerlesbare Medien umfassen magnetische Medien wie Festplatten, Disketten und Magnetbänder; optische Medien wie CD-ROMs-Disks, DVDs und/oder Blue-Ray-Disks; magnetooptische Medien wie beispielsweise optische Disks; und Hardwarevorrichtungen, die speziell zum Speichern und Ausführen von Programmbefehlen konfiguriert sind, beispielsweise Nur-Lese-Speicher (ROM), Direktzugriffsspeicher (RAM), Flash-Speicher (z. B. USB-Flash-Laufwerke, Speicherkarten, Speichersticks usw.) und dergleichen. Beispiele für Programmbefehle umfassen sowohl Maschinencode, wie er zum Beispiel von einem Compiler erzeugt wird, und Dateien mit höherwertigem Code, der durch den Computer mithilfe eines Interpreters ausgeführt werden kann. Die oben beschriebenen Vorrichtungen können dahingehend konfiguriert sein, dass dieselben als ein oder mehrere Softwaremodule fungieren, um die Vorgänge der oben beschriebenen beispielhaften Ausführungsbeispiele durchzuführen, oder umgekehrt.
Während diese Offenbarung spezifische Beispiele umfasst, ist es für einen Fachmann mit gewöhnlichen Kenntnissen auf dem Gebiet offensichtlich, dass verschiedene Änderungen bezüglich Form und Einzelheiten an diesen Beispielen vorgenommen werden können, ohne von dem Wesen und dem Schutzumfang der Ansprüche und ihrer Äquivalente abzuweichen. Die hierin beschriebenen Beispiele sind lediglich in einem beschreibenden Sinne und nicht zum Zwecke der Einschränkung zu betrachten. Beschreibungen von Merkmalen oder Aspekten sind bei jedem Beispiel so zu verstehen, dass dieselben auf ähnliche Merkmale oder Aspekte von anderen Beispielen anwendbar sind. Geeignete Ergebnisse können erzielt werden, wenn die beschriebenen Techniken in einer anderen Reihenfolge durchgeführt werden und/oder wenn Komponenten in einem beschriebenen System, einer Architektur, einer Vorrichtung oder einer Schaltung auf unterschiedliche Weise kombiniert werden und/oder durch andere Komponenten und deren Äquivalente ersetzt oder ergänzt werden.
Aus diesem Grund ist der Schutzumfang der Offenbarung nicht durch die ausführliche Beschreibung definiert, sondern durch die Ansprüche und deren Äquivalente, und alle Variationen innerhalb des Schutzumfangs der Ansprüche und ihrer Äquivalente sind so zu verstehen, dass dieselben in der Offenbarung enthalten sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 1020190078562 [0001]

Claims

Ein Kamerakalibrierverfahren, das durch einen Prozessor durchgeführt werden soll, der in einem Fahrzeug vorgesehen ist, wobei das Verfahren folgende Schritte aufweist: Erhalten einer Mehrzahl von Bildern einer Umgebung des Fahrzeugs, die durch eine Mehrzahl von Kameras des Fahrzeugs aufgenommen werden; Festlegen eines interessierenden Bereichs (ROI) in jedem der Bilder, wobei ein erster ROI eines ersten Bilds unter den Bildern und eines zweiten ROI eines zweiten Bilds unter den Bildern einen gemeinsamen Bereich umfassen; Erfassen eines oder mehrerer Merkmalspunkte der festgelegten ROIs; Abgleichen eines ersten Merkmalspunkts des ersten ROI und eines zweiten Merkmalspunkts des zweiten ROI auf Basis der erfassten Merkmalspunkte; Berechnen einer ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts; und Kalibrieren der Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras auf Basis eines Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate.
Das Kamerakalibrierverfahren gemäß Anspruch 1, wobei die Kameras Folgendes umfassen: zumindest zwei einer linken Kamera, die dazu konfiguriert ist, ein Bild einer Linksseitenansicht von dem Fahrzeug aus aufzunehmen, einer rechten Kamera, die dazu konfiguriert ist, ein Bild einer Rechtsseitenansicht von dem Fahrzeug aus aufzunehmen, einer vorderen Kamera, die dazu konfiguriert ist, ein Bild einer Vorderseitenansicht von dem Fahrzeug aus aufzunehmen, oder einer hinteren Kamera, die dazu konfiguriert ist, ein Bild einer Rückseitenansicht von dem Fahrzeug aus aufzunehmen.
Das Kamerakalibrierverfahren gemäß Anspruch 1, wobei der extrinsische Parameter jeder der Kameras Rotationsinformationen und Positionsinformationen jeder der Kameras umfasst.
Das Kamerakalibrierverfahren gemäß Anspruch 1, wobei die Merkmalspunkte einem Objekt auf einer Straße, auf der das Fahrzeug sich fortbewegt, zugeordnet sind.
Das Kamerakalibrierverfahren gemäß Anspruch 1, wobei das Festlegen des ROI in jedem der Bilder folgenden Schritt aufweist: wenn das erste Bild ein Bild einer Vorderseitenansicht ist und das zweite Bild ein Bild einer Linksseitenansicht ist, Festlegen des ROI in jedem der Bilder derart, dass der erste ROI eine äußerste linke Seite des Bilds der Vorderansicht und der zweite ROI eine äußerste rechte Seite des Bilds der Linksseitenansicht umfasst.
Das Kamerakalibrierverfahren gemäß Anspruch 1, das ferner folgenden Schritt aufweist: Erzeugen von Teilbildern durch Beschneiden der festgelegten ROIs, wobei das Erfassen der Merkmalspunkte der ROIs folgenden Schritt aufweist: Erfassen des einen oder der mehreren Merkmalspunkte der ROIs auf Basis der erzeugten Teilbilder.
Das Kamerakalibrierverfahren gemäß Anspruch 1, wobei das Berechnen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts folgenden Schritt aufweist: wenn die Anzahl von übereinstimmenden Merkmalspunkten des ersten ROI und des zweiten ROI größer als oder gleich einer voreingestellten Anzahl ist, Berechnen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate.
Das Kamerakalibrierverfahren gemäß Anspruch 1, wobei das Kalibrieren der Kameras folgende Schritte aufweist: Berechnen eines ersten Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate; und Anpassen eines extrinsischen Parameters zumindest einer der Kameras derart, dass der erste Fehler minimiert wird.
Das Kamerakalibrierverfahren gemäß Anspruch 8, wobei das Berechnen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts folgenden Schritt aufweist: wenn der extrinsische Parameter der zumindest einen der Kameras angepasst wird, Berechnen einer ersten angepassten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten angepassten Vogelperspektivenkoordinate des zweiten Merkmalspunkts auf Basis des angepassten extrinsischen Parameters, wobei das Kalibrieren der Kameras folgenden Schritt aufweist: Berechnen eines ersten angepassten Fehlers zwischen der ersten angepassten Vogelperspektivenkoordinate und der zweiten angepassten Vogelperspektivenkoordinate.
Das Kamerakalibrierverfahren gemäß Anspruch 8, wobei das Kalibrieren der Kameras ferner folgenden Schritt aufweist: wenn der erste Fehler kleiner als ein voreingestellter Schwellenwert ist, Beenden der Kamerakalibrierung.
Ein nicht flüchtiges computerlesbares Speichermedium, das Befehle speichert, die bei Ausführung durch einen Prozessor bewirken, dass der Prozessor das Kamerakalibrierverfahren gemäß Anspruch 1 durchführt.
Eine elektronische Vorrichtung, die in einem Fahrzeug vorgesehen ist, um eine Mehrzahl von Kameras zu kalibrieren, wobei dieselbe folgende Merkmale aufweist: einen Speicher, in dem ein Programm zum Kalibrieren der Kameras aufgezeichnet ist; und einen Prozessor, der zum Durchführen des Programms konfiguriert ist, wobei das Programm folgende Schritte aufweist: Erhalten einer Mehrzahl von Bildern einer Umgebung des Fahrzeugs, die durch die Kameras des Fahrzeugs aufgenommen werden; Festlegen eines interessierenden Bereichs (ROI) in jedem der Bilder, wobei ein erster ROI eines ersten Bilds unter den Bildern und ein zweiter ROI eines zweiten Bilds unter den Bildern einen gemeinsamen Bereich umfassen; Erfassen eines oder mehrerer Merkmalspunkte der festgelegten ROIs; Abgleichen eines ersten Merkmalspunkts des ersten ROI und eines zweiten Merkmalspunkts des zweiten ROI auf Basis der erfassten Merkmalspunkte; Berechnen einer ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts; und Kalibrieren der Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras auf Basis eines Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate.
Die elektronische Vorrichtung gemäß Anspruch 12, wobei die Merkmalspunkte einem Objekt auf einer Straße, auf der das Fahrzeug sich fortbewegt, zugeordnet sind.
Die elektronische Vorrichtung gemäß Anspruch 12, wobei das Programm ferner folgenden Schritt aufweist: Erzeugen von Teilbildern durch Beschneiden der festgelegten ROIs, wobei das Erfassen der Merkmalspunkte der ROIs folgenden Schritt aufweist: Erfassen der Merkmalspunkte der ROIs auf Basis der erzeugten Teilbilder.
Die elektronische Vorrichtung gemäß Anspruch 12, wobei das Berechnen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts folgenden Schritt aufweist: wenn die Anzahl übereinstimmender Merkmalspunkten des ersten ROI und des zweiten ROI größer als oder gleich einer voreingestellten Anzahl ist, Berechnen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate.
Die elektronische Vorrichtung gemäß Anspruch 12, wobei das Kalibrieren der Kameras folgende Schritte aufweist: Berechnen eines ersten Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate; und Anpassen eines extrinsischen Parameters zumindest einer der Kameras derart, dass der erste Fehler minimiert wird.
Die elektronische Vorrichtung gemäß Anspruch 16, wobei das Berechnen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts folgenden Schritt aufweist: wenn der extrinsische Parameter der zumindest einen der Kameras angepasst wird, Berechnen einer ersten angepassten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten angepassten Vogelperspektivenkoordinate des zweiten Merkmalspunkts auf Basis des angepassten extrinsischen Parameters, wobei das Kalibrieren der Kameras folgenden Schritt aufweist: Berechnen eines ersten angepassten Fehlers zwischen der ersten angepassten Vogelperspektivenkoordinate und der zweiten angepassten Vogelperspektivenkoordinate.
Die elektronische Vorrichtung gemäß Anspruch 16, wobei das Kalibrieren der Kameras folgenden Schritt aufweist: wenn der erste Fehler kleiner als ein voreingestellter Schwellenwert ist, Beenden der Kamerakalibrierung.
Ein Kamerakalibrierverfahren, das durch einen Prozessor durchgeführt werden soll, der in einem Fahrzeug vorgesehen ist, wobei das Verfahren folgende Schritte aufweist: Erhalten einer Mehrzahl von Bildern einer Umgebung des Fahrzeugs, die durch eine Mehrzahl von Kameras des Fahrzeugs aufgenommen werden; Bestimmten eines Teilbereichs jedes der Bilder auf Basis eines interessierenden Bereichs (ROI), der vorab mit Bezug auf eine Vogelperspektive festgelegt wird; Erzeugen einer Mehrzahl von Vogelperspektiven-Teilbildern durch Umwandeln der bestimmten Teilbereiche aus dem Blickwinkel der Vogelperspektive, wobei ein erstes Vogelperspektiven-Teilbild unter den Vogelperspektiven-Teilbildern einem ersten ROI entspricht und ein zweites Vogelperspektiven-Teilbild unter den Vogelperspektiven-Teilbildern einem zweiten ROI entspricht und der erste ROI und der zweite ROI einen gemeinsamen Bereich umfassen; Erfassen eines ersten Merkmalspunkts des ersten Vogelperspektiven-Teilbilds und eines zweiten Merkmalspunkts des zweiten Vogelperspektiven-Teilbilds; Abgleichen des ersten Merkmalspunkts und des zweiten Merkmalspunkts; und Kalibrieren der Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras auf Basis eines Fehlers zwischen einer ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts.
Das Kamerakalibrierverfahren gemäß Anspruch 19, wobei die Kameras Folgendes umfassen: zumindest zwei einer linken Kamera, die dazu konfiguriert ist, ein Bild einer Linksseitenansicht von dem Fahrzeug aus aufzunehmen, einer rechten Kamera, die dazu konfiguriert ist, ein Bild einer Rechtsseitenansicht von dem Fahrzeug aus aufzunehmen, einer vorderen Kamera, die dazu konfiguriert ist, ein Bild einer Vorderseitenansicht von dem Fahrzeug aus aufzunehmen, oder einer hinteren Kamera, die dazu konfiguriert ist, ein Bild einer Rückseitenansicht von dem Fahrzeug aus aufzunehmen.
Das Kamerakalibrierverfahren gemäß Anspruch 19, wobei das Kalibrieren der Kameras durch Anpassen des extrinsischen Parameters für jede der Kameras auf Basis des Fehlers zwischen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts folgenden Schritt aufweist: wenn die Anzahl von übereinstimmenden Merkmalspunkten des ersten Vogelperspektiven-Teilbilds und des zweiten Vogelperspektiven-Teilbilds größer als oder gleich einer voreingestellten Anzahl ist, Kalibrieren der Kameras.
Das Kamerakalibrierverfahren gemäß Anspruch 19, wobei das Kalibrieren der Kameras durch Anpassen des extrinsischen Parameters für jede der Kameras auf Basis des Fehlers zwischen der ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und der zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts folgende Schritte aufweist: Berechnen eines ersten Fehlers zwischen der ersten Vogelperspektivenkoordinate und der zweiten Vogelperspektivenkoordinate; und Anpassen eines extrinsischen Parameters zumindest einer der Kameras derart, dass der erste Fehler minimiert wird.
Ein nicht flüchtiges computerlesbares Speichermedium, das Befehle speichert, die bei Ausführung durch einen Prozessor bewirken, dass der Prozessor das Kamerakalibrierverfahren gemäß Anspruch 19 durchführt.
Eine elektronische Vorrichtung, die in einem Fahrzeug vorgesehen ist, um eine Mehrzahl von Kameras zu kalibrieren, wobei dieselbe folgende Merkmale aufweist: einen Speicher, in dem ein Programm zum Kalibrieren der Kameras aufgezeichnet ist; und einen Prozessor, der zum Durchführen des Programms konfiguriert ist, wobei das Programm folgende Schritte aufweist: Erhalten einer Mehrzahl von Bildern einer Umgebung des Fahrzeugs, die durch die Kameras des Fahrzeugs aufgenommen werden; Bestimmen eines Teilbereichs jedes der Bilder auf Basis eines interessierenden Bereichs (ROI), der vorab mit Bezug auf eine Vogelperspektive festgelegt wird; Erzeugen einer Mehrzahl von Vogelperspektiven-Teilbildern durch Umwandeln der bestimmten Teilbereiche aus dem Blickwinkel der Vogelperspektive, wobei ein erstes Vogelperspektiven-Teilbild unter den Vogelperspektiven-Teilbildern einem ersten ROI entspricht und ein zweites Vogelperspektiven-Teilbild unter den Vogelperspektiven-Teilbildern einem zweiten ROI entspricht und der erste ROI und der zweite ROI einen gemeinsamen Bereich umfassen; Erfassen eines ersten Merkmalspunkts des ersten Vogelperspektiven-Teilbilds und eines zweiten Merkmalspunkts des zweiten Vogelperspektiven-Teilbilds; Abgleichen des ersten Merkmalspunkts und des zweiten Merkmalspunkts; und Kalibrieren der Kameras durch Anpassen eines extrinsischen Parameters für jede der Kameras auf Basis eines Fehlers zwischen einer ersten Vogelperspektivenkoordinate des ersten Merkmalspunkts und einer zweiten Vogelperspektivenkoordinate des zweiten Merkmalspunkts.