DE102021205154A1

DE102021205154A1 - Vorrichtung und verfahren zum erzeugen eines vogelperspektive-bilds

Info

Publication number: DE102021205154A1
Application number: DE102021205154.5A
Authority: DE
Inventors: Jun Seok Lee; Byeong Chan JEON; Ji Hye Lee; Jeong Mok Ha
Original assignee: Vadas Co Ltd
Current assignee: Nc & Co Ltd Seongnam Si Kr
Priority date: 2020-06-17
Filing date: 2021-05-20
Publication date: 2021-12-23
Anticipated expiration: 2041-05-21
Also published as: KR20210156360A; CN113808013A; KR102366944B1; DE102021205154B4

Abstract

Um ein Vogelperspektive-Bild zu erzeugen, erzeugt die vorliegende Offenbarung ein Vogelperspektive-Bild für den aktuellen Zeitpunkt durch Erzeugen einer Vielzahl von Bildern für einen aktuellen Zeitpunkt unter Verwendung einer Vielzahl von Kameras, die an einem Fahrzeug montiert sind, Erzeugen eines anfänglichen Vogelperspektive-Bilds mit einem Lochbereich für den aktuellen Zeitpunkt auf Grundlage der Vielzahl von Bildern, Bestimmen eines Zielbereichs, in welchem das Fahrzeug zum aktuellen Zeitpunkt in einem vorherigen Vogelperspektive-Bild für den vorherigen Zeitpunkt positioniert ist, auf Grundlage von Bewegungsinformationen über eine Bewegung des Fahrzeugs für einen Zeitraum ab einem vorherigen Zeitpunkt bis zum aktuellen Zeitpunkt und Füllen mindestens eines Abschnitts des Lochbereichs des anfänglichen Vogelperspektive-Bilds auf Grundlage des Zielbereichs.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die folgenden Ausführungsformen betreffen eine Technik zum Erzeugen eines Vogelperspektive-Bilds während der Fahrt eines Fahrzeugs.
Beschreibung des Stands der Technik
Durch den technischen Fortschritt in der Bildaufnahme und -verarbeitung sind jüngst hergestellte Fahrzeuge mit Kameras ausgerüstet und ein Vogelperspektive-System zum Assistieren eines Fahrers beim Fahren eines Fahrzeugs wird Benutzern oder Fahrzeugen bereitgestellt. Ein Vogelperspektive-System kann unter Verwendung von Bildern, die von einer Vielzahl von Kameras aufgenommen wurden, ein Vogelperspektive-Bild bzw. ein Draufsicht-Bild erzeugen. Ein Vogelperspektive-Bild kann einem Fahrer ein Bild bereitstellen, das einer Sicht eines Fahrzeugs aus der Luft entspricht, wodurch tote Winkel vor, hinter, links und rechts des Fahrzeugs vollständig beseitigt werden können.
ZUSAMMENFASSUNG DER ERFINDUNG
Eine Ausführungsform kann eine Vorrichtung und ein Verfahren zum Erzeugen eines Vogelperspektive-Bilds bereitstellen.
Eine weitere Ausführungsform kann eine Vorrichtung und ein Verfahren zum Erzeugen eines Vogelperspektive-Bilds bereitstellen, das den Boden des Bereichs zeigt, in dem ein Fahrzeug positioniert ist.
Gemäß einer Ausführungsform umfasst ein Verfahren zum Erzeugen eines Vogelperspektive-Bilds, das von einer elektronischen Einrichtung durchgeführt wird: Erzeugen einer Vielzahl von Bildern für einen aktuellen Zeitpunkt unter Verwendung einer Vielzahl von Kameras, die an einem Fahrzeug montiert sind; Erzeugen eines anfänglichen Vogelperspektive-Bilds für den aktuellen Zeitpunkt auf Grundlage der Vielzahl von Bildern, wobei das anfängliche Vogelperspektive-Bild einen Lochbereich aufweist; Erzeugen von Bewegungsinformationen über eine Bewegung des Fahrzeugs für einen Zeitraum ab einem vorherigen Zeitpunkt bis zu dem aktuellen Zeitpunkt; Bestimmen eines Zielbereichs, in welchem das Fahrzeug zum aktuellen Zeitpunkt in einem vorherigen Vogelperspektive-Bild für den vorherigen Zeitpunkt positioniert ist, auf Grundlage der Bewegungsinformationen; und Erzeugen eines Vogelperspektive-Bilds für den aktuellen Zeitpunkt durch Füllen mindestens eines Abschnitts des Lochbereichs des anfänglichen Vogelperspektive-Bilds auf Grundlage des Zielbereichs.
Der Lochbereich des anfänglichen Vogelperspektive-Bilds kann einen Bereich umfassen, in welchem das Fahrzeug zum aktuellen Zeitpunkt positioniert ist.
Der Lochbereich des anfänglichen Vogelperspektive-Bilds kann einem Bereich entsprechen, der außerhalb eines Sichtwinkels der Vielzahl von Kameras liegt.
Das Erzeugen der Bewegungsinformationen kann umfassen: Empfangen eines Lenkwinkels eines Lenkrads des Fahrzeugs und einer Geschwindigkeit des Fahrzeugs; Berechnen eines Drehwinkels eines Zielrads des Fahrzeugs und einer realen Fahrstrecke des Zielrads auf Grundlage des Lenkwinkels und der Geschwindigkeit; und Berechnen einer Zielfahrstrecke durch Umwandeln der realen Fahrstrecke anhand eines Maßstabs einer Bildebene einer Vogelperspektive, wobei die Bewegungsinformationen den Drehwinkel und die Zielfahrstrecke umfassen können.
Das Bestimmen des Zielbereichs auf Grundlage der Bewegungsinformationen kann umfassen: Berechnen einer Entfernung, die das Fahrzeug in einer horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, einer Entfernung, die das Fahrzeug in einer vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und eines Winkels, um den sich das Fahrzeug um einen Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage der Bewegungsinformationen; und Bestimmen eines Bereichs, in dem das Fahrzeug zum aktuellen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert ist, als Zielbereich auf Grundlage der berechneten Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der berechneten Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des berechneten Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht.
Das Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage der Bewegungsinformationen kann Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, gemäß dem Prinzip nach Ackerman-Jantoud auf Grundlage der Bewegungsinformationen umfassen.
Das Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage der Bewegungsinformationen kann umfassen: Berechnen eines Drehwinkels eines vorgegebenen virtuellen mittigen Rads auf Grundlage des Drehwinkels des Zielrads des Fahrzeugs; Bestimmen des Drehpunkts auf Grundlage einer Spurweite des Fahrzeugs, eines Radstands des Fahrzeugs und des Drehwinkels des mittigen Rads; Berechnen einer realen Fahrstrecke des mittigen Rads auf Grundlage der realen Fahrstrecke des Zielrads; und Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage des Drehpunkts und der realen Fahrstrecke des mittigen Rads.
Das Erzeugen des Vogelperspektive-Bilds für den aktuellen Zeitpunkt durch Füllen mindestens eines Abschnitts des Lochbereichs des anfänglichen Vogelperspektive-Bilds auf Grundlage des Zielbereichs kann umfassen: Hinzufügen eines Teilzielbereichs zu einem Fahrzeugbereichsbild, wobei der Teilzielbereich durch Ausschließen eines Bereichs, in dem das Fahrzeug zu dem vorherigen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert war, aus dem Zielbereich erhalten wird; Bestimmen eines Bereichs, in dem das Fahrzeug zu dem aktuellen Zeitpunkt positioniert ist, als Kopierbereich in dem Fahrzeugbereichsbild; und Erzeugen des Vogelperspektive-Bilds durch Kopieren des Kopierbereichs in mindestens einen Abschnitt des Lochbereichs des anfänglichen Vogelperspektive-Bilds.
Das Hinzufügen des Teilzielbereichs zu dem Fahrzeugbereichsbild kann umfassen: Berechnen eines kumulierten Drehwinkels des Fahrzeugs für einen Zeitraum ab einem Referenzzeitpunkt bis zu dem vorherigen Zeitpunkt; Erzeugen des Teilzielbereichs durch Ausschließen des Bereichs, in dem das Fahrzeug zu dem vorherigen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert war, aus dem Zielbereich; Drehen des Teilzielbereichs auf Grundlage des kumulierten Drehwinkels; und Hinzufügen des Teilzielbereichs zu dem Fahrzeugbereichsbild durch Verschieben des gedrehten Teilzielbereichs in die Mitte des Fahrzeugbereichsbilds.
Die elektronische Einrichtung kann in einem autonomen Fahrzeug oder einem Fahrzeug bereitgestellt sein, das Fahrerassistenzsysteme (Advanced Driver-Assistance Systems - ADAS) unterstützt.
Gemäß einer weiteren Ausführungsform umfasst eine elektronische Einrichtung zum Erzeugen eines Vogelperspektive-Bilds: einen Prozessor, der dazu eingerichtet ist, ein Programm zum Erzeugen eines Vogelperspektive-Bilds auszuführen; und einen Speicher, der dazu eingerichtet ist, das Programm zu speichern, wobei das Programm dazu eingerichtet ist, Folgendes durchzuführen: Erzeugen einer Vielzahl von Bildern für einen aktuellen Zeitpunkt unter Verwendung einer Vielzahl von Kameras, die an einem Fahrzeug montiert sind; Erzeugen eines anfänglichen Vogelperspektive-Bilds für den aktuellen Zeitpunkt auf Grundlage der Vielzahl von Bildern, wobei das anfängliche Vogelperspektive-Bild einen Lochbereich aufweist; Erzeugen von Bewegungsinformationen über eine Bewegung des Fahrzeugs für einen Zeitraum ab einem vorherigen Zeitpunkt bis zu dem aktuellen Zeitpunkt; Bestimmen eines Zielbereichs, in welchem das Fahrzeug zum aktuellen Zeitpunkt in einem vorherigen Vogelperspektive-Bild für den vorherigen Zeitpunkt positioniert ist, auf Grundlage der Bewegungsinformationen; und Erzeugen eines Vogelperspektive-Bilds für den aktuellen Zeitpunkt durch Füllen mindestens eines Abschnitts des Lochbereichs des anfänglichen Vogelperspektive-Bilds auf Grundlage des Zielbereichs.
Die elektronische Einrichtung kann ferner eine Vielzahl von Kameras umfassen, die dazu eingerichtet sind, die Vielzahl von Bildern zu erzeugen.
Das Erzeugen der Bewegungsinformationen kann umfassen: Empfangen eines Lenkwinkels eines Lenkrads des Fahrzeugs und einer Geschwindigkeit des Fahrzeugs; Berechnen eines Drehwinkels eines Zielrads des Fahrzeugs und einer realen Fahrstrecke des Zielrads auf Grundlage des Lenkwinkels und der Geschwindigkeit; und Berechnen einer Zielfahrstrecke durch Umwandeln der realen Fahrstrecke anhand eines Maßstabs einer Bildebene einer Vogelperspektive, wobei die Bewegungsinformationen den Drehwinkel und die Zielfahrstrecke umfassen können.
Das Bestimmen des Zielbereichs auf Grundlage der Bewegungsinformationen kann umfassen: Berechnen einer Entfernung, die das Fahrzeug in einer horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, einer Entfernung, die das Fahrzeug in einer vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und eines Winkels, um den sich das Fahrzeug um einen Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage der Bewegungsinformationen; und Bestimmen eines Bereichs, in dem das Fahrzeug zum aktuellen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert ist, als Zielbereich auf Grundlage der berechneten Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der berechneten Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des berechneten Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht.
Das Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage der Bewegungsinformationen kann umfassen: Berechnen eines Drehwinkels eines vorgegebenen virtuellen mittigen Rads auf Grundlage des Drehwinkels des Zielrads des Fahrzeugs; Bestimmen des Drehpunkts auf Grundlage einer Spurweite des Fahrzeugs, eines Radstands des Fahrzeugs und des Drehwinkels des mittigen Rads; Berechnen einer realen Fahrstrecke des mittigen Rads auf Grundlage der realen Fahrstrecke des Zielrads; und Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage des Drehpunkts und der realen Fahrstrecke des mittigen Rads.
Die elektronische Einrichtung kann in einem autonomen Fahrzeug oder einem Fahrzeug bereitgestellt sein, das Fahrerassistenzsysteme unterstützt.
Figurenliste

1 zeigt eine Vogelperspektive für ein Fahrzeug während der Fahrt gemäß einem Ausführungsbeispiel;
2 ist ein anfängliches Vogelperspektive-Bild, das einen Lochbereich aufweist, gemäß einem Ausführungsbeispiel;
3 ist eine Ansicht, die die Ausgestaltung einer elektronischen Einrichtung gemäß einem Ausführungsbeispiel zeigt;
4 ist ein Ablaufdiagramm eines Verfahrens zum Erzeugen eines Vogelperspektive-Bilds gemäß einem Ausführungsbeispiel;
5 ist ein anfängliches Vogelperspektive-Bild zu einem vorherigen Zeitpunkt und ein anfängliches Vogelperspektive-Bild zu einem aktuellen Zeitpunkt gemäß einem Ausführungsbeispiel;
6 ist ein Ablaufdiagramm eines Verfahrens zum Erzeugen von Bewegungsinformationen über die Bewegung eines Fahrzeugs ab einem vorherigen Zeitpunkt und bis zu einem aktuellen Zeitpunkt gemäß einem Ausführungsbeispiel;
7 zeigt einen Zielbereich, in dem ein Fahrzeug zu einem aktuellen Zeitpunkt positioniert ist und der in einem vorherigen Vogelperspektive-Bild bestimmt wurde, gemäß einem Ausführungsbeispiel;
8 ist ein Ablaufdiagramm eines Verfahrens zum Bestimmen eines Zielbereichs, in dem ein Fahrzeug zu einem aktuellen Zeitpunkt in einem vorherigen Vogelperspektive-Bild positioniert ist, auf Grundlage von Bewegungsinformationen gemäß einem Ausführungsbeispiel;
9 ist ein Ablaufdiagramm eines Verfahrens zum Berechnen einer Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, einer Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und eines Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage von Bewegungsinformationen gemäß einem Ausführungsbeispiel;
10 zeigt ein Verfahren zum Bestimmen des Drehpunkts auf Grundlage von Bewegungsinformationen gemäß einem Ausführungsbeispiel;
11 zeigt ein Verfahren zum Berechnen eines Winkels der Fahrzeugdrehung um den Drehpunkt unter Verwendung eines virtuellen mittigen Rads gemäß einem Ausführungsbeispiel;
12 zeigt ein Verfahren zum Berechnen einer Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage eines Winkels der Fahrzeugdrehung um den Drehpunkt gemäß einem Ausführungsbeispiel;
13 ist ein Ablaufdiagramm, das ein Verfahren zum Erzeugen eines Vogelperspektive-Bilds zu einem aktuellen Zeitpunkt durch Füllen mindestens eines Abschnitts eines Lochbereichs eines anfänglichen Vogelperspektive-Bilds auf Grundlage eines Zielbereichs gemäß einem Ausführungsbeispiel zeigt;
14. ist ein Ablaufdiagramm, das ein Verfahren zum Hinzufügen eines Teilzielbereichs zu einem Fahrzeugbereichsbild gemäß einem Ausführungsbeispiel zeigt, wobei der Teilzielbereich durch Ausschließen des Bereichs, in dem ein Fahrzeug zu einem vorherigen Zeitpunkt in einem vorherigen Vogelperspektive-Bild positioniert war, aus einem Zielbild erhalten wird;
15 zeigt eine Ansicht eines Drehens eines Teilzielbereichs entsprechend einem kumulierten Drehwinkel gemäß einem Ausführungsbeispiel;
16 zeigt ein Verfahren zum Verschieben eines gedrehten Teilzielbereichs in die Mitte eines Fahrzeugbildbereichs gemäß einem Ausführungsbeispiel;
17 zeigt ein Verfahren zum Erzeugen eines Vogelperspektive-Bilds zu einem aktuellen Zeitpunkt auf Grundlage eines in einem Fahrzeugbereichsbild bestimmten Kopierbereichs gemäß einem Ausführungsbeispiel;
18 ist ein Fahrzeugbereichsbild gemäß einem Ausführungsbeispiel; und
19 zeigt einen in einem Fahrzeugbereichsbild bestimmten Kopierbereich und ein Vogelperspektive-Bild, das unter Verwendung des Kopierbereichs erzeugt wurde, gemäß einem Ausführungsbeispiel.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN
AUSFÜHRUNGSFORMEN
Im Folgenden werden Ausführungsbeispiele unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. Die Ausführungsbeispiele können jedoch auf verschiedene Weise abgewandelt werden, der Schutzumfang der Anmeldung ist daher nicht auf die Ausführungsbeispiele beschränkt. Alle Abwandlungen, Äquivalente und Ersetzungen der Ausführungsbeispiele sind als von dem Schutzumfang umfasst zu verstehen.
In Ausführungsbeispielen verwendete Begriffe dienen lediglich der Beschreibung und sind nicht als die vorliegende Offenbarung beschränkend aufzufassen. Singularformen schließen Pluralformen ein, sofern aus dem Zusammenhang nicht eindeutig etwas Anderes hervorgeht. Es versteht sich ferner, dass die in dieser Beschreibung verwendeten Begriffe „umfassen“ oder „aufweisen“ das Vorhandensein der angegebenen Merkmale, Zahlen, Schritte, Vorgänge, Komponenten, Teile oder einer Kombination davon vorgeben, nicht jedoch das Vorhandensein oder Hinzufügen eines oder mehrerer weiterer Merkmale, Zahlen, Schritte, Vorgänge, Komponenten, Teile oder einer Kombination davon ausschließen.
Sofern nicht anders definiert, ist davon auszugehen, dass alle in der Beschreibung verwendeten Begriffe, einschließlich technischer und wissenschaftlicher Begriffe, die vom Fachmann verstandene Bedeutung aufweisen. Es versteht sich ferner, dass Begriffe, wie sie in gängigen Wörterbüchern definiert sind, so auszulegen sind, dass sie eine Bedeutung aufweisen, die mit ihrer Bedeutung im Zusammenhang des relevanten Stands der Technik übereinstimmt, und nicht in einem idealisierten oder übermäßig formalen Sinne interpretiert werden, es sei denn, dies wird vorliegend ausdrücklich so definiert.
Ferner tragen in der Beschreibung der beigefügten Zeichnungen gleiche Komponenten unabhängig von den Figurennummern gleiche Bezugszeichen, diese Komponenten werden nicht wiederholt beschrieben. Bei der Beschreibung der Ausführungsbeispiele wird auf ausführliche Beschreibungen bekannter Techniken verzichtet, um die Beschreibung von Ausführungsbeispielen nicht durch unnötige Details zu verschleiern.
Außerdem können in der folgenden Beschreibung der Komponenten von Ausführungsbeispielen die Begriffe „erste(r)“, „zweite(r)“, „A“, „B“, „(a)“ und „(b)“ verwendet werden. Diese Begriffe dienen lediglich zur Unterscheidung von Komponenten gegenüber anderen Komponenten, und das Wesen und die Reihenfolge der Komponenten sind nicht durch die Begriffe eingeschränkt. Wird eine Komponente als mit einer weiteren Komponente „verbunden“, „kombiniert“ oder „gekoppelt“ beschrieben, versteht es sich, dass die Komponente direkt oder mit einer anderen Komponente dazwischen mit der weiteren Komponente verbunden bzw. gekoppelt sein kann.
Eine Komponente, die die gleiche Funktion aufweist wie eine Komponente in einem Ausführungsbeispiel, wird in anderen Ausführungsbeispielen unter Verwendung desselben Namens beschrieben. Sofern keine gegenteilige Aussage getroffen wird, kann die Beschreibung eines Ausführungsbeispiels auf ein anderes Ausführungsbeispiel angewendet werden, und in einem wiederholten Abschnitt wird auf eine detaillierte Beschreibung verzichtet.
1 zeigt eine Vogelperspektive für ein Fahrzeug während der Fahrt gemäß einem Ausführungsbeispiel und 2 ist ein anfängliches Vogelperspektive-Bild, das einen Lochbereich aufweist, gemäß einem Ausführungsbeispiel.
Wenn ein Fahrzeug 110 während der Fahrt aus der Vogelperspektive betrachtet wird, können viele Informationen über die Umgebungssituation des Fahrzeugs 110 erhalten werden. Beispielsweise können die Positionsbeziehungen und die Geschwindigkeit von Fahrzeugen, Hindernissen usw. in der Nähe des Fahrzeugs 110 als Informationen erhalten werden.
Um das Fahrzeug aus einer Vogelperspektive zu beobachten, müsste eine Kamera, die ein Bild erzeugt, über dem Fahrzeug 110 positioniert sein, dieses Verfahren ist jedoch schwierig in die Tat umzusetzen. Demgemäß kann ein Verfahren zum Erzeugen eines Vogelperspektive-Bilds eines Fahrzeugs in Betracht gezogen werden, bei dem Bilder der Seitenbereiche des Fahrzeugs unter Verwendung von an dem Fahrzeug 110 montierten Kameras aufgenommen werden, die aufgenommenen Bilder in Vogelperspektive-Bilder umgewandelt werden und die Vogelperspektive-Bilder dann kombiniert werden. Das System, das einem Benutzer des Fahrzeugs 110 eine Vielzahl von Bildern oder ein Vogelperspektive-Bild bereitstellt, kann ein Rundumsicht-Überwachungssystem (AVM- bzw. Around View Monitoring-System) sein.
Ein anfängliches Vogelperspektive-Bild 200, das auf Grundlage von Bildern der Seitenbereiche des Fahrzeugs 110 erzeugt wird, wie in 2 gezeigt, zeigt jedoch einen Lochbereich 210 für den Bereich des Fahrzeugs 110 außerhalb der Sichtwinkel der Kameras. Der Lochbereich 210 ist ein Bereich ohne Informationen über Pixelwerte der entsprechenden Pixel des Bilds.
Eine durch den Lochbereich 210 in dem Vogelperspektive-Bild erzeugte Verfremdung ruft bei einem Benutzer das Gefühl hervor, dass nicht die tatsächliche Fahrumgebung betrachtet wird. Gemäß einem Aspekt kann als Verfahren zum Füllen des Lochbereichs 210 ein Verfahren zum Bestimmen eines Bereichs in einem vorherigen Vogelperspektive-Bild, der dem Lochbereich 210 entspricht, und Füllen des Lochbereichs 210 auf Grundlage des bestimmten Bereichs in Betracht gezogen werden. Das Verfahren zum Füllen des Lochbereichs 210 kann auf einer TVC-Technik beruhen (wobei TVC für Transparent Vehicle Chassis bzw. transparentes Fahrgestell steht). Die TVC-Technik kann das Gefühl der Verfremdung beseitigen, indem ein Bild des Lochbereichs 210 zu einem vorherigen Zeitpunkt rekonstruiert wird.
Wenn ein Vogelperspektive-Bild unter Verwendung der TVC-Technik erzeugt wird, wird in einem Bild die von einem Fahrzeug bedeckte Straßenoberfläche gezeigt. Außerdem kann ein Benutzer in einem Vogelperspektive-Bild Straßenmarkierungsinformationen wie eine Geschwindigkeitsbeschränkung oder eine Schulzone erkennen. Insbesondere kann ein Benutzer beim Einparken in Echtzeit die gesamte Parkflächenlinie erkennen und entsprechend einparken. Da ein Benutzer den Untergrund des Fahrzeugs sehen kann, tritt im Speziellen der Effekt auf, dass der Benutzer Informationen in einer Parkfläche, etwa eine Parkflächenlinie oder eine Parkflächenmarkierung, genau erkennen kann.
Ein Verfahren zum Erzeugen eines Vogelperspektive-Bilds durch Füllen eines Lochbereichs in einem anfänglichen Vogelperspektive-Bild ist nachstehend unter Bezugnahme auf 3 bis 19 ausführlich beschrieben.
3 ist eine Ansicht, die die Ausgestaltung einer elektronischen Einrichtung gemäß einem Ausführungsbeispiel zeigt.
Eine elektronische Einrichtung 300 gemäß einem Aspekt umfasst eine Kommunikationseinheit 310, einen Prozessor 320, einen Speicher 330 und eine Kamera 340. Die elektronische Einrichtung 300 kann in einem Fahrzeug eingebaut sein. Beispielsweise kann die elektronische Einrichtung 300 eine Einrichtung wie eine elektronische Steuereinheit (ECU - Electronic Control Unit) sein. In einem weiteren Beispiel kann die elektronische Einrichtung 300 eine unabhängige Einrichtung sein, die mit einer ECU verbunden ist.
Die Kommunikationseinheit 310 ist mit dem Prozessor 320, dem Speicher 330 und der Kamera 340 verbunden und überträgt/empfängt Daten. Die Kommunikationseinheit 310 kann mit einer anderen externen Einrichtung verbunden sein und Daten übertragen/empfangen. Im Folgenden kann der Ausdruck „A“ übertragen/empfangen auch „Informationen oder Daten, die A zeigen“ übertragen/empfangen bedeuten.
Die Kommunikationseinheit 310 kann ein Schaltkreis in der elektronischen Einrichtung 300 sein. Die Kommunikationseinheit 300 kann zum Beispiel einen internen Bus und einen externen Bus umfassen. In einem weiteren Beispiel kann die Kommunikationseinheit 310 ein Element sein, das die elektronische Einrichtung 300 mit einer externen Einrichtung verbindet. Die Kommunikationseinheit 310 kann eine Schnittstelle sein. Die Kommunikationseinheit 310 kann Daten von einer externen Einrichtung empfangen und Daten an den Prozessor 320 und den Speicher 330 übertragen.
Der Prozessor 320 verarbeitet von der Kommunikationseinheit 310 empfangene Daten und in dem Speicher 330 gespeicherte Daten. Ein „Prozessor“ kann eine Datenverarbeitungseinrichtung sein, die als Hardware umgesetzt ist, die eine Schaltung mit einer physischen Struktur zum Durchführen gewünschter Vorgänge aufweist. Die gewünschten Vorgänge können zum Beispiel in einem Programm enthaltene Anweisungen oder Code umfassen. Eine als Hardware umgesetzte Datenverarbeitungseinrichtung kann zum Beispiel einen Mikroprozessor, eine zentrale Verarbeitungseinheit, einen Prozessorkern, einen Mehrkernprozessor, einen Multiprozessor, eine anwendungsspezifische integrierte Schaltung (ASIC) oder eine feldprogrammierbare Gatteranordnung (FPGA) umfassen.
Der Prozessor 320 führt in einem Speicher (z. B. dem Speicher 330) gespeicherten computerlesbaren Code (z. B. Software) und von dem Prozessor 320 bewirkte Anweisungen aus.
Der Speicher 330 speichert von der Kommunikationseinheit 310 empfangene Daten und von dem Prozessor 320 verarbeitete Daten. In dem Speicher 330 können zum Beispiel Programme (oder Applikationen, Software) gespeichert sein. Die zu speichernden Programme können ein Satz von Syntaxen sein, die derart codiert sind, dass sie ein Vogelperspektive-Bild erzeugen können, und von dem Prozessor 320 ausgeführt werden können.
Gemäß einem Aspekt kann der Speicher 330 einen oder mehrere flüchtige Speicher, nichtflüchtige Speicher, Direktzugriffsspeicher (RAMs), Flash-Speicher, Festplattenlaufwerke und optische Plattenlaufwerke umfassen.
In den Speichern 330 ist ein Satz Befehle (z. B. Software) gespeichert, der die elektronische Einrichtung 300 betreibt. Der Satz Befehle, der die elektronische Einrichtung 300 betreibt, wird von dem Prozessor 320 ausgeführt.
Die Kamera 340 stellt durch Aufnehmen einer Szene ein Bild bereit. Die Kamera 340 kann eine Vielzahl von Kameras umfassen. Die Vielzahl von Kameras können zum Beispiel jeweils an der vorderen, hinteren, linken und rechten Seite eines Fahrzeugs angeordnet sein.
Die Kommunikationseinheit 310, der Prozessor 320, der Speicher 330 und die Kamera 340 werden nachstehend unter Bezugnahme auf 4 bis 19 ausführlich beschrieben.
4 ist ein Ablaufdiagramm eines Verfahrens zum Erzeugen eines Vogelperspektive-Bilds gemäß einem Ausführungsbeispiel.
Die folgenden Schritte 410 bis 450 werden von der elektronischen Einrichtung 300 unter Bezugnahme auf 3 durchgeführt.
In Schritt 410 erzeugt die elektronische Einrichtung unter Verwendung einer Vielzahl von Kameras, die an einem Fahrzeug montiert sind, eine Vielzahl von Bildern für einen aktuellen Zeitpunkt. Jede der Kameras kann kontinuierlich Bilder erzeugen. Beispielsweise kann ein zuletzt von einer ersten Kamera erzeugtes Bild ein Bild für einen aktuellen Zeitpunkt sein und ein vor dem zuletzt erzeugten Bild erzeugtes Bild ein Bild für einen vorherigen Zeitpunkt sein. Die Aufnahmezyklen der Vielzahl von Kameras sind synchronisiert, wodurch eine Vielzahl von Bildern für den gleichen Zeitpunkt erzeugt werden kann.
In Schritt 420 erzeugt die elektronische Einrichtung 300 ein anfängliches Vogelperspektive-Bild für einen aktuellen Zeitpunkt auf Grundlage einer Vielzahl von Bildern. Die Vielzahl von Bildern umfasst keine Bildinformationen über das Fahrzeug selbst, das anfängliche Vogelperspektive-Bild weist somit einen Lochbereich auf, der dem Fahrzeugbereich entspricht. Anders ausgedrückt umfasst der Lochbereich den Bereich, in dem das Fahrzeug zum aktuellen Zeitpunkt positioniert ist. Der Lochbereich entspricht einem Bereich außerhalb der Sichtwinkel der Kameras. Der Fahrzeugbereich ist in dem anfänglichen Vogelperspektive-Bild immer der gleiche, der Lochbereich in dem anfänglichen Vogelperspektive-Bild kann daher als Bereich von Interesse (Region of Interest bzw. ROI) eingerichtet sein.
Eine Vielzahl von durch die Kameras aufgenommenen Bildern ist zu kombinieren, um ein Vogelperspektive-Bild zu erzeugen. Die Koordinatensysteme der Bilder sind anzugleichen, um die Vielzahl von Bildern zu kombinieren. Anders ausgedrückt können Vogelperspektive-Teilbilder erzeugt werden, indem jedes Bild der Vielzahl von Bildern in ein gemeinsames Koordinatensystem umgewandelt wird, das im Voraus für das Fahrzeug vorgegeben ist, und es kann ein anfängliches Vogelperspektive-Bild erzeugt werden, indem die Vogelperspektive-Teilbilder kombiniert werden. Vogelperspektive-Teilbilder können zum Beispiel durch Verzerren der Bilder gebildet werden.
Gemäß einem Aspekt sind die Vielzahl von Kameras periodisch oder nach Stoßeinwirkung zu kalibrieren, damit ein genaues Vogelperspektive-Bild erzeugt wird. Um die Vielzahl von Kameras zu kalibrieren, können ohne Einschränkung verschiedene Verfahren verwendet werden.
Unter Bezugnahme auf 5 sind ein zu einem vorherigen Zeitpunkt erzeugtes Vogelperspektive-Bild 510 und ein zu einem aktuellen Zeitpunkt erzeugtes anfängliches Vogelperspektive-Bild 520 gemäß einem Ausführungsbeispiel gezeigt. Der vorherige Zeitpunkt ist der Zeitpunkt, zu dem das zuletzt erzeugte Vogelperspektive-Bild 510 erzeugt wurde (im Folgenden wird das zuletzt erzeugte Vogelperspektive-Bild als „vorheriges Vogelperspektive-Bild“ bezeichnet), oder der Zeitpunkt, zu dem eine Vielzahl von Bildern erzeugt wurde, die das vorherige Vogelperspektive-Bild 510 bilden. Das vorherige Vogelperspektive-Bild 510 umfasst einen Bereich 512, in dem das Fahrzeug zum vorherigen Zeitpunkt positioniert war. Der Bereich 521 kann ein Bereich sein, der zum aktuellen Zeitpunkt mit Informationen gefüllt ist. Das anfängliche Vogelperspektive-Bild 520 umfasst einen Bereich 522, in dem das Fahrzeug zum aktuellen Zeitpunkt positioniert ist. Der Bereich 522 kann ein Bereich sein, der zum aktuellen Zeitpunkt nicht mit Informationen gefüllt ist.
Gemäß einem Aspekt ist es wichtig, bei der Anwendung einer TVC-Technik die hardwaremäßig effiziente Speicherverwendung zu berücksichtigen. Ein Vogelperspektive-Bild verwendet vergleichsweise viel Speicherplatz. Wenn sowohl ein vorheriges Vogelperspektive-Bild als auch ein aktuelles Vogelperspektive-Bild gespeichert wird, ist die Effizienz der Speicherverwendung gering und die Ausführungsgeschwindigkeit von Programmen ist ebenfalls gering. Demgemäß kann die Ausführungseffizienz von Programmen gesteigert werden, indem der Speicherbereich, in dem ein vorheriges Vogelperspektive-Bild gespeichert wird, und der Speicherbereich, in dem ein aktuelles Vogelperspektive-Bild gespeichert wird, gemeinschaftlich ist.
In Schritt 430 erzeugt die elektronische Einrichtung 300 Bewegungsinformationen des Fahrzeugs ab dem vorherigen Zeitpunkt bis zum aktuellen Zeitpunkt. Gemäß einem Aspekt können ein Lenkwinkel des Lenkrads des Fahrzeugs und eine Geschwindigkeit des Fahrzeugs ab dem vorherigen Zeitpunkt bis zum aktuellen Zeitpunkt erhalten werden, und Bewegungsinformationen des Fahrzeugs können anhand eines Maßstabs einer Vogelperspektive-Bildebene auf Grundlage des Lenkwinkels und der Geschwindigkeit erzeugt werden. Ein Verfahren zum Erzeugen von Bewegungsinformationen eines Fahrzeugs wird unter Bezugnahme auf 6 ausführlich beschrieben.
Gemäß einem weiteren Aspekt können die Drehwinkel eines Rads eines Fahrzeugs und die realen Fahrstrecken der Räder ab einem vorherigen Zeitpunkt bis zu einem aktuellen Zeitpunkt als Bewegungsinformationen bereitgestellt werden. Beispielsweise können der Drehwinkel und die reale Fahrstrecke eines Rads durch mindestens einen an dem Rad angebrachten Sensor direkt gemessen werden.
In Schritt 440 bestimmt die elektronische Einrichtung 300 einen Zielbereich, in welchem das Fahrzeug zum aktuellen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert ist, auf Grundlage von Bewegungsinformationen. Unter Bezugnahme auf 7 wird ein Zielbereich 710, in welchem das Fahrzeug zum aktuellen Zeitpunkt in dem vorherigen Vogelperspektive-Bild 510 positioniert ist, auf Grundlage von Bewegungsinformationen bestimmt. Zum Beispiel kann ein Bereich, der um einen Bewegungsbetrag, der Bewegungsinformationen entspricht, von dem Bereich 512, in welchem das Fahrzeug zum vorherigen Zeitpunkt in dem vorherigen Vogelperspektive-Bild 510 positioniert war, entfernt ist, als Zielbereich 710 bestimmt werden.
Das Verfahren zum Bestimmen eines Zielbereichs wird unter Bezugnahme auf 8 bis 12 ausführlich beschrieben.
In Schritt 450 erzeugt die elektronische Einrichtung 300 ein Vogelperspektive-Bild für den aktuellen Zeitpunkt durch Füllen mindestens eines Abschnitts des Lochbereichs eines anfänglichen Vogelperspektive-Bilds auf Grundlage des Zielbereichs. Das Verfahren zum Erzeugen eines Vogelperspektive-Bilds für den aktuellen Zeitpunkt wird nachstehend unter Bezugnahme auf 13 bis 19 ausführlich beschrieben.
6 ist ein Ablaufdiagramm eines Verfahrens zum Erzeugen von Bewegungsinformationen über die Bewegung eines Fahrzeugs ab einem vorherigen Zeitpunkt bis zu einem aktuellen Zeitpunkt gemäß einem Ausführungsbeispiel.
Gemäß einem Aspekt und unter Bezugnahme auf 4 kann der Schritt 430 die folgenden Schritte 610 bis 630 umfassen.
In Schritt 610 empfängt die elektronische Einrichtung 300 einen Lenkwinkel eines Lenkrads des Fahrzeugs und eine Geschwindigkeit des Fahrzeugs. Zum Beispiel kann ein Controller Area Network (CAN) in dem Fahrzeug eingebaut sein und der Lenkwinkel des Lenkrads des Fahrzeugs und die Geschwindigkeit des Fahrzeugs können durch eine CAN-Einrichtung erzeugt werden. Die elektronische Einrichtung 300 kann den Lenkwinkel des Lenkrads des Fahrzeugs und die Geschwindigkeit des Fahrzeugs von der CAN-Einrichtung empfangen.
In Schritt 620 berechnet die elektronische Einrichtung 300 den Drehwinkel eines Zielrads und die reale Fahrstrecke des Zielrads des Fahrzeugs auf Grundlage des Lenkwinkels des Lenkrads und der Geschwindigkeit des Fahrzeugs.
Wenn beispielsweise die Räder, die durch das Lenkrad eingeschlagen werden, die Vorderräder sind, können die Drehwinkel der Vorderräder, die Zielräder sind, durch Multiplizieren des Lenkwinkels des Lenkrads mit einem vorbestimmten Koeffizienten berechnet werden.
Zum Beispiel kann die reale Fahrstrecke eines Zielrads oder des Fahrzeugs für eine Zielzeitdauer auf Grundlage der Geschwindigkeit und der zeitlichen Differenz zwischen dem vorherigen Zeitpunkt und dem aktuellen Zeitpunkt berechnet werden (im Folgenden wird die zeitliche Differenz zwischen dem vorherigen Zeitpunkt und dem aktuellen Zeitpunkt als „Zielzeitdauer“ bezeichnet).
In Schritt 630 berechnet die elektronische Einrichtung 300 eine Zielfahrstrecke durch Umwandeln der realen Fahrstrecke des Zielrads anhand des Maßstabs der Vogelperspektive-Bildebene. Die Zielfahrstrecke kann beispielsweise durch Multiplizieren der realen Fahrstrecke mit einem vorgegebenen Wert berechnet werden. Wenn zum Beispiel Im einer Länge von 100 Pixeln in einer Vogelperspektive-Bildebene entspricht und die reale Fahrstrecke 50cm beträgt, kann die berechnete Zielfahrstrecke der Länge von 50 Pixeln entsprechen.
Die Bewegungsinformationen umfassen den erzeugten Drehwinkel des Zielrads und die Zielfahrstrecke. Anders ausgedrückt sind die Bewegungsinformationen Bewegungsinformationen des Fahrzeugs in der Vogelperspektive-Bildebene ab dem vorherigen Zeitpunkt bis zum aktuellen Zeitpunkt.
8 ist ein Ablaufdiagramm eines Verfahrens zum Bestimmen eines Zielbereichs, in dem ein Fahrzeug zu einem aktuellen Zeitpunkt in einem vorherigen Vogelperspektive-Bild positioniert ist, auf Grundlage von Bewegungsinformationen gemäß einem Ausführungsbeispiel.
Gemäß einem Aspekt und unter Bezugnahme auf 4 kann der Schritt 440 die folgenden Schritte 810 und 820 umfassen.
In Schritt 810 berechnet die elektronische Einrichtung 300 die Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, die Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und den Winkel, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage von Bewegungsinformationen.
Gemäß einem Aspekt kann das Prinzip nach Ackerman-Jantoud dazu verwendet werden, die Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, die Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und den Winkel, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage von Bewegungsinformationen zu berechnen.
Das Verfahren zum Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, ist nachfolgend unter Bezugnahme auf 9 bis 12 ausführlich beschrieben.
In Schritt 820 bestimmt die elektronische Einrichtung 300 den Bereich, in dem das Fahrzeug zum aktuellen Zeitpunkt in der vorherigen Vogelperspektive-Bildebene positioniert ist, als Zielbereich auf Grundlage der Entfernung, die das Fahrzeug in der horizontalen Richtung zurücklegt (erste Entfernung), der Entfernung, die das Fahrzeug in der vertikalen Richtung zurücklegt (zweite Entfernung), und des Winkels, um den sich das Fahrzeug um den Drehpunkt dreht (Zielwinkel).
Unter Bezugnahme auf das Beispiel aus 7 wird der Bereich 710, in dem das Fahrzeug zum aktuellen Zeitpunkt in dem vorherigen Vogelperspektive-Bild 510 positioniert ist, auf Grundlage der Entfernung, die das Fahrzeug in der horizontalen Richtung zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt dreht, als Zielbereich bestimmt. Der Bereich des Fahrzeugs nach Bewegung des Fahrzeugmittelpunkts um die erste Entfernung in der horizontalen Richtung, Bewegung um die zweite Entfernung in der vertikalen Richtung und Drehung um den Zielwinkel um den Drehpunkt kann der Bereich 710 sein, in dem das Fahrzeug zum aktuellen Zeitpunkt positioniert ist.
9 ist ein Ablaufdiagramm eines Verfahrens zum Berechnen einer Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, einer Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und eines Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage von Bewegungsinformationen gemäß einem Ausführungsbeispiel.
Gemäß einem Aspekt und unter Bezugnahme auf 8 kann der Schritt 810 die folgenden Schritte 910 bis 940 umfassen.
In Schritt 910 berechnet die elektronische Einrichtung 300 den Drehwinkel eines vorgegebenen virtuellen mittigen Rads auf Grundlage des Drehwinkels eines Zielrads des Fahrzeugs.
Das mittige Rad kann beispielsweise im Voraus so vorgegeben sein, dass es auf der Welle angeordnet ist, welche die Vorderräder in gerader Linie miteinander verbindet. Insbesondere kann das mittige Rad in der Mitte der Welle angeordnet sein, es ist jedoch nicht auf dieses Ausführungsbeispiel beschränkt. In einem weiteren Beispiel kann das mittige Rad im Voraus als das linke Vorderrad oder das rechte Vorderrad vorgegeben sein.
Wenn ein mittiges Rad im Voraus so vorgegeben ist, dass es an dem Mittelpunkt zwischen den Vorderrädern positioniert ist, kann der Drehwinkel des mittigen Rads als Durchschnitt der Drehwinkel der Vorderräder berechnet werden.
In Schritt 920 bestimmt die elektronische Einrichtung 300 den Drehpunkt auf Grundlage der Spurweite des Fahrzeugs, des Radstands und des Drehwinkels des mittigen Rads.
In dem in 10 gezeigten Beispiel wird der Drehpunkt 1030 auf Grundlage der Spurweite 1004 des Fahrzeugs 100, des Radstands 1005 und des Drehwinkels θ_M des mittigen Rads 1003 bestimmt. Das mittige Rad 1003 kann im Voraus auf Grundlage von Zielrädern 1001 und 1002 vorgegeben sein. Der Drehwinkel θ_M des mittigen Rads kann ein mit ausgerichtetem mittigen Rad gedrehter Winkel sein. Als Drehpunkt 1030 wird der Schnittpunkt einer gedachten geraden Linie 1020, die als Verlängerung der Mittelachse des gedrehten mittigen Rads 1003 verläuft, und einer gedachten geraden Linie 1010 bestimmt, die als Verlängerung der Hinterräder-Welle verläuft. Die Entfernung zwischen dem Punkt, an dem sich das mittige Rad 1003 und die hintere Welle der Hinterräder 1001 und 1002 treffen, (z. B. dem Mittelpunkt der hinteren Welle) und dem Drehpunkt 1030 kann eine Referenzlänge 1040 sein.
In Schritt 930 berechnet die elektronische Einrichtung 300 die reale Fahrstrecke des mittigen Rads auf Grundlage der realen Fahrstrecke eines Zielrads.
Wenn ein mittiges Rad im Voraus so vorgegeben ist, dass es an dem Mittelpunkt zwischen Vorderrädern positioniert ist, kann die reale Fahrstrecke des mittigen Rads als Durchschnitt der realen Fahrstrecken der Vorderräder berechnet werden.
In Schritt 940 berechnet die elektronische Einrichtung die Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, die Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und den Winkel, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage des Drehpunkts und der realen Fahrstrecke des mittigen Rads.
Unter Bezugnahme auf das in 11 gezeigte Beispiel bewegt sich das mittige Rad 1003 des Fahrzeugs 1000 zum vorherigen Zeitpunkt um die reale Fahrstrecke um den Drehpunkt, wodurch die Position des mittigen Rads 1103 des Fahrzeugs 1110 zum aktuellen Zeitpunkt bestimmt werden kann. Der Bewegungswinkel de des mittigen Rads 1103 kann auf Grundlage der Position des mittigen Rads 1103 bestimmt werden.
Die in 11 gezeigte Positionsbeziehung zwischen dem Fahrzeug 1000 zum vorherigen Zeitpunkt und dem Fahrzeug 1110 zum aktuellen Zeitpunkt ist mit Bezug auf den Fahrzeugmittelpunkt in 12 gezeigt. Die Mittenposition 1210 des Fahrzeugs 1000 und die Mittenposition 1220 des Fahrzeugs 1110 werden bestimmt. Der Winkel θ_c zwischen der hinteren Welle und der Mittenposition 1210 um den Drehpunkt 1030 wird bestimmt, und der Winkel de zwischen der Mittenposition 1210 und der Mittenposition 1220 um den Drehpunkt 1030 wird bestimmt. Der Winkel de zwischen der Mittenposition 1210 und der Mittenposition 1220 ist gleich dem in 11 gezeigten Bewegungswinkel de. Es werden die Fahrstrecke in horizontaler Richtung 1230 und die Fahrstrecke in vertikaler Richtung 1240 zwischen der Mittenposition 1210 und der Mittenposition 1220 bestimmt.
Der Bereich 710, in dem das Fahrzeug zum aktuellen Zeitpunkt in dem vorherigen Vogelperspektive-Bild 510 positioniert ist, wird auf Grundlage der Entfernung 1230, die das Fahrzeug 1110 in der horizontalen Richtung zurücklegt, der Entfernung 1240, die das Fahrzeug 1110 in der vertikalen Richtung zurücklegt, und des Winkels de, um den sich das Fahrzeug 1110 um den Drehpunkt 1030 dreht, als Zielbereich bestimmt.
13 ist ein Ablaufdiagramm, das ein Verfahren zum Erzeugen eines Vogelperspektive-Bilds zu einem aktuellen Zeitpunkt durch Füllen mindestens eines Abschnitts eines Lochbereichs eines anfänglichen Vogelperspektive-Bilds auf Grundlage eines Zielbereichs gemäß einem Ausführungsbeispiel zeigt.
Gemäß einem Aspekt und unter Bezugnahme auf 4 kann der Schritt 450 die folgenden Schritte 1310 bis 1330 umfassen.
In Schritt 1310 fügt die elektronische Einrichtung 300 einen Teilzielbereich zu einem Fahrzeugbereichsbild hinzu, wobei der Teilzielbereich durch Ausschließen eines Bereichs, in dem das Fahrzeug zum vorherigen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert war, aus dem Zielbereich erhalten wird. Das Fahrzeugbereichsbild kann ein Bild sein, zu dem nur die Bereiche hinzugefügt werden, die zum jeweiligen Zeitpunkt dem Fahrzeug entsprechen. Der Mittelpunkt des Fahrzeugbereichsbilds kann sich im Laufe der Zeit ändern. Beispielsweise kann sich der Mittelpunkt des Fahrzeugbereichsbilds für den vorherigen Zeitpunkt auf Grundlage der Fahrstrecke 1230 in horizontaler Richtung und der Fahrstrecke 1240 in vertikaler Richtung verschieben. Demgemäß kann der Fahrzeugbereich zum aktuellen Zeitpunkt in der Mitte des Fahrzeugbereichsbilds positioniert sein.
Gemäß einem Aspekt kann ein Bereich zum Speichern des Fahrzeugbereichsbilds im Voraus in dem Speicher 330 vorgegeben sein.
Das Verfahren zum Hinzufügen eines Teilzielbereichs zu einem Fahrzeugbereichsbild wird nachfolgend unter Bezugnahme auf 14 bis 16 ausführlich beschrieben.
In Schritt 1320 bestimmt die elektronische Einrichtung einen Bereich, in dem das Fahrzeug zum aktuellen Zeitpunkt positioniert ist, als Kopierbereich. Unter Bezugnahme auf das in 17 gezeigte Beispiel wird der Bereich, in dem das Fahrzeug zum aktuellen Zeitpunkt in einem Fahrzeugbereichsbild 1600 positioniert ist, als Kopierbereich 1710 bestimmt.
In Schritt 1330 erzeugt die elektronische Einrichtung 300 durch Kopieren des Kopierbereichs in mindestens einen Abschnitt des Lochbereichs eines anfänglichen Vogelperspektive-Bilds ein Vogelperspektive-Bild. Unter Bezugnahme auf das in 17 gezeigte Beispiel wird der Kopierbereich 1710 in mindestens einen Abschnitt des Lochbereichs 522 des anfänglichen Vogelperspektive-Bilds 520 kopiert, wodurch ein Vogelperspektive-Bild für den aktuellen Zeitpunkt erzeugt wird.
14. ist ein Ablaufdiagramm, das ein Verfahren zum Hinzufügen eines Teilzielbereichs zu einem Fahrzeugbereichsbild gemäß einem Ausführungsbeispiel zeigt, wobei der Teilzielbereich durch Ausschließen des Bereichs, in dem ein Fahrzeug zu einem vorherigen Zeitpunkt in einem vorherigen Vogelperspektive-Bild positioniert war, aus einem Zielbild erhalten wird.
Gemäß einem Aspekt und unter Bezugnahme auf 13 kann der Schritt 1310 die folgenden Schritte 1410 bis 1440 umfassen.
In Schritt 1410 berechnet die elektronische Einrichtung 300 den kumulierten Drehwinkel ab einem Referenzzeitpunkt bis zum vorherigen Zeitpunkt. Der Referenzzeitpunkt kann zum Beispiel ein Anfangszeitpunkt sein, zu dem das Fahrzeugbereichsbild erstmals erzeugt wurde. Wenn ein erster Drehwinkel des Fahrzeugs zwischen einem ersten Zeitpunkt und einem zweiten Zeitpunkt berechnet wird, ein zweiter Drehwinkel des Fahrzeugs zwischen dem zweiten Zeitpunkt und einem dritten Zeitpunkt berechnet wird, der Referenzzeitpunkt der erste Zeitpunkt ist und der vorherige Zeitpunkt der dritte Zeitpunkt ist, kann der kumulierte Drehwinkel als Summe des ersten Drehwinkels und des zweiten Drehwinkels berechnet werden.
In Schritt 1420 erzeugt die elektronische Einrichtung 300 einen Teilzielbereich, in dem das Gebiet, in dem das Fahrzeug zum vorherigen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert war, aus dem Zielbereich ausgenommen ist.
Unter Bezugnahme auf das in 15 gezeigte Beispiel wird ein Teilzielbereich 1520 erzeugt, in dem ein Fahrzeugbereich 1510, in welchem das Fahrzeug zum vorherigen Zeitpunkt in dem vorherigen Vogelperspektive-Bild 510 positioniert war, aus dem Zielbereich 710 ausgenommen ist. Zwar ist die Figur so gezeigt, als ob keine Informationen über den Fahrzeugbereich 1510 vorliegen, der Bereich 1510 des vorherigen Vogelperspektive-Bilds 510 kann jedoch im Voraus auf Grundlage des Fahrzeugbereichsbilds zum vorherigen Zeitpunkt gefüllt worden sein. Da das Fahrzeugbereichsbild zum aktuellen Zeitpunkt bereits Informationen über den Bereich, in dem das Fahrzeug zum vorherigen Zeitpunkt positioniert war, enthalten kann, kann demgemäß der Bereich, in dem das Fahrzeug zum vorherigen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert war, aus dem Zielbereich ausgeschlossen werden, um die zu verarbeitende Datenmenge zu verringern.
In Schritt 1430 dreht die elektronische Einrichtung 300 den Teilzielbereich auf Grundlage des kumulierten Drehwinkels des Fahrzeugs. Der Teilzielbereich kann beispielsweise entsprechend dem kumulierten Drehwinkel gedreht werden.
Unter Bezugnahme auf das in 15 gezeigte Beispiel wird der Teilzielbereich 1520 entsprechend dem kumulierten Drehwinkel θ_acc um den Mittelpunkt des Fahrzeugbereichsbilds 1530 für den vorherigen Zeitpunkt gedreht.
In Schritt 1440 fügt die elektronische Einrichtung 300 den gedrehten Teilzielbereich zu dem Fahrzeugbereichsbild hinzu. Der Mittelpunkt des Fahrzeugbereichsbilds mit dem dazu hinzugefügten Teilzielbereich kann an den Mittelpunkt des Teilzielbilds verschoben werden. Das Fahrzeugbereichsbild mit dem dazu hinzugefügten Teilzielbereich für den aktuellen Zeitpunkt kann ein für den aktuellen Zeitpunkt erzeugtes Bild sein.
Unter Bezugnahme auf das in 16 gezeigte Beispiel wird durch Hinzufügen des gedrehten Teilzielbereichs 1520 zu dem Fahrzeugbereichsbild 1530 für den vorherigen Zeitpunkt ein vorläufiges Fahrzeugbereichsbild erzeugt. Der Mittelpunkt des vorläufigen Fahrzeugbereichsbilds wird an den Mittelpunkt das Teilzielbereichs 1520 verschoben, wodurch das Fahrzeugbereichsbild 1600 für den aktuellen Zeitpunkt erzeugt wird.
Nach Schritt 1440 können die vorstehend unter Bezugnahme auf 13 beschriebenen Schritte 1320 und 1330 durchgeführt werden.
Unter Bezugnahme auf das in 17 gezeigte Beispiel wird durch Schritt 1320 der Bereich, in dem das Fahrzeug zum aktuellen Zeitpunkt positioniert ist, als Kopierbereich 1710 in einem Fahrzeugbereichsbild 1600 bestimmt. Der Kopierbereich 1710 kann den Teilzielbereich 1520 umfassen. Die nicht in dem Teilzielbereich 1520 des Kopierbereichs 1710 enthaltenen Bereiche können Bereiche sein, die vor dem aktuellen Zeitpunkt kopiert wurden.
Durch Schritt 1330 wird ein Vogelperspektive-Bild durch Kopieren des Kopierbereichs 1710 in mindestens einen Abschnitt des Lochbereichs 522 des anfänglichen Vogelperspektive-Bilds 520 erzeugt.
18 ist ein Fahrzeugbereichsbild gemäß einem Ausführungsbeispiel.
Das Fahrzeugbereichsbild 1800 kann ein Bild sein, das durch Hinzufügen von Teilzielbereichen erhalten wird, die ab dem Anfangszeitpunkt bis zum aktuellen Zeitpunkt kontinuierlich erzeugt wurden. Anders ausgedrückt kann das Fahrzeugbereichsbild 1800 ein Bild des Bodenbereichs sein, in den sich das Fahrzeug bewegt hat.
19 zeigt einen in einem Fahrzeugbereichsbild bestimmten Kopierbereich und ein Vogelperspektive-Bild, das unter Verwendung des Kopierbereichs erzeugt wurde, gemäß einem Ausführungsbeispiel.
Der Bereich, in dem das Fahrzeug zum aktuellen Zeitpunkt positioniert ist, wird als Kopierbereich 1910 in dem Fahrzeugbereichsbild 1800 bestimmt. Ein Vogelperspektive-Bild wird durch Kopieren des Kopierbereichs 1910 in mindestens einen Abschnitt des Lochbereichs 210 des anfänglichen Vogelperspektive-Bilds 200 erzeugt.
Das Verfahren gemäß einer Ausführungsform kann in einem Programm umgesetzt sein, das durch verschiedene Computer ausgeführt werden kann, und kann auf computerlesbaren Medien aufgezeichnet sein. Die computerlesbaren Medien können Programmbefehle, Datendateien und Datenstrukturen einzeln oder kombiniert umfassen. Die auf den Medien aufgezeichneten Programmbefehle können solche sein, die speziell für die vorliegende Erfindung entworfen und eingerichtet wurden, oder solche sein, die dem Fachmann auf dem Gebiet der Computersoftware zugänglich und bekannt sind. Die computerlesbaren Aufzeichnungsmedien umfassen magnetische Medien wie Festplatten, Disketten und magnetische Medien wie ein Magnetband, optische Medien wie CD-ROMs und DVDs, magnetooptische Medien wie „Floptical“-Disketten und Hardwareeinrichtungen, die speziell dazu eingerichtet sind, Programmbefehle zu speichern und auszuführen, wie ROM, RAM und Flash-Speicher. Die Programmbefehle umfassen nicht nur von einem Compiler übersetzten Code in Maschinensprache, sondern auch Code in höheren Programmiersprachen, der von einem Computer unter Verwendung eines Interpreters ausgeführt werden kann, usw. Die Hardwareeinrichtung kann dazu eingerichtet sein, als ein oder mehrere Softwaremodule betrieben zu werden, um die Vorgänge der vorliegenden Erfindung durchzuführen, und umgekehrt.
Software kann Computerprogramme, Code, Anweisungen oder eine Kombination einer beliebigen Anzahl davon umfassen, und eine Prozessoreinrichtung kann dazu eingerichtet sein, auf gewünschte Weise betrieben zu werden, oder Prozessoren können einzeln oder zusammenwirkend eingerichtet sein. Software und/oder Daten können dauerhaft oder vorübergehend auf allen Arten von Maschinen, Komponenten, physischen Einrichtungen, virtuellen Geräten, Computerspeichermedien oder - einrichtungen oder Signalwellen verkörpert sein, die zu übertragen sind, um von Verarbeitungseinrichtungen analysiert zu werden oder um Verarbeitungseinrichtungen Befehle oder Daten bereitzustellen. Software kann auf Computersysteme verteilt sein, die über ein Netzwerk verbunden sind, und auf die verteilte Weise gespeichert oder ausgeführt werden. Software und Daten können auf einem oder mehreren computerlesbaren Aufzeichnungsmedien aufgezeichnet sein.
Eine Vorrichtung und ein Verfahren zum Erzeugen eines Vogelperspektive-Bilds können bereitgestellt werden.
Eine Vorrichtung und ein Verfahren zum Erzeugen eines Vogelperspektive-Bilds, das den Boden des Gebiets unter einem Fahrzeug zeigt, können bereitgestellt werden.
Zwar wurden Ausführungsbeispiele unter Bezugnahme auf die beschränkten Zeichnungen beschrieben, dem Fachmann sind jedoch verschiedene technische Änderungen und Abwandlungen auf Grundlage der vorstehenden Beschreibung möglich. Geeignete Ergebnisse können zum Beispiel selbst dann erzielt werden, wenn die beschriebenen Techniken in einer von dem beschriebenen Verfahren abweichenden Reihenfolge ausgeführt werden und/oder wenn Komponenten wie das beschriebene System, die beschriebene Struktur, die beschriebene Einrichtung und die beschriebene Schaltung auf eine von der Beschreibung abweichende Weise kombiniert oder verknüpft werden oder durch andere Komponenten oder Äquivalente ersetzt werden.
Daher werden andere Umsetzungen, andere Ausführungsformen und Äquivalente zu den Ansprüchen von den folgenden Ansprüchen umfasst.

Claims

Verfahren zum Erzeugen eines Vogelperspektive-Bilds, durchgeführt durch eine elektronische Einrichtung, wobei das Verfahren umfasst: Erzeugen einer Vielzahl von Bildern für einen aktuellen Zeitpunkt unter Verwendung einer Vielzahl von Kameras, die an einem Fahrzeug montiert sind; Erzeugen eines anfänglichen Vogelperspektive-Bilds für den aktuellen Zeitpunkt auf Grundlage der Vielzahl von Bildern, wobei das anfängliche Vogelperspektive-Bild einen Lochbereich aufweist; Erzeugen von Bewegungsinformationen über eine Bewegung des Fahrzeugs für einen Zeitraum ab einem vorherigen Zeitpunkt bis zu dem aktuellen Zeitpunkt; Bestimmen eines Zielbereichs, in welchem das Fahrzeug zum aktuellen Zeitpunkt in einem vorherigen Vogelperspektive-Bild für den vorherigen Zeitpunkt positioniert ist, auf Grundlage der Bewegungsinformationen; und Erzeugen eines Vogelperspektive-Bilds für den aktuellen Zeitpunkt durch Füllen mindestens eines Abschnitts des Lochbereichs des anfänglichen Vogelperspektive-Bilds auf Grundlage des Zielbereichs.
Verfahren nach Anspruch 1, wobei der Lochbereich des anfänglichen Vogelperspektive-Bilds einen Bereich umfasst, in welchem das Fahrzeug zum aktuellen Zeitpunkt positioniert ist.
Verfahren nach Anspruch 1, wobei der Lochbereich des anfänglichen Vogelperspektive-Bilds einem Bereich entspricht, der außerhalb eines Sichtwinkels der Vielzahl von Kameras liegt.
Verfahren nach Anspruch 1, wobei das Erzeugen der Bewegungsinformationen umfasst: Empfangen eines Lenkwinkels eines Lenkrads des Fahrzeugs und einer Geschwindigkeit des Fahrzeugs; Berechnen eines Drehwinkels eines Zielrads des Fahrzeugs und einer realen Fahrstrecke des Zielrads auf Grundlage des Lenkwinkels und der Geschwindigkeit; und Berechnen einer Zielfahrstrecke durch Umwandeln der realen Fahrstrecke anhand eines Maßstabs einer Bildebene einer Vogelperspektive, wobei die Bewegungsinformationen den Drehwinkel und die Zielfahrstrecke umfassen.
Verfahren nach Anspruch 4, wobei das Bestimmen des Zielbereichs auf Grundlage der Bewegungsinformationen umfasst: Berechnen einer Entfernung, die das Fahrzeug in einer horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, einer Entfernung, die das Fahrzeug in einer vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und eines Winkels, um den sich das Fahrzeug um einen Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage der Bewegungsinformationen; und Bestimmen eines Bereichs, in dem das Fahrzeug zum aktuellen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert ist, als Zielbereich auf Grundlage der berechneten Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der berechneten Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des berechneten Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht.
Verfahren nach Anspruch 5, wobei das Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage der Bewegungsinformationen ein Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, gemäß dem Prinzip nach Ackerman-Jantoud auf Grundlage der Bewegungsinformationen umfasst.
Verfahren nach Anspruch 5, wobei das Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage der Bewegungsinformationen umfasst: Berechnen eines Drehwinkels eines vorgegebenen virtuellen mittigen Rads auf Grundlage des Drehwinkels des Zielrads des Fahrzeugs; Bestimmen des Drehpunkts auf Grundlage einer Spurweite des Fahrzeugs, eines Radstands des Fahrzeugs und des Drehwinkels des mittigen Rads; Berechnen einer realen Fahrstrecke des mittigen Rads auf Grundlage der realen Fahrstrecke des Zielrads; und Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage des Drehpunkts und der realen Fahrstrecke des mittigen Rads.
Verfahren nach Anspruch 1, wobei das Erzeugen des Vogelperspektive-Bilds für den aktuellen Zeitpunkt durch Füllen mindestens eines Abschnitts des Lochbereichs des anfänglichen Vogelperspektive-Bilds auf Grundlage des Zielbereichs umfasst: Hinzufügen eines Teilzielbereichs zu einem Fahrzeugbereichsbild, wobei der Teilzielbereich durch Ausschließen eines Bereichs, in dem das Fahrzeug zu dem vorherigen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert war, aus dem Zielbereich erhalten wird; Bestimmen eines Bereichs, in dem das Fahrzeug zu dem aktuellen Zeitpunkt positioniert ist, als Kopierbereich in dem Fahrzeugbereichsbild ist; und Erzeugen des Vogelperspektive-Bilds durch Kopieren des Kopierbereichs in mindestens einen Abschnitt des Lochbereichs des anfänglichen Vogelperspektive-Bilds.
Verfahren nach Anspruch 8, wobei das Hinzufügen des Teilzielbereichs zu dem Fahrzeugbereichsbild umfasst: Berechnen eines kumulierten Drehwinkels des Fahrzeugs für einen Zeitraum ab einem Referenzzeitpunkt bis zu dem vorherigen Zeitpunkt; Erzeugen des Teilzielbereichs durch Ausschließen des Bereichs, in dem das Fahrzeug zu dem vorherigen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert war, aus dem Zielbereich; Drehen des Teilzielbereichs auf Grundlage des kumulierten Drehwinkels; und Hinzufügen des gedrehten Teilzielbereichs zu dem Fahrzeugbereichsbild.
Verfahren nach Anspruch 1, wobei die elektronische Einrichtung in einem autonomen Fahrzeug oder einem Fahrzeug bereitgestellt ist, das Fahrerassistenzsysteme unterstützt.
Nichtflüchtiges computerlesbares Speichermedium, auf dem Anweisungen gespeichert sind, die bei der Ausführung durch einen Prozessor bewirken, dass der Prozessor das Verfahren nach Anspruch 1 durchführt.
Elektronische Einrichtung zum Erzeugen eines Vogelperspektive-Bilds, wobei die elektronische Einrichtung umfasst: einen Prozessor, der dazu eingerichtet ist, ein Programm zum Erzeugen eines Vogelperspektive-Bilds auszuführen; und einen Speicher, der dazu eingerichtet ist, das Programm zu speichern, wobei das Programm dazu eingerichtet ist, durchzuführen: Erzeugen einer Vielzahl von Bildern für einen aktuellen Zeitpunkt unter Verwendung einer Vielzahl von Kameras, die an einem Fahrzeug montiert sind; Erzeugen eines anfänglichen Vogelperspektive-Bilds für den aktuellen Zeitpunkt auf Grundlage der Vielzahl von Bildern, wobei das anfängliche Vogelperspektive-Bild einen Lochbereich aufweist; Erzeugen von Bewegungsinformationen über eine Bewegung des Fahrzeugs für einen Zeitraum ab einem vorherigen Zeitpunkt bis zu dem aktuellen Zeitpunkt; Bestimmen eines Zielbereichs, in welchem das Fahrzeug zum aktuellen Zeitpunkt in einem vorherigen Vogelperspektive-Bild für den vorherigen Zeitpunkt positioniert ist, auf Grundlage der Bewegungsinformationen; und Erzeugen eines Vogelperspektive-Bilds für den aktuellen Zeitpunkt durch Füllen mindestens eines Abschnitts des Lochbereichs des anfänglichen Vogelperspektive-Bilds auf Grundlage des Zielbereichs.
Elektronische Einrichtung nach Anspruch 12, ferner umfassend: die Vielzahl von Kameras, die dazu eingerichtet sind, die Vielzahl von Bildern zu erzeugen.
Elektronische Einrichtung nach Anspruch 12, wobei das Erzeugen der Bewegungsinformationen umfasst: Empfangen eines Lenkwinkels eines Lenkrads des Fahrzeugs und einer Geschwindigkeit des Fahrzeugs; Berechnen eines Drehwinkels eines Zielrads des Fahrzeugs und einer realen Fahrstrecke des Zielrads auf Grundlage des Lenkwinkels und der Geschwindigkeit; und Berechnen einer Zielfahrstrecke durch Umwandeln der realen Fahrstrecke anhand eines Maßstabs einer Bildebene einer Vogelperspektive, wobei die Bewegungsinformationen den Drehwinkel und die Zielfahrstrecke umfassen.
Elektronische Einrichtung nach Anspruch 14, wobei das Bestimmen des Zielbereichs auf Grundlage der Bewegungsinformationen umfasst: Berechnen einer Entfernung, die das Fahrzeug in einer horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, einer Entfernung, die das Fahrzeug in einer vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und eines Winkels, um den sich das Fahrzeug um einen Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage der Bewegungsinformationen; und Bestimmen eines Bereichs, in dem das Fahrzeug zum aktuellen Zeitpunkt in dem vorherigen Vogelperspektive-Bild positioniert ist, als Zielbereich auf Grundlage der berechneten Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der berechneten Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des berechneten Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht.
Elektronische Einrichtung nach Anspruch 15, wobei das Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage der Bewegungsinformationen umfasst: Berechnen eines Drehwinkels eines vorgegebenen virtuellen mittigen Rads auf Grundlage des Drehwinkels des Zielrads des Fahrzeugs; Bestimmen des Drehpunkts auf Grundlage einer Spurweite des Fahrzeugs, eines Radstands des Fahrzeugs und des Drehwinkels des mittigen Rads; Berechnen einer realen Fahrstrecke des mittigen Rads auf Grundlage der realen Fahrstrecke des Zielrads; und Berechnen der Entfernung, die das Fahrzeug in der horizontalen Richtung in der Bildebene der Vogelperspektive zurücklegt, der Entfernung, die das Fahrzeug in der vertikalen Richtung in der Bildebene der Vogelperspektive zurücklegt, und des Winkels, um den sich das Fahrzeug um den Drehpunkt in der Bildebene der Vogelperspektive dreht, auf Grundlage des Drehpunkts und der realen Fahrstrecke des mittigen Rads.
Elektronische Einrichtung nach Anspruch 12, wobei die elektronische Einrichtung in einem autonomen Fahrzeug oder einem Fahrzeug bereitgestellt ist, das Fahrerassistenzsysteme unterstützt.