DE102019112175A1

DE102019112175A1 - Verzerrungskorrektur für fahrzeug-surround-view-kamera-projektionen

Info

Publication number: DE102019112175A1
Application number: DE102019112175.2A
Authority: DE
Inventors: David Michael Herman; Nunzio DeCia; David Joseph Orris; Stephen Jay Orris Jr.
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-05-11
Filing date: 2019-05-09
Publication date: 2019-11-14
Also published as: US20190349571A1; CN110475107A

Abstract

Diese Offenbarung stellt eine Verzerrungskorrektur für Fahrzeug-Surround-View-Kamera-Projektionen bereit. Es werden ein Verfahren und eine Vorrichtung für Verzerrungskorrektur für Fahrzeug-Surround-View-Kamera-Projektionen offenbart. Ein beispielhaftes Fahrzeug beinhaltet Kameras, um Bilder einer Umgebung um das Fahrzeug aufzunehmen, und einen Prozessor. Der Prozessor erzeugt unter Verwendung der Bilder ein zusammengesetztes Bild eines Bereichs um das Fahrzeug und erzeugt eine Tiefenkarte, die räumliche Beziehungen zwischen dem Fahrzeug und Objekten um das Fahrzeug definiert. Der Prozessor erzeugt außerdem unter Verwendung der Tiefenkarte eine Projektionsfläche. Zusätzlich dazu präsentiert der Prozessor eine Schnittstelle zum Erzeugen eines Ansichtsbildes auf Grundlage des auf die Projektionsfläche projizierten zusammengesetzten Bildes.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft im Allgemeinen ein Kamerasystem eines Fahrzeugs und insbesondere Verzerrungskorrektur für Fahrzeug-Surround-View-Kamera-Projektionen.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge beinhalten Kamerasysteme, die um das Fahrzeug aufgenommene Bilder zusammensetzen, um ein pseudo-dreidimensionales Bild des Bereichs um das Fahrzeug zu bilden. Um diese Ansicht zu erstellen, projizieren diese Kamerasysteme die zusammengesetzten Bilder auf eine Projektionsfläche, die annimmt, dass die Fläche um das Fahrzeug eine unendliche Ebene ist. Wenn sich jedoch ein Objekt mit einer Grenze dieser Projektionsfläche schneidet, wird das Objekt in dem pseudo-dreidimensionalen Bild merklich verzerrt. In derartigen Szenarios ist es für Betreiber schwierig, nützliche Informationen aus den pseudo-dreidimensionalen Bildern zu erhalten.
KURZDARSTELLUNG
Die beigefügten Patentansprüche definieren diese Anmeldung. Die vorliegende Offenbarung fasst Aspekte der Ausführungsformen zusammen und sollte nicht zum Einschränken der Patentansprüche verwendet werden. Andere Umsetzungen werden gemäß den hierin beschriebenen Techniken in Betracht gezogen, wie für den Durchschnittsfachmann bei der Durchsicht der folgenden Zeichnungen und detaillierten Beschreibung ersichtlich wird, und diese Umsetzungen sollen innerhalb des Umfangs dieser Anmeldung liegen.
Beispielhafte Ausführungen werden für Verzerrungskorrektur für Fahrzeug-Surround-View-Kamera-Projektionen offenbart. Ein beispielhaftes Fahrzeug beinhaltet Kameras, um Bilder einer Umgebung um das Fahrzeug aufzunehmen, und einen Prozessor. Der Prozessor erzeugt unter Verwendung der Bilder ein zusammengesetztes Bild eines Bereichs um das Fahrzeug und erzeugt eine Tiefenkarte, die räumliche Beziehungen zwischen dem Fahrzeug und Objekten um das Fahrzeug definiert. Der Prozessor erzeugt außerdem unter Verwendung der Tiefenkarte eine Projektionsfläche. Zusätzlich dazu präsentiert der Prozessor eine Schnittstelle zum Erzeugen eines Ansichtsbildes auf Grundlage des auf die Projektionsfläche projizierten zusammengesetzten Bildes.
Ein beispielhaftes Verfahren zum Erzeugen eines Bildes eines Bereichs um ein Fahrzeug aus einer Perspektive, die nicht direkt durch Kameras des Fahrzeugs beobachtet werden kann, beinhaltet Aufnehmen von Bildern eines Umfangs um das Fahrzeug mit den Kameras. Das Verfahren beinhaltet außerdem unter Verwendung der Bilder (a) Erzeugen eines zusammengesetzten Bildes eines Bereichs um das Fahrzeug und (b) Erzeugen einer Tiefenkarte, die räumliche Beziehungen zwischen dem Fahrzeug und Objekten um das Fahrzeug definiert. Das Verfahren beinhaltet Erzeugen einer Projektionsfläche unter Verwendung der Tiefenkarte. Zusätzlich dazu beinhaltet das Verfahren Präsentieren einer Schnittstelle zum Erzeugen eines Ansichtsbildes auf Grundlage des auf die Projektionsfläche projizierten zusammengesetzten Bildes.
Ein beispielhaftes Fahrzeug beinhaltet einen ersten Satz von Kameras zum Aufnehmen von ersten Bildern eines Umfangs um das Fahrzeug und einen zweiten Satz von Kameras zum Aufnehmen von zweiten Bildern eines Umfangs um das Fahrzeug. Das beispielhafte Fahrzeug beinhaltet außerdem einen Prozessor. Der Prozessor erzeugt unter Verwendung der ersten Bilder ein zusammengesetztes Bild eines Bereichs um das Fahrzeug und erzeugt unter Verwendung der zweiten Bilder eine Tiefenkarte, die räumliche Beziehungen zwischen dem Fahrzeug und Objekten um das Fahrzeug definiert. Der Prozessor erzeugt dann unter Verwendung der Tiefenkarte eine Projektionsfläche. Der Prozessor präsentiert außerdem eine Schnittstelle zum Erzeugen eines Ansichtsbildes auf Grundlage des auf die Projektionsfläche projizierten zusammengesetzten Bildes.
Figurenliste
Zum besseren Verständnis der Erfindung kann auf Ausführungsformen Bezug genommen werden, die in den folgenden Zeichnungen gezeigt sind. Die Komponenten in den Zeichnungen sind nicht zwingend maßstabsgetreu und zugehörige Elemente können weggelassen sein oder in einigen Fällen können Proportionen vergrößert dargestellt sein, um so die hierin beschriebenen neuartigen Merkmale hervorzuheben und eindeutig zu veranschaulichen. Darüber hinaus können Systemkomponenten verschiedenartig angeordnet sein, wie im Fach bekannt. Ferner sind in den Zeichnungen entsprechende Teile in den verschiedenen Ansichten durch gleiche Bezugszeichen gekennzeichnet.

1 veranschaulicht ein Fahrzeug, das gemäß den Lehren dieser Offenbarung betrieben wird.
2A veranschaulicht eine virtuelle Kamera zum Erzeugen eines isometrischen Bildes eines dreidimensionalen Bereichs um das Fahrzeug aus 1 unter Verwendung einer Standard-Proj ektionsfläche.
2B veranschaulicht eine Darstellung der Standard-Projektionsfläche aus 2A.
3A veranschaulicht eine virtuelle Kamera zum Erzeugen des isometrischen Bildes eines dreidimensionalen Bereichs um das Fahrzeug aus 1 unter Verwendung einer geänderten Projektionsfläche, wobei Abschnitte des Bereichs um das Fahrzeug verdunkelt sind, um von der Kamera nicht aufgenommene Bereiche darzustellen.
3B veranschaulicht eine virtuelle Kamera zum Erzeugen des isometrischen Bildes eines dreidimensionalen Bereichs um das Fahrzeug aus 1 unter Verwendung einer geänderten Projektionsfläche, wobei Abschnitte des Bereichs um das Fahrzeug modelliert sind, um von der Kamera nicht aufgenommene Bereiche darzustellen.
3C veranschaulicht eine Darstellung einer beispielhaften geänderten Projektionsfläche aus den 3A und 3B.
4 veranschaulicht ein Beispiel eines verzerrten dreidimensionalen Bildes.
5 veranschaulicht ein Beispiel eines korrigierten dreidimensionalen Bildes.
6 ist ein Blockdiagramm der elektronischen Komponenten des Fahrzeugs von 1.
7 ist ein Ablaufdiagramm eines Verfahrens zum Erzeugen des korrigierten dreidimensionalen Bildes, das durch die elektronischen Komponenten aus 6 umgesetzt werden kann.

DETAILLIERTE BESCHREIBUNG BEISPIELHAFTER AUSFÜHRUNGSFORMEN
Wenngleich die Erfindung in verschiedenen Formen ausgeführt sein kann, sind in den Zeichnungen einige beispielhafte und nicht einschränkende Ausführungsformen gezeigt und nachfolgend beschrieben, wobei es sich versteht, dass die vorliegende Offenbarung als eine Erläuterung der Erfindung anhand von Beispielen anzusehen ist und damit nicht beabsichtigt wird, die Erfindung auf die konkreten veranschaulichten Ausführungsformen einzuschränken.
Fahrzeuge beinhalten zunehmend Kamerasysteme, die eine virtuelle isometrische Ansicht oder Draufsicht des dreidimensionalen Bereichs um das Fahrzeug erzeugen. Diese Bilder werden an eine Rechenvorrichtung (z. B. Fahrzeuganzeige und Infotainment-Motorsteuermodul (engine control module - ECM), einen Desktop-Computer, eine mobile Vorrichtung usw.) gesendet, um dem Benutzer das Überwachen des Bereichs um das Fahrzeug zu ermöglichen. Der Benutzer kann häufig mit dem Bild interagieren, um einen Darstellungsbereich einer virtuellen Kamera zu bewegen, um das Fahrzeug und dessen Umgebung in verschiedenen Winkeln zu betrachten. Diese Kamerasysteme erzeugen jedoch diese isometrischen Bilder auf Grundlage der Eigenschaften des dreidimensionalen Bereichs um das Fahrzeug, indem sie durch Kameras (z. B. ein 360-Grad-Kamerasystem, an der Peripherie des Fahrzeugs positionierten Ultraweitwinkelkameras usw.) aufgenommene Bilder verwenden, diese zusammensetzen und das zusammengesetzte Bild auf eine Projektionsfläche projizieren. Diese „Standard“-Projektionsfläche basiert auf Raytracing-Modellierung von den Kameras nach außen in Richtung einer unendlich flachen Bodenebene und anschließendem Projizieren einer dreidimensionalen Fläche, um die Kamera-Pixelstrahlen in einer „angemessenen“ Entfernung von dem virtuellen Fahrzeug in der dreidimensionalen Ansicht zu schneiden. Demzufolge ist diese Projektionsfläche wie eine glatte Schale geformt, die in der Nähe der virtuellen Position des Fahrzeugs abflacht. Die Projektionsfläche definiert die Form eines virtuellen Objekts, das das Fahrzeug umgibt und auf das die Pixel der Bilder abgebildet werden. Demzufolge stellt die Projektionsfläche eine virtuelle Grenze um das Fahrzeug dar. Durch Projizieren des Bildes auf die schalenartige Projektionsfläche werden Verzerrungen erzeugt, wobei jedoch diese Verzerrungen kontrollierbar sind, wenn Objekte relativ weit von dem Fahrzeug entfernt sind. Wenn sich jedoch ein Objekt der Projektionsfläche nähert oder diese schneidet (z. B. die virtuelle Grenze überschreitet), wird das Objekt zunehmend verzerrt, was schließlich dazu führt, dass die erzeugten isometrischen Bilder nicht nachvollziehbar sind. Da dieses Fahrzeugmerkmal häufig in Parksituationen verwendet wird, in denen erwartet wird, dass sich benachbarte Fahrzeuge oder Objekte in der Nähe oder innerhalb der Projektionsfläche befinden, weisen die isometrischen Ansichten der dreidimensionalen Szene häufig merkliche Verzerrungen des Bereichs um das Fahrzeug auf, die dem Benutzer angezeigt werden.
Wie hierin beschrieben, erzeugt das Fahrzeug ein Bild eines Bereichs um das Fahrzeug aus einer Perspektive, die sich von der individuellen Kameraperspektive des Fahrzeugs unterscheidet, (z. B. einer isometrischen Perspektive über dem Fahrzeug mit variierenden Drehungen und Neigungen, Draufsicht usw.), welche häufig visuelle Informationen von mehreren an dem Fahrzeug angebrachten Kameras beinhaltet. Das Fahrzeug verwendet Sensoren, die Punktwolkeninformationen erzeugen, (z. B. Ultraschallsensoren, Radar, Lidar usw.) und/oder Kameras, die zweidimensionale Bilder erzeugen, (z. B. 360-Grad-Kamerasysteme, Ultraweitwinkelkameras, panoptische Kameras, Standardkameras, einzelne Kamerabilder von einem photometrischen Stereo-Kamerasystem usw.) und/oder Kameras, die Tiefenkarten erzeugen, (z. B. Flugzeitkamera, photometrisches Stereo-Kamerasystem), um die dreidimensionalen Strukturen um das Fahrzeug zu erfassen und zu definieren (manchmal werden die Tiefenkarten als „Disparitätenkarten“ bezeichnet). In einigen Fällen erzeugt das Fahrzeug unter Verwendung der Sensor- und/oder Bilddaten und eines trainierten neuronalen Netzwerks eine Voxel-Tiefenkarte oder eine Pixel-Tiefenkarte. In einigen derartigen Beispielen werden die auf den Bildern basierenden Tiefeninformationen mit den Tiefeninformationen von den Sensoren kombiniert (manchmal als „Sensorfusion“ bezeichnet). In einigen Beispielen erkennt das Fahrzeug die dreidimensionalen Strukturen um das Fahrzeug unter Verwendung der Sensor- und/oder Bilddaten und bestimmt Abmessungen und Ausrichtungen jeder erfassten Struktur auf Grundlage einer Datenbank bekannter Strukturen. In einigen Beispielen verwendet das Fahrzeug, während das Fahrzeug in Bewegung ist (z. B. beim anfänglichen Parken), eine Bewegungsstrukturtechnik, um die dreidimensionale Struktur und/oder die Tiefe von Objekten in der Nähe des Fahrzeugs zu bestimmen. Wenn die erfassten Objekte die Projektionsfläche schneiden, ändert das Fahrzeug die Projektionsfläche, um den Abschnitt des Objekts, der die Projektionsfläche durchquert, zu berücksichtigen. Um die „näheren“ Objekte zu berücksichtigen, ändert das System der aktuellen Offenbarung die radiale Entfernung der Projektionsfläche um das Fahrzeug entsprechend der Position des Objekts, um die Verzerrung zu reduzieren. Die Änderung bewirkt, dass die Projektionsfläche einen verringerten Radius zum Ursprung der Projektionsfläche (z. B. dem Mittelpunkt des Fahrzeugs) aufweist, der in etwa die Form des Abschnitts des Objekts aufweist, der die Projektionsfläche durchquert. Auf diese Weise wird das isometrische Ansichtsbild, wenn das zusammengesetzte Bild auf eine geänderte Projektionsfläche projiziert wird, nicht verzerrt, da das Raytracing der virtuellen Kamera im Wesentlichen mit dem Raytracing der an dem Fahrzeug angebrachten Kamera, die das Bild aufgenommen hat, identisch ist. Das Fahrzeug verwendet eine virtuelle Kamera, um einem Benutzer das Betrachten des Bereichs um das Fahrzeug (z. B. unterschiedlicher Abschnitte des auf die Projektionsfläche projizierten zusammengesetzten Bildes) zu ermöglichen. Das durch die Perspektive der virtuellen Kamera erzeugte Bild wird an eine interne Fahrzeuganzeige oder eine entfernte Vorrichtung, wie etwa eine mobile Vorrichtung (z. B. ein Smartphone, eine Smartwatch usw.) und/oder eine Rechenvorrichtung (z. B. einen Desktop-Computer, einen Laptop-Computer, einen Tablet-Computer usw.), übertragen.
1 veranschaulicht ein Fahrzeug 100, das gemäß den Lehren dieser Offenbarung betrieben wird. Bei dem Fahrzeug 100 kann es sich um ein standardmäßiges benzinbetriebenes Fahrzeug, ein Hybridfahrzeug, ein Elektrofahrzeug, ein Brennstoffzellenfahrzeug und/oder einen Fahrzeugtyp mit beliebiger anderer Antriebsart handeln. Das Fahrzeug 100 kann eine beliebige Art von Kraftfahrzeug, wie etwa ein Auto, ein Truck, ein Sattelschlepper oder ein Motorrad usw., sein. Zusätzlich zieht das Fahrzeug 100 in einigen Beispielen einen Anhänger (der, wie nachstehend erörtert, als Teil des Fahrzeugs 100 behandelt werden kann). Das Fahrzeug 100 beinhaltet Teile, die mit Mobilität in Verbindung stehen, wie etwa einen Antriebsstrang mit einem Motor, einem Getriebe, einer Aufhängung, einer Antriebswelle und/oder Räder usw. Das Fahrzeug 100 kann nichtautonom, teilautonom (z. B. werden einige routinemäßige Bewegungsfunktionen durch das Fahrzeug 100 gesteuert) oder autonom (z. B. werden Bewegungsfunktionen ohne direkte Fahrereingabe durch das Fahrzeug 100 gesteuert) sein. Das Fahrzeug kann während der Bildaufnahme stationär sein oder sich in Bewegung befinden. In dem veranschaulichten Beispiel beinhaltet das Fahrzeug 100 ein bordeigenes Kommunikationsmodul (on-board communication module - OBCM) 102, Sensoren 104, Kameras 106 und eine Infotainment-Haupteinheit (infotainment head unit - IHU) 108.
Das bordeigene Kommunikationsmodul 102 beinhaltet drahtgebundene und drahtlose Netzwerkschnittstellen, um eine Kommunikation mit externen Netzwerken zu ermöglichen. Das bordeigene Kommunikationsmodul 102 beinhaltet Hardware (z. B. Prozessoren, Arbeitsspeicher, Datenspeicher, Antenne usw.) und Software, um die drahtgebundenen oder drahtlosen Netzwerkschnittstellen zu steuern. In dem veranschaulichten Beispiel beinhaltet das bordeigene Kommunikationsmodul 102 eine oder mehrere Kommunikationssteuerungen für standardbasierte Netzwerke (z. B. das Global System for Mobile Communications (GSM), Universal Mobile Telecommunications System (UMTS), Long Term Evolution (LTE), Code Division Multiple Access (CDMA), WiMAX (IEEE 802.16m); ein drahtloses lokales Netzwerk (einschließlich IEEE 802.11 a/b/g/n/ac oder andere) und Wireless Gigabit (IEEE 802.11ad) usw.). In manchen Beispielen beinhaltet das bordeigene Kommunikationsmodul 102 eine drahtgebundene oder drahtlose Schnittstelle (z. B. einen Hilfsanschluss, einen Universal-Serial-Bus-(USB-)Anschluss, einen Bluetooth®-Drahtlosknoten usw.), um sich mit einer mobilen Vorrichtung (z. B. einem Smartphone, einer Smartwatch, einem Tablet usw.) kommunikativ zu koppeln. In einigen Beispielen ist das bordeigene Kommunikationsmodul 102 über die drahtgebundene oder drahtlose Verbindung kommunikativ an die mobile Vorrichtung gekoppelt. Zusätzlich dazu kann das Fahrzeug 100 in einigen Beispielen über die gekoppelte mobile Vorrichtung mit dem externen Netzwerk kommunizieren. Bei dem externen Netzwerk/den externen Netzwerken kann es sich um Folgendes handeln: ein öffentliches Netzwerk, wie etwa das Internet; ein privates Netzwerk, wie etwa ein Intranet; oder Kombinationen davon, und es kann/sie können eine Vielzahl von Netzwerkprotokollen nutzen, die derzeit zur Verfügung stehen oder später entwickelt werden, einschließlich unter anderem TCP/IP-basierter Netzwerkprotokolle.
Das bordeigene Kommunikationsmodul 102 wird verwendet, um Daten an eine mobile Vorrichtung und/oder eine Rechenvorrichtung zu senden und von dieser zu empfangen. Die mobile Vorrichtung und/oder Rechenvorrichtung interagiert dann mit dem Fahrzeug über eine Anwendung oder eine Schnittstelle, auf die über einen Webbrowser zugegriffen wird. In einigen Beispielen ist das bordeigene Kommunikationsmodul 102 über das externe Netzwerk (z. B. General Motors® OnStar® und/oder Ford® MyPass® usw.) mit einem externen Server kommunikativ gekoppelt, um die Informationen zwischen dem bordeigenen Kommunikationsmodul 102 und der Rechenvorrichtung zu übermitteln. Zum Beispiel kann das bordeigene Kommunikationsmodul 102 auf Grundlage einer Ansicht einer virtuellen Kamera erzeugte Bilder an den externen Server senden und kann von dem externen Server Befehle empfangen, die Ansicht der virtuellen Kamera zu ändern.
Die Sensoren 104 sind um die Außenseite des Fahrzeugs 100 positioniert, um die Umgebung um das Fahrzeug 100 zu beobachten und zu messen. In dem veranschaulichten Beispiel beinhalten die Sensoren 104 Bereichserfassungssensoren, die Entfernungen von Objekten in Bezug auf das Fahrzeug 100 messen. Die Bereichserfassungssensoren beinhalten Ultraschallsensoren, Infrarotsensoren, Kurzstreckenradar, Langstreckenradar und/oder Lidar.
Die Kameras 106 nehmen Bilder des Bereichs um das Fahrzeug 100 auf. Wie nachstehend beschrieben, werden diese Bilder verwendet, um eine Tiefenkarte zu erzeugen, um die Projektionsfläche (z. B. die Projektionsfläche 202 aus den nachstehenden 3A und 3B) zu ändern und um zusammengesetzt zu werden, um auf die Projektionsfläche projiziert zu werden. In einigen Beispielen sind die Kameras 106 an Seitenspiegeln oder der B-Säule und der Vorderseite des Fahrzeugs 100 in der Nähe des Kennzeichenhalters und der Rückseite des Fahrzeugs 100 in der Nähe des Kennzeichenhalters montiert. Die Kameras 106 können eines oder mehrere von 360-Grad-Kamerasystemen, Ultraweitwinkelkameras, panoptischen Kameras, Standardkameras und/oder einem photometrischen Stereo-Kamerasystem sein. Die Kameras 106 können Farb- oder Monochromkameras sein. In einigen Beispielen beinhalten die Kameras 106 unterschiedliche Arten von Kameras, um unterschiedliche Informationen zu dem Bereich um das Fahrzeug bereitzustellen. Zum Beispiel können die Kameras 106 Ultraweitwinkelkameras beinhalten, um verwendet zu werden, um Bilder aufzunehmen, um auf die Projektionsfläche projiziert zu werden und photometrische Stereo-Kameras, um Bilder aufzunehmen, um eine Tiefenkarte zu erzeugen. Die Kameras 106 sind derart an dem Fahrzeug 100 positioniert, dass die aufgenommenen Bilder eine vollständige Ansicht der umgebenden Umgebung bereitstellen.
Die Infotainment-Haupteinheit 108 stellt eine Schnittstelle zwischen dem Fahrzeug 100 und einem Benutzer bereit. Die Infotainment-Haupteinheit 108 beinhaltet digitale und/oder analoge Schnittstellen (z. B. Eingabevorrichtungen und Ausgabevorrichtungen), um eine Eingabe von dem Benutzer (den Benutzern) zu empfangen und Informationen anzuzeigen. Die Eingabevorrichtungen können zum Beispiel einen Steuerknopf, ein Armaturenbrett, eine Digitalkamera zur Bildaufnahme und/oder visuellen Befehlserkennung, einen Touchscreen, eine Audioeingabevorrichtung (z. B. ein Kabinenmikrofon), Tasten oder ein Touchpad beinhalten. Die Ausgabevorrichtungen können Kombiinstrumentenausgaben (z. B. Skalenscheiben, Beleuchtungsvorrichtungen), Aktoren, eine Blickfeldanzeige, eine Mittelkonsolenanzeige (z. B. eine Flüssigkristallanzeige (liquid crystal display - „LCD“), eine Anzeige mit organischen Leuchtdioden (organic light emitting diode - „OLED“), eine Flachbildschirmanzeige, eine Festkörperanzeige etc.) und/oder Lautsprecher beinhalten. In dem veranschaulichten Beispiel beinhaltet die Infotainment-Haupteinheit 108 Hardware (z. B. einen Prozessor oder eine Steuerung, einen Arbeitsspeicher, einen Datenspeicher usw.) und Software (z. B. ein Betriebssystem usw.) für ein Infotainmentsystem (wie etwa SYNC® und MyFord Touch® von Ford®, Entune® von Toyota®, IntelliLink® von GMC® usw.). Zusätzlich dazu zeigt die Infotainment-Haupteinheit 108 in einigen Beispielen das Infotainmentsystem zum Beispiel auf der Mittelkonsolenanzeige an. In einigen Beispielen stellt das Infotainment eine Schnittstelle bereit, um dem Benutzer das Betrachten und/oder Manipulieren von durch das Fahrzeug 100 erzeugten Bildern und/oder eingestellter Präferenzen zu ermöglichen. In dem veranschaulichten Beispiel beinhaltet die Infotainment-Haupteinheit 108 einen Bildgenerator 110.
Der Bildgenerator 110 erzeugt ein virtuelles perspektivisches Bild (z. B. isometrische Ansicht, Draufsicht usw.) aus einem pseudo-dreidimensionalen Bild des Bereichs um das Fahrzeug 100 und erzeugt auf Grundlage einer virtuellen Kameraansicht des pseudo-dreidimensionalen Bildes ein Bild, um dem Benutzer angezeigt zu werden. Der Bildgenerator 110 nimmt Bilder des Bereichs um das Fahrzeug 100 mit den Kameras 106 auf. Der Bildgenerator 110 setzt die aufgenommenen Bilder zusammen, um eine 360-Grad-Ansicht um das Fahrzeug 100 zu erzeugen. Durch Zusammensetzen der aufgenommenen Bilder werden die Bilder derart manipuliert, dass das zusammengesetzte Bild eine vollständige Ansicht der das Fahrzeug 100 umgebenden Umgebung bereitstellt (z. B. können die Kameras 106 Bilder des Bereichs über dem Fahrzeug 100 oder von Bereichen über einem bestimmten Winkel über dem Boden nicht aufnehmen).
In einigen Beispielen lässt der Bildgenerator 110, um Bilder zur Verwendung zum Erstellen einer Tiefenkarte aufzunehmen, ein oder mehrere sichtbare oder Nahinfrarot-Licht(er) aufleuchten (z. B. über ein Karosseriesteuermodul), um die Tiefenerfassung in den Bildern unter Verwendung einer photometrischen, dreidimensionalen Stereo-Bildgebungstechnik zu verbessern. In derartigen Beispielen unterscheiden sich zum Erzeugen der Tiefenkarte verwendete Bilder von Bildern, die zusammengesetzt werden, um auf die Projektionsfläche projiziert zu werden.
Der Bildgenerator 110 analysiert die aufgenommenen Bilder, um die Tiefenkarte zu erzeugen, um Abmessungen von Objekten in der Nähe des Fahrzeugs 100 zu bestimmen. In einigen Beispielen verwendet der Bildgenerator 110 ein trainiertes neuronales Netzwerk, um entweder eine Voxel-Tiefenkarte oder eine Pro-Pixel-Tiefenkarte zu erzeugen. Beispiele zum Erzeugen von Voxel-Tiefenkarten oder Pro-Pixel-Tiefenkarten unter Verwendung neuronaler Netzwerke werden beschrieben in (a) Zhu, Zhuotun, et al. „Deep learning representation using autoencoder for 3D shape retrieval“. Neurocomputing 204 (2016): 41-50, (b) Eigen, David, Christian Puhrsch und Rob Fergus. „Depth map prediction from a single image using a multi-scale deep network“. Advances in neural information processing systems. 2014, (c) Zhang, Y. et al. A fast 3D reconstruction system with a low-cost camera accessory. Sci. Rep. 5, 10909; doi: 10.1038/srep10909 (2015), und (d) Hui, Tak-Wai, Chen Change Loy und Xiaoou Tang. „Depth map super-resolution by deep multi-scale guidance“. European Conference on Computer Vision. Springer International Publishing, 2016, die hierin jeweils vollumfänglich durch Bezugnahme aufgenommen sind. In einigen Beispielen erzeugt der Bildgenerator 110 unter Verwendung von Messungen von den Sensoren 104 eine dreidimensionale Punktwolke. Der Bildgenerator 110 wandelt dann die dreidimensionale Punktwolke in eine Voxel-Tiefenkarte oder eine Pro-Pixel-Tiefenkarte um. In einigen derartige Beispielen werden die aus dem Bild erzeugte Tiefenkarte und die aus den Sensordaten erzeugte Tiefenkarte zusammengeführt. In einigen Beispielen führt der Bildgenerator Objekterkennung auf den Bildern aus, um Objekte in den Bildern zu identifizieren. In derartigen Beispielen ruft der Bildgenerator 110 ein dreidimensionales Objekt aus einer Datenbank (z. B. einer auf dem externen Server gespeicherten Datenbank, einer in Computerspeicher gespeicherten Datenbank usw.) ab und fügt die dreidimensionale Geometrie auf Grundlage der Lage (z. B. der Entfernung, des relativen Winkels usw.) des erfassten Objekts in die Tiefenkarte ein.
Der Bildgenerator 110 definiert eine Projektionsfläche. 2A veranschaulicht einen Querschnitt einer Default-Projektionsfläche 202 (manchmal als „Standard-Projektionsfläche“ bezeichnet). 2B veranschaulicht eine beispielhafte dreidimensionale Darstellung der Default-Projektionsfläche 202. Die Projektionsfläche 202 ist ein virtuelles Objekt, das derart definiert ist, dass die Grenze der Projektionsfläche 202 eine Entfernung von dem Fahrzeug 100 in einer Schalenform ist. Das heißt, die Projektionsfläche 202 stellt eine gekrümmte Fläche dar, die das Fahrzeug 100 umgibt. Unter Verwendung der virtuellen Darstellung von Objekten um das Fahrzeug 100, wie in der Tiefenkarte dargestellt, bestimmt der Bildgenerator 110, ob Objekte in der Nähe des Fahrzeugs 100 die Grenze der Projektionsfläche 202 überschreiten. Wenn Objekte die Grenze der Projektionsfläche 202 schneiden, ändert der Bildgenerator 110 die Projektionsfläche 202, um der Form des Abschnitts des Objekts, der die Grenze der Projektionsfläche 202 überschreitet, zu entsprechen. Die 3A und 3B veranschaulichen Querschnitte einer geänderten Projektionsfläche 202. 3C veranschaulichte eine beispielhafte dreidimensionale Darstellung der geänderten Projektionsfläche 202. In dem veranschaulichten Beispiel schneidet die Vorderseite eines Fahrzeugs 100 die Grenze der Projektionsfläche 202, und der Bildgenerator ändert die Projektionsfläche 202, um der Form des Fahrzeugs zu entsprechen. In 3C verursacht die Vorderseite des Fahrzeugs 100 eine Vertiefung 302 in der Projektionsfläche (wobei die Größe der Projektionsfläche 202 und der Vertiefung 302 in 3C zu Veranschaulichungszwecken übertrieben dargestellt sind).
Nach dem Auswählen/Ändern der Projektionsfläche 202 projiziert der Bildgenerator 110 das zusammengesetzte Bild virtuell auf die Projektionsfläche 202 (z. B. bildet es darauf ab). In einigen Beispielen, in denen das Fahrzeug 100 sich selbst oder ein anderes Objekt verdeckt, werden der Weg aus der Projektionsfläche 202 und eine virtuelle Kamera 206 an dieser Position abgebildet, um die isometrische Ansicht oder die Pixelwerte auf der Projektionsfläche 202 per Inpainting zu rekonstruieren. Beispiele für Inpainting, um unbekannte Pixelwerte auszugleichen, werden in Lin, Shu-Chin, Timothy K. Shih und Hui-Huang Hsu. „Filling holes in 3D scanned model base on 2D image inpainting“. Ubi-media Computing and Workshops (Ubi-Media), 2017 10th International Conference on. IEEE, 2017 beschrieben, die hierin vollumfänglich durch Bezugnahme aufgenommen ist. Der Bildgenerator 110 definiert die virtuelle Kamera 206, die einen Darstellungsbereich aufweist. Unter Verwendung der Ansicht aus dem Darstellungsbereich erzeugt der Bildgenerator 110 ein Ansichtsbild des Bereichs um das Fahrzeug 100. In einigen Beispielen beinhaltet die virtuelle Szene (z. B. das auf die Projektionsfläche 202 projizierte zusammengesetzte Bild und die virtuelle Kamera 206) ein Modell des Fahrzeugs 100, sodass das Modell des Fahrzeugs 100 sich ebenfalls in dem Ansichtsbild befinden kann, in Abhängigkeit von dem Darstellungsbereich der virtuellen Kamera 206. Der Bildgenerator 110 sendet das Bild (z. B. über den externen Server) an eine mobile Vorrichtung und/oder eine Rechenvorrichtung. In einigen Beispielen empfängt der Bildgenerator 110 Anweisungen, den Darstellungsbereich der virtuellen Kamera 206 zu manipulieren, um einem Benutzer das Betrachten des Bereichs um das Fahrzeug 100 in unterschiedlichen Winkeln zu ermöglichen.
In den 2A, 3A und 3B sind Querschnitte des Darstellungsbereichs der virtuellen Kamera 206 als Pfeile veranschaulicht, die von der virtuellen Kamera ausgehen und die Projektionsfläche 202 schneiden. Eine Darstellung eines Querschnitts des auf die Projektionsfläche 202 projizierten Bildes ist durch Pfeile veranschaulicht, die von einer Darstellung 208 der Kamera(s) 106 ausgehen.
In einigen Beispielen begrenzt der Bildgenerator 110 die Position und die Ausrichtung des Darstellungsbereichs der virtuellen Kamera 206, um zu verhindern, dass Bereiche, die nicht durch die zusammengesetzten Bilder dargestellt werden, Teil des Ansichtsbildes sind. In dem in 3A veranschaulichten Beispiel wendet der Bildgenerator 110 eine schwarze Maskierung 302 auf die nicht durch die zusammengesetzten Bilder dargestellten Bereiche an. In derartigen Beispielen schränkt der Bildgenerator 110 die Position und die Ausrichtung des Darstellungsbereichs der virtuellen Kamera 206 nicht ein. In derartigen Beispielen kann das Ansichtsbild schwarze Abschnitte beinhalten, die den nicht durch die zusammengesetzten Bilder dargestellten Bereichen entsprechen. In dem in 3A veranschaulichten Beispiel wendet der Bildgenerator 110 ein computergeneriertes Modell eines Objekts, ein zuvor aufgenommenes Bild oder ein Ersatzbild (z. B. des Himmels usw.) auf die nicht durch die zusammengesetzten Bilder dargestellten Bereiche an. In derartigen Beispielen schränkt der Bildgenerator 110 die Position und die Ausrichtung des Darstellungsbereichs der virtuellen Kamera 206 nicht ein. In derartigen Beispielen kann das Ansichtsbild Abschnitte beinhalten, die den nicht durch die zusammengesetzten Bilder dargestellten Bereichen entsprechen, welche physikalischen Raum, nicht Bilder von den Kameras 106 darstellen.
4 veranschaulicht ein Beispiel des Ansichtsbildes 402, das dem Benutzer bereitgestellt wird, wenn Objekte (z. B. ein Truck vor dem Fahrzeug und zwei Limousinen auf den Seiten) nah genug an dem Fahrzeug 100 sind, um die Grenze einer ungeänderten Projektionsfläche zu schneiden. Wie in 4 veranschaulicht, sind die Objekte, die die Projektionsfläche schneiden, verzerrt. 5 veranschaulicht ein Beispiel des Ansichtsbildes 502, das dem Benutzer bereitgestellt wird, wenn die Objekte nah genug sind, um die Grenze der Projektionsfläche zu schneiden und die Projektionsfläche geändert wird (z. B. wie in den vorstehenden 3A und 3B veranschaulicht). In dem veranschaulichten Beispiel sind die Objekte nicht verzerrt. Auf eine derartige Weise verbessert der Bildgenerator 110 die dem Benutzer bereitgestellte Schnittstelle und löst ein technisches Problem in Bezug auf das Erzeugen von Bildern auf Grundlage virtueller Darstellungen des Fahrzeugs 100. 5 veranschaulicht außerdem einen Kameraansichtsabschnitt 504 und einen Nicht-Kameraansichtsabschnitt 506. Der Kameraansichtsabschnitt 504 nimmt die zusammengesetzten Bilder von den Kameras 106 auf, wodurch eine tatsächliche Ansicht des Bereichs um das Fahrzeug 100 bereitgestellt wird. Der Nicht-Kameraansichtsabschnitt 506 stellt den Bereich um das Fahrzeug 100 dar, der nicht von den Kameras 106 aufgenommen wird. In einigen Beispielen stellt der Bildgenerator 110 diesen Bereich auf der Projektionsfläche 202 mit schwarzen Pixeln dar (z.B. wie in 3A veranschaulicht). Demzufolge ist der Nicht-Kameraansichtsabschnitt 506 des erzeugten Ansichtsbildes 502 schwarz. In einigen Beispielen schätzt der Bildgenerator 110 unter Verwendung von in Speicher gespeicherten dreidimensionalen Modellen die Grenzen der Abschnitte der Objekte, die in dem Nicht-Kameraansichtsabschnitt 506 dargestellt werden. In derartigen Beispielen bildet der Bildgenerator 110 unter Verwendung der Modelle die entsprechenden Pixel unter Verwendung der Geometrie und Lage der Modelle ab (z. B. wie in 3B veranschaulicht). In einigen derartigen Beispielen beinhaltet der Bildgenerator 110 außerdem eine Skybox, die eine Umgebung bereitstellt, aus der der Nicht-Kameraansichtsabschnitt 506 des Ansichtsbildes 503 erzeugt werden soll. Die 4 und 5 veranschaulichten eine Darstellung 404 des Fahrzeugs 100 (z. B. ein Drahtgitter- oder Volumenkörpermodell), die in die Bilder eingefügt wird, um die Position des Fahrzeugs 100 darzustellen (z. B. da die Kameras 106 Bilder des Fahrzeugs 100 nicht tatsächlich aufnehmen können).
6 ist ein Blockdiagramm elektronischer Komponenten 600 des Fahrzeugs 100 aus 1. In dem veranschaulichten Beispiel beinhalten die elektronischen Komponenten 600 das bordeigene Kommunikationsmodul 102, die Sensoren 104, die Kameras 106, die Infotainment-Haupteinheit 108 und einen Fahrzeugdatenbus 602.
Die Infotainment-Haupteinheit 108 beinhaltet einen Prozessor oder eine Steuerung 604 und einen Speicher 606. In dem veranschaulichten Beispiel ist die Infotainment-Haupteinheit 108 derart strukturiert, dass sie den Bildgenerator 110 beinhaltet. Alternativ dazu kann der Bildgenerator 110 in einigen Beispielen in eine andere elektronische Steuereinheit (electronic control unit - ECU) mit eigenem Prozessor und Speicher integriert sein. Bei dem Prozessor oder der Steuerung 604 kann es sich um eine beliebige geeignete Verarbeitungsvorrichtung oder einen Satz von Verarbeitungsvorrichtungen handeln, wie etwa unter anderem: einen Mikroprozessor, eine mikrocontrollerbasierte Plattform, eine geeignete integrierte Schaltung, einen oder mehrere feldprogrammierbare Gate-Arrays (field programmable gate arrays - FPGAs) und/oder eine oder mehrere anwendungsspezifische integrierte Schaltungen (application-specific integrated circuits - ASICs). Bei dem Arbeitsspeicher 606 kann es sich um flüchtigen Speicher (z. B. RAM, der magnetischen RAM, ferroelektrischen RAM und beliebige andere geeignete Formen von RAM beinhalten kann), nicht flüchtigen Speicher (z. B. Plattenspeicher, FLASH-Speicher, EPROMs, EEPROMs, memristorbasierte nicht flüchtige Festkörperspeicher usw.), unveränderbaren Speicher (z. B. EPROMs), Festwertspeicher und/oder Speichervorrichtungen mit hoher Kapazität (z. B. Festplatten, Festkörperlaufwerke usw.) handeln. In einigen Beispielen beinhaltet der Arbeitsspeicher 606 mehrere Speicherarten, insbesondere flüchtigen Speicher und nichtflüchtigen Speicher.
Bei dem Arbeitsspeicher 606 handelt es sich um computerlesbare Medien, auf denen ein oder mehrere Sätze von Anweisungen, wie etwa die Software zum Ausführen der Verfahren der vorliegenden Offenbarung, eingebettet sein können. Die Anweisungen können eines oder mehrere der Verfahren oder eine Logik, wie hier beschrieben, verkörpern. In einer bestimmten Ausführungsform können sich die Anweisungen während der Ausführung der Anweisungen vollständig oder zumindest teilweise in einem beliebigen oder mehreren von dem Arbeitsspeicher 606, dem computerlesbaren Medium und/oder im Prozessor 604 befinden.
Die Ausdrücke „nicht transitorisches computerlesbares Medium“ und „physisches computerlesbares Medium“ sind so zu verstehen, dass sie ein einzelnes Medium oder mehrere Medien einschließen, wie etwa eine zentralisierte oder verteilte Datenbank und/oder zugehörige Zwischenspeicher und Server, in denen ein oder mehrere Sätze von Anweisungen gespeichert sind. Die Ausdrücke „nicht transitorisches computerlesbares Medium“ und „physisches computerlesbares Medium“ schließen zudem jedes beliebige physische Medium ein, das zum Speichern, Verschlüsseln oder Tragen eines Satzes von Anweisungen zur Ausführung durch einen Prozessor in der Lage ist oder das ein System dazu veranlasst, ein beliebiges/einen beliebigen oder mehrere der hierin offenbarten Verfahren oder Vorgänge durchzuführen. Im vorliegenden Zusammenhang ist der Ausdruck „physisches computerlesbares Medium“ ausdrücklich so definiert, dass er jede beliebige Art von computerlesbarer Speichervorrichtung und/oder Speicherplatte einschließt und das Verbreiten von Signalen ausschließt.
Der Fahrzeugdatenbus 602 koppelt das bordeigene Kommunikationsmodul 102, die Sensoren 104, die Kameras 106 und die Infotainment-Haupteinheit 108 und/oder andere elektronische Steuereinheiten (wie etwa das Karosseriesteuermodul usw.) kommunikativ. In einigen Beispielen beinhaltet der Fahrzeugdatenbus 602 einen oder mehrere Datenbusse. Der Fahrzeugdatenbus 602 kann gemäß einem Controller-Area-Network(CAN)-Bus-Protokoll laut der Definition der International Standards Organization (ISO) 11898-1 einem Media-Oriented-Systems-Transport(MOST)-Bus-Protokoll, einem CAN-Flexible-Data(CAN-FD)-Bus-Protokoll (ISO 11898-7) und/oder einem K-Leitungs-Bus-Protokoll (ISO 9141 und ISO 14230-1) und/oder einem Ethernet™-Bus-Protokoll IEEE 802.3 (ab 2002) usw. umgesetzt sein.
7 ist ein Ablaufdiagramm eines Verfahrens zum Erzeugen des korrigierten Ansichtsbildes (z. B. des Ansichtsbildes 502 aus der vorstehenden 5), das durch die elektronischen Komponenten 600 aus 6 umgesetzt werden kann. Das Verfahren aus 7 kann zum Beispiel eingeleitet werden, wenn eine Anfrage von einer Infotainment-Haupteinheit oder einer mobilen Vorrichtung oder einer Rechenvorrichtung über das bordeigene Kommunikationsmodul 102 empfangen wird. Zunächst nimmt der Bildgenerator 110 bei Block 702 Bilder des Bereichs um das Fahrzeug 100 mit den Kameras 106 auf. Bei Block 704 erzeugt der Bildgenerator 110 eine Voxelkarte, die den dreidimensionalen Raum um das Fahrzeug 100 auf Grundlage der bei Block 702 aufgenommenen Bilder kennzeichnet. Bei Block 706 erfasst der Bildgenerator 110 Daten von den Sensoren 104. Bei Block 708 wandelt der Bildgenerator 110 die bei Block 706 erfassten Sensordaten in eine Punktwolkenkarte um. Bei Block 710 wandelt der Bildgenerator 110 die Punktwolkenkarte in eine Voxelkarte um. Bei Block 712 kombiniert der Bildgenerator 110 die bei Block 704 erzeugte Voxelkarte mit der bei Block 710 erzeugte Voxelkarte (z. B. unter Verwendung von Sensorfusion). Beispiele für das Fusionieren unterschiedlicher Tiefenkarten werden in Zach, Christopher, „Fast and high quality fusion of depth maps“, Proceedings of the International Symposium on 3D data Processing, Visualization and Transmission (3DPVT), Vol. 1. No. 2. 2008 beschrieben, die hierin vollumfänglich durch Bezugnahme aufgenommen ist.
Bei Block 714 bestimmt der Bildgenerator 110, ob die bei Block 712 erzeugte Voxelkarte anzeigt, dass ein Objekt in der Nähe des Fahrzeugs 100 die Grenze der Projektionsfläche schneidet. Wenn ein Objekt die Grenze der Projektionsfläche schneidet, geht das Verfahren zu Block 716 über. Anderenfalls, wenn ein Objekt die Projektionsfläche nicht schneidet, geht das Verfahren zu Block 718 über. Bei Block 716 ändert der Bildgenerator 110 die Projektionsfläche (z.B. erzeugt er die in den 3A und 3B veranschaulichte Projektionsfläche 202) auf Grundlage der Voxelkarte. Bei Block 718 verwendet der Bildgenerator die Standard-Projektionsfläche (z. B. die in 2 veranschaulichte Projektionsfläche 202). Bei Block 720 setzt der Bildgenerator 110 die bei Block 702 aufgenommenen Bilder zusammen, um ein vollständiges Umgebungsbild um das Fahrzeug 100 zu bilden und projiziert das zusammengesetzte Bild auf die Projektionsfläche. Bei Block 722 stellt der Bildgenerator 110 eine Schnittstelle (z.B. über eine mobile Vorrichtung, über eine Mittelkonsolenanzeige, über eine Rechenvorrichtung an einem entfernten Ort usw.) bereit, um einem Benutzer das Ändern der Lage (z. B. der Richtung und Ausrichtung) der virtuellen Kamera 206 in dem Darstellungsbereich zu ermöglichen, um das Ansichtsbild 502 zu erstellen.
Das Ablaufdiagramm aus 7 stellt maschinenlesbare Anweisungen dar, die in einem Speicher (wie etwa dem Speicher 606 aus 6) gespeichert sind und eines oder mehrere Programme umfassen, die bei Ausführung durch einen Prozessor (wie etwa dem Prozessor 604 aus 6) die Infotainment-Haupteinheit 108 dazu veranlassen, den beispielhaften Bildgenerator 110 aus den 1 und 6 umzusetzen. Obwohl das/die beispielhafte/n Programm(e) unter Bezugnahme auf das in 7 veranschaulichte Ablaufdiagramm beschrieben ist/sind, können ferner alternativ viele andere Verfahren zum Umsetzen der beispielhaften Bildgenerators 110 verwendet werden. Zum Beispiel kann die Reihenfolge der Ausführung der Blöcke geändert werden und/oder einige der beschriebenen Blöcke können verändert, gestrichen oder kombiniert werden.
In dieser Anmeldung soll die Verwendung der Disjunktion die Konjunktion einschließen. Die Verwendung von bestimmten oder unbestimmten Artikeln soll keine Kardinalität anzeigen. Insbesondere soll ein Verweis auf „das“ Objekt oder „ein“ Objekt auch eines aus einer möglichen Vielzahl derartiger Objekte bezeichnen. Ferner kann die Konjunktion „oder“ dazu verwendet werden, Merkmale wiederzugeben, die gleichzeitig vorhanden sind, anstelle von sich gegenseitig ausschließenden Alternativen. Anders ausgedrückt sollte die Konjunktion „oder“ so verstanden werden, dass sie „und/oder“ einschließt. Im hier verwendeten Sinne beziehen sich die Begriffe „Modul“ und „Einheit“ auf Hardware mit Schaltkreisen zum Bereitstellen von Kommunikations-, Steuer- und/oder Überwachungsfunktionen, oftmals in Verbindung mit Sensoren. „Module“ und „Einheiten“ können zudem Firmware beinhalten, die auf der Schaltung ausgeführt wird. Die Ausdrücke „beinhaltet“, „beinhaltend“ und „beinhalten“ sind einschließend und weisen jeweils den gleichen Umfang auf wie „umfasst“, „umfassend“ bzw. „umfassen“.
Die vorangehend beschriebenen Ausführungsformen und insbesondere etwaige „bevorzugte“ Ausführungsformen sind mögliche Beispiele für Umsetzungen und sind lediglich zum eindeutigen Verständnis der Grundsätze der Erfindung dargelegt. Viele Variationen und Modifikationen können an der bzw. den vorstehend beschriebenen Ausführungsform(en) vorgenommen werden, ohne wesentlich vom Geist und den Grundsätzen der hierin beschriebenen Techniken abzuweichen. Sämtliche Modifikationen sollen hierin im Umfang dieser Offenbarung beinhaltet und durch die folgenden Patentansprüche geschützt sein.
Gemäß der vorliegenden Erfindung wird ein Fahrzeug bereitgestellt, das Folgendes aufweist: Kameras, um Bilder einer Umgebung um das Fahrzeug aufzunehmen; einen Prozessor, um: unter Verwendung der Bilder: ein zusammengesetztes Bild eines Bereichs um das Fahrzeug zu erzeugen und eine Tiefenkarte zu erzeugen, die räumliche Beziehungen zwischen dem Fahrzeug und Objekten um das Fahrzeug definiert; unter Verwendung der Tiefenkarte eine Projektionsfläche zu erzeugen; und eine Schnittstelle zum Erzeugen eines Ansichtsbildes auf Grundlage des auf die Projektionsfläche projizierten zusammengesetzten Bildes zu präsentieren.
Gemäß einer Ausführungsform sind die Kameras photometrische Stereo-Kameras.
Gemäß einer Ausführungsform dient der Prozessor, um die Projektionsfläche zu erzeugen, dazu, eine Standard-Projektionsfläche auf Grundlage der in der Tiefenkarte definierten räumlichen Beziehungen zu ändern, um Abschnitte der Objekte, die eine virtuelle Grenze der Standard-Projektionsfläche schneiden, zu berücksichtigen.
Gemäß einer Ausführungsform dient der Prozessor, um die Projektionsfläche zu erzeugen, dazu, zu bestimmen, ob die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte eine virtuelle Grenze einer Standard-Projektionsfläche schneiden.
Gemäß einer Ausführungsform dient der Prozessor dazu, wenn die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte die virtuelle Grenze schneiden, die Standard-Projektionsfläche auf Grundlage der räumlichen Beziehungen zu ändern, um Abschnitte der Objekte, die die virtuelle Grenze schneiden, zu berücksichtigen; und wenn die in der Tiefenkarte definierten räumlichen Beziehungen nicht anzeigen, dass die Objekte die virtuelle Grenze schneiden, die Standard-Projektionsfläche auszuwählen.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren zum Erzeugen eines Bildes eines Bereichs um ein Fahrzeug aus einer Perspektive, die nicht direkt durch Kameras des Fahrzeugs beobachtet werden kann, Folgendes: Aufnehmen von Bildern einer Umgebung um das Fahrzeug mit den Kameras; unter Verwendung der Bilder (a) Erzeugen eines zusammengesetzten Bildes des Bereichs um das Fahrzeug durch einen Fahrzeugprozessor und (b) Erzeugen einer Tiefenkarte, die räumliche Beziehungen zwischen dem Fahrzeug und Objekten um das Fahrzeug definiert, durch den Fahrzeugprozessor; Erzeugen einer Projektionsfläche unter Verwendung der Tiefenkarte mit dem Fahrzeugprozessor; und Präsentieren einer Schnittstelle zum Erzeugen eines Ansichtsbildes auf Grundlage des auf die Projektionsfläche projizierten zusammengesetzten Bildes.
Gemäß einer Ausführungsform sind die Kameras photometrische Stereo-Kameras.
Gemäß einer Ausführungsform beinhaltet das Erzeugen der Projektionsfläche das Ändern einer Standard-Projektionsfläche auf Grundlage der in der Tiefenkarte definierten räumlichen Beziehungen, um Abschnitte der Objekte, die eine virtuelle Grenze der Standard-Proj ektionsfläche schneiden, zu berücksichtigen.
Gemäß einer Ausführungsform beinhaltet das Erzeugen der Projektionsfläche das Bestimmen, ob die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte eine virtuelle Grenze einer Standard-Projektionsfläche schneiden.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch, wenn die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte die virtuelle Grenze schneiden, Ändern der Standard-Projektionsfläche auf Grundlage der räumlichen Beziehungen, um Abschnitte der Objekte, die die virtuelle Grenze schneiden, zu berücksichtigen; und wenn die in der Tiefenkarte definierten räumlichen Beziehungen nicht anzeigen, dass die Objekte die virtuelle Grenze schneiden, Auswählen der Standard-Proj ektionsfläche.
Gemäß der vorliegenden Erfindung wird ein Fahrzeug bereitgestellt, das Folgendes aufweist: einen ersten Satz von Kameras, um erste Bilder einer Umgebung um das Fahrzeug aufzunehmen; einen zweiten Satz von Kameras, um zweite Bilder der Umgebung um das Fahrzeug aufzunehmen; einen Prozessor, um: unter Verwendung der ersten Bilder ein zusammengesetztes Bild eines Bereichs um das Fahrzeug zu erzeugen und unter Verwendung der zweiten Bilder eine Tiefenkarte zu erzeugen, die räumliche Beziehungen zwischen dem Fahrzeug und Objekten um das Fahrzeug definiert; unter Verwendung der Tiefenkarte eine Projektionsfläche zu erzeugen; und eine Schnittstelle zum Erzeugen eines Ansichtsbildes auf Grundlage des auf die Projektionsfläche projizierten zusammengesetzten Bildes zu präsentieren.
Gemäß einer Ausführungsform dient der Prozessor dazu, unter Verwendung von Messungen von den Bereichserfassungssensoren eine zweite Tiefenkarte zu erzeugen; und die Proj ektionsfläche unter Verwendung einer Kombination aus der unter Verwendung der zweiten Bilder erzeugten Tiefenkarte und der zweiten Tiefenkarte zu erzeugen.
Gemäß einer Ausführungsform beinhaltet der erste Satz von Kameras eine andere Kameraart als der zweite Satz von Kameras.
Gemäß einer Ausführungsform dient der Prozessor, um die Projektionsfläche zu erzeugen, dazu, eine Standard-Projektionsfläche auf Grundlage der in der Tiefenkarte definierten räumlichen Beziehungen zu ändern, um Abschnitte der Objekte, die eine virtuelle Grenze der Standard-Projektionsfläche schneiden, zu berücksichtigen.
Gemäß einer Ausführungsform dient der Prozessor, um die Projektionsfläche zu erzeugen, dazu, zu bestimmen, ob die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte eine virtuelle Grenze einer Standard-Projektionsfläche schneiden.
Gemäß einer Ausführungsform dient der Prozessor dazu, wenn die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte die virtuelle Grenze schneiden, die Standard-Projektionsfläche auf Grundlage der räumlichen Beziehungen zu ändern, um Abschnitte der Objekte, die die virtuelle Grenze schneiden, zu berücksichtigen; und wenn die in der Tiefenkarte definierten räumlichen Beziehungen nicht anzeigen, dass die Objekte die virtuelle Grenze schneiden, die Standard-Projektionsfläche auszuwählen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

(ISO) 11898-1 [0029]
ISO 11898-7 [0029]
ISO 9141 [0029]
ISO 14230-1 [0029]

Claims

Fahrzeug, umfassend: Kameras, um Bilder einer Umgebung um das Fahrzeug aufzunehmen; einen Prozessor, um: unter Verwendung der Bilder: ein zusammengesetztes Bild eines Bereichs um das Fahrzeug zu erzeugen; und eine Tiefenkarte, die räumliche Beziehungen zwischen dem Fahrzeug und Objekten um das Fahrzeug definiert, zu erzeugen; unter Verwendung der Tiefenkarte eine Projektionsfläche zu erzeugen; und eine Schnittstelle zum Erzeugen eines Ansichtsbildes auf Grundlage des auf die Projektionsfläche projizierten zusammengesetzten Bildes zu präsentieren.
Fahrzeug nach Anspruch 1, wobei die Kameras photometrische Stereo-Kameras sind.
Fahrzeug nach Anspruch 1, wobei der Prozessor, um die Proj ektionsfläche zu erzeugen, dazu dient, eine Standard-Projektionsfläche auf Grundlage der in der Tiefenkarte definierten räumlichen Beziehungen zu ändern, um Abschnitte der Objekte, die eine virtuelle Grenze der Standard-Projektionsfläche schneiden, zu berücksichtigen.
Fahrzeug nach Anspruch 1, wobei der Prozessor, um die Projektionsfläche zu erzeugen, dazu dient, zu bestimmen, ob die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte eine virtuelle Grenze einer Standard-Projektionsfläche schneiden.
Fahrzeug nach Anspruch 4, wobei der Prozessor dazu dient: wenn die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte die virtuelle Grenze schneiden, die Standard-Projektionsfläche auf Grundlage der räumlichen Beziehungen zu ändern, um Abschnitte der Objekte, die die virtuelle Grenze schneiden, zu berücksichtigen; wenn die in der Tiefenkarte definierten räumlichen Beziehungen nicht anzeigen, dass die Objekte die virtuelle Grenze schneiden, die Standard-Projektionsfläche auszuwählen.
Verfahren zum Erzeugen eines Bildes eines Bereichs um ein Fahrzeug aus einer Perspektive, die nicht direkt durch Kameras des Fahrzeugs beobachtet werden kann, das Verfahren umfassend: Aufnehmen von Bildern eines Umfangs um das Fahrzeug mit den Kameras; unter Verwendung der Bilder (a) Erzeugen eines zusammengesetzten Bildes des Bereichs um das Fahrzeug durch einen Fahrzeugprozessor und (b) Erzeugen einer Tiefenkarte, die räumliche Beziehungen zwischen dem Fahrzeug und Objekten um das Fahrzeug definiert durch den Fahrzeugprozessor. Erzeugen einer Projektionsfläche mit dem Fahrzeugprozessor unter Verwendung der Tiefenkarte; und Präsentieren einer Schnittstelle zum Erzeugen eines Ansichtsbildes auf Grundlage des auf die Projektionsfläche projizierten zusammengesetzten Bildes.
Verfahren nach Anspruch 6, wobei die Kameras photometrische Stereo-Kameras sind.
Verfahren nach Anspruch 6, wobei das Erzeugen der Projektionsfläche das Ändern einer Standard-Projektionsfläche auf Grundlage der in der Tiefenkarte definierten räumlichen Beziehungen, um Abschnitte der Objekte, die eine virtuelle Grenze der Standard-Projektionsfläche schneiden, zu berücksichtigen, beinhaltet.
Verfahren nach Anspruch 6, wobei das Erzeugen der Proj ektionsfläche das Bestimmen, ob die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte eine virtuelle Grenze einer Standard-Projektionsfläche schneiden, beinhaltet.
Verfahren nach Anspruch 9, beinhaltend: wenn die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte die virtuelle Grenze schneiden, Ändern der Standard-Projektionsfläche auf Grundlage der räumlichen Beziehungen, um Abschnitte der Objekte, die die virtuelle Grenze schneiden, zu berücksichtigen; und wenn die in der Tiefenkarte definierten räumlichen Beziehungen nicht anzeigen, dass die Objekte die virtuelle Grenze schneiden, Auswählen der Standard-Projektionsfläche.
Fahrzeug, umfassend: einen ersten Satz von Kameras, um erste Bilder einer Umgebung um das Fahrzeug aufzunehmen; einen zweiten Satz von Kameras, um zweite Bilder einer Umgebung um das Fahrzeug aufzunehmen; einen Prozessor, um: ein zusammengesetztes Bild eines Bereichs um das Fahrzeug unter Verwendung der ersten Bilder zu erzeugen; und eine Tiefenkarte, die räumliche Beziehungen zwischen dem Fahrzeug und Objekten um das Fahrzeug definiert, unter Verwendung der zweiten Bilder zu erzeugen; unter Verwendung der Tiefenkarte eine Projektionsfläche zu erzeugen; und eine Schnittstelle zum Erzeugen eines Ansichtsbildes auf Grundlage des auf die Projektionsfläche projizierten zusammengesetzten Bildes zu präsentieren.
Fahrzeug nach Anspruch 11, das Bereichserfassungssensoren beinhaltet, wobei der Prozessor dazu dient: unter Verwendung von Messungen von den Bereichserfassungssensoren eine zweite Tiefenkarte zu erzeugen; und die Projektionsfläche unter Verwendung einer Kombination aus der unter Verwendung der zweiten Bilder erzeugten Tiefenkarte und der zweiten Tiefenkarte zu erzeugen.
Fahrzeug nach Anspruch 11, wobei der erste Satz von Kameras eine andere Kameraart als der zweite Satz von Kameras beinhaltet.
Fahrzeug nach Anspruch 11, wobei der Prozessor, um die Projektionsfläche zu erzeugen, dazu dient, eine Standard-Projektionsfläche auf Grundlage der in der Tiefenkarte definierten räumlichen Beziehungen zu ändern, um Abschnitte der Objekte, die eine virtuelle Grenze der Standard-Projektionsfläche schneiden, zu berücksichtigen.
Fahrzeug nach Anspruch 11, wobei der Prozessor, um die Projektionsfläche zu erzeugen, dazu dient: zu bestimmen, ob die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte eine virtuelle Grenze einer Standard-Projektionsfläche schneiden; wenn die in der Tiefenkarte definierten räumlichen Beziehungen anzeigen, dass die Objekte die virtuelle Grenze schneiden, die Standard-Projektionsfläche auf Grundlage der räumlichen Beziehungen zu ändern, um Abschnitte der Objekte, die die virtuelle Grenze schneiden, zu berücksichtigen; wenn die in der Tiefenkarte definierten räumlichen Beziehungen nicht anzeigen, dass die Objekte die virtuelle Grenze schneiden, die Standard-Projektionsfläche auszuwählen.