-
Verwandte Anmeldung
-
Diese Anmeldung beansprucht die Priorität der am 22. März 2013 eingereichten US Provisional Application Nummer 61/804,485.
-
Technisches Gebiet
-
Das technische Gebiet betrifft allgemein kamerabasierte Fahrerunterstützungs(bzw. -Assistenz)-Systeme, und insbesondere eine kamerabasierte Bilddarstellung einer vorderen Stoßstange eines Fahrzeuges relativ zu einem Bordstein oder einem anderen Hindernis.
-
Hintergrund
-
Viele moderne Fahrzeuge umfassen ausgeklügelte Elektroniksysteme, welche für bessere Sicherheit, Komfort und Annehmlichkeiten für die Passagiere bzw. Insassen des Fahrzeuges ausgebildet sind. Unter diesen Systemen sind Fahrerassistenzsysteme zunehmend beliebter geworden, da diese Systeme dazu dienen, dass der Betreiber des Fahrzeuges Information hinsichtlich einer Schadensvermeidung am Fahrzeug und/oder hinsichtlich Hindernissen erhält, mit welchen das Fahrzeug möglicherweise kollidieren könnte. Beispielsweise weisen viele heutige Fahrzeuge eine Rückfahrkamera auf, um den Betreiber des Fahrzeuges beim Zurücksetzen mit dem Fahrzeug aus einer Ausfahrt oder einem Parkplatz zu unterstützen bzw. zu assistieren.
-
Vorwärtsgerichtete Kamerasysteme wurden ebenfalls für auf Sicht basierte Kollisionsvermeidungssysteme und Freifahrt-Erkennungssysteme (d. h. ohne Hindernis in der Fahrtrichtung) verwendet. Jedoch verwenden solche Systeme im Allgemeinen ein einzelnes Kamerasystem mit einem relativ engen Sichtfeld (FOV = Field of View = Sichtfeld), und sind nicht zum Assistieren eines Betreibers eines Fahrzeuges beim Parken des Fahrzeuges zur Vermeidung einer Beschädigung an der vorderen Stoßstange oder dem vorderen Lufteinlassgitter (Grill) des Fahrzeuges geeignet. Bei Fahrzeugen mit einer sportwagenartigen Karosserie befindet sich die vordere Stoßstange wesentlich näher über der Straßenoberfläche/dem Boden, und neigt eher zu einer oberflächlichen (d. h. z. B. Kratzer) oder „strukturellen” Beschädigung (d. h. z. B. Brüche oder Risse im Material) an der vorderen Stoßstange beim Parken. Dies kann zu einer Kundenunzufriedenheit führen, da ein Ersetzen einer aus Kunststoff (Plastik) oder Verbundmaterial bestehenden vorderen Stoßstange und/oder Grill-Anordnungen kostspielig sein können.
-
Dementsprechend ist es wünschenswert, einem Betreiber eines Fahrzeuges eine Parkhilfe bereitzustellen. Zusätzlich ist es wünschenswert, den Fahrer beim Vermeiden einer Beschädigung an der vorderen Stoßstange des Fahrzeuges beim Parken zu unterstützen. Weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung werden aus der nachfolgenden detaillierten Beschreibung und den angefügten Ansprüchen in Verbindung mit den begleitenden Zeichnungen und dem vorangegangenen technischen Gebiet und Hintergrund ersichtlich.
-
Zusammenfassung
-
Es wird ein Verfahren zur Erzeugung eines virtuellen Bildes einer Bordsteindarstellung (bzw. -Ansicht) zur Unterstützung eines Fahrers eines Fahrzeuges bereitgestellt. Das Verfahren umfasst ein Aufnehmen eines ersten Realbildes mit Hilfe einer ersten Kamera mit einem vorwärtsgerichteten Sichtfeld eines Fahrzeuges und Aufnehmen eines zweiten Realbildes mit Hilfe einer zweiten Kamera mit einem vorwärtsgerichteten Sichtfeld des Fahrzeuges. Die ersten und zweiten Bilder werden zur Bildung einer virtuellen Bildansicht der Bordsteindarstellung im vorderen Bereich des Fahrzeuges in einem Prozessor entzerrt und miteinander kombiniert. Das virtuelle Bild der Bordsteindarstellung kann eine virtuelle Bildansicht-Draufsicht oder eine perspektivische Bildansicht sein, welche auf einem Anzeigebildschirm (Display) innerhalb des Fahrzeuges angezeigt wird.
-
Es wird ein System zur Erzeugung eines virtuellen Bildes einer Bordsteindarstellung zur Unterstützung eines Fahrers eines Fahrzeuges bereitgestellt. Das System umfasst eine erste Kamera mit einem vorwärtsgerichteten Sichtfeld eines Fahrzeuges zur Bereitstellung eines ersten Realbildes und eine zweite Kamera mit einem vorwärtsgerichteten Sichtfeld des Fahrzeuges zur Bereitstellung eines zweiten Realbildes. Ein Prozessor ist mit der ersten Kamera und der zweiten Kamera gekoppelt und dazu ausgebildet, zur Bildung einer virtuellen Bildansicht der Bordsteindarstellung in einem vorderen Bereich des Fahrzeuges zu entzerren und miteinander zu kombinieren. Ein Anzeigebildschirm zum Anzeigen des virtuellen Bildes der Bordsteindarstellung ist im Fahrzeug angeordnet.
-
Beschreibung der Zeichnungen
-
Die beispielhaften Ausführungsformen werden hiernach in Verbindung mit den folgenden Zeichnungsfiguren beschrieben, wobei gleiche Bezugszeichen gleiche Elemente kennzeichnen, und wobei:
-
1 eine Draufsichtdarstellung eines Fahrzeugs in Übereinstimmung mit einer Ausführungsform ist;
-
2A und 2B seitliche Ansichtsdarstellungen des Fahrzeuges aus 1 in Übereinstimmung mit einer Ausführungsform sind;
-
3 ein Blockdiagramm eines Bildbearbeitungssystems in Übereinstimmung mit einer Ausführungsform ist;
-
4 eine Darstellung eines Draufsicht-Entzerrens und -Zusammensetzens in Übereinstimmung mit einer Ausführungsform ist;
-
5A bis 5D graphische Bilder sind, welche ein Draufsicht-Entzerren und -Zusammensetzen in Übereinstimmung mit einer Ausführungsform darstellen;
-
6A eine Darstellung einen nicht-planaren Lochkameramodells in Übereinstimmung mit einer Ausführungsform ist;
-
6B eine Darstellung graphischer Bilder einer Eingabe-/Ausgabe-Wiedergabe für das nicht-planare Modell in Übereinstimmung mit einer Ausführungsform ist;
-
7 eine Darstellung ist, welche eine kombinierte planare und nicht-planare Entzerr-Technik in Übereinstimmung mit einer Ausführungsform zeigt;
-
8A und 8B die Technik aus 7 in Anwendung auf das Zwei-Kamera-System (bzw. Dual-Kamera-System) in Übereinstimmung mit einer Ausführungsform darstellen;
-
9A und 9B eine zusammengeführte Sicht des dualen Kamerasystems aus 8A und 8B in Übereinstimmung mit einer weiteren Ausführungsform darstellen; und
-
10 ein Flussdiagramm ist, welches ein Verfahren in Übereinstimmung mit einer weiteren Ausführungsform darstellt.
-
Detaillierte Beschreibung
-
Die folgende detaillierte Beschreibung hat lediglich beispielhaften Charakter und soll die Anwendung und Verwendungen nicht beschränken. Weiterhin soll es keine Beschränkung durch eine ausdrücklich oder implizit in dem vorangegangenen technischen Gebiet, Hintergrund, kurzen Zusammenfassung oder der folgenden detaillierten Beschreibung dargestellte Theorie geben.
-
In diesem Dokument sollen aufeinander bezogene Ausdrücke bzw. Begriffe wie zum Beispiel erster und zweiter und dergleichen, lediglich zur Unterscheidung einer Einheit oder Maßnahme/Vorgang von einer anderen Einheit bzw. Maßnahme/Vorgang verwendet werden, ohne dass notwendigerweise eine tatsächliche solche Beziehung bzw. Reihenfolge zwischen solchen Einheiten oder Maßnahmen/Vorgängen erforderlich oder impliziert wird. Numerische Kennzeichnungen, wie zum Beispiel „erster”, „zweiter”, „dritter” usw. kennzeichnen lediglich unterschiedliche Elemente/Komponenten einer Mehrzahl und implizieren keine Reihenfolge oder Abfolge, es sei denn, dass dies ausdrücklich durch die Anspruchsprache definiert ist.
-
Zusätzlich bezieht sich die folgende Beschreibung auf Elemente oder Merkmale, welche miteinander „verbunden” oder „gekoppelt” sind. Wie hierin verwendet, kann sich „verbunden” auf ein Element/Merkmal beziehen, welches in direkter Weise mit einem anderen Element/Merkmal verbunden ist (oder in direkter Weise damit in Kommunikation steht), und zwar nicht notwendigerweise auf mechanische Art. Ebenso kann sich „gekoppelt” auf ein Element/Merkmal beziehen, welches direkt oder indirekt mit einem anderen Element/Merkmal verbunden ist (oder direkt oder indirekt damit in Kommunikation steht), und zwar nicht notwendigerweise auf mechanische Art. Jedoch sollte davon ausgegangen werden, dass, obwohl in einer Ausführungsform unten zwei Elemente als miteinander „verbunden” beschrieben sein können, ähnliche Elemente in alternativen Ausführungsformen „gekoppelt” sein können und umgekehrt. Somit können, obwohl die hierin gezeigten schematischen Diagramme bzw. Darstellungen beispielhafte Anordnungen von Elementen herausstellen, zusätzliche wechselwirkende Elemente, Einrichtungen, Merkmale oder Komponenten in einer tatsächlichen Ausführungsform vorhanden sein.
-
Schließlich sollen aus Gründen der Kürze herkömmliche Techniken und Komponenten, welche sich auf elektrische und mechanische Fahrzeugteile und andere funktionale Aspekte des Systems (und der individuellen Betriebskomponenten des Systems) beziehen, hierin nicht im Detail beschrieben werden. Weiterhin sollen die in den hierin enthaltenen verschiedenen Figuren gezeigten Verbindungslinien beispielhafte funktionelle Beziehungen und/oder physische Kopplungen zwischen den verschiedenen Elementen repräsentieren. Es sei festgestellt, dass in einer Ausführungsform der Erfindung viele alternative oder zusätzliche funktionelle Beziehungen oder physische Verbindungen vorhanden sein können. Es sollte ebenso davon ausgegangen werden, dass 1 bis 9 lediglich darstellerisch und nicht maßstabsgetreu sind.
-
1 ist eine Draufsicht auf ein Fahrzeug 100 in Übereinstimmung mit einer Ausführungsform. Das Fahrzeug 100 umfasst ein Paar von Kameras 102, 104, welche hinter dem Grill oder in der vorderen Stoßstange des Fahrzeuges 100 angeordnet sind. Die erste (oder linke) Kamera 102 ist um einen Abstand 106 von der zweiten (oder rechten) Kamera 104 beabstandet. Der Abstand 106 wird in Abhängigkeit vom Typ und Modell des Fahrzeuges 100 variieren, kann jedoch in einigen Ausführungsformen etwa einen Meter betragen. In einigen Ausführungsformen weisen die Kameras 102 und 104 eine optische Achse 108 in Ausrichtung mit einer Vorwärtsrichtung des Fahrzeuges 100 auf, während in anderen Ausführungsformen die Kameras 102, 104 eine optische Achse 110 aufweisen, welche von der Vorwärtsrichtung des Fahrzeuges um einen Schwenk-(bzw. Öffnungs-)Winkel θ versetzt ist. Der verwendete Winkel kann in Abhängigkeit vom Typ und Modell des Fahrzeuges variieren, beträgt in einigen Ausführungsformen jedoch etwa 10°. Unabhängig von der ausgewählten Ausrichtung der Kameras 102, 104 „betrachtet” jede Kamera ein ultraweites Sichtfeld (FOV = Field of View) unter Verwendung einer Fischaugenlinse zur Bereitstellung von etwa 180° FOV, welche sich teilweise überdecken 113. Die von den Kameras 102, 104 aufgenommenen Bilder können in einer Steuerung 116 bearbeitet werden, welche eine wie unten erläuterte Bildbearbeitungs-Hardware und/oder Software aufweist, um eine oder mehrere Arten von Fahrerassistenzbildern auf einem Anzeigebildschirm 118 (Display) bereitzustellen.
-
Optional kann das Fahrzeug 100 weitere Fahrerassistenzsysteme aufweisen, wie zum Beispiel ein Routenplanungs- und Navigationssystem 120 und/oder ein Kollisionsvermeidungssystem 122. Das Routenplanungs- und Navigationssystem 120 kann ein globales Positionierungs(GPS)-basiertes System zur Bereitstellung von Ortsinformation und für eine Routenplanung und Navigation verwendete Daten verwenden. Das Kollisionsvermeidungssystem kann eine oder mehrere herkömmliche Technologien verwenden. Nicht-beschränkende Beispiele solcher herkömmlichen Technologien umfassen auf Sicht-basierte Systeme, Ultraschall, Radar-basierte und Licht-basierte Systeme (das heißt LIDAR).
-
2A und 2B zeigen seitliche Ansichten des Fahrzeuges 100. Die linke Kamera 102 ist in einem Abstand 130 über der Straßenoberfläche/Boden angeordnet dargestellt. Der Abstand 130 wird vom Typ und Modell des Fahrzeuges 100 abhängen, beträgt jedoch in einigen Ausführungsformen etwa einen halben Meter. Eine Kenntnis des Abstandes 130 ist zur Berechnung virtueller Bilder aus dem Sichtfeld 112 zur Unterstützung des Fahrers des Fahrzeuges 100 nützlich. Die Kamera 102 (und Kamera 104 auf der gegenüberliegenden Seite des Fahrzeuges) kann hinsichtlich der Vorwärtsrichtung 108 des Fahrzeuges vertikal ausgerichtet sein, oder kann in einigen Ausführungsformen unter einem leichten Neigungswinkel θ zur Bereitstellung eines Sichtfeldes 112 nach unten gerichtet sein. Der Winkel θ wird in Abhängigkeit vom Typ und Modell des Fahrzeuges variieren, kann jedoch in einigen Ausführungsformen in einem Bereich von etwa 0° bis 10° liegen.
-
In Übereinstimmung mit beispielhaften Ausführungsformen ermöglicht die vorliegende Offenbarung den Vorteil einer Bereitstellung von Fahrerassistenzbildern des Bereiches nahe der bzw. angrenzend an die oder um die vordere Stoßstange des Fahrzeuges herum (das heißt, eine Bordsteindarstellung), und zwar unter Verwendung einer oder mehrerer virtueller bildgebender Techniken. Dies stellt dem Fahrer virtuelle Bilder von Bordsteinen, Hindernissen oder anderen weiteren Gegenständen bereit, mit welchen der Fahrer nach Möglichkeiten einen Zusammenstoß vermeiden möchte. Wie hierin verwendet, bedeutet „ein virtuelles Bild einer Bordsteindarstellung” ein virtuelles Bild des Bereiches vor dem Fahrzeug auf Basis von dualen Realbildern, welche mit Hilfe von am Fahrzeug befestigten vorwärtsgerichteten Kameras erhalten wurden. Die Bordsteindarstellung bzw. -Ansicht kann eine Draufsicht sein, eine perspektivische Ansicht oder weitere Ansichten, und zwar in Abhängigkeit von den virtuellen bildgebenden Techniken bzw. Kameraeinstellungen, wie im Folgenden erörtert werden wird. Wie in 2B ersichtlich ist, präsentiert die durch das offenbarte System bereitgestellte virtuelle Bildgebung dem Fahrer Bilder von einer virtuellen Kamera 102' mit einem virtuellen FOV 112'. Der Begriff „virtuelle Kamera” ist eine simulierte Kamera 102' mit simulierten Kameramodellparametern und simuliertem bilderfassenden FOV 112', zusätzlich zu einer simulierten Kameraeinstellung. Die Kamera-Bilderstellung kann durch einen Prozessor oder Prozessoren unter Verwendung von Hardware und/oder Software ausgeführt werden. Der Begriff „virtuelles Bild” ist ein zusammengesetztes (synthetisiertes) Bild einer Szene unter Verwendung der virtuellen Kamera-Bilderstellung. Auf diese Art und Weise kann der Fahrzeugbetreiber einen Bordstein oder ein anderes Hindernis vor dem Fahrzeug betrachten, und zwar beim Parken des Fahrzeuges, und kann somit eine Beschädigung am Fahrzeug vermeiden, indem er weiß, wann er eine Vorwärtsbewegung des Fahrzeuges stoppen muss.
-
3 ist ein Blockdiagramm des von verschiedenen Ausführungsformen verwendeten Bildbearbeitungssystems. Die Kameras 102, 104 können eine beliebige Kamera sein, welche für die hierin beschriebenen Zwecke geeignet ist, wobei viele von den Kameras im Fahrzeugbereich bekannt sind, welche zur Aufnahme von Licht oder anderer Strahlung in der Lage sind, und die Lichtenergie in elektrische Signale unter Verwendung von beispielsweise so genannten Charged Coupled Devices (CCD = „Ladungsgekoppelte Einrichtungen”) umwandeln können. Die Kameras 102, 104 erzeugen so genannte Frames von Bilddaten bei einer bestimmten Datenframerate, welche für eine nachfolgende Bearbeitung „gestreamt” werden können. In Übereinstimmung mit beispielhaften Ausführungsformen stellen die Kameras 102, 104 jeweils ultraweite FOV-Bilder einem Videobearbeitungsmodul 124 bereit (in einer Hardware-Ausführungsform), welches wiederum der Steuerung 116 für eine Darstellung mit Hilfe des Fahreranzeigebildschirmes 118 virtuelle Bilder bereitstellt. In einigen Hardware-Ausführungsformen kann das Videobearbeitungsmodul eine so genannte „Stand-Alone”-Einheit oder ein integrierter Schaltkreis sein oder in die Steuerung 116' eingegliedert sein. In Software-Ausführungsformen kann das Videobearbeitungsmodul 124 eine Videobearbeitungs-Software-Routine repräsentieren, welche von der Steuerung 116' ausgeführt wird.
-
Da die von den Kameras 102, 104 bereitgestellten Bilder ein ultraweites FOV aufweisen (das heißt, so genannte „Fischaugen[„fish eye”-]-Blickwinkel”), werden die Bilder beträchtlich (hin zum Rand des Bildes) gekrümmt sein. Damit die Bilder für eine Unterstützung des Fahrers des Fahrzeuges brauchbar sind, müssen diese Verzerrungen korrigiert werden und/oder die Bilder müssen derart weiterentwickelt werden, so dass die Verzerrungen das Bild nicht in besonderem Maße verschlechtern. Hierin offenbart sind verschiedene virtuelle Kamera-Bildbearbeitungstechniken, welche zur Bereitstellung von nützlichen virtuellen Bildern für den Betreiber des Fahrzeuges ein planares (perspektivisches) Entzerren und/oder nicht-planares (zum Beispiel zylindrisches) Entzerren verwenden.
-
Zusammengesetzte Bordsteinansicht-Draufsicht
-
4 zeigt eine planare oder perspektivische Entzerr-Technik, welche verwendet werden kann, um den Fahrer mit einer virtuellen Draufsicht auf den Bereich nahe der oder um die vordere Stoßstange des Fahrzeuges bereitzustellen. Dies stellt dem Fahrer virtuelle Bilder von Bordsteinen, Hindernissen oder anderen Gegenständen bereit, mit welchen der Fahrer einen Zusammenstoß vermeiden möchte. Der von der ersten (linken) Kamera 102 bereitgestellte FOV 112 und der von der zweiten (rechten) Kamera 104 bereitgestellte FOV 114 weisen den sich überdeckenden Bereich 113 auf, welcher zur Bereitstellung eines einzelnen virtuellen Bildes einer Draufsicht-Bordsteinansicht für das Fahrzeug 100 zusammengesetzt ist.
-
Während mehrere Bild-Zusammensetzungs- oder -Zusammenführungs-Techniken bestehen, wird in einigen Ausführungsformen der zusammengesetzte sich überlappende Bereich
113' mittels einer Technik mit gewichteter Mittelungsbildung erzeugt, welche jedem Pixel in den sich überlappenden Bereichen
113 auf Basis einer Differenz zwischen den Winkel- und Abstands-„Offsets” eine Wichtung wie folgt zuordnet:
Definiere: W
Bild, Draufsicht-Bildbreite; W
ovrlap, Überlagerungsbereich-Breite;
x
offset = W
Bild – W
ovrlap, Offset des Überlagerungsbereiches im linken Bild
-
5A bis 5C zeigen eine Bilderbearbeitung in Übereinstimmung mit der Draufsicht-Entzerrungs- und -Zusammensetzungs-Technik. In 5 ist im FOV 112 und 114 ein Bordstein 500 zu sehen. Die Bilder sind aufgrund der durch die Kameras 102, 104, wie oben erläutert, bereitgestellten Ultraweiten FOVs gekrümmt (bzw. verzerrt). Nach der Bearbeitung erscheinen die virtuellen Draufsicht-Bilder 112' und 114' in 5B als etwas verschwommen, jedoch stellen sie noch eine nützliche Ansicht des Bordsteins bereit. Nach Zusammensetzung (Zusammenführung), wie oben erläutert, der sich überlappenden Bereiche stellt der zusammengeführte Bereich 113' dem Fahrer des Fahrzeuges eine zusammengesetzte Draufsicht des Bordsteines 500' in 5C bereit, so dass der Betreiber des Fahrzeuges ohne ein Gegenfahren gegen den Bordstein Einparken kann. Optional bestehen verschiedene graphische Überlagerungen über das Bild zur Unterstützung des Fahrers. Als ein nicht-beschränkendes Beispiel zeigt 5D drei horizontale Linien 502, 504 und 506 zur Bereitstellung von Abstandsinformation für den Fahrer. Beispielsweise kann Linie 502 einen Abstand von einem Meter vor der Stoßstange des Fahrzeuges repräsentieren und kann in einer gründen Farbe angezeigt werden, um einen sicheren Abstand anzuzeigen. Linie 504 kann einen Abstand von 0,5 m Entfernung repräsentieren und kann gelb oder orange gefärbt sein, um dem Fahrer einen Warnhinweis bereitzustellen, während Linie 506 einen Abstand von 0,2 m Entfernung von der Stoßstange repräsentieren kann und rot gefärbt sein kann, um die empfohlene Minimaldistanz für ein Stoppen anzuzeigen. Zusätzlich können vertikale Linien 508, 510 bereitgestellt sein, um die Breite des Fahrzeuges zur Unterstützung des Fahrers anzuzeigen. Vorzugsweise ist jede beliebige Anzahl von weiteren graphischen Überlagerungen möglich und kann als Auswahl durch den Nutzer angezeigt werden (oder auch nicht) (zum Beispiel in einem Systemeinstellungsmenü), und kann automatisch aktiviert werden, wenn das System aktiviert wird oder kann manuell vom Fahrer aktiviert werden (zum Beispiel mittels einer Schalteinrichtung, Tasteinrichtung bzw. eines Sprachbefehles).
-
6A zeigt eine bevorzugte Technik zum Zusammensetzen (Synthetisieren) einer virtuellen Ansicht der aufgenommenen Szene 600 unter Verwendung eines virtuellen Kameramodells mit einer nicht-ebenen Bildoberfläche. Der einfallende Strahl jedes Pixels in dem aufgenommenen Bild 600 wird auf Basis des Kameramodells und einer radialen Verzerrung der realen Aufnahmeeinrichtung berechnet. Der einfallende Strahl wird dann auf eine nicht-ebene Bildoberfläche 602 mit Hilfe des virtuellen Kamera-(das heißt, Lochkamera-)Modells projiziert, um den Pixel auf die virtuelle Bildoberfläche abzubilden.
-
Für eine flache Abbildung der Bildoberfläche zur Erzielung des zusammengesetzten (synthetisierten) virtuellen Bildes wird zur Entzerrung des Bildes eine Ansichtzusammensetzungstechnik an dem projizierten Bild auf der nicht-ebenen Oberfläche angewendet. In 6B wird ein Bildentzerren unter Verwendung einer konkaven Bildoberfläche 604 erzielt. Solche Oberflächen können, ohne jedoch darauf beschränkt zu sein, eine (kreisförmige) Zylinder- und eine elliptische Zylinder-Bildoberfläche umfassen. Das heißt, die aufgenommene Szene 606 wird unter Verwendung des wie oben beschriebenen Lochkameramodells auf eine zylinderartige Oberfläche 604 projiziert. Danach wird das auf die Zylinder-Bildoberfläche projizierte Bild auf die flache (ebene) im Fahrzeug befindliche Bild-Anzeigeeinrichtung abgebildet (entzerrt), wie es in 6B gezeigt ist.
-
7 ist eine Querschnittsdarstellung einer kombinierten ebenen und nicht-ebenen Bild-Entzerrung. In Übereinstimmung mit beispielhaften Ausführungsformen wird ein Mittenbereich
700 eines virtuellen Bildes gemäß der ebenen bzw. perspektivischen Technik „modelliert” bzw. bearbeitet. Die Größe des Mittenbereichs
700 kann in unterschiedlichen Ausführungsformen variieren, kann jedoch in einigen Ausführungsformen etwa 120° betragen. Die seitlichen Abschnitte
702,
704 werden unter Verwendung der nicht-ebenen (zylindrischen) Technik bearbeitet, wobei die Größe dieser Abschnitte von der für den Mittenbereich
700 ausgewählten Größe abhängen wird (das heißt, 30°, falls der Mittenbereich 120° beträgt). Mathematisch kann diese kombinierte Entzerr-Technik folgendermaßen ausgedrückt werden:
Mitte (innerhalb θ
Mitte): rektilineare Projektion, Beide Seiten (außerhalb θ
Mitte): zylindrische Projektion Falls
Mitte (innerhalb θ
Mitte) Rektilineare Projektion:
-
Perspektivische Bordsteinansicht
-
8A ist eine Darstellung, welche die an den dualen Kameras 102, 104 der vorliegenden Offenbarung angewandte kombinierte Technik aus 7 zeigt, um eine perspektivische Ansicht eines Bordsteins 800 bereitzustellen (oder eines anderen vorderen Hindernisses), und zwar wie bei Betrachtung durch jede der Kameras 102 und 104. Das FOV 112 von der linken Kamera 102 wird in Übereinstimmung mit der Bearbeitungstechnik aus 7 bearbeitet, was in einem planaren entzerrten Mittenbereich 114' und zwei zylindrisch entzerrten Seitenbereichen 114'' resultiert. In Übereinstimmung mit dieser Ausführungsform würden die virtuellen FOVs 112 und 114 auf eine wie in 8B gezeigte Seite-an-Seite-Art und Weise (mittels des Anzeigebildschirmes 118 aus 1) angezeigt werden. Dies stellt einem Fahrer ein „scharfes” (im Gegensatz zu dem leicht verschwommenen Bild, welches lediglich durch ein Draufsicht-Entzerren bereitgestellt wird) virtuelles Bild ohne fehlender Segmente vor dem Bordstein 800 bereit.
-
Zusammengesetzte perspektivische Bordsteinansicht
-
9A und 9B stellen eine weitere Ausführungsform dar, wo die FOVs in einem einzelnen virtuellen Bild zusammengesetzt sind. In dieser Ausführungsform sind die mit Bezugszeichen 100 gekennzeichneten seitlichen Bereiche entfernt (bzw. „abgeschnitten”) und die FOVs 112 und 114 sind, wie es dargestellt ist, für eine leichte Überlappung bzw. Überdeckung zusammengesetzt. Dies stellt dem Betreiber des Fahrzeuges ein „scharfes” Einzelbild bereit. Es sei jedoch angemerkt, dass, aufgrund des Entfernens der zwei seitlichen Bereiche, ein Gebiet bzw. Bereich (802 aus 8B) vor dem Bordstein 902 im virtuellen Bild fehlt, wobei ebenso für Gegenstände in dem sich überlappenden Bereich ein Doppelbild gezeigt ist. Jedoch kann zur Behebung der fehlenden und doppelten Bilder eine zusätzliche Bearbeitung angewendet werden. Nicht-beschränkende Beispiele einer solchen Bearbeitung umfassen ein Verwenden einer sensierten Geometrie von einem LIDAR-Sensor oder eine abgeschätzte Tiefeninformation von einem Stereobetrachtungs-Bearbeitungsverfahren für eine Erzeugung einer virtuellen Szene und ein Anwenden einer bildbasierten Erzeugungs-(Rendering)Technik zur Erzeugung einer virtuellen Bildansicht auf Basis von mehreren Kameraeingaben.
-
10 zeigt Flussdiagramme, welche für ein Verständnis des hierin offenbarten Dual-Kamera-Bordsteinansichtsystems nützlich sind. Die verschiedenen in Verbindung mit dem Verfahren 1000 aus 10 ausgeführten Schritte bzw. Aufgaben können mit Hilfe von Software, Hardware, Firmware oder einer beliebigen Kombination davon ausgeführt werden. Für darstellerische Zwecke kann sich die folgende Beschreibung des Verfahrens aus 10 auf oben in Verbindung mit 1 bis 9 erwähnte Elemente beziehen. In der Praxis können Abschnitte des Verfahrens aus 10 durch unterschiedliche Elemente des beschriebenen Systems ausgeführt werden. Ebenso kann das Verfahren aus 10 vorzugsweise eine beliebige Anzahl zusätzlicher oder alternativer Schritte bzw. Aufgaben umfassen und vorzugsweise kann das Verfahren aus 10 in einen umfassenderen Ablauf bzw. Vorgang mit zusätzlicher Funktionalität eingegliedert sein, welche hier nicht im Detail beschrieben ist. Überdies könnte eine bzw. könnten mehrere der in 10 gezeigten Schritte bzw. Aufgaben aus einer Ausführungsform des Verfahrens aus 10 weggelassen werden, solange die beabsichtigte Gesamtfunktionalität erhalten bleibt.
-
Das Verfahren beginnt bei Schritt 1002, wo das System aktiviert wird, um ein Darstellen von Frontansichtbildern eines beliebigen Bordsteins oder eines anderen Hindernisses vor dem Fahrzeug zu beginnen. Das System kann manuell vom Nutzer aktiviert werden, oder automatisch unter Verwendung einer beliebigen Anzahl von Parametern oder Systemen. Nicht-beschränkende Beispiele einer solchen automatischen Aktivierung umfassen die Fahrzeuggeschwindigkeit, welche unterhalb eines bestimmten Schwellenwertes ist (optional in Verbindung mit betätigten Bremsen); eines der verwendeten Kollisionsvermeidungssysteme vor dem Fahrzeug (zum Beispiel, auf Sicht basiert, mit Ultraschall, auf Basis von Radar oder LIDAR), welche einen Gegenstand vor dem Fahrzeug erkennen (zum Beispiel einen Bordstein); automatisch betätigten Bremsbeginn, wie zum Beispiel mit Hilfe eines Parkassistenzsystems; das GPS-System, welches anzeigt, dass sich das Fahrzeug in einem Parkplatz oder einer Parkmöglichkeit befindet, oder – anstelle des GPS-Systems – einen Anzeige hinsichtlich des Fahrzeuges mit Hilfe eines anderen geeigneten Verfahrens in Abhängigkeit von der besonderen Umsetzung bzw. Ausführungsform ermöglicht. Als Nächstes bestimmt der Entscheidungsschritt 1004, ob der Fahrer einen bevorzugten Anzeigemodus ausgewählt hat. In Übereinstimmung mit beispielhaften Ausführungsformen kann eine bzw. können alle der Virtuellbildtechniken in einem Fahrzeug verwendet werden und der Nutzer (Fahrer) kann dann auswählen, welches bevorzugte virtuelle Bild angezeigt werden sollte. Falls der Entscheidungsschritt 1004 feststellt bzw. bestimmt, dass der Nutzer eine solche Auswahl getroffen hat, wird die der Nutzerauswahl zugewiesene bzw. zugeordnete Entzerrtechnik aktiviert bzw. durchgeführt (Schritt 1006). Falls jedoch die Bestimmung im Entscheidungsschritt 1004 ergibt, dass keine Auswahl getroffen wurde, dann wird in Schritt 1008 eine Standard-Auswahl getroffen, wobei die Routine dann weiter fortfährt.
-
Schritt 1010 nimmt mit Hilfe der dualen Kameras (102, 104 in 1) Bilder auf und entzerrt diese, und zwar für die Steuerung (116 in 1) zur Anzeige in Schritt 1012 (wie zum Beispiel auf dem Anzeigebildschirm aus 1). Nach Anzeige jedes Bildes in Schritt 1012 bestimmt Entscheidungsschritt 1014, ob das System deaktiviert worden ist. Eine Deaktivierung kann manuell (durch den Fahrer) oder automatisch durchgeführt werden, wie zum Beispiel durch ein Detektieren, dass das Fahrzeug in die Parkstellung gebracht wurde. Falls das Fahrzeug geparkt worden ist, dann endet die Routine bzw. das Verfahren (Schritt 1020). Falls das Fahrzeug jedoch noch nicht geparkt ist, bestimmt Entscheidungsschritt 1016, ob der Nutzer eine Anzeigeänderungsauswahl getroffen hat. Das heißt, der Nutzer kann entscheiden, während des Parkmanövers verschiedene Betrachtungsmoden bzw. -anzeigen zu ändern bzw. zu wechseln (und somit die Entzerr-Modelle). Falls der Nutzer eine neue Auswahl getroffen hat, ändert Schritt 1018 die verwendete Entzerr-Bearbeitung. Falls keine Nutzeränderung getroffen wurde, kehrt das Verfahren zurück zu Schritt 1010 und das Verfahren (bzw. die Routine) fährt fort, Bilder von jeglichem vor dem Fahrzeug befindlichen Hindernis aufzunehmen, zu entzerren und zur Unterstützung des Fahrers anzuzeigen, wobei das Hindernis bzw. die Hindernisse während des Parkmanövers das Fahrzeug möglicherweise beschädigen könnten.
-
Während wenigstens eine beispielhafte Ausführungsform in der vorangegangenen detaillierten Beschreibung dargestellt wurde, sollte bevorzugt werden, dass eine große Anzahl an Variationen besteht. Es sollte ebenso bevorzugt werden, dass die beispielhafte Ausführungsform bzw. beispielhaften Ausführungsformen lediglich Beispiele sind, und nicht den Umfang, die Anwendbarkeit oder Anordnung der Offenbarung in irgendeiner Weise beschränken sollen. Vielmehr soll die vorangegangene detaillierte Beschreibung dem Fachmann eine nützliche Anleitung zur Umsetzung der beispielhaften Ausführungsform bzw. beispielhaften Ausführungsformen zur Verfügung stellen. Es sollte davon ausgegangen werden, dass hinsichtlich der Funktion und Anordnung der Elemente verschiedene Änderungen durchgeführt werden können, ohne vom Umfang der wie hierin definierten Offenbarung abzuweichen.
-
Weitere Ausführungsformen
-
- 1. Verfahren, umfassend:
Aufnehmen eines ersten Realbildes von einer ersten Kamera mit einem vorwärts gerichteten Sichtfeld eines Fahrzeuges;
Aufnehmen eines zweiten Realbildes von einer zweiten Kamera mit einem vorwärts gerichteten Sichtfeld des Fahrzeuges;
Entzerren und Kombinieren des ersten Realbildes und des zweiten Realbildes in einem Prozessor zur Bildung einer virtuellen Bildansicht einer Bordsteindarstellung vor dem Fahrzeug; und
Anzeigen der virtuellen Bildansicht der Bordsteindarstellung auf einem Anzeigebildschirm innerhalb des Fahrzeuges.
- 2. Verfahren nach Ausführungsform 1, wobei die virtuelle Bildansicht der Bordsteindarstellung eine Draufsicht des virtuellen Bildes oder eine Perspektivansicht des virtuellen Bildes umfasst.
- 3. Verfahren nach Ausführungsform 1, wobei:
das Aufnehmen des ersten Realbildes ein Aufnehmen des ersten Realbildes von der ersten Kamera mit einem Sichtfeld von etwa 180° umfasst; und
das Aufnehmen des zweiten Realbildes ein Aufnehmen des zweiten Realbildes von der zweiten Kamera mit einem Sichtfeld von etwa 180° umfasst.
- 4. Verfahren nach Ausführungsform 1, wobei das Entzerren des ersten Realbildes und des zweiten Realbildes ein Anwenden eines planaren Entzerrungsvorganges zur Bildung des virtuellen Bildes der Bordsteindarstellung durch den Prozessor umfasst.
- 5. Verfahren nach Ausführungsform 1, wobei das Entzerren des ersten Realbildes und des zweiten Realbildes ein Anwenden eines nicht-planaren Entzerrungsvorgangs zur Bildung des virtuellen Bildes der Bordsteindarstellung durch den Prozessor umfasst.
- 6. Verfahren nach Ausführungsform 1, wobei das Entzerren des ersten Realbildes und des zweiten Realbildes einen kombinierten planaren und nicht-planaren Entzerrungsvorgang zur Bildung des virtuellen Bildes der Bordsteindarstellung durch den Prozessor umfasst.
- 7. Verfahren nach Ausführungsform 1, wobei das Kombinieren des ersten Realbildes und des zweiten Realbildes ein Anwenden eines Vorganges mit gewichteter Mittelung über einem überlappenden Abschnitt des ersten Realbildes und des zweiten Realbildes durch den Prozessor umfasst.
- 8. Verfahren nach Ausführungsform 1, weiterhin umfassend ein Überlagern eines graphischen Bildes über das virtuelle Bild der Bordsteindarstellung zur Bereitstellung einer Abstandsinformation hinsichtlich des virtuellen Bildes der Bordsteindarstellung durch den Prozessor.
- 9. Verfahren nach Ausführungsform 1, weiterhin umfassend ein Empfangen einer Anzeigemodusanweisung und Anwenden eines Entzerr-Vorganges entsprechend der Anzeigemodusanweisung durch den Prozessor am ersten und zweiten Realbild zur Bildung des virtuellen Bildes der Bordsteinansicht.
- 10. Verfahren nach Ausführungsform 1, weiterhin umfassend ein automatisches Deaktivieren der ersten und zweiten Kameras nach einem Parken des Fahrzeuges.
- 11. System, umfassend:
Eine erste Kamera mit einem vorwärtsgerichteten Sichtfeld eines Fahrzeuges zur Bereitstellung eines ersten Realbildes;
eine zweite Kamera mit einem vorwärtsgerichteten Sichtfeld des Fahrzeuges zur Bereitstellung eines zweiten Realbildes;
einen Prozessor, welcher mit der ersten Kamera und der zweiten Kamera gekoppelt und dazu ausgebildet ist, zu entzerren und zu kombinieren, und zwar zur Bildung einer virtuellen Bildansicht einer Bordsteindarstellung im Bereich einer Front des Fahrzeuges; und
eine Anzeige zum Anzeigen des virtuellen Bildes der Bordsteinansicht innerhalb des Fahrzeuges.
- 12. System nach Ausführungsform 11, wobei die erste Kamera und die zweite Kamera jeweils ein Sichtfeld von etwa 180° aufweisen.
- 13. System nach Ausführungsform 11, wobei das virtuelle Bild der Bordsteindarstellung eine virtuelle Bild-Draufsicht oder eine virtuelle Bild-Perspektivansicht umfassen.
- 14. System nach Ausführungsform 11, wobei die erste Kamera und die zweite Kamera jeweils eine von einer Vorwärtsrichtung des Fahrzeuges versetzte optische Achse aufweisen.
- 15. Verfahren nach Ausführungsform 11, wobei der Prozessor zur Bildung des virtuellen Bildes der Bordsteindarstellung einen planaren Entzerrungs-Vorgang anwendet.
- 16. System nach Ausführungsform 11, wobei der Prozessor zur Bildung des virtuellen Bildes der Bordsteindarstellung einen nicht-planaren Entzerrungs-Vorgang anwendet.
- 17. System nach Ausführungsform 11, wobei der Prozessor zur Bildung des virtuellen Bildes der Bordsteindarstellung einen kombinierten planaren und nicht-planaren Entzerrungs-Vorgang anwendet.
- 18. System nach Ausführungsform 11, wobei ein gewichteter Mittelungsvorgang über einem überlappenden Abschnitt des ersten Realbildes und des zweiten Realbildes durch den Prozessor anwendbar ist.
- 19. System nach Ausführungsform 11, weiterhin umfassend ein Überlagern eines graphischen Bildes über die virtuelle Bild-Draufsicht zur Bereitstellung einer Abstandsinformation hinsichtlich des virtuellen Bildes der Bordsteindarstellung durch den Prozessor.
- 20. Fahrzeug, umfassend:
eine erste Kamera mit einem vorwärtsgerichteten Sichtfeld eines Fahrzeuges zur Bereitstellung eines ersten Realbildes;
eine zweite Kamera mit einem vorwärtsgerichteten Sichtfeld des Fahrzeuges zur Bereitstellung eines zweiten Realbildes;
einen mit der ersten Kamera und der zweiten Kamera gekoppelten Prozessor, welcher dazu ausgebildet ist:
Das erste Realbild und das zweite Realbild unter Verwendung eines planaren Vorganges, eines nicht-planaren Vorganges oder eines kombinierten planaren und nicht-planaren Vorganges zur Bereitstellung entzerrter erster und zweiter Bilder zu entzerren;
sich überlappende Abschnitte der ersten und zweiten entzerrten Bilder zu kombinieren, um ein virtuelles Bild einer Bordsteindarstellung im Bereich einer Front des Fahrzeuges bereitzustellen; und
ein graphisches Bild über das virtuelle Bild der Bordsteindarstellung zur Bereitstellung einer Abstandsinformation zu überlagern; und
eine Anzeige zum Anzeigen des virtuellen Bildes der Bordsteindarstellung und der graphischen Überlagerung innerhalb des Fahrzeuges.
- 21. Fahrzeug nach Ausführungsform 20, wobei das virtuelle Bild der Bordsteindarstellung eine virtuelle Bildansicht-Draufsicht umfasst.
- 22. Fahrzeug nach Ausführungsform 20, wobei das virtuelle Bild der Bordsteindarstellung eine virtuelle Bildansicht-Perspektivdarstellung umfasst.
