-
Die Erfindung betrifft ein Verfahren zum Betreiben eines elektronischen Fahrzeugführungssystems eines Kraftfahrzeugs, wobei ein Fischaugenbild von einer Umgebung des Kraftfahrzeugs mittels mindestens einer Fischaugenkamera erfasst wird, und ein Fischaugenbild in ein erstes konvertiertes Bild in einer ersten Art von Projektionsmodus und/oder ein zweites konvertiertes Bild in einer zweiten Art von Projektionsmodus, welche zur ersten Art unterschiedlich ist, abhängig von einem vorbestimmten Parameter der Fischaugenkamera mittels einer elektronischen Recheneinrichtung des elektronischen Fahrzeugführungssystems konvertiert wird. Des Weiteren betrifft die Erfindung ein elektronisches Fahrzeugführungssystem, ein Kraftfahrzeug, ein Computerprogramm, und eine Computerprogrammprodukt.
-
Es ist bekannt, dass Kameras und andere Arten von Sensoren weithin beim autonomen Fahren verwendet werden. Sie stellen eine kostengünstige Weise dar, die Umgebung wahrzunehmen. Darüber hinaus verbessern sich Computer-Vision-Algorithmen schnell und steigern die Nützlichkeit dieser Sensoren. Für typische automatisierte Fahranwendungen werden Kameras mit engem Sichtfeld verwendet, da sie einen längeren Erfassungsbereich aufweisen und sich mathematisch einfacher modellieren lassen.
-
Gleichzeitig wird für Parkanwendungen ein Trägerfahrzeug mit einem Kokon von Fischaugenkameras ausgestattet, um einen 360°-Blick um das Fahrzeug zu ermöglichen. Fischaugenkameras haben den Vorteil eines weiteren Sichtfeldes als reguläre Kameras, wie etwa Lochkameras. Darüber hinaus decken sie die Bereiche nahe dem Trägerfahrzeug sehr gut ab, was für städtische Szenarien beispielsweise sehr nützlich ist.
-
Jedoch ist das von Fischaugenkameras produzierte Bild stark verzerrt hinsichtlich herkömmlicher Kameras mit engem Sichtfeld und dies kann Probleme für einen Erkennungsalgorithmus verursachen. Auch werden Eigenschaften wie gerade Linien in der Welt und vertikale Objekte nicht notwendigerweise im Bild beibehalten. Des Weiteren ist die Verzerrung nicht überall im Bild die gleiche und es hängt stark von der Kameraorientierung ab. So muss ein Maschinenlernalgorithmus beispielsweise verschiedene Erscheinungsformen desselben Objektes erlernen, wodurch eine längere Trainingszeit benötigt und potentiell seine Genauigkeit reduziert wird.
-
Das Stand der Technik Dokument
US 2014/0104424 befasst sich mit durch eine Fischaugenkamera verursachten Verzerrungsproblemen und schlägt vor, eine Transformation an einer erfassten Szene durchzuführen (auch als Entzerrungstransformation bekannt). Beispiele für Entzerrungstransformationen werden aufgeführt, unter anderem die Projektion auf eine ebene Oberfläche oder auf eine zylindrische Oberfläche.
-
Das Stand der Technik Dokument
US 2015/0042799 A1 offenbart ein Verfahren zum Anzeigen eines erfassten Bildes auf einer Anzeigevorrichtung eines gefahrenen Fahrzeugs. Eine zum gefahrenen Fahrzeug externe Szene wird erfasst von mindestens einem sicht-basierten auf dem gefahrenen Fahrzeug montierten Bilderfassungsgerät. Objekte in einer Nachbarschaft des gefahrenen Fahrzeugs werden erfasst. Ein Bild der erfassten Szene wird von einem Prozessor generiert. Das Bild wird dynamisch erweitert, um wahrgenommene Objekte im Bild einzuschließen. Die wahrgenommenen Objekte werden in dem dynamisch erweiterten Bild hervorgehoben. Die hervorgehobenen Objekte identifizieren Fahrzeuge unmittelbar neben dem gefahrenen Fahrzeug, die potentiell eine Kollision für das Fahrzeug darstellen. Das dynamisch erweiterte Bild wird mit hervorgehobenen Objekten in der Anzeigevorrichtung angezeigt.
-
Des Weiteren offenbart das Stand der Technik Dokument
US 2016/0171317 A1 ein Überwachungsverfahren und ein Überwachungsgerät, bei welchen eine Kamera verwendet wird. Das Überwachungsverfahren benutzt eine Kamera und schließt das Erhalten eines fotografierten Eingangsbildes von einer Kamera ein. Ein in dem Eingangsbild und Informationen zur Position des Objektes werden ermittelt. Ein korrigiertes Bild wird durch Korrigieren eines verzerrten Bereiches des Eingangsbildes generiert. Ein synthetisiertes Bild wird generiert durch Synthetisierung von Alarmanzeigeinformation, die auf der Grundlage eines Objektes und der Positionsinformation generiert wird, mit dem korrigierten Bild, und es erfolgt ein Ausgeben des synthetisierten Bildes durch eine Anzeige.
-
Es ist Aufgabe der vorliegenden Erfindung ein Verfahren bereitzustellen, sowie eine elektronische Recheneinrichtung und ein Kraftfahrzeug, durch welche ein weiteres Sichtfeld für ein Fahrerassistenzsystem eines Kraftfahrzeugs besser genutzt werden kann.
-
Diese Aufgabe wird durch ein Verfahren, eine elektronische Recheneinrichtung sowie ein Kraftfahrzeug gemäß den unabhängigen Ansprüchen gelöst.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines elektronischen Fahrzeugführungssystems eines Kraftfahrzeugs. Ein Fischaugenbild einer Umgebung eines Kraftfahrzeugs wird mittels mindestens einer Fischaugenkamera erfasst und das Fischaugenbild wird in ein erstes konvertiertes Bild in einer ersten Art von Projektionsmodus konvertiert und/oder ein zweites konvertiertes Bild in einer zweiten Art von Projektionsmodus, die unterschiedlich ist zur ersten Art, abhängig von einem vorbestimmten Parameter der Fischaugenkamera mittels einer elektronischen Recheneinrichtung des elektronischen Fahrzeugführungssystems.
-
Es ist vorgesehen, dass das Fischaugenbild einem ersten Fahrzeugführungsuntersystem des elektronischen Fahrzeugführungssystems oder einem zum ersten Fahrzeugführungsuntersystem unterschiedlichen zweiten Fahrzeugführungsuntersystem des elektronischen Fahrzeugführungssystems bereitgestellt wird und das Fischaugenbild in das erste konvertierte Bild für das erste Fahrzeugführungsuntersystem oder das zweite konvertierte Bild für das zweite Fahrzeugführungsuntersystem abhängig von einem Entscheidungskriterium mittels der elektronischen Recheneinrichtung konvertiert wird.
-
Dadurch lässt sich das Fischaugenbild transformieren, so dass ein Ausgleich für die Verzerrung des Sensors/der Fischaugenkamera abhängig vom Fahrzeugführungsuntersystem realisiert wird. Dies hat den Vorteil eines weiten Sichtfeldes der Fischaugenkamera ohne den Nachteil eines weniger leistungsstarken Algorithmus beispielsweise durch Verwendung einer Lochkamera als das Erfassungsgerät für die Umgebung.
-
Mit anderen Worten wird das Fischaugenbild von der Fischaugenkamera erfasst. Abhängig davon, ob das Fischaugenbild für das erste Fahrzeugführungsuntersystem oder für das zweite Fahrzeugführungsuntersystem benutzt wird, entscheidet die Recheneinrichtung, ob das Fischaugenbild mit dem ersten Projektionsmodus in das erste konvertierte Bild oder mit einem zweiten Projektionsmodus in das zweite konvertierte Bild konvertiert wird. Insbesondere ist vorgesehen, dass das erste Fahrzeugführungsuntersystem nur das erste konvertierte Bild und das zweite Fahrzeugführungsuntersystem nur das zweite konvertierte Bild benötigt. Es ist daher möglich, dass die elektronische Recheneinrichtung entscheidet, wie das Bild konvertiert wird, abhängig davon, ob das Bild für das erste Fahrzeugführungsuntersystem oder für das zweite Fahrzeugführungsuntersystem verwendet wird. Daher ist es möglich, dass Rechenkapazität von der elektronischen Recheneinrichtung gespart werden kann.
-
Vorzugsweise kann vorgesehen sein, dass in dem ersten Projektionsmodus das Bild in anderer Weise als im zweiten Projektionsmodus konvertiert ist. Beispielsweise wird die Perspektive des Bildes unterschiedlich konvertiert, je nachdem welches Projektionsverfahren (das erste Projektionsverfahren konvertiert oder das zweite Projektionsverfahren) gewählt wird. Es ist auch möglich, dass in dem ersten Projektionsmodus das Bild auf andere Weise verzerrt ist als in dem zweiten Projektionsmodus.
-
Vorzugsweise kann vorgesehen sein, dass das zweite Fahrzeugführungsuntersystem für einen zumindest teilweise autonomen Betrieb, insbesondere einen autonomen Betrieb, des Fahrzeugs bereitgestellt wird.
-
Des Weiteren kann vorzugsweise vorgesehen sein, dass das konvertierte Fischaugenbild an das erste Fahrzeugführungsuntersystem und/oder das zweite Fahrzeugführungsuntersystem mittels der elektronischen Recheneinrichtung gesendet wird.
-
Gemäß einer vorteilhaften Ausführungsform wird das Fischaugenbild für das erste Fahrzeugführungsuntersystem des elektronischen Fahrzeugführungssystem bereitgestellt wird und für das zweite Fahrzeugführungsuntersystem und das Fischaugenbild wird in das erste konvertierte Bild für das erste Fahrzeugführungsuntersystem und das zweite konvertierte Bild für das zweite Fahrzeugführungsuntersystem abhängig von dem Entscheidungskriterium konvertiert. Insbesondere wenn das elektronische Fahrzeugführungsuntersystem zwei Fahrzeugführungsuntersysteme aufweist, kann das Fischaugenbild an beide Fahrzeugführungsuntersysteme bereitgestellt werden. Es ist daher möglich, dass das erste konvertierte Bild von dem ersten Fahrzeugführungsuntersystem und gleichzeitig das zweite konvertierte Bild von dem zweiten Fahrzeugführungsuntersystem verwendet wird. Es ist also möglich, dass die zwei verschiedenen konvertierten Bilder gleichzeitig für zwei verschiedene Fahrzeugführungsuntersysteme verwendet werden. Es ist also möglich, dass mit einer Fischaugenkamera das weite Sichtfeld in verschiedenen Fahrzeugführungsuntersystemen benutzt werden kann. Dies macht das elektronische Fahrzeugführungssystem hochfunktional in seiner Benutzung.
-
Es hat sich des Weiteren als vorteilhaft erwiesen, dass als erstes konvertiertes Bild ein Lochkamerabild bereitgestellt wird und/oder als zweites konvertiertes Bild ein zylindrisches Bild bereitgestellt wird. Mit anderen Worten kann das erste konvertierte Bild als ein virtuelles Bild von einer Lochbildkamera bereitgestellt werden. Das zweite konvertierte Bild kann als ein virtuelles zylindrisches Bild bereitgestellt werden. Daher ist es möglich, beide Vorteile aus beiden Bildern zu nutzen. Bei dem virtuellen Bild einer Lochkamera ist vorgesehen, dass alle geraden Linien in der realen Welt auch durch gerade Linien in dem ersten konvertierten Bild repräsentiert werden. Der Vorteil des zylindrischen Bildes ist, dass es ein weites Sichtfeld in der Parallelrichtung zum Boden gibt. Es ist daher möglich, dass die vertikale Richtung des virtuellen Objekts in der realen Welt in dem Bild vertikal bleibt, was eine wichtige Eigenschaft für die Struktur von Objekten ist.
-
In einer weiteren vorteilhaften Ausführungsform wird das Fischaugenbild in ein Lochkamerabild konvertiert abhängig von einer vorbestimmbaren Bildausschnittposition für das erste Fahrzeugführungsuntersystem. Mit anderen Worten ist es möglich, dass das elektronische Fahrzeugführungsuntersystem einen Ausschnitt in dem Bild vorbestimmt, wo das Fischaugenbild in das Lochkamerabild konvertiert werden soll. Beispielsweise kann der Ausschnitt ein Bereich von Interesse in dem Fischaugenbild sein und es ist daher möglich, dass der Bereich von Interesse auf vorteilhafte Weise überwacht werden kann. Insbesondere ist es möglich, dass die Bildausschnittposition eine planare Ebene in dem Fischaugenbild ist und abhängig von der Ebene das erste konvertierte Bild konvertiert wird.
-
Beispielsweise kann der Ausschnitt ein Bereich von Interesse in dem Fischaugenbild sein und es ist daher auch von Vorteil, wenn das Fischaugenbild in eine Anzahl von Lochkamerabildern für das erste Fahrzeugführungsuntersystem konvertiert wird. Mit anderen Worten kann es mehrere Lochkameras geben, die simuliert sind, oder es kann vorgesehen sein, dass andere Projektionsarten verwendet werden, zum Beispiel etwa stereographische Projektionen. Insbesondere kann vorgesehen sein, dass abhängig von den Eigenschaften das Fischaugenbild in eine Anzahl von Lochkamerabildern konvertiert wird. Dies hat den Vorteil, dass das elektronische Fahrzeugführungssystem hochfunktional verwendbar ist.
-
In einer vorteilhaften Ausführungsform wird das Fischaugenbild in ein zylindrisches Bild abhängig von einer vorbestimmbaren Abstandsposition für das zweite Fahrzeugführungsuntersystem konvertiert. Mit anderen Worten kann beispielsweise eine vorbestimmte Abstandsposition voreingestellt sein. Abhängig von diesem Abstand kann das zylindrische Bild konvertiert werden. Daher ist es möglich, dass das zylindrische Bild speziell für die Benutzungsfälle des zweiten elektronischen Fahrzeugführungsuntersystem konvertiert wird. Es ist daher möglich, dass eine hochfunktionale Benutzung des elektronischen Fahrzeugführungssystems bereitgestellt wird.
-
Es hat sich des Weiteren als vorteilhaft erwiesen, wenn mindestens ein intrinsischer und/oder extrinsischer Parameter der Fischaugenkamera als der mindestens eine vorbestimmte Parameter voreingestellt wird. Die Verwendung der intrinsischen und/oder extrinsischen Parameters der Fischaugenkamera ermöglicht es, das Fischaugenbild in das erste konvertierte Bild und/oder das zweite konvertierte Bild ohne den Nachteil eines weniger leistungsstarken Algorithmus zu konvertieren. Daher ist es möglich, ein realistisches erstes konvertiertes Bild und/oder zweites konvertiertes Bild zu erstellen, ohne Leistungsstärke in dem Bild zu verlieren. Daher ist ein Konvertieren des Fischaugenbildes in das erste konvertierte Bild und/oder das zweite konvertierte Bild möglich.
-
Es hat sich weiter als vorteilhaft erwiesen, wenn das erste Fahrzeugführungsuntersystem als elektronischer Spiegel bereitgestellt wird, insbesondere als ein elektronischer Rückspiegel und/oder als ein elektronischer Seitenspiegel. Es ist daher möglich, dass das weite Sichtfeld der Fischaugenkamera eingesetzt werden kann, um den elektronischen Spiegel anzuzeigen, insbesondere den elektronischen Rückspiegel und/oder den elektronischen Seitenspiegel. Es ist daher möglich, dass der elektronische Rückspiegel und/oder der elektronische Seitenspiegel das vorteilhaft konvertierte Bild von der Fischaugenkamera zeigt. Daher kann ein weiteres Sichtfeld beispielsweise für einen Benutzer des Kraftfahrzeugs auf dem elektronischen Spiegel angezeigt werden.
-
Es hat sich des Weiteren als vorteilhaft gezeigt, wenn für die Konvertierung des Fischaugenbildes in das erste konvertierte Bild und/oder das zweite konvertiere Bild eine Winkelposition jedes Pixels des Fischaugenbildes von der elektronischen Recheneinrichtung abhängig von dem mindestens einen vorgegebenen Parameter bestimmt wird. Daher kann die Winkelposition in der Welt mit jedem Pixel assoziiert werden. Es kann daher möglich sein, dass die „virtuelle Kamera“, beispielsweise die Lochkamera oder die Zylinderprojektion, an einem gegebenen Ort simuliert werden kann und das Bild, das von dieser virtuellen Kamera aus gesehen worden wäre, abgerufen wird. Beispielsweise kann ein 2D-Bild dargestellt werden. Es ist daher möglich, das Fischaugenbild präzise in das erste konvertierte Bild und/oder das zweite konvertierte Bild zu konvertieren.
-
In einer weiteren vorteilhaften Ausführungsform wird in dem ersten konvertierten Bild eine Objekterkennung mittels des ersten Fahrzeugführungsuntersystems durchgeführt und/oder in dem zweiten konvertierten Bildobjekt wird eine Objekterkennung mittels des zweiten Fahrzeugführungsuntersystems durchgeführt. Mit anderen Worten kann eine Objekterkennung in dem ersten konvertierten Bild und/oder dem zweiten konvertierten Bild mittels des jeweiligen Fahrzeugführungsuntersystems durchgeführt werden. Es ist daher möglich, dass die Objekterkennung individuell durchgeführt wird von dem ersten Fahrzeugführungsuntersystem und/oder dem zweiten Fahrzeugführungsuntersystem. Daher kann eine präzise Objekterkennung realisiert werden. Durch sorgfältige Auswahl der Projektionen können die konvertierten Bilder an die spezifischen Erfordernisse der jeweiligen Objekterkennungsalgorithmen angepasst werden. Dies bedeutet, die Projektionen können auf solche Weise ausgebildet sein, dass sie konvertierte Bilder bereitstellen, die die beste Eingabe für den darauffolgenden Erkennungsalgorithmus bilden.
-
In einer weiteren vorteilhaften Ausführungsform wird ein Computer-Vision-Algorithmus, insbesondere ein neuronales Netzwerk, für Objekterkennung mittels des ersten Fahrzeugführungsuntersystems und/oder des zweiten Fahrzeugführungsuntersystems verwendet. Mit Benutzen des neuronalen Netzwerkes ist es möglich, dass der Computer-Vision-Algorithmus beispielsweise durch Verwenden beispielsweise der früheren Information von dem elektronischen Fahrzeugführungssystem erlernt wird. Daher kann eine präzise Objekterkennung mittels des ersten Fahrzeugführungsuntersystems und/oder des zweiten Fahrzeugführungsuntersystems realisiert werden.
-
Es ist des Weiteren vorteilhaft, wenn eine Vielzahl an vorgegebenen Parametern vorgegeben wird und die Vielzahl vorgegebener Parameter in einer Nachschlagetabelle (Lookup-Tabelle) auf einem Speichergerät der elektronischen Recheneinrichtung gespeichert ist. Daher lässt sich das Fischaugenbild leicht in das erste konvertierte Bild oder in das zweite konvertierte Bild konvertieren.
-
Es hat sich des Weiteren als vorteilhaft erwiesen, wenn die Umgebung des Kraftfahrzeugs von mindestens einer weiteren Fischaugenkamera erfasst wird und ein weiteres Fischaugenbild in ein weiteres erstes konvertiertes Bild konvertiert wird mittels der elektronischen Recheneinrichtung für das erste Fahrzeugführungsuntersystem und/oder für das zweite Fahrzeugführungsuntersystem in ein weiteres zweites konvertiertes Bild. Es ist daher beispielsweise möglich, dass die erste Fischaugenkamera an einem Vorderteil des Kraftfahrzeugs angebracht ist, zum Beispiel in einem vorderen Stoßfänger des Kraftfahrzeugs, und die zweite Fischaugenkamera am hinteren Teil des Kraftfahrzeugs, beispielsweise einem hinteren Stoßfänger des Kraftfahrzeugs angebracht ist. Es ist daher möglich, dass in verschiedenen Richtungen die Fischaugenbilder konvertiert werden können. Ein hochfunktionales elektronisches Fahrzeugführungssystem kann mit den beiden Fischaugenkameras bereitgestellt werden. Daher ist es möglich, dass die Umgebung des Kraftfahrzeugs vorteilhaft erfasst werden kann.
-
Ein weiterer Aspekt der Erfindung betrifft ein elektronisches Fahrzeugführungssystem mit mindestens einem ersten Fahrzeugführungsuntersystem und einer elektronischen Recheneinrichtung, wobei das elektronische Fahrzeugführungssystem ausgelegt ist, das Verfahren gemäß dem vorherigen Aspekt durchzuführen. Insbesondere ist vorgesehen, dass das Verfahren gemäß dem vorherigen Aspekt auf dem elektronischen Fahrzeugführungssystem durchgeführt wird.
-
Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem elektronischen Fahrzeugführungssystem gemäß dem vorherigen Aspekt. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
-
Vorteilhafte Ausführungsformen des Verfahrens sind als vorteilhafte Ausführungsformen des elektronischen Fahrzeugführungssystems und des Kraftfahrzeugs zu betrachten. Hierzu umfasst das elektronische Fahrzeugführungssystem sowie das Kraftfahrzeug konkrete Merkmale, welche die Durchführung des Verfahrens oder einer vorteilhaften Ausführungsform davon erlauben.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Im Weiteren werden Ausführungsformen der Erfindung anhand schematischer Zeichnungen näher erläutert:
-
Dabei zeigen:
- 1 eine schematische Draufsicht einer Ausführungsform des Fahrzeugs mit einer Ausführungsform eine elektronischen Fahrzeugführungssystems;
- 2 eine schematische Ansicht eines Fischaugenbildes von einer Fischaugenkamera;
- 3 eine schematische Ansicht eines ersten konvertierten Bildes, welches von dem elektronischen Fahrzeugführungssystem konvertiert wurde; und
- 4 eine schematische Ansicht eines zweiten konvertierten Bildes, welches mittels des elektronischen Fahrzeugführungssystems konvertiert wurde.
-
In den Figuren sind gleiche oder funktionsgleiche Bilder mit denselben Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Im vorliegenden Fall ist das Kraftfahrzeug 1 als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2. Das Kamerasystem 2 wiederum kann ein Teil eines elektronischen Fahrzeugführungssystems 3 sein. Des Weiteren umfasst das Kamerasystem 2 mindestens eine Fischaugenkamera 4. In der vorliegenden Ausführungsform umfasst das Kamerasystem 2 beispielsweise vier Fischaugenkameras 4, welche sich an verschiedenen Plätzen über das Kraftfahrzeug 1 verteilt befinden. Jedoch können zum Beispiel auch nur zwei Fischaugenkameras 4 oder drei Fischaugenkameras 4 oder auch mehr als vier Fischaugenkameras 4 vorgesehen sein. Vorliegend sind eine der Fischaugenkameras 4 in einem hinteren Bereich 5, eine der Fischaugenkameras 4 in einem vorderen Bereich 7 des Kraftfahrzeugs 1 und die verbleibenden zwei Fischaugenkameras 4 in einem jeweiligen seitlichen Bereich 6, insbesondere in einem Bereich der Seitenspiegel angeordnet. Vorliegend sind Anzahl und Anordnung der Fischaugenkameras 4 des Kamerasystems 2 rein beispielhaft zu verstehen.
-
Des Weiteren weist das elektronische Fahrzeugführungssystem 3 in dieser Ausführungsform ein erstes Fahrzeugführungsuntersystem 9 und ein zweites Fahrzeugführungsuntersystem 10 auf. Des Weiteren weist das elektronische Fahrzeugführungssystem 3 eine elektronische Recheneinrichtung 11.
-
Es ist vorgesehen, dass für das Verfahren zum Betreiben des elektronischen Fahrzeugführungssystems 3 des Kraftfahrzeugs 1 ein Fischaugenbild 12 (2) der Umgebung 8 des Kraftfahrzeugs 1 mittels mindestens einer der Fischaugenkameras 4 erfasst wird, und das Fischaugenbild 12 in ein erstes konvertiertes Bild 13 (3) in einer ersten Art von Projektionsmodus und/oder ein zweites konvertiertes Bild 14 (4) in einer zu der ersten Art unterschiedlichen zweiten Art von Projektionsmodus abhängig von einem vorbestimmten Parameter der Fischaugenkamera 4 mittels der elektronischen Recheneinrichtung 11 des elektronischen Fahrzeugführungssystems 3 konvertiert wird.
-
Dadurch ist es ermöglicht, dass das Fischaugenbild 12 transformiert wird, so dass ein Ausgleich für die Verzerrung des Sensors/der Fischaugenkamera 4 abhängig von dem Fahrzeugführungsuntersystem 9, 10 realisiert wird. Dies hat den Vorteil eines weiten Sichtfeldes von der Fischaugenkamera 4 ohne den Nachteil eines weniger leistungsstarken Algorithmus beispielsweise durch Verwendung einer Lochkamera als Erfassungsvorrichtung für die Umgebung 8.
-
Mit anderen Worten wird das Fischaugenbild 12 von der Fischaugenkamera 4 erfasst. Abhängig davon, ob das Fischaugenbild 12 für das erste Fahrzeugführungsuntersystem 9 oder für das zweite Fahrzeugführungsuntersystem 10 verwendet wird, entscheidet die elektronische Recheneinrichtung 11, ob das Fischaugenbild 12 mit dem ersten Projektionsmodus in das erste konvertierte Bild 13 oder mit einem zweiten Projektionsmodus zu dem zweiten konvertierten Bild 14 konvertiert wird. Insbesondere ist vorgesehen, dass das erste Fahrzeugführungsuntersystem 9 nur das erste konvertierte Bild 13 und das zweite Fahrzeugführungsuntersystem 10 nur das zweite konvertierte Bild 14 benötigt. Daher ist es möglich, dass die elektronische Recheneinrichtung 11 entscheidet, wie das Fischaugenbild 12 konvertiert wird, abhängig davon, ob das Fischaugenbild 12 für das erste Fahrzeugführungsuntersystem 9 oder für das zweite Fahrzeugführungsuntersystem 10 verwendet wird. Daher ist es möglich, dass Rechenkapazität von der elektronischen Recheneinrichtung 11 gespart werden kann.
-
Vorzugsweise kann vorgesehen sein, dass in dem ersten Projektionsmodus das Fischaugenbild 12 in anderer Weise konvertiert wird als in dem zweiten Projektionsmodus. Zum Beispiel ist in dem ersten Projektionsmodus das Fischaugenbild 12 perspektivisch anders konvertiert als in dem zweiten Projektionsmodus. Es ist also möglich, dass in dem ersten Projektionsmodus das Fischaugenbild 12 anders verzerrt ist als in dem zweiten Projektionsmodus.
-
Vorzugsweise kann vorgesehen sein, dass das zweite Fahrzeugführungsuntersystem 10 für einen mindestens teilweise autonomen Betrieb, insbesondere einen autonomen Betrieb, des Fahrzeugs vorgesehen ist.
-
Des Weiteren zeigt 1, dass die Umgebung 8 des Kraftfahrzeugs 1 von mindestens einer weiteren Fischaugenkamera 4 und einem weiteren Fischaugenbild in ein erstes konvertiertes Bild mittels der elektronischen Recheneinrichtung 11 für das erste Fahrzeugführungsuntersystem 9 und/oder für das zweite Fahrzeugführungsuntersystem 10 in ein weiteres zweites konvertiertes Bild konvertiert wird.
-
In dieser 1 ist gezeigt, dass die Fischaugenkamera 4 an dem vorderen Bereich 7, beispielsweise einem vorderen Stoßfänger des Kraftfahrzeugs 1 angeordnet ist, und die weitere Fischaugenkamera kann an dem hinteren Bereich 5, zum Beispiel in einem hinteren Stoßfänger des Kraftfahrzeugs 1 angeordnet sein kann.
-
Es ist vorteilhaft, wenn das Fischaugenbild 12 für das erste Fahrzeugführungsuntersystem 9 des elektronischen Fahrzeugführungssystems 3 und für das zweite Fahrzeugführungsuntersystem 10 bereitgestellt wird und das Fischaugenbild 12 wird in das erste konvertierte Bild 13 für das erste Fahrzeugführungsuntersystem 9 konvertiert und das zweite konvertierte Bild 14 für das zweite Fahrzeugführungsuntersystem 10 abhängig von dem Entscheidungskriterium. Insbesondere wenn das elektronische Fahrzeugführungssystem 3 die beiden Fahrzeugführungsuntersysteme 9, 10 aufweist, kann das Fischaugenbild 12 beiden Fahrzeugführungsuntersystemen 9, 10 bereitgestellt werden. Daher ist es möglich, dass das erste konvertierte Bild 13 von dem ersten Fahrzeugführungsuntersystem 9 benutzt wird und gleichzeitig das zweite konvertierte Bild 14 von dem zweiten Fahrzeugführungsuntersystem 10 benutzt wird. Es ist also möglich, dass die zwei unterschiedlichen konvertierten Bilder 13, 14 gleichzeitig für zwei verschiedene Fahrzeugführungsuntersysteme 9, 10 verwendet werden. Es ist also möglich, dass mit einer Fischaugenkamera 4 das weite Sichtfeld in verschiedenen Fahrzeugführungsuntersystemen 9, 10 verwendet werden kann. Das macht das elektronische Fahrzeugführungssystem 3 hochfunktional in seiner Benutzung.
-
2 zeigt die Fischaugenkamera 4 und das Fischaugenbild 12 von der Fischaugenkamera 4. Das Fischaugenbild 12 zeigt wie die Umgebung 8 durch die Fischaugenkamera 4 erfasst wird. Es zeigt, dass eine Objekterkennung 15 mit dem Fischaugenbild 12 ausgeführt werden kann. Auf der rechten Seite des Fischaugenbildes 12 gibt es eine Objekterkennung 15 für ein weiteres Kraftfahrzeug und auf der linken Seite des Fischaugenbildes 12 gibt es eine Objekterkennung 15 für einen Fußgänger.
-
Es ist vorteilhaft, dass zum Konvertieren des Fischaugenbildes 12 in das erste konvertierte Bild 13 und/oder das zweite konvertierte Bild 14, eine Winkelposition 16 jedes Pixels des Fischaugenbildes 12 bestimmt wird durch die elektronische Recheneinrichtung 11 abhängig von mindestens einem vorgegebenen Parameter. Daher kann die Winkelposition 16 in der Welt mit jedem Pixel assoziiert werden. Daher kann es möglich sein, dass die „virtuelle Kamera“, beispielsweise die Lochkamera oder die Zylinderprojektion, simuliert sein kann an einem gegebenen Ort und das Bild, das sie gesehen hätte, von dieser virtuellen Kamera abruft. Beispielsweise kann ein 2D-Bild dargestellt werden. Daher ist es möglich, das Fischaugenbild 12 präzise in das erste konvertierte Bild 13 und/oder das zweite konvertierte Bild 14 zu konvertieren.
-
Des Weiteren ist es vorteilhaft, wenn mindestens ein intrinsischer und/oder ein extrinsischer Parameter der Fischaugenkamera 4 als der mindestens eine vorbestimmte Parameter vorgegeben werden kann. Die Benutzung des intrinsischen und/oder des extrinsischen Parameters der Fischaugenkamera 4 ermöglicht es, das Fischaugenbild 12 in das erste konvertierte Bild 13 und/oder das zweite konvertierte Bild 14 ohne den Nachteil eines weniger leistungsstarken Algorithmus zu konvertieren. Es ist daher möglich, ein realistisches erstes konvertiertes Bild 13 und/oder zweites konvertiertes Bild 14 zu erstellen, ohne Leistungskraft in dem Bild zu verlieren. Daher ist das Konvertieren des Fischaugenbildes 12 in das erste konvertierte Bild 13 und/oder das zweite konvertierte Bild 14 möglich.
-
Des Weiteren wird in 2 gezeigt, dass die Objekte auf beiden Seiten (Fußgänger und Auto) stark geneigt sind. Auch sind gerade Linien, beispielsweise Fahrbahnmarkierungen nicht gerade in dem Fischaugenbild 12 und vertikale Objekte sind nicht immer vertikal beispielsweise die Fußgänger, Ampeln oder die in dem Fischaugenbild 12 gezeigten Gebäude. All dies verringert die Leistungsstärke des Computer-Vision-/MaschinenlernAlgorithmus in dieser Art von Bildern.
-
3 zeigt eine schematische Ansicht des ersten konvertierten Bildes 13 mittels der elektronischen Recheneinrichtung 11. 3 zeigt, dass das Fischaugenbild 12 abhängig von einer Ebene 17 in dem Fischaugenbild 12 konvertiert wird. 3 zeigt, dass das erste konvertierte Bild 13 als Lochkamerabild bereitgestellt werden kann. Daher wird das Fischaugenbild 12 in das erste konvertierte Bild 13 abhängig von einer vorbestimmbaren Bildausschnittposition für das erste Fahrzeugführungsuntersystem, wobei die vorbestimmbare Bildausschnittposition die Ebene 17 ist.
-
Des Weiteren kann vorgesehen sein, dass das Fischaugenbild 12 in eine Vielzahl von Lochkamerabildern für das erste Fahrzeugführungsuntersystem 9 konvertiert wird. Beispielsweise kann eine vielfache Lochkamera simuliert werden. Es ist auch möglich, dass andere Arten von Projektionen, beispielsweise stereographische Projektionen, abhängig von den Eigenschaften des virtuellen Bilds, benutzt werden.
-
3 zeigt, dass die Objekte in dem ersten konvertierten Bild 13 gerade Linien wie in der realen Welt aufweisen.
-
Des Weiteren kann es möglich sei, dass das erste Fahrzeugführungsuntersystem 9 als ein elektronischer Spiegel vorgesehen ist, insbesondere als ein elektronischer Rückspiegel und/oder als ein elektronischer Seitenspiegel. Zum Beispiel kann das erste konvertierte Bild 13 dann an den elektronischen Spiegel gesendet werden und kann auf dem elektronischen Spiegel angezeigt werden. Es ist daher möglich, dass das weite Sichtfeld der Fischaugenkamera 4 benutzt werden kann, um den elektronischen Spiegel, insbesondere den elektronischen Rückspiegel und/oder den elektronischen Seitenspiegel anzuzeigen. Daher ist es möglich, dass der elektronische Rückspiegel und/oder der elektronische Seitenspiegel das vorteilhaft konvertierte Bild von der Fischaugenkamera 4 zeigen kann. Daher kann ein weiteres Sichtfeld beispielsweise für einen Benutzer des Kraftfahrzeugs auf dem elektronischen Spiegel angezeigt werden.
-
Des Weiteren ist es möglich, dass in dem ersten konvertierten Bild 13 Objekterkennung 15 mittels des ersten Fahrzeugführungsuntersystems 9 durchgeführt wird. Daher wird zum Beispiel ein Computer-Vision-Algorithmus, insbesondere ein neuronales, zur Objekterkennung 15 mittels des ersten Fahrzeugführungsuntersystems 9 benutzt wird.
-
4 zeigt eine schematische Ansicht des zweiten konvertierten Bildes 14. Es ist gezeigt, dass das zweite konvertierte Bild 14 als ein zylindrisches Bild bereitgestellt ist. Daher ist beispielsweise eine Zylinderform 18 in dem Fischaugenbild 12 virtuell vorgegeben. Das Fischaugenbild 12 wird in das Zylinderbild konvertiert abhängig von einer vorbestimmten Abstandsposition D für das zweite Fahrzeugführungsuntersystem 10. Mit anderen Worten kann beispielsweise eine vorbestimmte Abstandsposition D vorgegeben sein. Abhängig von dieser Abstandsposition D kann das Zylinderbild konvertiert werden, insbesondere für die Benutzungsfälle des zweiten elektronischen Fahrzeugführungsuntersystems 10. Es ist daher möglich, dass eine hochfunktionelle Benutzung des elektronischen Fahrzeugführungssystems 3 bereitgestellt wird.
-
Des Weiteren kann vorgesehen sein, dass in dem zweiten konvertierten Bild 14 mittels des zweiten elektronischen Fahrzeugführungsuntersystems 10 eine Objekterkennung 15 durchgeführt wird. Daher ist es möglich, dass ein Computer-Vision-Algorithmus, insbesondere ein neuronales Netzwerk, zur Objekterkennung 15 mittels des zweiten Fahrzeugführungsuntersystems 10 benutzt wird.
-
4 zeigt weiter, dass lokal alle Objekte das Erscheinungsbild einer Kamera mit engem Sichtfeld haben. Insbesondere ist es vorteilhaft, wenn das Zylinderbild für das zweite Fahrzeugführungsuntersystem 10 benutzt wird, welches beispielsweise für ein autonomes Fahren verwendet wird. Dies hat den Vorteil, dass es noch ein weites Sichtfeld in der zum Boden parallelen Richtung gibt. Daher ist es möglich, dass die vertikalen Objekte in der realen Welt in dem zweiten konvertierten Bild 14 bleiben/beibehalten werden was eine wichtige Eigenschaft für die Struktur der Objekte ist.
-
Es ist auch vorteilhaft, wenn eine Vielzahl an vorgegebenen Parametern vorgegeben wird und die Vielzahl an vorgegebenen Parametern in einer Nachschlagetabelle (Lookup-Tabelle) auf einem Speichergerät 19 der elektronischen Recheneinrichtung 11 gespeichert wird. Daher ist es leicht, das Fischaugenbild 12 in das erste konvertierte Bild 13 oder in das zweite konvertierte Bild 14 zu konvertieren.
-
Die Erfindung zeigt eine Verbesserung der Objekterkennung 15 durch Transformieren von Fischaugenbildern 12. Zwar wurde die Erfindung anhand von Lochbild- und Zylinderprojektionen dargelegt, diese Projektionen sind jedoch lediglich als Beispiele zu verstehen. Andere Projektionen können eine stereographische Projektion oder eine Mercatorprojektion sein.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2014/0104424 [0005]
- US 2015/0042799 A1 [0006]
- US 2016/0171317 A1 [0007]
