DE102022124085A1

DE102022124085A1 - Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten

Info

Publication number: DE102022124085A1
Application number: DE102022124085.1A
Authority: DE
Inventors: Huanqing Guo
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2022-09-20
Filing date: 2022-09-20
Publication date: 2024-03-21
Also published as: WO2024061697A1

Abstract

Bei einem Verfahren zur Darstellung von Bilddaten in einem Fahrzeug (1) wird mittels eines Kamerasystems (4) des Fahrzeugs (1) mindestens ein Bild erzeugt, das eine Umgebung des Fahrzeugs (1) abbildet, und eine vorgegebene Projektionsfläche wird bereitgestellt. Von einem Umfeldsensorsystem (5) des Fahrzeugs (1) werden Sensordaten erzeugt, die mindestens ein Objekt in der Umgebung darstellen. Für jedes der mindestens einen Objekte werden abhängig von den Sensordaten entsprechende Objektdaten bestimmt, die von einem Abstand des jeweiligen Objekts zum Fahrzeug (1) abhängen. Die Projektionsfläche wird angepasst, indem die Projektionsfläche abhängig von den Objektdaten des mindestens einen Objekts verformt wird. Das mindestens eine Bild wird auf die angepasste Projektionsfläche projiziert. Die von dem projizierten mindestens einen Bild abhängigen Bilddaten werden auf einer Anzeigevorrichtung (6) des Fahrzeugs (1) angezeigt.

Description

Die vorliegende Erfindung ist auf ein Verfahren zur Darstellung von Bilddaten in einem Fahrzeug gerichtet, wobei mindestens ein Bild, welches eine Umgebung des Fahrzeugs abbildet, durch ein Kamerasystem des Fahrzeugs erzeugt wird und eine vordefinierte Projektionsfläche bereitgestellt wird. Die Erfindung betrifft ferner ein entsprechendes elektronisches Fahrzeugführungssystem und ein Computerprogrammprodukt.
Kamerasysteme von Fahrzeugen, die eine oder mehrere Kameras, welche an verschiedenen Positionen des Fahrzeugs angeordnet sind, enthalten können, beispielsweise Fahrzeugrundumsichtsysteme, können für Fahrerassistenzfunktionen oder andere Funktionen zum autonomen oder teilautonomen Fahren verwendet werden. Ein Kamerabild oder mehr als ein Kamerabild von verschiedenen Kameras, die zu einer kombinierten Ansicht zusammengefügt sind, können auf eine vorgegebene Projektionsfläche, also eine zweidimensionale Mannigfaltigkeit im dreidimensionalen Raum, etwa eine Schalenform oder dergleichen, projiziert werden. Das projizierte Bild oder die projizierten Bilder können ferner gemäß entsprechender Betrachtungsparameter eines virtuellen Beobachters, auch als virtuelle Kamera bezeichnet, transformiert werden, sodass die Bilder erscheinen, also ob sie von dem virtuellen Beobachter betrachtet beziehungsweise von der virtuellen Kamera aufgenommen würden. Die Position und/oder Orientierung des virtuellen Beobachters kann beispielsweise von einem Benutzer oder automatisch durch das Fahrzeug eingestellt oder modifiziert werden.
Da sich Objekte in der Umgebung des Fahrzeugs, welche von den Bildern abgebildet werden, an unterschiedlichen Entfernungen von dem Fahrzeug befinden können, können sie in der projizierten und transformierten Ansicht, wie sie auf einer Anzeigevorrichtung des Fahrzeugs angezeigt werden, verzerrt erscheinen.
In der Applikationsnotiz „360° Wrap-Around Video Imaging Technology Ready for Integration with Fujitsu Graphics SoCs“ (abgerufen von der URL https://www.fujitsu.com/us/imagesgig5/360_OmniView_AppNote.pdf am 21. September 2022) wird eine Videoabbildungstechnologie beschrieben, die eine 380°-Rundumsicht eines Umfangs eines Fahrzeugs in Echtzeit ermöglicht.
Dokument DE 10 2015 105 529 A1 betrifft ein Verfahren zum Transformieren eines Bildes, welches einen ein Kraftfahrzeug umgebenden Bereich aus der Perspektive einer virtuellen Kamera darstellt. Das Bild wird durch Transformation aus einer Vielzahl von realen Bildern dargestellt, die mittels einer Vielzahl realer Kameras des Kraftfahrzeugs erzeugt werden.
Dokument US 2021/0125401 A1 betrifft ein Verfahren zur Darstellung eines Umgebungsbereichs eines Kraftfahrzeugs in einem Bild, wobei reale Bilder des Umgebungsbereichs von realen Kameras des Kraftfahrzeugs aufgenommen werden und das Bild aus diesen realen Bildern erzeugt wird. Das Bild wird aus einer Perspektive einer virtuellen Kamera in dem Umgebungsbereich dargestellt, und das Bild wird als Schalenform erzeugt.
Es ist ein Ziel der vorliegenden Erfindung, Verzerrungen in Bilddaten, die in einem Fahrzeug angezeigt werden, und die aus wenigstens einem Bild stammen, welches eine Umgebung des Fahrzeugs abbildet und auf eine Projektionsfläche projiziert wird, zu reduzieren.
Dieses Ziel wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Implementierungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung basiert auf der Idee, Objektdaten für eines oder mehrere Objekte in der Umgebung des Fahrzeugs basierend auf Sensordaten eines Umfeldsensorsystems zu bestimmen, wobei die Objektdaten von einem Abstand des Objekts von dem Fahrzeug abhängen. Die Projektionsfläche wird abhängig von den Objektdaten angepasst.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Darstellung von Bilddaten in einem Fahrzeug angegeben. Dabei wird wenigstens ein Bild, welches eine Umgebung, insbesondere eine äußere Umgebung, des Fahrzeugs, welches insbesondere ein Kraftfahrzeug ist, darstellt, mittels eines Kamerasystems des Fahrzeugs erzeugt. Des Weiteren wird eine vordefinierte Projektionsfläche bereitgestellt, insbesondere in einer computerlesbaren Weise, beispielsweise wenigstens einer Recheneinheit des Fahrzeugs. Sensordaten, die wenigstens ein Objekt in der Umgebung darstellen, werden mit einem Umfeldsensorsystem des Fahrzeugs erzeugt. Für jedes des wenigstens einen Objekts werden entsprechende Objektdaten, welche von einem Abstand des entsprechenden Objekts von dem Fahrzeug abhängen, abhängig von den Sensordaten bestimmt, insbesondere durch die wenigstens eine Recheneinheit. Die Projektionsfläche wird angepasst, indem die Projektionsfläche in Abhängigkeit von den Objektdaten des wenigstens einen Objekts verformt wird, insbesondere durch die wenigstens eine Recheneinheit. Das wenigstens eine Bild wird auf die angepasste Projektionsfläche projiziert, insbesondere durch die wenigstens eine Recheneinheit. Bilddaten, die von dem projizierten mindestens einen Bild abhängen, werden auf einer Anzeigevorrichtung des Fahrzeugs angezeigt.
Insbesondere kann das wenigstens eine Bild, das auf die angepasste Projektionsfläche projiziert wurde, direkt auf der Anzeigevorrichtung angezeigt werden oder kann durch die wenigstens eine Recheneinheit weiter verarbeitet und dann auf der Anzeigevorrichtung angezeigt werden.
Soweit nicht anders angegeben kann eine Kamera hier und im Folgenden als monokulare Kamera verstanden werden. Das Kamerasystem beinhaltet eine oder mehrere Kameras, die an dem Fahrzeug montiert sind. Insbesondere erzeugt jede der einen oder mehreren Kameras eines des wenigstens einen Bildes, insbesondere genau eines. Mit anderen Worten kann die Anzahl des wenigstens einen Bildes identisch zu der Anzahl der Kameras des Kamerasystems sein. Beispielsweise kann jede der Kameras einen Videodatenstrom erzeugen, der eine Vielzahl entsprechender Bilder entsprechend aufeinanderfolgender Einzelbilder (englisch: frames) beinhaltet. In diesem Fall können die verschiedenen Videodatenströme untereinander synchronisiert sein, oder eine zeitliche Beziehung zwischen den einzelnen Einzelbildern der verschiedenen Videodatenströme kann bekannt sein. Insbesondere ist eine Einzelbildrate für alle Kameras des Kamerasystems identisch. Folglich wird für jeden Einzelbildzeitraum genau ein Bild jeder der Kameras erzeugt. Die Bilder des wenigstens einen Bildes entsprechen in diesem Fall demselben Einzelbild. Mit anderen Worten können alle Bilder des wenigstens einen Bildes verschiedene Teile des Umfelds des Fahrzeugs zur selben Zeit oder näherungsweise zur selben Zeit darstellen oder abbilden.
Die vordefinierte Projektionsfläche und/oder die angepasste Projektionsfläche kann beispielsweise in Form einer entsprechenden mathematischen Beschreibung, Look-up-Tabelle oder in einer anderen computerlesbaren Form bereitgestellt werden. Beispielsweise kann ein Umfeldsensorsystem als ein Sensorsystem verstanden werden, das dazu in der Lage ist, Sensordaten oder Sensorsignale zu erzeugen, die eine Umgebung des Umfeldsensorsystems zeigen, darstellen oder abbilden. Die Fähigkeit, elektromagnetische oder andere Signale aus der Umgebung zu erfassen und zu detektieren, kann insbesondere nicht als hinreichende Bedingung dafür verstanden werden, dass ein Sensorsystem sich als Umfeldsensorsystem qualifiziert. Beispielsweise können Kameras, Lidarsysteme, Radarsysteme oder Ultraschallsensorsysteme als Umfeldsensorsysteme betrachtet werden.
In einigen Ausführungen kann das Umfeldsensorsystem das Kamerasystem beinhalten oder das Kamerasystem teilweise beinhalten oder, mit anderen Worten, eine oder mehrere oder alle der Kameras des Kamerasystems beinhalten. In anderen Ausführungsformen beinhaltet das Umfeldsensorsystem keine der Kameras des Kamerasystems. Das Umfeldsensorsystem kann beispielsweise ein Radarsystem, ein Lidarsystem und/oder ein Ultraschallsensorsystem beinhalten.
Das Umfeldsensorsystem kann in einigen Ausführungen auch eine oder mehrere weitere Kameras beinhalten, die nicht in dem Kamerasystem enthalten sind. Die eine oder mehreren weiteren Kameras können insbesondere eine oder mehrere stereoskopische Kameras beinhalten.
Abhängig von der tatsächlichen Implementierung des Umfeldsensorsystems geben die Sensordaten den Abstand des wenigstens einen Objekts direkt oder indirekt an. Im Falle eines Radar-, Lidar- oder Ultraschallsensorsystems beispielsweise können die Sensordaten Informationen betreffend eine Laufzeit entsprechender Funksignale, Lichtsignale beziehungsweise Ultraschallwellen enthalten. Diese Laufzeit kann in einen Abstand übersetzen werden. Es können jedoch auch andere Ansätze bei dieser Art von Systemen verfolgt werden, beispielsweise Ansätze, die darauf basieren, Phasenverschiebungen zwischen emittierten und detektierten Anteilen von Wellen auszuwerten. Andererseits kann die Abstandsinformation im Falle stereoskopischer Kameras in den entsprechenden Bilddaten enkodiert sein.
Im Falle, dass eine oder mehrere monokulare Kameras für das Umfeldsensorsystem verwendet werden, kann der Abstand von Objekten, die in den entsprechenden Bildern abgebildet sind, mittels Computer-Vision-Algorithmen abgeschätzt werden, beispielsweise Tiefenschätzungsalgorithmen. Solche Algorithmen, die beispielsweise durch maschinelles Lernen trainiert sind und beispielsweise auf künstlichen neuronalen Netzwerken basieren, sind gut bekannt.
Die Objektdaten können in manchen Fällen direkt die entsprechende Entfernung des Objekts enthalten. In anderen Implementierungen können die Objektdaten einen Abstandsbereich enthalten, wobei ein Abstand des Objekts abgeschätzt wird, dass er in dem Abstandsbereich liegt. Dies beinhaltet auch Ausführungen, in denen die Objektdaten nur die Information beinhalten, dass ein Objekt in einem entsprechenden Erfassungsbereich des Umfeldsensorsystems oder eines Teils des Umfeldsensorsystems vorhanden ist.
Da das Umfeldsensorsystem in manchen Fällen mehr als nur einen individuellen Sensor enthalten kann, beispielsweise mehr als einen Lidarsensor, mehr als einen Ultraschallsendeempfänger oder Radarsendeempfänger und so weiter, kann der jeweilige Abstand von dem Fahrzeug für verschiedene Objekte des wenigstens einen Objekts unterschiedlich definiert sein. Beispielsweise kann der Abstand bezüglich des erfassenden Sensors definiert sein oder bezüglich eines gemeinsamen Referenzpunkts etc.
Ein Objekt des wenigstens einen Objekts kann auch einer Gruppe von zwei oder mehr kleineren Objekten, die beispielsweise nicht einzeln durch das Umfeldsensorsystem auflösbar sind, sei es aufgrund der Fähigkeiten des Umfeldsensorsystems oder der Anordnung der einzelnen Objekte, entsprechen. Solche Gruppen individueller Objekte können jedoch ohne Beschränkung der Allgemeinheit gleich behandelt werden wie einzelne Objekte.
Wie oben erwähnt können weitere Verarbeitungsschritte abgesehen von der Projektion auf die angepasste Projektionsfläche auf das wenigstens eine Bild angewendet werden vor der Anzeige der Bilddaten auf der Anzeigevorrichtung. Diese Verarbeitungsschritte können beispielsweise Filterschritte oder Verarbeitungsschritte zum Zusammenfügen der Bilder verschiedener Kameras, transformierender Bilder gemäß der Betrachtungsposition und/oder Orientierung und/oder anderer Betrachtungsparameter eines virtuellen Beobachters und so weiter beinhalten.
Die Projektionsfläche kann beispielsweise als zweidimensionale Mannigfaltigkeit im dreidimensionalen Raum betrachtet werden. Beispielsweise kann die Projektionsfläche in einem kartesischen Koordinatensystem mit den Koordinaten X, Y, Z als eine Funktion Z = f(X, Y) definiert sein. Die Projektionsfläche ist jedoch nicht notwendigerweise durch eine solche Funktion beschreibbar. Insbesondere kann die Projektionsfläche in einigen Ausführungen auch stückweise mit verschiedenen Funktionen für verschiedene Teile des dreidimensionalen Raums definiert sein. Die Projektionsfläche ist insbesondere in einem Fahrzeugkoordinatensystem definiert, wobei die Position und Orientierung des Fahrzeugs bekannt, insbesondere festgelegt, sind. Beispielsweise kann ein spezifizierter Referenzpunkt des Fahrzeugs in einem Ursprung des Koordinatensystems liegen.
Durch die Anpassung der Projektionsfläche abhängig von den Objektdaten und folglich wenigstens indirekt abhängig von den entsprechenden Abständen des wenigstens einen Objekts von dem Fahrzeug können Verzerrungen in den angezeigten Bilddaten reduziert werden, weil der scheinbare Abstand der Objekte, die in den angezeigten Bilddaten angezeigt werden, welche durch den Abstand der Projektionsfläche von dem Fahrzeug gegeben ist, mit dem tatsächlichen Abstand des Objekts von dem Fahrzeug in der realen Welt besser übereinstimmt. Insbesondere kann die Anpassung der Projektionsfläche derart ausgeführt werden, dass die Abweichung des Abstands der angepassten Projektionsfläche von dem Fahrzeug zu dem tatsächlichen Abstand in der realen Welt zwischen dem Objekt und dem Fahrzeug gegenüber der ursprünglich vordefinierten Projektionsfläche reduziert ist.
Folglich kann einerseits ein natürlicherer Eindruck der angezeigten Bilddaten erreicht werden und andererseits die Sicherheit erhöht werden, da der Fahrer des Fahrzeugs, der die angezeigten Bilddaten für Fahrmanöver berücksichtigt, beispielsweise Parkmanöver, die Gegebenheiten der Umgebung des Fahrzeugs besser bewerten kann.
Gemäß mehreren Ausführungen wird das projizierte mindestens eine Bild entsprechend vorgegebener Betrachtungsparameter eines virtuellen Beobachters transformiert, insbesondere durch die wenigstens eine Recheneinheit. Die Bilddaten entsprechen dem transformierten projizierten mindestens einen Bild oder hängen davon ab.
Die Betrachtungsparameter können beispielsweise eine Position des virtuellen Beobachters und/oder eine Orientierung des virtuellen Beobachters bezüglich der Projektionsfläche oder in dem Koordinatensystem, das zur Definition der Projektionsfläche und der angepassten Projektionsfläche verwendet wird, beinhalten. Die Betrachtungsparameter können auch ein Sichtfeld des virtuellen Beobachters, der insbesondere auch als virtuelle Kamera bezeichnet wird, beinhalten oder definieren. Die Betrachtungsparameter können auch virtuelle Abbildungsparameter beinhalten, welche eine Abbildungsfunktion einer virtuellen Kamera beschreiben.
Der virtuelle Beobachter kann an beliebigen Positionen in dem Umfeld des Fahrzeugs angeordnet sein. Abhängig von der Position und/oder weiteren Betrachtungsparametern des virtuellen Beobachters kann die Größe des Teils der angepassten Projektionsfläche, die angezeigt wird, variieren. Insbesondere erscheinen die auf der Anzeigevorrichtung angezeigten Bilddaten, als ob sie von der virtuellen Kamera aufgenommen worden wären beziehungsweise von dem virtuellen Beobachter betrachtet worden wären.
Gemäß verschiedenen Ausführungen wird ein Ultraschallsensorsystem und/oder ein Lidarsystem und/oder ein Radarsystem als das Umfeldsensorsystem verwendet.
Mit anderen Worten beinhaltet das Umfeldsensorsystem ein Ultraschallsensorsystem und/oder ein Lidarsystem und/oder ein Radarsystem. Diese Ausführungen haben den Vorteil, dass die Abstände oder Abstandsbereiche des wenigstens einen Objekts mehr oder weniger direkt aus den entsprechenden Sensordaten extrahiert werden können. Gemäß verschiedenen Ausführungen beinhaltet das Umfeldsensorsystem eine Kamera des Kamerasystems oder eine weitere Kamera des Fahrzeugs, und die weiteren Sensordaten beinhaltet wenigstens ein weiteres Bild, welches die Umgebung abbildet. Das wenigstens eine Bild wird insbesondere durch die Kamera oder weitere Kameras erzeugt, die von dem Umfeldsensorsystem enthalten ist.
Die weitere Kamera kann beispielsweise eine stereoskopische Kamera sein. In diesem Fall kann der Abstand oder Abstandsbereich des wenigstens einen Objekts aus dem entsprechenden stereoskopischen weiteren Bild extrahiert werden.
In alternativen Ausführungen ist die Kamera oder die weitere Kamera eine monokulare Kamera. In diesem Fall können die Objektdaten, insbesondere Informationen betreffend den Abstand des wenigstens einen Objekts von dem Fahrzeug, unter Verwendung von Computer-Vision-Algorithmen oder Bildverarbeitungsalgorithmen oder Bildanalysealgorithmen erhalten werden, welche die entsprechenden Abstände abschätzen.
Die Objektdaten beinhalten beispielsweise den Abstand des entsprechenden Objekts von dem Fahrzeug, wobei der Abstand unter Verwendung eines Tiefenschätzungsalgorithmus abhängig von dem wenigstens einen weiteren Bild bestimmt wird, insbesondere durch die wenigstens eine Recheneinheit.
In verschiedenen Ausführungen kann das Bestimmen des Abstands auch die Verwendung eines oder mehrerer weiterer Algorithmen, beispielsweise eines Objekterkennungsalgorithmus, eines Eckenerkennungsalgorithmus et cetera beinhalten.
Der Tiefenschätzungsalgorithmus kann auf das wenigstens eine weitere Bild angewendet werden, oder das wenigstens eine weitere Bild wird vorverarbeitet, und der Tiefenschätzungsalgorithmus wird auf das wenigstens eine vorverarbeitete weitere Bild angewendet.
Gemäß verschiedenen Ausführungen wird ein charakteristischer Punkt in dem wenigstens einen weiteren Bild durch Verwendung eines Eckenerkennungsalgorithmus und/oder eines Objekterkennungsalgorithmus bestimmt. Der Abstand wird durch Berechnung der Tiefe des charakteristischen Punktes unter Verwendung des Tiefenschätzungsalgorithmus bestimmt.
Falls der Eckenerkennungsalgorithmus verwendet wird, entspricht der charakteristische Punkt einer Ecke in dem wenigstens einen weiteren Bild. Im Rahmen der vorliegenden Offenbarung kann ein Objekterkennungsalgorithmus als ein Computeralgorithmus verstanden werden, der dazu in der Lage ist, eines oder mehrere Objekte innerhalb des bereitgestellten Eingangsdatensatzes, beispielsweise Eingangsbildes, zu identifizieren und zu lokalisieren, beispielsweise indem er entsprechende Begrenzungsboxen oder Bereiche von Interesse, ROI (englisch: region of interest), festlegt und insbesondere jeder der Begrenzungsboxen eine entsprechende Objektklasse zuordnet, wobei die Objektklassen aus einem vordefinierten Satz von Objektklassen ausgewählt werden können. Dabei kann die Zuweisung einer Objektklasse zu einer Begrenzungsbox derart verstanden werden, dass ein entsprechender Konfidenzwert oder eine Wahrscheinlichkeit dafür, dass das innerhalb der Begrenzungsbox identifizierte Objekt zu der entsprechenden Objektklasse gehört, bereitgestellt wird. Zum Beispiel kann der Algorithmus für eine gegebene Begrenzungsbox für jede der Objektklassen einen solchen Konfidenzwert oder eine Wahrscheinlichkeit bereitstellen. Die Zuweisung der Objektklasse kann zum Beispiel die Auswahl oder Bereitstellung der Objektklasse mit dem größten Konfidenzwert oder der größten Wahrscheinlichkeit beinhalten. Alternativ kann der Algorithmus auch lediglich die Begrenzungsboxen festlegen, ohne eine entsprechende Objektklasse zuzuordnen.
Falls der Objekterkennungsalgorithmus zum Bestimmen des charakteristischen Punktes verwendet wird, kann der charakteristische Punkt zum Beispiel einer Ecke der entsprechenden Begrenzungsbox oder einem Mittelpunkt der Begrenzungsbox etc. entsprechen.
Gemäß verschiedenen Ausführungen ist die Projektionsfläche durch Punkte gegeben, welche die Gleichung $Z = \sum_{i = 1}^{n} a_{i} X^{i} + b_{i} Y^{i} + c$
erfüllen. Dabei bezeichnen X, Y und Z kartesische Koordinaten des entsprechenden Punktes auf der Projektionsfläche, Z entspricht einer Höhe über einer vordefinierten Bodenebene, auf der sich das Fahrzeug befindet, n ist eine gerade ganze Zahl gleich oder größer als vier ist, und a_i, b_i und c sind vordefinierte reelle Koeffizienten. Das Anpassen der Projektionsfläche beinhaltet ein Anpassen mindestens eines der Koeffizienten a_i und/oder mindestens eines der Koeffizienten b_i.
Mit anderen Worten sind die Projektionsfläche ebenso wie die angepasste Projektionsfläche durch entsprechende Polynome n-ten Grades in den beiden Variablen X, Y gegeben. Vorzugsweise ist n = 4. Folglich kann die Form der Projektionsfläche und der angepassten Projektionsfläche als Schale bezeichnet werden, die einen relativ flachen Teil in dem Bereich hat, in dem sich das Fahrzeug befindet, und weiter weg von dem Fahrzeug relativ steil ansteigt. Insbesondere ist das Fahrzeug an einem Ursprung des Koordinatensystems zentriert und die X-, Y-Ebene entspricht der Bodenebene. Dies stellt eine geeignete Näherung an die Abstände der abgebildeten Objekte dar. Durch Anpassen der Polynomkoeffizienten abhängig von den Objektdaten kann die Annäherung verbessert werden, und folglich können die Verzerrungen reduziert werden.
Für n = 4 kann die obige Gleichung für Z auch wie folgt umgeschrieben werden: $Z = W [A {(X - X_{s})}^{4} + B {(Y - Y_{s})}^{4}] - C .$
Das Anpassen der Projektionsfläche kann dann zum Beispiel das Anpassen eines oder mehrerer der Parameter A, B, C, W beinhalten, wobei die Versatzwerte X_s und Y_s fixiert bleiben.
Gemäß verschiedenen Implementierungen beinhaltet die Projektionsfläche einen Basisabschnitt, der durch einen Teil einer vordefinierten Bodenebene gegeben ist, auf der sich das Fahrzeug befindet, wobei sich das Fahrzeug innerhalb des Basisabschnitts befindet. Die Projektionsfläche beinhaltet einen erhabenen Abschnitt, der an einer äußeren Begrenzung des Basisabschnitts an den Basisabschnitt angrenzt. Das Anpassen der Projektionsfläche beinhaltet ein Anpassen der äußeren Begrenzung, insbesondere einer Form der äußeren Begrenzung, des Basisabschnitts abhängig von den Objektdaten des mindestens einen Objekts.
Insbesondere ist der Basisabschnitt ein konvexer Basisabschnitt oder, mit anderen Worten, ist der Basisabschnitt oder die äußere Begrenzung eine konvexe geometrische Figur. Im Gegensatz zum Basisabschnitt haben Punkte auf dem erhabenen Abschnitt eine von null verschiedene Höhe über der Bodenebene.
Durch die Verwendung des Basisabschnitts und des erhabenen Abschnitts zur Konstruktion der Projektionsfläche und entsprechend der angepassten Projektionsfläche kann die Anpassung der Projektionsfläche die realen Umstände in der Umgebung des Fahrzeugs im Sinne der Abstände des wenigstens einen Objekts von dem Fahrzeug präziser wiedergeben.
Gemäß verschiedenen Ausführungen ist der Basisabschnitt der Projektionsfläche durch eine konvexe Figur gegeben, wobei die äußere Begrenzung des Basisabschnitts durch eine Vielzahl von Ankerpunkten und jeweilige Kurven, welche Paare benachbarter Ankerpunkte der Vielzahl von Ankerpunkten verbinden, gegeben ist. Das Anpassen der Projektionsfläche beinhaltet ein Anpassen einer Anzahl der Vielzahl von Ankerpunkten abhängig von den Objektdaten und/oder ein Anpassen einer Position wenigstens eines der Vielzahl von Ankerpunkten abhängig von den Objektdaten des wenigstens einen Objekts.
Auf diese Weise ist die Anpassung der äußeren Begrenzung besonders einfach. Hierbei beinhaltet der Ausdruck „Kurve“ auch den Fall einer Krümmung von null oder, mit anderen Worten, können die Kurven auch gerade Linien sein, was bedeutet, dass die äußere Begrenzung die Form eines Polygons hat.
Gemäß verschiedenen Implementierungen ist die Projektionsfläche durch Punkte gegeben, welche die Gleichung $Z = \sum_{i = 1}^{n} a_{i} X^{i} + b_{i} Y^{i} + c$
erfüllen.
Dabei bezeichnen X, Y und Z kartesische Koordinaten des entsprechenden Punktes auf der Projektionsfläche, Z entspricht einer Höhe über einer vordefinierten Bodenebene, auf der sich das Fahrzeug befindet, n ist eine gerade ganze Zahl gleich oder größer als vier ist, und a_i, b_i und c sind vordefinierte reelle Koeffizienten. Die angepasste Projektionsfläche beinhaltet einen Basisabschnitt, der durch einen Teil der Bodenebene gegeben ist, wobei sich das Fahrzeug innerhalb des Basisabschnitts befindet, sowie einen erhabenen Abschnitt, der an einer äußeren Begrenzung des Basisabschnitts an den Basisabschnitt angrenzt, wobei eine Form der äußeren Begrenzung des Basisabschnitts von den Objektdaten des wenigstens einen Objekts abhängig ist.
Mit anderen Worten wird durch die Anpassung der Projektionsfläche ein Übergang von dem beschriebenen Polynom zu der Konstruktion, welche den Basisabschnitt und den erhabenen Abschnitt verwendet, durchgeführt.
Auch in diesen Ausführungen kann der Basisabschnitt durch die konvexe Figur gegeben sein, deren äußere Begrenzung durch die Ankerpunkte und die entsprechenden sie verbindenden Kurven, wie oben beschrieben, gegeben sein.
Gemäß verschiedenen Ausführungen wird die Projektionsfläche angepasst, indem die Projektionsfläche abhängig von den Objektdaten des wenigstens einen Objekts in einer Anzahl N von Schritten einschließlich N-1 Zwischenschritten und einem Endschritt, wobei N größer oder gleich zwei ist, innerhalb eines einzigen Einzelbildzeitraums des Kamerasystems verformt wird. Für jeden der Zwischenschritte eine jeweilige Zwischenprojektionsfläche erzeugt, das mindestens eine Bild auf die Zwischenprojektionsfläche projiziert und Zwischenbilddaten, die von dem mindestens einen auf die Zwischenprojektionsfläche projizierten Bild abhängen, werden auf der Anzeigevorrichtung angezeigt. Insbesondere wird die Anpassung der Projektionsfläche in dem Endschritt finalisiert, und dann werden die Bilddaten, die von dem wenigstens einen auf die angepasste Projektionsfläche projizierten Bild abhängen, wie beschrieben, angezeigt.
Auf diese Weise wird ein weicher Übergang von der Projektionsfläche zu der angepassten Projektionsfläche erreicht. Vorzugsweise ist die Anzahl der Schritte N größer oder gleich drei und kann kleiner oder gleich zehn sein. Insbesondere kann eine Bildwiederholrate der Anzeigevorrichtung größer oder gleich N mal eine Einzelbildrate des Kamerasystems sein.
Gemäß verschiedenen Ausführungen wird die Umgebung des Fahrzeugs in eine Vielzahl von Erfassungsbereichen unterteilt und abhängig von den Sensordaten wird jede der Erfassungsbereiche als aktiver Erfassungsbereich identifiziert, wenn eines oder mehrere des wenigstens einen Objekts sich in dem entsprechenden Erfassungsbereich befindet und anderenfalls als nicht aktiver Erfassungsbereich, insbesondere durch die wenigstens eine Recheneinheit. Die Projektionsfläche wird abhängig von der Anzahl der identifizierten aktiven Erfassungsbereiche angepasst.
Insbesondere kann die Projektionsfläche nur dann angepasst werden, wenn eine ausreichende Veränderung in der Anzahl der aktiven Erfassungsbereiche festgestellt wird. Auf diese Weise kann verhindert werden, dass die Erscheinung der angezeigten Bilddaten stark verändert in einem Fall, in dem zu erwarten ist, dass die Verzerrung in den angezeigten Bildern eher gering ist.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben wird und/oder eine Standardeinstellung und/oder ein vordefinierter initialer Zustand eingestellt wird.
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Fahrzeug angegeben. Das elektronische Fahrzeugführungssystem beinhaltet ein Kamerasystem für das Fahrzeug, das dazu eingerichtet ist, wenigstens ein Bild zu erzeugen, das eine Umgebung des Fahrzeugs abbildet, insbesondere wenn das Kamerasystem an dem Fahrzeug montiert ist. Das elektronische Fahrzeugführungssystem beinhaltet ein Umfeldsensorsystem für das Fahrzeug, das dazu eingerichtet ist, Sensordaten zu erzeugen, welche wenigstens ein Objekt in der Umgebung des Fahrzeugs darstellen, insbesondere wenn das Umfeldsensorsystem an dem Fahrzeug montiert ist. Das elektronische Fahrzeugführungssystem beinhaltet wenigstens eine Recheneinheit für das Fahrzeug, die dazu eingerichtet ist, für jedes des wenigstens einen Objekts entsprechende Objektdaten zu bestimmen, die von einem Abstand des entsprechenden Objekts von dem Fahrzeug abhängen abhängig von den Sensordaten. Die wenigstens eine Recheneinheit ist dazu eingerichtet, die Projektionsfläche durch Verformung der Projektionsfläche abhängig von den Objektdaten des wenigstens einen Objekts anzupassen und das mindestens eine Bild auf die angepasste Projektionsfläche zu projizieren. Das elektronische Fahrzeugführungssystem beinhaltet eine Anzeigevorrichtung für das Fahrzeug, wobei die wenigstens eine Recheneinheit dazu eingerichtet ist, die Anzeigevorrichtung zur Anzeige von Bilddaten, die von dem wenigstens einen projizierten Bild abhängen, anzusteuern.
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Die wenigstens teilweise automatische Fahrzeugführung kann es daher beinhalten, das Fahrzeug gemäß eines vollautomatischen oder vollautonomen Fahrmodus der Stufe 5 nach SAE J3016 zu führen. Die wenigstens teilweise automatische Fahrzeugführung kann auch beinhalten, das Fahrzeug gemäß eines teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 nach SAE J3016 zu führen.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer programmierbarer Festwertspeicher, EPROM (englisch: „erasable programmable read-only memory“), als elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM (englisch: „electrically erasable programmable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Gemäß verschiedenen Ausführungsformen des elektronischen Fahrzeugführungssystems ist die wenigstens eine Recheneinheit dazu eingerichtet, die Projektionsfläche durch Verformung der Projektionsfläche abhängig von den Objektdaten des wenigstens einen Objekts in einer Anzahl N von Schritten einschließlich N-1 Zwischenschritten und einem Endschritt, wobei N größer oder gleich zwei ist, innerhalb eines einzigen Einzelbildzeitraums des Kamerasystems anzupassen. Eine Bildwiederholrate der Anzeigevorrichtung ist größer oder gleich dem N-fachen einer Einzelbildrate des Kamerasystems. Die wenigstens eine Recheneinheit ist dazu eingerichtet, für jeden der Zwischenschritte, eine entsprechende Zwischenprojektionsfläche zu erzeugen, das wenigstens eine Bild auf die Zwischenprojektionsfläche zu projizieren und die Displayvorrichtung zu steuern, um Zwischenbilddaten, die von dem wenigstens einen auf die Zwischenprojektionsfläche projizierten Bild abhängen, anzuzeigen.
Weitere Ausführungsformen des erfindungsgemäßen elektronischen Fahrzeugführungssystems folgen unmittelbar aus den verschiedenen Ausgestaltungen des erfindungsgemäßen Verfahrens und umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen sowie Vorteile bezüglich der verschiedenen Ausführungsformen zu dem erfindungsgemäßen Verfahren analog auf entsprechende Ausführungsformen des erfindungsgemäßen elektronischen Fahrzeugführungssystems übertragen. Insbesondere ist das erfindungsgemäße elektronische Fahrzeugführungssystem zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet oder programmiert. Insbesondere führt das erfindungsgemäße elektronische Fahrzeugführungssystem das erfindungsgemäße Verfahren durch.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogrammprodukt bereitgestellt, das Befehle beinhaltet. Bei Ausführung der Befehle durch ein erfindungsgemäßes elektronisches Fahrzeugführungssystem, insbesondere durch die mindestens eine Steuereinheit des elektronischen Fahrzeugführungssystems, bewirken die Befehle, dass das elektronische Fahrzeugführungssystem ein erfindungsgemäßes Verfahren ausführt.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium bereitgestellt, das ein erfindungsgemäßes Computerprogramm speichert.
Das Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte angesehen werden, die die Anweisungen beinhalten.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.
In den Figuren zeigen:

1 schematisch ein Fahrzeug mit einer beispielhaften Ausführungsform eines elektronischen Fahrzeugführungssystems gemäß der Erfindung;
2 ein Flussdiagramm einer beispielhaften Ausführungsform eines Verfahrens gemäß der Erfindung;
3 ein Flussdiagramm eines Teils einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß der Erfindung;
4 ein Flussdiagramm einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß der Erfindung;
5 einen Basisabschnitt einer Projektionsfläche gemäß einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß der Erfindung;
6 ein Fahrzeug und Erfassungsbereiche eines Umfeldsensorsystems gemäß einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß der Erfindung; und
7 die Illustration eines Anwendungsfalls einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß der Erfindung.

1 zeigt ein Fahrzeug 1, das eine beispielhafte Ausführungsform eines elektronischen Fahrzeugführungssystems 2 für das Fahrzeug 1 gemäß der Erfindung aufweist. Das elektronische Fahrzeugführungssystem 2 beinhaltet ein Kamerasystem mit mindestens einer Kamera 4, die an dem Fahrzeug 1 angeordnet ist. In dem nicht beschränkenden Beispiel der 1 sind mehr als eine Kamera 4, insbesondere vier Kameras 4, an verschiedenen Positionen des Fahrzeugs 1 angeordnet und bilden so ein Rundumsicht-Kamerasystem.
Das elektronische Fahrzeugführungssystem 2 beinhaltet weiterhin ein Umfeldsensorsystem 5, das wenigstens eine Umfeldsensoreinheit 5 beinhaltet, zum Beispiel eine weitere Kamera, ein Lidarsystem, einen Ultraschallsendeempfänger oder eine Radareinheit. Auch Kombinationen verschiedener Arten von Umfeldsensoreinheiten 5 sind möglich. In manchen Ausführungen kann das Umfeldsensorsystem 5 auch identisch zu dem Kamerasystem 4 sein oder von dem Kamerasystem 4 umfasst sein oder umgekehrt. Das Kamerasystem 4 ist dazu eingerichtet, wenigstens ein Bild, welches eine Umgebung des Fahrzeugs 1 abbildet, zu erzeugen, und das Umfeldsensorsystem 5 ist dazu eingerichtet, Sensordaten zu erzeugen, welche wenigstens ein Objekt in der Umgebung des Fahrzeugs 1 darstellen.
Das elektronische Fahrzeugführungssystem 2 beinhaltet auch eine Recheneinheit 3, die beispielsweise eine oder mehrere Recheneinheiten des Fahrzeugs 1 repräsentieren kann. Die Recheneinheit 3 ist dazu eingerichtet, für jedes des wenigstens einen Objekts entsprechende Objektdaten zu bestimmen, die von einem Abstand des jeweiligen Objekts von dem Fahrzeug 1 abhängen, abhängig von den Sensordaten. Die Recheneinheit 3 ist dazu eingerichtet, die Projektionsfläche durch Verformen der Projektionsfläche abhängig von den Objektdaten des wenigstens einen Objekts anzupassen und das wenigstens eine Bild auf die angepasste Projektionsfläche zu projizieren.
Das elektronische Fahrzeugführungssystem 2 beinhaltet weiterhin eine Anzeigevorrichtung 6 für das Fahrzeug 1, und die Recheneinheit 3 ist dazu eingerichtet, die Anzeigevorrichtung 6 zur Anzeige von Bilddaten, die von dem projizierten wenigstens einen Bild abhängen, anzusteuern.
Auf diese Weise kann das elektronische Fahrzeugführungssystem ein Verfahren zur Darstellung von Bilddaten in dem Fahrzeug 1 gemäß der Erfindung durchführen.
2 zeigt schematisch ein Flussdiagramm einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß der Erfindung.
In Schritt 200 kann das Fahrzeug 1 einen Vorgang starten, indem die Bilddaten auf der Anzeigevorrichtung 6 angezeigt werden sollen, beispielsweise einen automatischen oder manuellen Einparkvorgang. Ein Beispiel eines Einparkvorgangs ist schematisch in 7 dargestellt, wobei das 1 rückwärts von Position P1 zu Position P2, dann vorwärts zu Position P3 und dann rückwärts zu der Endposition P4 einer Parklücke 11 zwischen zwei weiteren Fahrzeugen 12 fährt. In Schritt 210 werden die Sensordaten durch das Umfeldsensorsystem 5 erzeugt, um das wenigstens eine Objekt, inklusive beispielsweise der weiteren Fahrzeuge 12, zu detektieren. In Schritt 220 kann die Recheneinheit 3 die entsprechenden Objektdaten erzeugen. Beispielsweise können nur Objekte mit einem Abstand unterhalb eines bestimmten Schwellwerts betrachtet werden.
In optionalen Schritt 230 kann durch die Recheneinheit 3 abhängig von den Objektdaten entschieden werden, ob die Projektionsfläche angepasst werden soll oder nicht.
6 zeigt eine Vielzahl von Sektoren 10, die auch als Erfassungsbereiche bezeichnet werden für eine beispielhafte Ausgestaltung des Umfeldsensorsystems 5 als Ultraschallsendeempfänger, die um das Fahrzeug 1 herum angeordnet sind. Jeder Sektor 10 kann sich beispielsweise ungefähr 2 m von dem Fahrzeug 1 wegerstrecken. Die Objektdaten kann dann beispielsweise die Information beinhalten, in welchem Sektor 10 sich ein Objekt befindet und was ein Abstand von dem Fahrzeug 1 ist.
Wenn in einem der Sektoren 10 ein Objekt vorhanden ist, kann der Sektor 10 als aktiver Sektor bezeichnet werden. In Schritt 230 kann beispielsweise bestimmt werden, wie viele Sektoren 10 aktiv sind. Wenn die Anzahl der aktiven Sensoren kleiner ist als eine vorgegebene Minimalanzahl, kann das Verfahren wiederum mit Schritt 210 fortfahren. Anderenfalls kann eine angepasste Projektionsfläche in Schritt 240 abhängig von den Objektdaten berechnet werden, insbesondere abhängig von den Positionen und/oder Abständen der Objekte. Wenn der Schritt 230 nicht vorhanden ist, folgt auf Schritt 220 auch Schritt 240.
3 zeigt ein Flussdiagramm von Schritten, die in Schritt 240 in einer weiteren Ausführungsform involviert sein können. Im Schritt 310, wie in 5 schematisch dargestellt, kann die angepasste Projektionsfläche derart konstruiert werden, dass sie einen Basisabschnitt 7 aufweist, der Teil der Bodenebene ist, sowie einen erhabenen Abschnitt (nicht gezeigt), welche an eine äußere Begrenzung 8 des Basisabschnitts 7 angrenzt. Insbesondere wird ein Satz von Ankerpunkten 9 basierend auf den Objektdaten bestimmt und die äußere Begrenzung 8 wird durch die Ankerpunkte 9 und entsprechende Kurven, welche diese verbinden, gebildet. Falls notwendig, werden die Positionen der Ankerpunkte 9 im Schritt 320 angepasst, um eine konvexe Form der äußeren Begrenzung 8 zu erreichen. In Schritt 330 kann die äußere Begrenzung 8 geglättet werden und der erhabene Abschnitt kann an die äußere Begrenzung 8 angepasst werden.
Die Bilder können auf die angepasste oder teilweise angepasste Projektionsfläche projiziert werden und auf der Anzeigevorrichtung 6 im Schritt 250 der 2 angezeigt werden. Beispielsweise kann die Anpassung der Projektionsfläche in eine Vielzahl von Schritten unterteilt werden, um Diskontinuitäten in den angezeigten Bilddaten zu vermeiden. Beispielsweise können sechs bis fünfzehn Schritte gemacht werden, um die Projektionsfläche in die angepasste Projektionsfläche zu überführen. Die Schritte 210 bis 250 werden dann wiederholt, bis der Einparkvorgang in Schritt 260 beendet ist.
4 zeigt ein Flussdiagramm einer weiteren beispielhaften Ausführungsform eines Verfahrens gemäß der Erfindung, wobei die Anpassung der Projektionsfläche in eine Vielzahl von Schritten, wie oben beschrieben, unterteilt ist. Eine Einzelbildrate des Kamerasystems 7 kann beispielsweise 30 fps betragen und eine Einzelbildaufnahme und Vorverarbeitung kann ungefähr 33 ms dauern. Die Anzeigevorrichtung 6 kann eine hohe Bildwiederholrate aufweisen, beispielsweise im Bereich 120 Hz bis 360 Hz. Nimmt man beispielsweise eine Einzelbildrate von 30 fps und eine Bildwiederholrate von 240 Hz an, können die benötigten sechs bis fünfzehn Schritte in nur drei bis acht Einzelbildern durchgeführt werden. Artefakte in den angezeigten Bilddaten können daher reduziert werden. In Schritt 400 kann der Einzelbildpuffer ausgelesen werden, und in Schritt 410 kann ein Anpassungsschritt wie beschrieben durchgeführt werden. In Schritt 420 werden die entsprechenden Zwischenbilddaten angezeigt. In Schritt 430 wird überprüft, ob der Einzelbildpuffer aktualisierte Daten enthält. Wenn dies der Fall ist, wird mit Schritt 400 fortgefahren, anderenfalls mit Schritt 410.
Wie beschrieben, insbesondere bezüglich der Figuren, können gemäß der Erfindung Verzerrungen in Bilddaten, die in einem Fahrzeug angezeigt werden, reduziert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015105529 A1 [0005]
US 20210125401 A1 [0006]

Claims

Verfahren zur Darstellung von Bilddaten in einem Fahrzeug (1), wobei mindestens ein Bild, das eine Umgebung des Fahrzeugs (1) abbildet, durch einem Kamerasystem (4) des Fahrzeugs (1) erzeugt wird und eine vordefinierte Projektionsfläche bereitgestellt wird, dadurch gekennzeichnet, dass - Sensordaten, die mindestens ein Objekt in der Umgebung darstellen, von einem Umfeldsensorsystem (5) des Fahrzeugs (1) erzeugt werden; - für jedes des mindestens einen Objekts in Abhängigkeit von den Sensordaten jeweilige Objektdaten bestimmt werden, die von einem Abstand des jeweiligen Objekts zum Fahrzeug (1) abhängen; - die Projektionsfläche angepasst wird, indem die Projektionsfläche in Abhängigkeit von den Objektdaten des mindestens einen Objekts verformt wird; - das mindestens eine Bild auf die angepasste Projektionsfläche projiziert wird; und - Bilddaten, die von dem projizierten mindestens einen Bild abhängen, auf einer Anzeigevorrichtung (6) des Fahrzeugs (1) angezeigt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - das projizierte mindestens eine Bild entsprechend vordefinierter Betrachtungsparameter eines virtuellen Beobachters transformiert wird; und - die Bilddaten das transformierte projizierte mindestens eine Bild beinhalten oder von diesem abhängig sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Umfeldsensorsystem (5) ein Ultraschallsensorsystem und/oder ein Lidarsystem und/oder ein Radarsystem verwendet wird.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Sensordaten mindestens ein weiteres Bild beinhalten, das die Umgebung abbildet und das Umfeldsensorsystem (5) eine Kamera des Kamerasystems (4) oder eine weitere Kamera des Fahrzeugs (1) beinhaltet.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Objektdaten den Abstand des jeweiligen Objekts von dem Fahrzeug (1) beinhalten, wobei der Abstand unter Verwendung eines Tiefenschätzungsalgorithmus abhängig von dem mindestens einen weiteren Bild bestimmt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass - ein charakteristischer Punkt in dem mindestens einen weiteren Bild mittels eines Eckendetektionsalgorithmus und/oder eines Objekterkennungsalgorithmus bestimmt wird; und - der Abstand bestimmt wird, indem die Tiefe des charakteristischen Punktes mit Hilfe des Tiefenschätzungsalgorithmus berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - die Projektionsfläche durch Punkte gegeben ist, welche die Gleichung $Z = \sum_{i = 1}^{n} a_{i} X^{i} + b_{i} Y^{i} + c$
erfüllen, wobei X, Y und Z kartesische Koordinaten des jeweiligen Punktes auf der Projektionsfläche bezeichnen, Z einer Höhe über einer vordefinierten Bodenebene entspricht, auf der sich das Fahrzeug (1) befindet, n eine gerade ganze Zahl gleich oder größer als vier ist und a_i, b_i und c vordefinierte reelle Koeffizienten sind; und - das Anpassen der Projektionsfläche ein Anpassen mindestens eines der Koeffizienten a_i und/oder mindestens eines der Koeffizienten b_j beinhaltet.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass - die Projektionsfläche einen Basisabschnitt (7) aufweist, der durch einen Teil einer vordefinierten Bodenebene gegeben ist, auf der sich das Fahrzeug (1) befindet, wobei sich das Fahrzeug (1) innerhalb des Basisabschnitts (7) befindet und einen erhabenen Abschnitt, der an einer äußeren Begrenzung (8) des Basisabschnitts (7) an den Basisabschnitt (7) angrenzt; und - das Anpassen der Projektionsfläche ein Anpassen der äußeren Begrenzung (8) des Basisabschnitts (7) abhängig von den Objektdaten des mindestens einen Objekts beinhaltet.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass - der Basisabschnitt (7) der Projektionsfläche durch eine konvexe Figur gegeben ist, wobei die äußere Begrenzung (8) des Basisabschnitts (7) durch eine Vielzahl von Ankerpunkten (9) und jeweilige Kurven, die Paare benachbarter Ankerpunkte (9) der Vielzahl von Ankerpunkten (9) verbinden, gegeben ist; - das Anpassen der Projektionsfläche ein Anpassen einer Anzahl der Vielzahl von Ankerpunkten (9) und/oder einer Position von mindestens einem der Vielzahl von Ankerpunkten (9) abhängig von den Objektdaten des mindestens einen Objekts beinhaltet.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass - die Projektionsfläche durch Punkte gegeben ist, welche die Gleichung $Z = \sum_{i = 1}^{n} a_{i} X^{i} + b_{i} Y^{i} + c,$
erfüllen, wobei X, Y und Z kartesische Koordinaten des jeweiligen Punktes auf der Projektionsfläche bezeichnen, Z einer Höhe über einer vordefinierten Bodenebene entspricht, auf der sich das Fahrzeug (1) befindet, n eine gerade ganze Zahl gleich oder größer als vier ist und a_i, b_i und c vordefinierte reelle Koeffizienten sind; und - die angepasste Projektionsfläche einen Basisabschnitt (7) beinhaltet, der durch einen Teil der Bodenebene gegeben ist, wobei sich das Fahrzeug (1) innerhalb des Basisabschnitts (7) befindet, und einen erhabenen Abschnitt, der an einer äußeren Begrenzung (8) des Basisabschnitts (7) an den Basisabschnitt (7) angrenzt, wobei eine Form der äußeren Begrenzung (8) des Basisabschnitts (7) von den Objektdaten des mindestens einen Objekts abhängig ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - die Projektionsfläche angepasst wird, indem die Projektionsfläche abhängig von den Objektdaten des mindestens einen Objekts in einer N Anzahl von Schritten einschließlich N-1 Zwischenschritten und einem Endschritt, wobei N gleich oder größer als zwei ist, innerhalb eines einzigen Einzelbildzeitraums des Kamerasystems (4) verformt wird; - für jeden der Zwischenschritte eine jeweilige Zwischenprojektionsfläche erzeugt wird, das mindestens eine Bild auf die Zwischenprojektionsfläche projiziert wird und Zwischenbilddaten, die von dem mindestens einen auf die Zwischenprojektionsfläche projizierten Bild abhängen, auf der Anzeigevorrichtung (6) angezeigt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - die Umgebung des Fahrzeugs (1) in eine Vielzahl von Erfassungsbereichen (10) unterteilt wird und abhängig von den Sensordaten jeder der Erfassungsbereiche (10) als aktiver Erfassungsbereich (10) identifiziert wird, wenn sich eines oder mehrere des mindestens einen Objekts in dem jeweiligen Erfassungsbereich (10) befindet, und andernfalls als nicht aktiver Erfassungsbereich (10); und - die Projektionsfläche abhängig von der Anzahl identifizierter aktiver Erfassungsbereiche (10) angepasst wird.
Elektronisches Fahrzeugführungssystem (2) für ein Fahrzeug (1), beinhaltend ein Kamerasystem (4) für das Fahrzeug (1), das dazu eingerichtet ist, mindestens ein Bild zu erzeugen, das eine Umgebung des Fahrzeugs (1) darstellt, ein Umfeldsensorsystem (5) für das Fahrzeug (1), das dazu eingerichtet ist, Sensordaten zu erzeugen, die mindestens ein Objekt in der Umgebung des Fahrzeugs (1) darstellen, und - mindestens eine Recheneinheit (3) für das Fahrzeug (1), die dazu eingerichtet ist, für jedes des mindestens einen Objekts jeweilige Objektdaten, die von einem Abstand des jeweiligen Objekts von dem Fahrzeug (1) abhängen, abhängig von den Sensordaten zu bestimmen, die Projektionsfläche durch Verformung der Projektionsfläche abhängig von den Objektdaten des mindestens einen Objekts anzupassen und das mindestens eine Bild auf die angepasste Projektionsfläche zu projizieren; und - eine Anzeigevorrichtung (6) für das Fahrzeug (1), wobei die mindestens eine Recheneinheit (3) dazu eingerichtet ist, die Anzeigevorrichtung (6) zur Anzeige von Bilddaten, die von dem projizierten mindestens einen Bild abhängen, anzusteuern.
Elektronisches Fahrzeugführungssystem (2) nach Anspruch 13, dadurch gekennzeichnet, dass - die wenigstens eine Recheneinheit (3) dazu eingerichtet ist, die Projektionsfläche durch Verformung der Projektionsfläche abhängig von den Objektdaten des wenigstens einen Objekts in einer Anzahl N von Schritten einschließlich N-1 Zwischenschritten und einem Endschritt, wobei N gleich oder größer als zwei ist, innerhalb eines einzigen Einzelbildzeitraums des Kamerasystems (4) anzupassen; - eine Bildwiederholrate der Anzeigevorrichtung (6) gleich oder größer als das N-fache einer Einzelbildrate des Kamerasystems (4) ist; und - die mindestens eine Recheneinheit (3) dazu eingerichtet ist, für jeden der Zwischenschritte eine jeweilige Zwischenprojektionsfläche zu erzeugen, das mindestens eine Bild auf die Zwischenprojektionsfläche zu projizieren und die Anzeigevorrichtung (6) zu steuern, um Zwischenbilddaten, die von dem mindestens einen auf die Zwischenprojektionsfläche projizierten Bild abhängen, anzuzeigen.
Computerprogrammprodukt, das Befehle beinhaltet, die, wenn sie von einem elektronischen Fahrzeugführungssystem (2) nach einem der Ansprüche 13 oder 14 ausgeführt werden, das elektronische Fahrzeugführungssystem (2) veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.