-
Die Erfindung betrifft ein Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs in einem Bild. Durch eine Mehrzahl von realen Kameras des Kraftfahrzeugs werden Realbilder des Umgebungsbereichs aufgenommen und aus diesen Realbildern wird das Bild erzeugt, welches den Umgebungsbereich zumindest teilweise darstellt. Das Bild wird aus einer Perspektive einer in dem Umgebungsbereich angeordneten virtuellen Kamera dargestellt. Das Bild wird in einer Schalenform erzeugt beziehungsweise dargestellt. Dies bedeutet, dass das Bild in einer spezifischen „verzerrten“ beziehungsweise gekrümmten Darstellung erzeugt und dargestellt wird.
-
Des Weiteren sind Verfahren zum Transformieren eines Bilds bekannt, bei welchen ein Umgebungsbereich eines Kraftfahrzeugs zumindest teilweise durch das Bild aus der Perspektive einer virtuell in dem Umgebungsbereich angeordneten virtuellen Kamera dargestellt wird, sind aus dem Stand der Technik bekannt.
-
So wird in der
DE 10 2013 013 364 A1 ein Verfahren zum verzerrungsarmen Abbilden von Umgebungsbilddaten bereitgestellt, welche von einer Mehrzahl an Kameras, die an einem Kraftfahrzeug angeordnet sind, erzeugt werden.
-
Weiterhin wird in der
US 2011/0032357 A1 eine Bildverarbeitungsvorrichtung beschrieben, mit welcher ein Bild von einem Umgebungsbereich eines Kraftfahrzeugs aufgenommen wird. Das aufgenommene Bild wird in ein Bild konvertiert, welches aus der Perspektive einer virtuellen Sichtlinie betrachtet wird. Die virtuelle Sichtlinie läuft von einer vorbestimmten Position in dem Umgebungsbereich in eine vorbestimmte Richtung.
-
Weiterhin ist es bekannt, dass ein Bild mit einer virtuellen Kamera bereitgestellt wird. Die virtuelle Kamera kann dann üblicherweise beliebig um ein Kraftfahrzeug herum fiktiv angeordnet werden. Das Bild wird durch Transformieren von Realbildern bereitgestellt. Die Realbilder werden üblicherweise von einer Mehrzahl von realen Kameras des Kraftfahrzeugs bereitgestellt. Durch die Mehrzahl der realen Kameras wird üblicherweise ein Umgebungs-bereich des Kraftfahrzeugs vollständig erfasst. Durch die virtuelle Kamera können die Real-bilder derart ausgewählt und transformiert werden, dass das Bild aus der Perspektive der virtuellen Kamera bereitgestellt wird. Die virtuelle Kamera in dem Umgebungsbereich des Kraftfahrzeugs ist also nicht real existierend, sondern beschreibt die Transformation und Auswahl der Realbilder, sodass durch das Bild die gewünschte Perspektive der virtuellen Kamera gezeigt wird. Üblicherweise wird das Bereitstellen des Bilds durch eine Transformation, welche eine Translation und mehrere Rotationen umfasst, bestimmt. So wird beispielsweise jedes der Realbilder aus einem Kamerakoordinatensystem der jeweiligen realen Kamera in ein Kraftfahrzeugkoordinatensystem transformiert, und in dem Kraftfahrzeug-koordinatensystem kann schließlich die Position der virtuellen Kamera festgelegt werden.
-
Gerade bei Darstellungen von Bildern in einer derartigen Schalenform tritt aufgrund der Krümmung in der Bildansicht die Tatsache auf, dass genaue Positionen und somit Abstände zum Kraftfahrzeug nicht mehr genau erkannt und eingeschätzt werden können.
-
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs in einem Bild zu schaffen, bei welchem das Bild in einer Schalenform erzeugt wird und Positionen im Umgebungsbereich zum Kraftfahrzeug verbessert erkannt und eingeschätzt werden können. Des Weiteren ist es Aufgabe, ein Computerprogrammprodukt sowie ein Anzeigesystem für ein Kraftfahrzeug zu schaffen.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs, wobei die Darstellung in einem Bild erfolgt. Bei dem Verfahren wird durch eine Mehrzahl von realen Kameras des Kraftfahrzeugs ein Aufnehmen von mehreren Realbildern des Umgebungsbereichs durchgeführt. Aus diesen Realbildern wird dann das Bild, welches auch dann als Gesamtbild bezeichnet werden kann, erzeugt. Es wird daher aus einer Mehrzahl von Realbildern dieses dann gemeinsame Bild erzeugt. In diesem Bild wird der Umgebungsbereich zumindest teilweise dargestellt. Das Bild wird aus einer Perspektive einer in dem Umgebungsbereich angeordneten virtuellen Kamera dargestellt. Das Bild wird als Schalenform und somit mit meiner gekrümmten Bildebene erzeugt und dargestellt.
-
In dem Bild wird zumindest eine virtuelle, längliche Abstandsmarkierung dargestellt, mit welcher ein Abstand zwischen Positionen in dem Umgebungsbereich zu dem Kraftfahrzeug in der virtuellen Schalenform symbolisiert wird. Dadurch wird es für einen Beobachter des Bilds einfacher, Abstände von Positionen in dem durch die Schalenform gekrümmt dargestellten Umgebungsbereich besser erkennen und einschätzen zu können. Ein realer Abstand von spezifischen Positionen im Umgebungsbereich zu dem Kraftfahrzeug ist auch dann, wenn diese gekrümmte Darstellung in dem Bild gezeigt ist, intuitiv verbessert zu erkennen und auch Positionen zueinander somit verbessert einzuschätzen.
-
Da ein Abstand von Positionen zueinander und/oder einer Position zu einem Kraftfahrzeug in diesem Bild mit der Schalenform unterschiedlich ist als in einer ebenen Darstellung des Umgebungsbereich in einem Bild, ist diese Anzeige zumindest einer virtuellen länglichen Abstandsmarkierung auch sehr hilfreich für den Beobachter dieses Bildes.
-
Indem auch nicht nur eine allgemeine Abstandsmarkierung, wie beispielsweise ein Punkt, dargestellt wird sondern eine längliche Abstandsmarkierung, wird durch eine derartige Linie auch umfänglicher und noch besser nachvollziehbar der Abstand zum Kraftfahrzeug symbolisiert. Durch eine derartige längliche Abstandsmarkierung wird auch ein sehr filigranes und virtuelles Element dargestellt, welches gerade auf einer derartigen gekrümmten Bilddarstellung, wie es durch eine Schalenform auftritt, keine umfängliche Überdeckung des Bilds nach sich zieht, sodass dann wiederum eine genauere Zuordnung nicht möglich wäre, sondern es wird in dem Zusammenhang ein sehr filigranes virtuelles Element gezeigt, insbesondere überblendet, sodass eine umfängliche unerwünschte Abdeckung des Bilds gerade in dem gekrümmten Bereich vermieden wird. Indem durch eine längliche Abstandsmarkierung dann auch ein gewisser Abstandsbereich beziehungsweise eine Abstandszone zwischen dem Kraftfahrzeug, insbesondere einer Außenseite des Kraftfahrzeugs, und einer Position erreicht wird, kann in vorteilhafter Weise auch ein Abstand von mehreren Positionen auf dieser länglichen Abstandsmarkierung zu dem Kraftfahrzeug erkannt werden. Insbesondere kann dann erkannt werden, dass mehrere Positionen auf dieser länglichen Abstandsmarkierung alle den gleichen oder im Wesentlichen den gleichen realen Abstand zu dem Kraftfahrzeug, insbesondere zu einer diesbezüglichen Außenseite des Kraftfahrzeugs, aufweisen.
-
Vorzugsweise erstreckt sich diese längliche Abstandsmarkierung parallel oder im Wesentlichen parallel zu dem Kraftfahrzeug, insbesondere parallel zu einer Außenseite des Kraftfahrzeugs. Dadurch werden die oben genannten Vorteile nochmals verbessert. Die Abstandsmarkierung kann in vorteilhafter Weise unabhängig von konkreten Objekten, die in dem Bild im Umgebungsbereich des Kraftfahrzeugs vorhanden sind und angezeigt werden, dargestellt werden. Es ist also nicht wesentlich erforderlich, dass ein konkretes Objekt im Umgebungsbereich erkannt und auf dem Bild dargestellt wird und dann konkret diese Abstandsmarkierung an oder auf dem Objekt dargestellt wird und der Abstand dieses Objekts zu dem Kraftfahrzeug dann angezeigt wird. Insbesondere soll mit der virtuellen länglichen Abstandsmarkierung, auch unabhängig vom konkreten Objekt in dem Umgebungsbereich, lediglich eine Maßskalierung beziehungsweise eine Kartographierung dieser Schalenform des Bildes erfolgen, um in dieser gekrümmten Bilddarstellung ein verbessertes Empfinden für Positionen und Abstände zum Kraftfahrzeug erhalten zu können.
-
Es kann vorgesehen sein, dass die Länge einer derartigen länglichen Abstandsmarkierung manuell durch einen Nutzer vorgegeben wird. Insbesondere kann auch manuell vorgegeben werden, welcher Abstand zum Kraftfahrzeug tatsächlich durch eine derartige virtuelle Abstandsmarkierung angezeigt werden soll. So kann beispielsweise ein Nutzer eine Eingabe tätigen, mit welcher er die Länge der Abstandsmarkierung und/oder den mit der länglichen Abstandsmarkierung darzustellenden Abstand vom Kraftfahrzeug vorgibt.
-
Es können auch mehrere derartige virtuelle längliche Abstandsmarkierungen in dem Bild dargestellt werden. Diese können nebeneinander oder in einer Reihe hintereinander angeordnet sein. Diese Abstandsmarkierungen können auch zumindest teilweise parallel zueinander verlaufen.
-
Ebenso ist es jedoch auch möglich, dass eine derartige längliche Abstandsmarkierung automatisch auf dem Bild angezeigt wird. So kann in dem Zusammenhang auch automatisch die Länge einer derartigen Abstandsmarkierung vorgegeben und angezeigt werden. Auch der damit symbolhaft darzustellende Abstand einer Position im Umgebungsbereich zu dem Kraftfahrzeug kann automatisch ausgewählt werden. Die automatische Auswahl und Darstellung kann abhängig von einem einen Betriebszustand des Kraftfahrzeugs charakterisierenden Parameter erfolgen. Zusätzlich oder anstatt dazu kann diese automatische Auswahl abhängig von der Ausgestaltung des Umgebungsbereichs erfolgen. So können in dem Zusammenhang die Anzahl und/oder die Art und/oder die Position von Objekten im Umgebungsbereich berücksichtigt werden, um abhängig davon zu entscheiden, wo, wie lange und auf welche Art und Weise eine derartige zumindest eine virtuelle längliche Abstandsmarkierung erzeugt und dargestellt wird. Beispielsweise kann bei Umgebungsbedingungen, bei denen im Umgebungsbereich des Kraftfahrzeugs viele derartige Objekte sind und somit das Kraftfahrzeug relativ nah und benachbart von mehreren Objekten umgeben ist, eine derartige Auswahl und Anzeige einer länglichen Abstandsmarkierung erfolgen. Beispielsweise kann dies bei einem Manövrieren durch Engstellen und/oder bei einem Parkvorgang der Fall sein.
-
In einer vorteilhaften Ausführung wird zumindest eine reale Abmessung des Kraftfahrzeugs als bekannt vorgegeben und abhängig von dieser bekannten Abmessung wird zumindest eine Position einer einen realen Abstand in dem Bild symbolisierenden länglichen Abstandsmarkierung in dem Bild relativ zur Darstellung des Kraftfahrzeugs in dem Bild bestimmt. Dies bedeutet, dass diese längliche Abstandsmarkierung im Hinblick auf die korrekte Abstandsanzeige auf bekannte und abgespeicherte Abmessungen von Teilkomponenten des Kraftfahrzeugs, insbesondere von Abmessungen der Länge und/oder der Breite und/oder der Höhe, zurückgreift. Da diese Abmessungen bekannt sind und auch in dem Zusammenhang quasi unveränderlich sind, bleiben sie stets als aussagekräftige Maße vorhanden. Es kann in dem Zusammenhang dann in dem Bild das dortige kleinere bildhafte Maß dieser Komponente bestimmt werden und dieses Maß dann im Verhältnis zu dem realen Maß gesetzt werden. Abhängig davon erhält man in dem Zusammenhang quasi eine Skalierung, welches Ausmaß diese Komponente beziehungsweise welche Abmessung der Teilbereich des Kraftfahrzeugs in dem Bild aufweist und welcher realen Abmessung dieses Ausmaß im Bild dann entspricht. Abhängig davon kann dann wiederum ein Abstand zu dem Kraftfahrzeug in diesem Bild bestimmt werden, der dann wiederum einem realen Abstand in der realen Umgebung beziehungsweise dem realen Umgebungsbereich entspricht. Dadurch kann auf sehr einfache und dennoch präzise Art und Weise die längliche Abstandsmarkierung bestimmt werden und sehr ortsgenau in dem Bild angezeigt werden.
-
In vorteilhafter Weise werden die realen Kameras kalibriert und abhängig von der Kalibrierung wird zumindest eine Position einer einen realen Abstand in dem Bild symbolisierenden Abstandsmarkierung in dem Bild relativ zur Darstellung des Kraftfahrzeugs in dem Bild bestimmt. Eine derartige alternative Ausgestaltung ermöglicht ebenfalls in relativ einfacher und dennoch präziser Art und Weise, den Abstand in dem Bild korrekt darzustellen und die längliche Abstandsmarkierung derart ortsgenau in dem Bild relativ zum Kraftfahrzeug anzuzeigen.
-
Beim Kalibrieren einer Kamera wird der, insbesondere mathematische, Zusammenhang zwischen zumindest einem realen Abstand einer Position im Umgebungsbereich zum Kraftfahrzeug mit der Kamerawelt und somit den Pixeln bzw. den Positionen der Pixel im Pixelfeld erstellt. Bei einer kalibrierten Kamera ist deren Intrinsisches und Extrinsisches, wie beispielsweise die Linsenstörung, die Position der Kamera und deren Drehung, gemessen und durch ein physikalisches Modell berechnet. Eine Mehrzahl von Parametern werden nach dem Kalibieren berechnet. Diese Parameter werden in einen Speicher gespeichert. Die Parameter können auch verändert und angepasst werden.
-
In einer vorteilhaften Ausführung ist vorgesehen, dass die zumindest eine Position einer in dem Bild einen realen Abstand symbolisierenden Abstandsmarkierung in dem Bild relativ zur Darstellung des Kraftfahrzeugs im Bild nur abhängig von der zumindest einen Abmessung des Kraftfahrzeugs und nur abhängig von der Kalibrierung der Kameras bestimmt wird. Dies ist eine sehr vorteilhafte Ausführung, die hier sehr einfach und schnell eine sehr genaue Bestimmung dieser länglichen Abstandsmarkierung ermöglicht wird. Es sind in dem Zusammenhang keine weiteren Informationen erforderlich. Insbesondere ist es somit nicht mehr erforderlich, Informationen von tatsächlich einen Abstand bestimmenden Sensoren am Kraftfahrzeug zu berücksichtigen. Beispielsweise ist es in dem Zusammenhang daher nicht mehr erforderlich, Informationen von Ultraschallsensoren des Kraftfahrzeugs heranzuziehen, um den Abstand diesbezüglich zu messen und in dem Bild dann anzuzeigen. Dadurch wird erheblicher Rechenaufwand eingespart und dennoch ist die Genauigkeit der Anzeige sehr hoch.
-
Vorzugsweise wird die längliche Abstandsmarkierung als Linie dargestellt. Die Linie kann als durchgezogene Linie oder als strichlierte Linie oder als strichpunktierte Linie oder dergleichen angezeigt sein. Die Anzeige kann diesbezüglich auch wechseln.
-
In einer vorteilhaften Ausführung ist vorgesehen, dass die längliche Abstandsmarkierung umlaufend geschlossen dargestellt wird, was bedeutet, dass die längliche Abstandsmarkierung als geschlossener Rahmen beziehungsweise umlaufender Rand um das Kraftfahrzeug angezeigt wird. Dies ist eine sehr vorteilhafte Ausführung, da somit einfach und schnell für einen Beobachter erkannt werden kann, auch bei einer diesbezüglich gekrümmten perspektivischen Darstellung des Umgebungsbereichs, an welchen Stellen um das Kraftfahrzeug herum ein gleicher Abstand vorliegt. Gerade bei Perspektiven der virtuellen Kamera, die nicht zentral von oben und somit nicht als Vogelperspektiven angezeigt werden, können diesbezüglich weitere Unwägbarkeiten bezüglich der Abstandsschätzung für einen Beobachter auftreten. Um gerade dann bei diesen schrägen Perspektiven, die als dreidimensionale Perspektiven angezeigt werden, auch an allen Stellen um das Kraftfahrzeug herum erkennen zu können, wo eine Zone beziehungsweise ein Bereich mit umlaufend gleichem Abstand zum Kraftfahrzeug vorliegt, ist dies eine sehr vorteilhafte Ausführung. Bei einer derartigen umlaufenden Abstandsmarkierung wird somit dann auch zwischen dieser Abstandsmarkierung und dem Kraftfahrzeug ein umlaufender Abstandsbereich beziehungsweise eine Abstandszone begrenzt.
-
In einer vorteilhaften Ausführung wird somit vorgesehen, dass die längliche Abstandsmarkierung als das Kraftfahrzeug vollständig umgebende Linie erzeugt wird.
-
In einer weiteren vorteilhaften Ausführung ist vorgesehen, dass zumindest zwei separate Abstandsmarkierungen angezeigt werden, die jeweils einen individuellen realen Abstand symbolisieren. Diese Abstandsmarkierungen können farblich und/oder strukturell unterschiedlich dargestellt werden. Dadurch können sie sehr einfach und schnell erkannt werden und der jeweils damit zu symbolisierende Abstand auch intuitiv wahrgenommen werden. Fehlinterpretationen von einem Beobachter können dadurch vermieden werden.
-
Es kann zusätzlich oder anstatt dazu vorgesehen sein, dass zumindest eine Abstandsmarkierung eine dynamische Anzeige aufweist, beispielsweise blinken kann und/oder in ihrer Helligkeit zu- und abnehmen kann und/oder in ihrer farblichen Gestaltung sich verändern kann. Dies kann insbesondere dann erfolgen, wenn ein Grenzabstand dargestellt werden soll, insbesondere ein Grenzabstand, der eine kritische Positionssituation des Kraftfahrzeugs zu beispielsweise einem Objekt in dem Umgebungsbereich darstellen soll.
-
Es kann vorgesehen sein, dass die zumindest zwei separaten Abstandsmarkierungen beide jeweils als umlaufende Linien des Kraftfahrzeugs in dem Bild angezeigt werden.
-
Dadurch wird quasi eine geschachtelte Anordnung von mehreren, insbesondere vollständig um das Kraftfahrzeug umlaufenden und gekennzeichneten Abstandszonen symbolisiert.
-
Es kann vorgesehen sein, dass die zumindest eine Abstandsmarkierung als Überblendung in dem Bild dargestellt wird.
-
In einer weiteren vorteilhaften Ausführung kann vorgesehen sein, dass eine Position und/oder eine Geometrie der Abstandsmarkierung in dem Bild abhängig von einer Veränderung der Perspektive der virtuellen Kamera mit verändert wird. Dadurch wird quasi in Echtzeit das Darstellen der dann sich jeweils neu ergebenden und darzustellenden Abstände ermöglicht. Der Beobachter kann somit unverzüglich mit dem Ändern der Perspektive auch das sich Ändern des spezifischen Abstands einer Position im Umgebungsbereich zum Kraftfahrzeug erkennen.
-
Es kann vorgesehen sein, dass die Art der Darstellung einer Abstandsmarkierung durch einen Nutzer eingestellt werden kann. Dies kann die farbliche Darstellung und/oder die Länge und/oder die Breite einer derartigen länglichen Abstandsmarkierung betreffen. Es kann jedoch auch anderweitige Einstellungen betreffen. Insbesondere kann auch der Zeitpunkt und/oder zu welchen Umgebungssituationen und/oder zu welchen Fahrsituationen ein Nutzer eine derartige angezeigte Abstandsmarkierung wünscht, eingegeben werden. Selbstverständlich können diese Aspekte in einer alternativen Ausführung auch automatisch erfolgen. Zusätzlich kann es vorgesehen sein, dass bei einer automatischen Auswahl und Anzeige einer Abstandsmarkierung vor dem Anzeigen der Nutzer informiert wird, dass eine derartige Anzeige erfolgen wird, wobei er dann beispielsweise durch eine Bestätigung die tatsächliche Anzeige dann auch erst starten kann.
-
In einer weiteren vorteilhaften Ausführung kann vorgesehen sein, dass zusätzlich zur Darstellung der den Abstand symbolisierenden länglichen Abstandsmarkierung ein Wert eines Abstands und somit ein Zahlenwert auf dem Bild dargestellt wird. Dadurch wird nicht nur eine längliche Abstandsmarkierung als solche dargestellt, sondern zusätzlich die Information, welchen tatsächlichen Abstand diese Abstandsmarkierung darstellt, angezeigt. Es kann zusätzlich oder anstatt dazu auch vorgesehen sein, dass zusätzlich zu der Darstellung der den Abstand symbolisierenden länglichen Abstandsmarkierung ein Pfeil dargestellt wird, der die Strecke zwischen den Stellen der länglichen Abstandsmarkierung und dem Kraftfahrzeug, zwischen denen ein Abstand besteht, anzeigt. Dadurch wird die Genauigkeit nochmals erhöht, da hier somit dann quasi senkrecht zu der Außenseite des Kraftfahrzeugs und senkrecht zu der länglichen Abstandsmarkierung, die parallel oder im Wesentlichen parallel zu der Außenseite des Kraftfahrzeugs verlaufend angezeigt wird, durch den Pfeil im Wesentlichen die Punkte markiert werden, zwischen denen dann tatsächlich der entsprechende Abstand besteht. Die Genauigkeit und das intuitive Verständnis für den Abstand in dem gekrümmten Bild, welches durch die Schalenformdarstellung auftritt, kann dadurch nochmals verbessert werden.
-
Vorzugsweise kann vorgesehen sein, dass das Bild als 2D-Draufsicht auf das Kraftfahrzeug und den Umgebungsbereich dargestellt wird. In einer weiteren vorteilhaften Ausführung ist vorgesehen, dass das Bild als 3D-Ansicht dargestellt wird.
-
Es kann vorgesehen sein, dass das Bild auf einer berührsensitiven Anzeigeeinheit angezeigt wird.
-
Es kann dann insbesondere vorgesehen sein, dass der Nutzer manuell durch Berühren der Abstandsmarkierung auf der Anzeigeeinheit eine bereits angezeigte längliche Abstandsmarkierung verschieben kann, so dass dadurch individuell der durch die dann neu positionierte Abstandsmarkierung ein anderer Abstand symbolhaft angezeigt wird. Dadurch ist die nutzerindividuelle Einstellung variabler und bedarfsgerechter möglich.
-
Ebenso könnte, insbesondere auch hier durch eine Spracheingabe eines Nutzers, der Wert eines gewünschten Abstands eingegeben werden, und die zugehörige längliche Abstandsmarkierung in dem Bild automatisch ortsgenau angezeigt werden.
-
Ein weiterer unabhängiger Aspekt der Erfindung betrifft ein Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs in einem Bild. Bei dem Verfahren wird durch eine Mehrzahl von realen Kameras des Kraftfahrzeugs ein Aufnehmen von Realbildern des Umgebungsbereichs durchgeführt. Aus diesen Realbildern wird das Bild erzeugt, welches den Umgebungsbereich zumindest teilweise darstellt. Das Bild wird aus einer Perspektive einer im Umgebungsbereich angeordneten virtuellen Kamera dargestellt. In dem Bild wird zumindest eine virtuelle, längliche Abstandsmarkierung dargestellt, mit welcher ein Abstand zu dem Kraftfahrzeug in dem Bild symbolisiert wird. Zumindest eine reale Abmessung des Kraftfahrzeugs wird als bekannt vorgegeben und abhängig von dieser bekannten Abmessung wird zumindest eine Position einer einen realen Abstand in dem Bild symbolisierenden Abstandsmarkierung in dem Bild relativ zur Darstellung des Kraftfahrzeugs in dem Bild bestimmt. Zusätzlich oder anstatt dazu kann vorgesehen sein, dass die realen Kameras kalibriert werden und abhängig von dieser Kalibrierung beziehungsweise den Kalibrierinformationen wird zumindest eine Position einer einen realen Abstand in dem Bild symbolisierenden Abstandsmarkierung in dem Bild relativ zur Darstellung des Kraftfahrzeugs in dem Bild bestimmt.
-
Auch dadurch können die oben genannten Vorteile erreicht werden. Ausführungen des oben genannten ersten unabhängigen Aspekts betreffend ein Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs in einem Bild sind als vorteilhafte Ausführungen dieses weiteren unabhängigen Aspekts anzusehen.
-
Ein Aspekt der Erfindung betrifft ein Computerprogrammprodukt, welches zum Ausführen eines erfindungsgemäßen Verfahrens ausgebildet ist, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt wird.
-
Ein Aspekt der Erfindung betrifft ein Anzeigesystem mit einer Auswerteeinheit, einer Anzeigeeinheit und zumindest einer realen Kamera, wobei das Anzeigesystem dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. Die Auswerteeinheit kann beispielsweise in der realen Kamera und/oder in der Anzeigeeinheit integriert sein oder als separate Einheit vorliegen.
-
Ein Aspekt der Erfindung betrifft ein Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Anzeigesystem oder eine vorteilhafte Ausführung davon.
-
Die mit Bezug auf das Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das Computerprogrammprodukt, das Anzeigesystem sowie für das Kraftfahrzeug.
-
Mit den Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“, „Tiefenrichtung“, „Breitenrichtung“, „Höhenrichtung“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der virtuellen Kamera oder der realen Kamera oder dem Kraftfahrzeug gegebenen Positionen und Orientierungen angegeben.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 eine schematische Draufsicht auf ein Ausführungsbeispiel eines Kraftfahrzeugs mit einem Ausführungsbeispiel einem Anzeigesystem;
- 2 eine schematische Darstellung einer virtuellen Anordnung einer virtuellen Kamera in einem Umgebungsbereich des Kraftfahrzeugs;
- 3 eine Darstellung eines Bilds einer Schalenform in einer spezifischen Perspektive einer virtuellen Kamera;
- 4 eine schematische Darstellung, bei welcher die virtuelle Kamera direkt über dem Kraftfahrzeug angeordnet ist und das Bild als eine Vogelperspektive erzeugt wird;
- 5 eine Darstellung eines Bilds als Vogelperspektive, wie es durch die virtuelle Kamera gemäß der Position in 4 erzeugt wird, wobei in diesem Bild eine Mehrzahl von länglichen Abstandsmarkierungen dargestellt sind; und
- 6 eine Darstellung eines weiteren Ausführungsbeispiels eines Bilds, bei welchem mehrere längliche Abstandsmarkierungen mit zusätzlichen Zahlenwerten für die symbolisierten Abstände und zusätzlichen Pfeilen dargestellt sind.
-
In Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Anzeigesystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Anzeigesystem 2 weist im Ausführungsbeispiel eine Auswerteeinheit 3 und eine Anzeigeeinheit 4 auf. Weiterhin weist das Anzeigesystem 2 im Ausführungsbeispiel eine erste reale Kamera 5, eine zweite reale Kamera 6, eine dritte reale Kamera 7 und eine vierte reale Kamera 8 auf. Gemäß dem Ausführungsbeispiel ist die erste reale Kamera 5 an einer Front 9 des Kraftfahrzeugs 1 angeordnet, die zweite reale Kamera 6 ist an einer rechten Seite 10 des Kraftfahrzeugs 1 angeordnet, die dritte reale Kamera 7 ist an einem Heck 11 des Kraftfahrzeugs 1 angeordnet und die vierte reale Kamera 8 ist an einer linken Seite 12 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der realen Kameras 5, 6, 7, 8 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass das Kraftfahrzeug 1 und/oder ein Umgebungsbereich 13 des Kraftfahr-zeugs 1 zumindest teilweise erfasst werden kann.
-
Die realen Kameras 5, 6, 7, 8 weisen insbesondere einen weiten Erfassungsbereich, welcher beispielsweise größer als 180° sein kann, auf. Der weite Erfassungsbereich kann jeweils beispielsweise durch eine Fischaugenlinse eines Objektivs der realen Kamera 5, 6, 7, 8 bereitgestellt werden. So kann das Anzeigesystem 2 beispielsweise als Umfeldsichtsystem (CMS - camera monitoring system) oder elektronischer Rückspiegel ausgebildet sein oder als ein weiteres Fahrerassistenzsystem des Kraftfahrzeugs 1 ausgebildet sein, bei welchem der Umgebungsbereich 13 zumindest teilweise erfasst wird.
-
Die realen Kameras 5, 6, 7, 8 können CMOS-Kamera (complementary metal-oxide semiconductor) oder CCD-Kameras (charge coupled device) oder auch andere Bilderfassungs-einrichtungen sein, welche ein Einzelbild von dem Umgebungsbereich 13 und/oder dem Kraftfahrzeug 1 bereitstellen können. Die realen Kameras 5, 6, 7, 8 sind insbesondere Videokameras, welche kontinuierlich eine Bildsequenz von Einzelbildern bereitstellen. Die Auswerteeinheit 3 verarbeitet die Bildsequenz der Einzelbilder dann beispielsweise in Echt-zeit. Die Auswerteeinheit 3 kann beispielsweise innerhalb der jeweiligen realen Kamera 5, 6, 7, 8 oder innerhalb der Anzeigeeinheit 4 angeordnet sein. Die Auswerteeinheit 3 kann aber auch außerhalb der jeweiligen Kamera 5, 6, 7, 8 oder der Anzeigeeinheit 3 an einer beliebigen anderen Position innerhalb des Kraftfahrzeugs 1 angeordnet sein und somit als zur realen Kamera 5, 6, 7, 8 und zur Anzeigeeinheit 4 separaten Einheit ausgebildet sein.
-
Die Anzeigeeinheit 4 kann beispielsweise als Flüssigkristallanzeige (LCD - liquid crystal display) ausgebildet sein. Die Anzeigeeinheit 4 kann vielfältig in dem Kraftfahrzeug 1 angeordnet sein, vorzugsweise allerdings so, dass ein Nutzer des Kraftfahrzeugs 1 einen hindernisfreien Blick auf die Anzeigeeinheit 4 richten kann.
-
Durch die realen Kameras 5, 6, 7, 8 wird eine Mehrzahl von Realbildern aufgenommen. Die Realbilder zeigen den Umgebungsbereich 13 zumindest teilweise aus der Perspektive der jeweiligen realen Kamera 5, 6, 7, 8. Vorzugsweise werden die Realbilder zumindest teilweise überlappend aufgenommen.
-
2 zeigt eine virtuelle Anordnung einer virtuellen Kamera 14 in dem Umgebungsbereich 13 des Kraftfahrzeugs 1. Die virtuelle Kamera 14 kann vielfältig in dem Umgebungsbereich 13 angeordnet werden. Vorzugsweise wird die virtuelle Kamera 14 an vorgegebenen virtuellen Kamerapositionen 15, insbesondere der Schalenform des Bilds, angeordnet. Abhängig von der jeweiligen virtuellen Kameraposition 15 der virtuellen Kamera 14 und deren Ausrichtung wird die Perspektive der virtuellen Kamera 14 auf den Umgebungsbereich 13 und/oder das Kraftfahrzeug 1 bestimmt. Die Perspektive der virtuellen Kamera 14 kann beispielsweise in Echtzeit beziehungsweise innerhalb einer vorbestimmten Rechenzeit angepasst werden.
-
In 3 ist ein Bild 16 gezeigt, wie es auf der Anzeigeeinheit 4 des Kraftfahrzeugs 1 dargestellt werden kann. Das Bild 16 ist aus einer Mehrzahl von Realbildern der realen Kameras 5, 6, 7 und 8 erzeugt. In 3 ist der Umgebungsbereich 13 von einer Kameraposition 15a der virtuellen Kamera 14 dargestellt. Die Perspektive ist daher von oben und hinter dem Kraftfahrzeug 1 nach vorne gerichtet. Das Bild 16 ist hier insbesondere gekrümmt und somit in der in 2 gezeigten Schalenform dargestellt, wobei das Kraftfahrzeug 1 zentral in der Schalenform und auf einem Boden 17 der Schalenform dargestellt ist. In dem Bild 16 ist eine erste virtuelle längliche Abstandsmarkierung 18 dargestellt. Diese symbolisiert einen realen Abstand von Positionen in dem Umgebungsbereich 13 zu dem Kraftfahrzeug 1. Die Abstandsmarkierung 18 ist hier als Linie dargestellt, insbesondere als umlaufend um das Kraftfahrzeug 1 vollständig geschlossene Linie. Sie symbolisiert somit umlaufend um das Kraftfahrzeug 1 herum einen gleichen Abstand beziehungsweise einen zumindest im Wesentlichen gleichen Abstand. Vorzugsweise ist diese längliche Abstandsmarkierung 18 als Überblendung auf dem Bild 16 angezeigt. Durch diese längliche Abstandsmarkierung 18 ist somit auch ein Rand beziehungsweise eine Begrenzung für eine Abstandszone beziehungsweise einen Abstandsbereich gebildet, der sich um das Kraftfahrzeug 1 herum und vollständig umlaufend ergibt. Es wird symbolhaft durch diese erste Abstandsmarkierung 18 ein gleichbleibender beziehungsweise im Wesentlichen gleichbleibender Abstand zu einer Außenseite des Kraftfahrzeugs 1 bestimmt.
-
Insbesondere wird durch diese erste Abstandsmarkierung 18 hier im Ausführungsbeispiel ein Abstand von 200 mm angezeigt. Wie in der Darstellung in 3 zu erkennen ist, ist aufgrund der individuellen Perspektive in dieser dreidimensionalen Darstellung, die darüber hinaus auch noch diese Schalenform und somit eine gekrümmte Darstellung aufweist, die erste Abstandsmarkierung 18 auch entsprechend eingezeichnet. In dem virtuellen Bild 16 ergeben sich somit unterschiedliche virtuelle Abstände zu der Außenseite des Kraftfahrzeugs 1, obwohl dadurch im Realen quasi ein umlaufend stets gleicher Abstand zu dem Kraftfahrzeug 1 dargestellt werden soll.
-
Im Ausführungsbeispiel ist vorgesehen, dass in 3 eine zur ersten Abstandsmarkierung 18 separate zweite längliche Abstandsmarkierung 19 als virtuelle Abstandsmarkierung im Bild 16 dargestellt ist. Diese symbolisiert einen zum ersten Abstand, der durch die erste Abstandsmarkierung 18 symbolhaft dargestellt wird, größeren zweiten Abstand. Auch diese zweite Abstandsmarkierung 19 ist im gezeigten Ausführungsbeispiel als Linie ausgebildet, die hier insbesondere vollständig umlaufend geschlossen um das Kraftfahrzeug 1 dargestellt und eingezeichnet ist.
-
Darüber hinaus ist im gezeigten Ausführungsbeispiel vorzugsweise vorgesehen, dass eine dritte, weitere virtuelle und separate Abstandsmarkierung 20 in dem Bild 16 eingezeichnet ist. Sie ist nochmals größer als die ersten Abstandsmarkierungen 18 und 19 und umgibt somit das Kraftfahrzeug 1 in einem diesbezüglich größeren Abstand als die Abstandsmarkierungen 18 und 19. Durch die weitere Abstandsmarkierung 20, die ebenfalls linienartig und vorzugsweise vollständig umlaufend um das Kraftfahrzeug 1 eingezeichnet ist, ist ein dritter Abstand symbolisiert, der hier beispielsweise 600 mm beträgt. Insbesondere beträgt der durch die zweite Abstandsmarkierung 19 symbolhaft dargestellte reale Abstand 40 mm zu den jeweiligen Außenstellen des Kraftfahrzeugs 1.
-
Es kann vorgesehen sein, dass die Abstandsmarkierungen auf dem Boden des Umgebungsbereichs in Bezug zu dem Kraftfahrzeug 1 bestimmt sind. Es kann jedoch auch in einer bestimmten Höhe beabstandet zum Boden des Umgebungsbereichs 13 ein Abstand einer Position im Umgebungsbereich 13 zum Kraftfahrzeug 1 bestimmt werden.
-
In einer vorteilhaften Ausführung kann vorgesehen sein, dass entweder durch einen Nutzer manuell gewählt werden kann oder automatisch vorgegeben werden kann, ob der anzuzeigende reale Abstand in einer Position im Umgebungsbereich 13 am Boden des Umgebungsbereichs 13 zum Kraftfahrzeug 1 hin bestimmt und angezeigt werden soll oder in einer bestimmten Höhe bestimmt und angezeigt werden soll.
-
Durch eine virtuelle längliche Abstandsmarkierung 18, 19, 20 wird symbolhaft ein realer Abstand einer Position im Umgebungsbereich 13 zu dem Kraftfahrzeug 1, insbesondere zu einer Außenseite des Kraftfahrzeugs 1, in diesem gekrümmt dargestellten Bild 16 gekennzeichnet.
-
Insbesondere wird zumindest eine reale Abmessung des Kraftfahrzeugs 1 als bekannt vorgegeben. Abhängig von dieser zumindest einen bekannten Abmessung wird eine Position einer einen realen Abstand in dem Bild 16 symbolisierenden Abstandsmarkierung 18, 19, 20 in diesem Bild 16 relativ zur Darstellung des Kraftfahrzeugs 1 in dem Bild bestimmt. Dies bedeutet, dass die bekannte reale Abmessung herangezogen wird und das Maß dieser realen Abmessung in dem Bild 16 bestimmt wird. Abhängig von diesem Maß in dem Bild 16 wird dann ein realer Abstand im Umgebungsbereich 13 auf den fiktiven virtuellen Abstand in dem Bild 13 umgerechnet beziehungsweise skaliert. Dies bedeutet, dass eine Abstandsdarstellung beispielsweise von der ersten Abstandsmarkierung 18 zu der einen Außenseite des Kraftfahrzeugs 1 auf die Abmessung des Kraftfahrzeugs 1 in diesem Bild skaliert wird. Die Bestimmung dieser Position der Abstandsmarkierung 18 in dem Bild 16 erfolgt somit in vorteilhafter Weise ausschließlich durch die Zugrundelegung von realen Abmessungen des Kraftfahrzeugs 1, die dann zur Umrechnung in dem Bild 16 herangezogen werden, und/oder die Bestimmung dieser Position der Abstandsmarkierung 18 in dem Bild 16 erfolgt in vorteilhafter Weise ausschließlich abhängig von einer Kalibrierung der realen Kameras 5, 6, 7, 8 und somit auf Basis dieser kalibrierten Informationen. Vorzugsweise lediglich zumindest eine der beiden Möglichkeiten, jedoch maximal beide dieser Möglichkeiten, werden vorzugsweise herangezogen, um die Position der Abstandsmarkierung im Bild 16 relativ zum Kraftfahrzeug 1 zu bestimmen beziehungsweise zu berechnen.
-
Es werden keine weiteren Informationen, die beispielsweise durch abstandsbestimmende Sensoren am Kraftfahrzeug 1 erhalten werden könnten, herangezogen. Insbesondere werden somit keine Informationen von Ultraschallsensoren oder Radarsensoren oder Lidar-Sensoren berücksichtigt. Dadurch wird die Bestimmung dieser Darstellung der virtuellen Abstandsmarkierung 18, 19, 20 in dem Bild 16 sehr einfach und dennoch sehr genau ermöglicht.
-
Es sei nochmals erwähnt, dass die in 3 dargestellte Perspektive der virtuellen Kamera 14 lediglich beispielhaft zu verstehen ist und vielfältigste andere Kamerapositionen 15, 15a und somit vielfältigste andere Perspektiven ermöglicht sind. Abhängig davon ergeben sich dann wiederum unterschiedlich perspektivisch gezeigte Darstellungen und Positionen von zumindest einer Abstandsmarkierung 18, 19, 20.
-
In 4 ist in einer sehr vereinfachten Darstellung eine Position der virtuellen Kamera 14 gezeigt, bei welcher hier eine Vogelperspektive erzeugt wird. Bei dieser Ausführung ist dann ein Bild 16 erzeugt, wie es in 5 beispielhaft gezeigt ist. Auch hier sind wiederum beispielhafte Abstandsmarkierungen 18, 19 und 20 dargestellt. Im Unterschied zu 3 werden hier die Abstandsmarkierungen ebenfalls wieder linienartig gestaltet, die vorzugsweise vollständig umlaufend um das Kraftfahrzeug 1 gezogen sind. Sie sind hier beispielhaft nicht als durchgezogene Linien, sondern als punktierte oder strichpunktierte Linien oder gestrichelte Linien gezeigt. Darüber hinaus ist hier in einer vorteilhaften Ausführung, die auch in 3 realisiert sein kann, vorgesehen, dass zusätzlich zu einer Linie auch ein konkreter Zahlenwert 18a, 19a und 20a auf dem Bild 16 angezeigt ist, der den konkreten Abstandswert angibt. Auch die Maßeinheit ist vorzugsweise angezeigt.
-
Die Abstandsmarkierungen 18, 19 und 20 können zusätzlich oder anstatt dazu auch unterschiedliche Farben aufweisen, sodass sie auch diesbezüglich unterschieden werden können. Sie können statisch angezeigt sein, können jedoch auch dynamisch angezeigt sein. Dazu können sie gegebenenfalls blinken und/oder die Farbe ändern und/oder die Helligkeit der Farbdarstellung ändern.
-
In 6 ist in einem weiteren Ausführungsbeispiel ein Bild 16 gezeigt, welches vorzugsweise als Vogelperspektive in einer Schalenform dargestellt ist. Im Unterschied zu 5 ist hier vorgesehen, dass eine längliche Abstandsmarkierung 18 nur teilweise umlaufend um das Kraftfahrzeug 1 dargestellt ist. Sie ist hier nur parallel oder im Wesentlichen parallel zu einer rechtsseitigen Außenseite des Kraftfahrzeugs 1 und somit zur Beifahrerseite dargestellt. Zusätzlich ist hier auch wiederum ein konkreter Zahlenwert 18a mit einer spezifischen Maßeinheit auf dem Bild 16 angezeigt. Darüber hinaus ist hier in einer vorteilhaften Ausführung auch ein Pfeil 18b angezeigt, der zwischen der Außenseite des Kraftfahrzeugs 1 und der Abstandsmarkierung 18 verläuft. Es werden hier somit konkrete Stellen angezeigt, zwischen denen dieser reale Abstand, der in dem Bild 16 symbolhaft dargestellt ist, zu verstehen ist. Entsprechendes ist auch mit der weiteren Abstandsmarkierung 19 vorgesehen, wobei hier auch vorzugsweise zusätzlich ein konkreter Zahlenwert 19a und ein Pfeil 19b zusätzlich angezeigt wird. Die Darstellungen in 5 und 6 können ebenso in einer dreidimensionalen Ansicht dargestellt werden, wie dies entsprechend in 3 gezeigt ist. Auch hier können dann vielfältigste virtuelle Kamerapositionen 15, 15a vorgesehen sein, an denen diese virtuelle Kamera 14 positioniert sein kann. Die Darstellung einer Abstandsmarkierung 18, 19 und 20 kann sich abhängig von einer Veränderung der Perspektive der virtuellen Kamera 14 und/oder abhängig von einer Veränderung des Umgebungsbereichs 13 und/oder abhängig von einer Veränderung des Betriebszustands des Kraftfahrzeugs 1 ändern, insbesondere auch dynamisch ändern. Auch kann die Anzeige von konkreten Zahlenwerten 18a, 19a, 20a und/oder von Pfeilen 18b, 19b abhängig von diesen genannten Parametern und/oder Einflussfaktoren erfolgen, insbesondere auch dynamisch angezeigt erfolgen.
-
Es kann insbesondere durch eine manuelle Eingabe, insbesondere über eine Bedieneinheit des Anzeigesystems 2, die Anzahl und/oder die Art einer Abstandsmarkierung 18, 19, 20 durch einen Nutzer insbesondere manuell eingestellt werden. Auch kann in dem Zusammenhang nutzerindividuell eingestellt werden, ob auch die Zahlenwerte 18a, 19a, 20a und/oder die Pfeile 18b und/oder 19b virtuell angezeigt werden.
-
Zur Bestimmung der Abstandsmarkierung, insbesondere im Hinblick auf die skalierte Position in dem Bild 16 im Verhältnis zur Darstellung des realen Abstands zum Kraftfahrzeug 1 sind in vorteilhafter Ausführung auch keine den Betriebszustand des Kraftfahrzeugs 1 charakterisierenden Informationen, wie beispielsweise die Fahrzeuggeschwindigkeit und/oder ein Lenkwinkel, erforderlich.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013013364 A1 [0003]
- US 2011/0032357 A1 [0004]
