-
Die Erfindung betrifft ein Kraftfahrzeug, aufweisend ein virtuelles Rückspiegelsystem, sowie ein Verfahren zum Betrieb eines virtuellen Rückspiegelsystems in einem Kraftfahrzeug.
-
Virtuelle Spiegelsysteme werden in modernen Kraftfahrzeugen als Ersatz oder als Ergänzung zu herkömmlichen Rückspiegeln, welche mithin eine Spiegelfläche aufweisen, eingesetzt. Dabei umfasst ein sogenannter virtueller Rückspiegel gemäß dem Stand der Technik üblicherweise eine auf den Rückraum des Kraftfahrzeugs gerichtete Kamera, sowie eine im Innenraum des Kraftfahrzeugs, insbesondere in einem Bereich, in dem auch ein herkömmlicher Rückspiegel vorgesehen wäre, vorgesehenes Display, also eine Displayeinrichtung. Nachdem der Fahrer auf dem Display Kameradaten, insbesondere Bilder, der Rückschaukamera sehen kann, erhält er die entsprechenden Informationen. Dabei ist eine virtuelle Ausgestaltung sowohl für den zentralen Innenspiegel eines Kraftfahrzeugs als auch für seitliche Außenspiegel denkbar. Für virtuelle Innenspiegel wurden auch bereits Kombinationen vorgeschlagen, die sowohl eine Spiegelfläche als auch eine Displayeinrichtung aufweisen, wobei insbesondere der auf der Displayeinrichtung angezeigte Inhalt auf der Spiegelfläche erscheint. Entsprechende Ausgestaltungen solcher Spiegel-Displays wurden im Stand der Technik bereits auf vielfältige Weise vorgeschlagen.
-
Bei virtuellen Rückspiegeln, die konventionelle Rückspiegel ersetzen, muss sichergestellt werden, dass wenigstens ein (virtueller oder konventioneller) Rückspiegel die Sicht nach hinten ermöglicht, auch wenn im Innenraum des Kraftfahrzeugs die Sicht versperrt ist. Aus diesem Grund werden für virtuelle Rückspiegelsysteme Sicherheitsanforderungen gestellt, beispielsweise eine diskrete, dedizierte Kabelverbindung zwischen der Rückschaukamera und der zugeordneten Displayeinrichtung. Dies gilt insbesondere für die Fahrerseite.
-
Grundsätzlich ist, bereits bei konventionellen Rückspiegeln, die Blickabwendung, um diese einzusehen, hoch. Das bedeutet, konzentriert sich ein Fahrer auf das Fahrgeschehen vor dem Kraftfahrzeug und blickt entsprechend beispielhaft durch die Windschutzscheibe, muss er die Blickrichtung deutlich verändern, um einen Innenspiegel oder einen Außenspiegel und dessen Inhalte zu betrachten, sowohl was virtuelle als auch was konventionelle Rückspiegel angeht. Dabei kann bei einem virtuellen Rückspiegel die Displayeinrichtung näher an die üblichen Blickrichtung des Fahrers auf das Vorfeld des Kraftfahrzeugs, also an die sogenannte Fahrachse, gebracht werden. Auf diese Weise kann die notwendige Blickabwendung reduziert werden, wobei jedoch auch Nachteile auftreten.
-
So müssen Nutzer, die bisher virtuelle oder konventionelle Rückspiegel an der konventionellen Lage verwendet haben, eine Umgewöhnungsphase durchlaufen. Ferner kann es in manchen Fahrsituationen durchaus vorteilhaft sein, wenn die Aufmerksamkeit des Fahrers auf die Seite, beispielsweise eine Beifahrerseite, gelenkt wird, während er einen Außenspiegel betrachtet. Auf diese Weise kann der Fahrer beispielsweise überprüfen, dass kein weiterer Verkehrsteilnehmer auf dieser Seite überholt oder sich im toten Winkel befindet. Darüber hinaus generiert die Integration der Displayeinrichtung eines beifahrerseitigen virtuellen Außenspiegels in das Kombinationsinstrument beziehungsweise die Anordnung unmittelbar benachbart zum Kombinationsinstrument eine Asymmetrie der Positionierung eines Mitteldisplays für Infotainment-Inhalte.
-
DE 10 2019 123 740 A1 betrifft eine ästhetische Anzeigeeinheit für ein Fahrzeug. Dort wird ein Verfahren zum Bereitstellen einer Rück- und/oder Seitenansicht eines Fahrzeugs beschrieben, wobei ein Videostream aus Bildern, die von mindestens einer Kamera des Fahrzeugs, insbesondere einer Kamera einer virtuellen Spiegelvorrichtung des Fahrzeugs, aufgenommen werden, erzeugt. Der Videostream wird auf mindestens einem Bildschirm einer Anzeigeeinheit eines Fahrzeugs, insbesondere der virtuellen Spiegelvorrichtung, angezeigt, wobei die Verarbeitung das Einfügen eines partiellen Overlays in jedes Bild des Videostreams umfasst. Das partielle Overlay ersetzt einen Teil des Videostreams durch einen Ersatzinhalt, um einen irrelevanten oder störenden Teil des Videostreams zu entfernen und so den Fahrer des Fahrzeugs bei der Fokussierung auf relevante Teile des Bildschirms zu unterstützen.
-
DE 10 2020 104 082 A1 offenbart ein Verfahren zum Anpassen eines Anzeigeinhalts auf einem Anzeigeelement eines Fahrzeugs, wobei von einer Kamera zur Aufnahme der Umgebung des Fahrzeugs ein Bereich der Umgebung des Fahrzeugs aufgenommen wird. Ein Innenraumsensor erfasst eine Betrachterperspektive eines im Innenraum befindlichen Betrachters des Anzeigeelements relativ zu dem Anzeigeelement und die Kameraeinstellung der Kameraaufnahme der Umgebung wird relativ zu dem aufzunehmenden Bereich der Umgebung abhängig von der Betrachterperspektive des Betrachters angepasst.
-
DE 10 2013 020 950 A1 offenbart ein Verfahren zum Betreiben eines Rückansichtskamerasystems eines Kraftfahrzeugs. Mittels einer Detektionseinrichtung wird eine aktuelle Körperhaltung und/oder eine aktuelle Blickrichtung des Fahrers des Kraftfahrzeugs detektiert, so dass ein Teilbereich von Bildern der Umgebung und/oder ein Anzeigebereich einer Anzeigefläche der Anzeigeeinrichtung, auf welchem die Teilregion angezeigt wird, in Abhängigkeit von der aktuellen Körperhaltung und/oder der aktuellen Blickrichtung bestimmt wird.
-
Der Erfindung liegt die Aufgabe zugrunde, eine demgegenüber verbesserte, insbesondere personalisierte und/oder situative Visualisierung der Kraftfahrzeugumgebung hinter dem Kraftfahrzeug erlaubende, Ausgestaltung eines virtuellen Rückspiegelsystems anzugeben.
-
Diese Aufgabe wird erfindungsgemäß durch ein Kraftfahrzeug und ein Verfahren gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.
-
Ein erfindungsgemäßes Kraftfahrzeug weist ein virtuelles Rückspiegelsystem auf, welches umfasst:
- - mehrere Rückschaukameras, die jeweils einen Erfassungsbereich aufweisen, der wenigstens teilweise eine Umgebung des Kraftfahrzeugs umfasst, die hinter A-Säulen des Kraftfahrzeugs liegt,
- - mehrere in einem Innenraum des Kraftfahrzeug angeordnete, von einem Fahrersitz aus einsehbare Displayeinrichtungen, und
- - eine Steuereinrichtung, die ausgebildet ist, auf der Basis von Fahrsituationsdaten, die eine aktuelle Fahrsituation beschreiben, und/oder Fahrerdaten, die einen aktuellen Fahrerzustand und/oder ein Fahrerverhalten beschreiben, wenigstens ein anzuzeigendes Anzeigebild unter Verwendung von Kameradaten der Rückschaukameras zu ermitteln und für jedes Anzeigebild eine der Displayeinrichtungen, auf der das Anzeigebild auszugeben ist, auszuwählen und die wenigstens eine ausgewählte Displayeinrichtung zur Ausgabe des zugeordneten Anzeigebilds anzusteuern.
-
Erfindungsgemäß wird also vorgeschlagen, von bisherigen virtuellen Rückspiegelsystemen dahingehend abzuweichen, dass keine feste Zuordnung von Anzeigebildern zu einer Displayeinrichtung mehr besteht, sondern situationsabhängig und insbesondere auch personalisiert nicht nur ein geeignetes Anzeigebild erzeugbar ist, sondern auch eine geeignete Displayeinrichtung ausgewählt werden kann. Anders gesagt ist erfindungsgemäß insbesondere vorgesehen, dass die Steuereinrichtung ausgebildet ist, während des Betriebs des virtuellen Rückspiegelsystems aufgrund der Auswertung der Fahrsituationsdaten und/oder Fahrerdaten für wenigstens ein Anzeigebild die diesem zugeordnete Displayeinrichtung zu verändern. Es ist also insbesondere eine dynamische Anpassung der gewählten Displayeinrichtungen möglich.
-
Dabei besteht erfindungsgemäß nicht nur Flexibilität hinsichtlich der Displayeinrichtungen, sondern auch hinsichtlich der tatsächlich zu realisierenden virtuellen Rückspiegel, insbesondere dann, wenn eine Vielzahl von Rückschaukameras verwendet wird. Das bedeutet, das virtuelle Rückspiegelsystem muss nicht zwangsläufig nur einen virtuellen Rückspiegel, beispielsweise einen virtuellen Außenspiegel bereitstellen, sondern kann auch mehrere virtuelle Rückspiegel, beispielsweise einen rechten und einen linken virtuellen Außenspiegel und/oder auch einen virtuellen Innenspiegel, bereitstellen. Auf diese Weise wird eine Flexibilität anzuzeigender Inhalte sowie eine gesamtheitliche Betrachtung der Rückschau über mehrere virtuelle Außenspiegel ermöglicht, für die auch hinsichtlich der Displayeinrichtungen immer eine geeignete Wahl getroffen werden kann.
-
Insgesamt wird dem Fahrer ein virtuelles Rückspiegelsystem zur Erfassung der Umgebung hinter den A-Säulen bereitgestellt, welches durch geschickte Ansteuerung eine situative und personalisierte Wiedergabe dieser Umgebung auf verschiedenen Displayeinrichtungen im Cockpit des Kraftfahrzeugs erlaubt. Der Fahrer erhält situativ eine insbesondere personalisierte Visualisierung der Umgebung hinter seiner Schulterlinie. Die erfindungsgemäße Ausgestaltung erlaubt es, wichtige Informationen über die Umgebung im Rückraum situativ für eine niedrigere Blickabwendung zu positionieren und/oder hervorzuheben. Beispielsweise kann in besonderen Situationen die Aufmerksamkeit des Fahrers auf wichtige Informationen beziehungsweise die Lage in und außerhalb des Kraftfahrzeugs gelenkt werden, beispielsweise falls sich ein anderer Verkehrsteilnehmer und/oder ein Objekt im toten Winkel befindet. Dies alles wird insbesondere dadurch erreicht, dass eine Mehrzahl von Displayeinrichtungen bereitsteht, wobei angemerkt sei, dass es in bestimmten Situationen auch denkbar sein kann, ein Anzeigebild auf mehreren oder über mehrere Displayeinrichtungen auszugeben. Das bedeutet, es ist denkbar, für ein Anzeigebild auch mehrere Displayeinrichtungen auszuwählen. Gleichzeitig ist es selbstverständlich auch denkbar, ein Anzeigebild nur auf einem Teil einer Displayeinrichtung auszugeben. Dabei kann der Ort auf der Displayeinrichtung als Zusatzinformation ermittelt werden.
-
In vorteilhafter Ausgestaltung kann wenigstens ein Teil der Rückschaukameras auf unterschiedlichen Höhen angeordnet sein und/oder auf unterschiedlichen Erfassungstechnologien basieren und/oder unterschiedliche Erfassungseigenschaften aufweisen und/oder bezüglich der Erfassungseigenschaften ansteuerbar sein, insbesondere durch die Steuereinrichtung in Abhängigkeit der Fahrsituationsdaten und/oder Fahrerdaten. Dabei können Rückschaukameras an verschiedenen Positionen im Kraftfahrzeug vorgesehen sein, beispielsweise an der Position konventioneller Außenspiegel, im Bereich von B-Säulen, im Bereich der hinteren Stoßstange, hierbei insbesondere mittig und/oder seitlich, und/oder im Bereich eines Heckfensters, beispielsweise mittig im oberen Bereich der Scheibe. Alternativ oder zusätzlich können Kameras auch an Spoilern befestigt sein. Wenigstens ein Teil der Rückschaukameras kann unterschiedliche Technologien nutzen, welche beispielsweise übliche 2D-Kameras und/oder 3D-Kameras und/oder Infrarotkameras, insbesondere Nahinfrarotkameras und/oder Ferninfrarotkameras, umfassen können. Während bereits durch die Anordnung und/oder die Verwendung unterschiedlicher Technologien die Abdeckung, Objekterkennung und/oder die Einsetzbarkeit verbessert beziehungsweise optimiert werden können, kann mit besonderem Vorteil wenigstens ein Teil der Kameras hinsichtlich ihrer Erfassungseigenschaften zu deren Veränderung ansteuerbar sein. Erfassungseigenschaften umfassen beispielsweise die Auflösung, die Belichtung, einen Zoomfaktor, eine Aufnahmezeit/Reaktionszeit und/oder den Erfassungsbereich selbst, beispielsweise dessen Ausrichtungswinkel. Insbesondere kann, worauf im Folgenden noch näher eingegangen werden wird, der Erfassungsbereich wenigstens eines Teils der Rückschaukameras veränderbar sein, sei es elektronisch und/oder durch mechanische Verstellmittel der entsprechenden wenigstens einen Rückschaukamera. Abhängig von der Fahrsituation kann es sinnvoll sein, beispielsweise unterschiedliche Höhen und/oder unterschiedliche seitliche Bereiche aufzunehmen und dem Fahrer darzustellen. Dabei ist es zumindest teilweise jedoch auch denkbar, dass bereits die Auswahl der Rückschaukamera, deren Kameradaten für das Anzeigebild verwendet werden, ausreichend ist.
-
Gerade im Hinblick auf unterschiedliche Erfassungstechnologien und/oder Erfassungseigenschaften können Erfassungsbereiche verschiedener Rückschaukameras auch überlappen, um die Information, die aus den Überlappungsbereichen erhalten wird, zu verbessern. Dies kann auch bei gleichen Erfassungstechnologien und/oder Erfassungseigenschaften sinnvoll sein, beispielsweise hinsichtlich einer Redundanz beziehungsweise Ausfallsicherheit. Insbesondere ist es auch möglich, dass Paare von Rückschaukameras komplett überlappende Erfassungsbereiche haben.
-
Es sind auch Ausgestaltungen der Erfindung denkbar, in denen zusätzlich zu dem virtuellen Rückspiegelsystem auch wenigstens ein konventioneller Rückspiegel vorgesehen ist. Mithin kann vorgesehen sein, dass das Kraftfahrzeug einen Außenspiegel mit einer Spiegelfläche auf zumindest einer Seite des Kraftfahrzeugs und/oder einen zentralen Innenspiegel mit einer Spiegelfläche aufweist. Der entsprechende konventionelle Rückspiegel kann zusätzlich zu einem für diesen Bereich vorgesehenen virtuellen Rückspiegel vorgesehen werden oder aber auch ergänzend. Beispielsweise existieren Gebiete, in denen virtuelle Rückspiegel allein nicht oder nicht vollständig zulässig sind, so dass für diese Bereiche zusätzlich wenigstens ein konventioneller Rückspiegel hinzugefügt werden kann.
-
Insbesondere bei Innenspiegeln kann hierbei vorgesehen sein, dass diese hybrid ausgestaltet sind. Konkret bedeutet das, dass der zentrale Innenspiegel eine der Displayeinrichtungen aufweisen kann, deren Displayfläche wenigstens teilweise der Spiegelfläche entspricht. Derartige hybride Ausgestaltungen von Rückspiegeln, beispielsweise also Kombinationen von virtuellen und konventionellen Rückspiegeln, wurden im Stand der Technik bereits vorgeschlagen und können auch im Rahmen der vorliegenden Erfindung eingesetzt werden, wobei allerdings die entsprechende, in den hybriden Rückspiegel eingesetzte Displayeinrichtung, die üblicherweise als Displayfläche wenigstens einen Teil der Spiegelfläche nutzt, nicht zwangsläufig auch verwendet werden muss, da für das Anzeigebild ja dynamisch beziehungsweise situationsbezogen unterschiedliche Displayeinrichtungen auswählbar sind. In hybriden Rückspiegeln, beispielsweise dem hier genannten Innenspiegel, können beispielsweise sogenannte Spiegel-Displays vorgesehen sein; denkbar ist es auch, die Displayeigenschaft der Spiegelfläche durch Hinterleuchtung herzustellen. Verschiedenste Konzepte solcher Hybridausbildungen von Displayspiegelfläche wurden im Stand der Technik bereits vorgeschlagen, beispielsweise auch unter dem Stichwort „Magic Mirror“.
-
Die mehreren Displayeinrichtungen, die, wie bereits erläutert, situationsabhängig auf durch das virtuelle Rückspiegelsystem realisierte virtuelle Rückspiegel verteilbar sind, können zweckmäßigerweise gewählt sein aus der Gruppe umfassend
- - seitliche, Außenspiegel ersetzende oder ergänzende Displayeinrichtungen,
- - wenigstens eine an einem Kombinationsinstrument des Kraftfahrzeugs oder als Teil des Kombinationsinstruments vorgesehene Displayeinrichtung,
- - wenigstens eine, insbesondere als Touchscreen ausgebildete, zentral an einem Armaturenbrett des Kraftfahrzeugs vorgesehene Displayeinrichtung,
- - wenigstens eine Displayeinrichtung an einer Mittelkonsole des Kraftfahrzeugs,
- - wenigstens eine, sich insbesondere über wenigstens 50% eines Beifahreranteils des Armaturenbretts erstreckende, Beifahrer-Displayeinrichtung, und
- - wenigstens eine Head-Up-Displayeinrichtung (HUD-Einrichtung) gewählt ist. Dabei ist als das Armaturenbrett vorliegend als die sich über die Breite des Kraftfahrzeugs im vorderen Teil des Innenraums, also des Kraftfahrzeugs-Cockpits, erstreckende Bauanordnung zu verstehen, die auch das Kombinationsinstrument (häufig kurz Kombi-Instrument) umfasst. Dies bezeichnet den Instrumentenblock in Kraftfahrzeugen, der üblicherweise hinter der Lenkhandhabe, beispielsweise einem Lenkrad, angeordnet ist und beispielsweise ein Tachometer und/oder ein Kilometerzähler und/oder ein Drehzahlmesser und/oder eine Tankanzeige und/oder eine Kühlmitteltemperaturanzeige und/oder Kontrollleuchten umfassen kann. Hierbei wird im Stand der Technik vorgeschlagen, zunehmend Displayeinrichtungen einzusetzen.
-
Diese können auch im Rahmen des virtuellen Rückspiegelsystems als Displayeinrichtungen eingesetzt werden.
-
So kann das Kraftfahrzeug-Cockpit beispielsweise auf der Mittelachse, insbesondere zentral, eine mittlere Displayeinrichtung und auf der Beifahrerseite eine Beifahrerdisplayeinrichtung aufweisen. Denkbar ist insbesondere auch eine sogenannte Säule-zu-Säule-Displayanordnung, die mehrere Displayeinrichtungen umfassen kann, die sich von einer A-Säule zur anderen A-Säule erstreckt. Weitere bekannte Displayeinrichtungen beziehungsweise Positionen für Displayeinrichtungen umfassen den Ort eines Innenspiegels sowie den Bereich des Kombi-Instruments. Die Kamerabilder der Rückschaukameras und/oder aus deren Kameradaten abgeleitete sonstige Anzeigebilder können einzeln und/oder auch als Mischbilder situativ auf unterschiedlichen dieser Displayeinrichtungen angezeigt werden. Eine beispielhafte Ausgestaltung kann beispielsweise eine äußere, am Rand einer Tür vorgesehene Displayeinrichtung auf beiden Seiten, eine Displayeinrichtung am Armaturenbrett links außen neben dem Kombinationsinstrument, wenigstens eine Displayeinrichtung in dem Kombinationsinstrument, eine Displayeinrichtung rechts anschließend an das Kombinationsinstrument, eine zentrale Displayeinrichtung im Bereich der Mittelkonsole am Armaturenbrett, eine zentrale Displayeinrichtung an der Position eines Innenspiegels, eine Beifahrerdisplayeinrichtung sowie eine rechts außen abschließende Displayeinrichtung umfassen. Zusätzlich kann auch eine Head-up-Displayeinrichtung vorgesehen sein, die ebenso vom hier beschriebenen virtuellen Innenspiegelsystem genutzt werden kann.
-
Wie bereits erwähnt, können Sicherheitsanforderungen bestehen, was die Realisierung virtueller Rückspiegel angeht, da beispielsweise immer eine Möglichkeit zur Einsicht in den Rückraum des Kraftfahrzeugs für den Fahrer bestehen muss. In diesem Zusammenhang kann eine zweckmäßige Weiterbildung der Erfindung vorsehen, dass die Steuereinrichtung, die Rückschaukameras und die Displayeinrichtungen, insbesondere gemäß wenigstens einem Sicherheitsstandard über Direktverbindungen verbunden sind. Dabei kann es sich bei dem Sicherheitsstandard insbesondere um den ASIL-A-Standard handeln. Eine direkte Verdrahtung sichert, im Vergleich zu Bussystemen, eine geringere Ausfallwahrscheinlichkeit und geringere Latenzen zu.
-
Die Displayeinrichtungen können im Rahmen der vorliegenden Erfindung auch anderweitig genutzt werden, beispielsweise durch andere Fahrzeugsysteme, beispielsweise Fahrerassistenzsysteme. Derartige andere Fahrzeugsysteme können neben auf die Ausgabe von Betriebsinformationen bezogene Informationssystemen, einem Navigationssystem und/oder einem menügeführten Einstellsystem insbesondere auch Infotainmentsysteme umfassen, beispielsweise zur Realisierung eines Radios und/oder Videobetrachtungssystems, insbesondere im Fall einer Beifahrer-Displayeinrichtung. Dabei sei angemerkt, dass auch allgemein im Rahmen der vorliegenden Erfindung wenigstens ein Teil der Displayeinrichtungen als Touchscreens ausgebildet sein können, mithin Interaktionsmöglichkeiten für einen Benutzer bieten.
-
Konkret kann vorgesehen sein, dass zumindest für eine Displayeinrichtung die Steuereinrichtung zur gleichzeitigen Anzeige einer Anwendungsinformation einer MMI-Anwendung (Mensch-Maschine-Interface-Anwendung) und eines des wenigstens einen Kamerabildes ausgebildet ist und/oder die Steuereinrichtung zur Verschiebung der Anzeige der Anwendungsinformation auf eine andere Displayeinrichtung ausgebildet ist. Hierbei kann konkret vorgesehen sein, dass die Steuereinrichtung bei gleichzeitiger Anzeige zur Aufteilung der Anzeigefläche der Displayeinrichtung in einen Anteil für das Anzeigebild und einen Anteil für die Anwendungsinformation, insbesondere als Bild-in-Bild-Darstellung, und/oder zur Überlagerung des Anzeigebilds auf die Anwendungsinformation ausgebildet ist. Beispielsweise ist es also möglich, Anzeigebilder einer Anwendungsinformation, beispielsweise einer Navigationskarte, zu überlagern. Möglich ist auch eine Bild-in-Bild-Darstellung, wobei sich beispielsweise die Anzeigeinformation responsiv verkleinern kann und als Bild-im-Bild des Anzeigebilds erscheinen kann. Denkbar ist auch eine Aufteilung der Displayeinrichtung, so dass beispielsweise das Anzeigebild auf einer Seite, die Anwendungsinformation auf der anderen Seite dargestellt wird. Zudem ist es denkbar, die Anwendungsinformation auf eine andere Displayeinrichtung zu verschieben. Beispielsweise kann die andere Displayeinrichtung jene sein, die zuvor das Anzeigebild dargestellt hat. In diesem Fall ist also ein dynamischer Austausch eines bestimmten Anzeigebilderstroms sowie der Anwendungsinformation möglich.
-
Insgesamt wird durch derartige Ausgestaltungen erreicht, dass die Anzeige der Anzeigebilder und von Anwendungsinformationen situativ in einer Gesamtschau angepasst werden kann, insbesondere derart, dass die Anwendungsinformation in jedem Fall erhalten wird. Beispielsweise sind Szenarien denkbar, in denen bei Erhöhung der Wichtigkeit einer Anwendungsinformation diese zu einer Displayeinrichtung verschoben wird, die eine geringere Blickabwendung erfordert, während die zur Zeit als weniger kritisch bewertete Information in dem Anzeigebild an eine von der Blickrichtung des Fahrers beziehungsweise der Fahrachse weiter entfernte Displayeinrichtung verschoben werden kann. Das virtuelle Rückspiegelsystem wird mithin in den Gesamtbetrieb der Informationswiedergabe im Kraftfahrzeug nahtlos und von Vorteil für den Fahrer eingebunden.
-
In einer besonders vorteilhaften Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass die Steuereinrichtung bei einem neu auf einer Displayeinrichtung darzustellenden des wenigstens einen Anzeigebilds ausgebildet ist, den Beginn der Darstellung mit wenigstens einem die Aufmerksamkeit des Fahrers erregenden Aufmerksamkeitseffekt durchzuführen und/oder zu ergänzen, und/oder bei Vorliegen einer auf wenigstens eines des wenigstens einen Anzeigebilds bezogenen Warninformation ausgebildet ist, zur Ausgabe der Warninformation die Darstellung mit wenigstens einem die Aufmerksamkeit des Fahrers erregenden Aufmerksamkeitseffekt durchzuführen und/oder zu ergänzen. Wird eine Displayeinrichtung neu zur Darstellung eines Anzeigebilds genutzt, beispielsweise aufgrund eines Wechsels der geeigneten Displayeinrichtung, kann zweckmäßigerweise mit Beginn der Wiedergabe des Stroms von Anzeigebildern dort ein die Aufmerksamkeit des Fahrers erregender Aufmerksamkeitseffekt genutzt werden, um den Fahrer darauf hinzuweisen, dass er die Informationen des Anzeigebilds nun dort findet. Ähnlich kann dann vorgegangen werden, wenn, beispielsweise durch ein anderes Fahrzeugsystem, eine auf das Anzeigebild bezogene Warninformation vorliegt, beispielsweise das Anzeigebild ein Objekt, wie einen Verkehrsteilnehmer, enthält, der der Aufmerksamkeit des Fahrers bedarf. Ein Grund hierfür kann beispielsweise das Vorliegen einer Kollisionsgefahr sein. Auch dann kann es zweckmäßig sein, durch Ansteuerung der Displayeinrichtung und/oder einer benachbarten Beleuchtungseinrichtung einen Aufmerksamkeitseffekt auszugeben, der die Aufmerksamkeit des Fahrers auf die Darstellung des Anzeigebilds richtet. Mithin ist sowohl bei dynamischem Wechsel der Displayeinrichtung als auch bei Vorliegen einer Warninformation eine Möglichkeit gegeben, den Fahrer auf die neue Position des Anzeigebilds hinzuweisen respektive ihn dazu anzuregen, das Anzeigebild bzw. über die Zeit den Anzeigebilderstrom zu betrachten.
-
Dabei kann konkret vorgesehen sein, dass der Displayeinrichtung eine Beleuchtungseinrichtung, insbesondere wenigstens ein, beispielsweise umlaufendes, LED-Band und/oder ein, beispielsweise umlaufender, Lichtleiter, zugeordnet ist, wobei die Steuereinrichtung zur Verwendung der Beleuchtungseinrichtung zur Ausgabe eines des wenigstens einen Aufmerksamkeitseffekts ausgebildet ist. Es wurden im Stand der Technik bereits Displayeinrichtungen vorgeschlagen, denen, beispielsweise zur Erzeugung eines Ambientelichts und/oder aus Designgründen, ohnehin eine Beleuchtungseinrichtung zugeordnet ist, beispielsweise ein Lichtleiter, der um die Displayeinrichtung gelegt ist. Eine derartige Beleuchtungseinrichtung kann zur Ausgabe des Aufmerksamkeitseffekts angesteuert werden und wird einem zweckmäßigen weiteren Nutzen zugeführt. Alternativ oder zusätzlich kann auch vorgesehen sein, dass der Aufmerksamkeitseffekt ein Blinken und/oder einen Animationseffekt, insbesondere einen Vergrößerungseffekt und/oder einen Verblasseffekt und/oder einen Wischeffekt, umfasst. Mithin kann der Aufmerksamkeitseffekt, auch seitens der Beleuchtungseinrichtung, beispielsweise ein Blinken umfassen, da dies aufgrund der damit einhergehenden Veränderung der Ausleuchtungssituation gut geeignet ist, die Aufmerksamkeit des Fahrers zu erregen. Denkbar sind jedoch auch Effekte, die auf beziehungsweise mit dem Anzeigebild durchgeführt werden, beispielsweise bestimmte Animationen. Beispielsweise kann zu Beginn der Anzeige auf einer neuen Displayeinrichtung das Anzeigebild sich vergrößernd auftauchen, während ein bisher dargestelltes Bild verblasst. Auch ein Wischeffekt ist denkbar.
-
Wie bereits erwähnt wurde, gehen mit besonderem Vorteil die Fahrsituationsdaten und/oder die Fahrerdaten auch in die Erzeugung des wenigstens einen Anzeigebilds ein, damit auch dieses der aktuellen Situation, insbesondere Fahrsituation, angemessen erzeugt werden kann und insbesondere auf intuitiv verständliche und/oder einfach erfassbare Weise dem Fahrer die gewünschte Information wiedergibt. Konkret kann vorgesehen sein, dass die Steuereinrichtung ausgebildet ist, bei der Ermittlung des Anzeigebilds aus den Kameradaten in Abhängigkeit der Fahrsituationsdaten
- - wenigstens ein Objekt und/oder einen Bereich, das bzw. der in den Kameradaten gezeigt ist, hervorzuheben, insbesondere durch Anpassen der Farbe und/oder Helligkeit und/oder Stereoskopie und/oder durch Animation, und/oder
- - das Anzeigebild mit wenigstens einer Annotation zu versehen, und/oder
- - das Anzeigebild gegenüber den Kameradaten zu abstrahieren, und/oder
- - das Anzeigebild wenigstens teilweise durch Rekonstruktion von in den Kameradaten abgebildeten Objekten zu erzeugen, und/oder
- - ein Mischbild aus Kameradaten unterschiedlicher Rückschaukameras zu erzeugen.
-
Beispielsweise kann durch derartige Bearbeitung der Kameradaten, um daraus einen Strom von Anzeigebildern zu erzeugen, die Aufmerksamkeit des Fahrers gezielt gelenkt werden. Hierzu sind beispielsweise Augmentierungen möglich, beispielsweise eine Markierung von Objekten, insbesondere anderen Verkehrsteilnehmern und/oder Hindernissen, durch Farbe, Formen, Animationen und dergleichen. Denkbar ist es auch, Annotationen vorzunehmen, mithin beispielsweise durch Symbole, Text und/oder Zahlen Zusatzinformationen in das Anzeigebild zu integrieren, insbesondere bestimmten dargestellten Merkmalen zugeordnet. Eine besonders gute intuitive Wahrnehmbarkeit und/oder schnelle Erfassbarkeit kann sich auch ergeben, wenn zur Erzeugung des Kamerabilds die Kameradaten zur Vereinfachung der Wahrnehmung bearbeitet werden. Denkbar ist insbesondere auch eine Rekonstruktion mit semi-realistischen Bildern, die in manchen Situationen vorteilhaft sein kann. Insbesondere dann, wenn die Kameradaten ohnehin ausgewertet werden, um beispielsweise die Lage von Objekten zu ermitteln und/oder bestimmte Merkmale zu segmentieren, kann durch virtuelle Bildgenerierung ein vereinfachtes Abbild der Umgebung erzeugt werden, indem manche Merkmale und/oder Objekte für diesen Bildgenerierungsvorgang, beispielsweise der Projektionsgeometrie einer Kamera nachgebildet, ausgelassen werden. Eine hervorragende Variante zur Bearbeitung der Kameradaten zur Erzeugung des Anzeigebildes ist, wenn Aufmerksamkeit auf bestimmte Objekte beziehungsweise Merkmale gerichtet werden soll, auch die Verwendung von Stereoskopie. Hierdurch kann die Aufmerksamkeit auf einen bestimmten Teil der Szene fokussiert werden.
-
Dabei sei allgemein noch angemerkt, dass bei der Erzeugung des Anzeigebilds insgesamt auch Informationen anderer Fahrzeugsysteme nützlich eingehen können, beispielsweise was Annotationen, die Bewertung von Objekten oder Merkmalen, auf die Aufmerksamkeit fokussiert werden soll, und dergleichen angeht. Beispielsweise wurden in Kraftfahrzeugen bereits zentrale Steuergeräte vorgeschlagen, die ein Umgebungsmodell des Kraftfahrzeugs basierend auf verschiedenen Informationen, die aus Fahrzeugsystemen/Sensoreinrichtungen gewonnen werden, ständig aktuell gehalten wird. Auch der Austausch mit anderen Fahrzeugsystemen, beispielsweise Kollisionsschutzsystemen, Spurführungssystemen und dergleichen kann wichtigen Input liefern, im Übrigen auch im Hinblick auf die Wahl der Displayeinrichtung, worauf im Folgenden noch näher eingegangen werden wird.
-
Zweckmäßigerweise kann das Kraftfahrzeug einen auf den Fahrer gerichteten optischen Fahrersensor umfassen und die Steuereinrichtung ausgebildet sein, die Sensordaten des optischen Fahrersensors zur Ermittlung der Fahrerdaten auszuwerten. Der optische Fahrersensor kann beispielsweise eine Fahrerbeobachtungskamera sein, die den Blick des Fahrers permanent erfasst, so dass beispielsweise situativ dynamisch festgestellt werden kann, wo das Anzeigebild vom Fahrer (mit seinem Blick) gesucht wird und dergleichen. Möglichkeiten, um aus Kamerabildern die Blickrichtung zu ermitteln, wurden bereits vorgeschlagen und können auch im Rahmen der vorliegenden Erfindung vorteilhaft eingesetzt werden. Beispielsweise kann also vorgesehen sein, dass die Steuereinrichtung ausgebildet ist, aus den Fahrerdaten eine Blickrichtung des Fahrers zu ermitteln und die Auswahl der Displayeinrichtung und/oder die Festlegung einer Perspektive des wenigstens einen Anzeigebildes wenigstens unter Verwendung der Blickrichtung des Fahrers durchzuführen. Hierbei ist insbesondere eine Berücksichtigung der Blickrichtung in Echtzeit möglich. Fährt der Fahrer beispielsweise durch eine langgezogene Kurve, wird er den Blick zu der entsprechenden Seite von der üblichen Fahrachse abweichen lassen, wobei sich beispielsweise die virtuellen Rückspiegel, also die Anzeigebilder, durch Wechsel der genutzten Displayeinrichtungen sozusagen mitbewegen können, um die Blickabwendung gleich zu halten. Auch anderer Nutzen der Blickrichtung ist denkbar, beispielsweise im Hinblick darauf, ob der Fahrer mit den Augen gerade sogar den virtuellen Rückspiegel sucht. Dann kann eine Displayeinrichtung dort, wo er sucht, ausgewählt werden. Möglich ist es ferner auch, abhängig von der aktuellen Blickrichtung, insbesondere im Zusammenhang mit einer Sitzeinstellung, beispielsweise Längs- und Höhenverstellung, die Perspektive der Anzeigebilder anpassen, so dass der Fahrer immer mit einer realistischen Perspektive auf die dargestellte Szene schaut und/oder ein toter Winkel für den Fahrer bestmöglich reduziert wird. Auch allgemein kann es im Rahmen der vorliegenden Erfindung zweckmäßig sein, wenn die Steuereinrichtung zur Ermittlung wenigstens einer Sitzeinstellung des Fahrers als Fahrerdaten ausgebildet ist, um die Anzeigebilder bestmöglich hierauf anzupassen.
-
Wie bereits erwähnt, kann die Steuereinrichtung aufgrund der Fahrsituationsdaten und/oder der Fahrerdaten letztlich in Echtzeit festlegen, wo die Anzeige der aus den Kameradaten erzeugten Anzeigebilder erfolgen soll, und auch welches Anzeigebild, beispielsweise die Kameradaten welcher Kameras beziehungsweise welche Mischbilder, für die Fahrsituation und den Anzeigeort, also die wenigstens eine ausgewählte Displayeinrichtung, am besten geeignet ist.
-
In einer konkreten Ausgestaltung kann beispielsweise vorgesehen sein, dass die Steuereinrichtung zur Ermittlung einer die Kritikalität, insbesondere die benötigte Fahrerkonzentration, der Fahrsituation beschreibenden Kritikalitätsinformation aus den Fahrsituationsdaten und/oder Fahrerdaten und zur Auswahl einer geringere Blickabwendung für den das Vorfeld beobachtenden Fahrer erfordernden der Displayeinrichtungen für wenigstens eines des wenigstens einen Anzeigebilds mit steigender Kritikalität ausgebildet ist. So kann in Situationen, in denen sich der Fahrer stark auf die Fahraufgabe konzentrieren muss, die Blickabwendung reduziert werden und ihm entsprechend die hochkonzentrierte Fahraufgabe erleichtert werden, während in anderen Situationen, die weniger kritisch sind, beispielsweise „herkömmliche“ Positionen für virtuelle Rückspiegel verwendet werden können. Dann können mit geringerer Blickabwendung einsehbare Displayeinrichtungen beispielsweise für andere Anwendungsinformationen, die in der kritischen Situation weniger wesentlich waren, beispielsweise Betriebsinformationen, eingestellte Radiosender, Navigationsinformationen und dergleichen, genutzt werden. Auf diese Weise sorgt eine solche dynamische Anpassung für eine Erhöhung des Fahrkomforts und gleichzeitig der Sicherheit in kritischen Situationen.
-
Ferner kann in konkreten Ausgestaltungen mit Vorteil vorgesehen sein, dass die Steuereinrichtung ausgebildet ist, die Fahrsituationsdaten zu wenigstens einer Fahrsituationsklasse auszuwerten, wobei jeder Fahrsituationsklasse wenigstens ein Ermittlungsparameter zur Ermittlung des Anzeigebilds und/oder wenigstens ein Auswahlparameter zur Auswahl einer Displayeinrichtung zugeordnet ist und die Steuereinrichtung ferner ausgebildet ist, die Ermittlung und/oder Auswahl gemäß des wenigstens einen Ermittlungs- und/oder Auswahlparameters durchzuführen, der der wenigstens einen Fahrsituationsklasse, die durch die Auswertung der Fahrsituationsdaten bestimmt wurde, zugeordnet ist. Hierbei können selbstverständlich einer Fahrsituation auch mehrere Fahrsituationsklassen zugeordnet werden, wobei üblicherweise mehrere Ermittlungs- und/oder Auswahlparameter vorliegen, die entsprechend eingestellt werden können. Beispielsweise können diesbezüglich Look-up-Tabellen verwendet werden. Hierbei bestimmen die Ermittlungs- und/oder Auswahlparameter im Allgemeinen die Ermittlung und Auswahl nicht vollständig, sondern nur teilweise, und/oder geben beispielsweise zu verwendende Ermittlungs- und/oder Auswahlfunktionen an. Hierfür seien im Folgenden einige Beispiele genauer erläutert.
-
So kann beispielsweise vorgesehen sein, dass bei einer eine autonome Fahrt anzeigenden Fahrsituationsklasse das wenigstens eine Anzeigebild gegenüber einer manuellen Fahrt vereinfacht und/oder auf die autonome Fahrt bezogenen Umgebungsmerkmale hervorhebend ermittelt wird. Eine solche Vereinfachung des Anzeigebilds kann auch im Rahmen der bereits diskutierten Rekonstruktion der Umgebung erfolgen. Bei einer autonomen Fahrt können zudem außenliegende Displayeinrichtungen gewählt werden, um virtuelle Rückspiegel insbesondere an den „herkömmlichen“ Positionen, beispielsweise benachbart der A-Säulen und/oder zentral an einem Innenspiegelhalter, vorzusehen. Bei Vereinfachung der Anzeigebilder wird Transparenz ohne überflüssige Information angeboten.
-
Bei einer ein Rückwärtsfahren anzeigenden Fahrsituationsklasse kann beispielsweise vorgesehen sein, die Anzeigebilder für einen linken virtuellen Rückspiegel, einen virtuellen Innenspiegel und einen rechten virtuellen Rückspiegel auf nebeneinander angeordneten Displayeinrichtungen, insbesondere vor dem Fahrer oder symmetrisch gruppiert um die Mitte des Fahrzeugs, anzuzeigen, um dem Fahrer einen schnellen Überblick zu gewährleisten. Die Anzeigebilder können dabei beispielsweise aneinander anschließen und/oder perspektivisch korrekt ermittelt werden, um dem Fahrer möglichst viel Information über den Rückraum des Fahrzeugs wiederzugeben.
-
Bei einer eine Nachtfahrt anzeigenden Fahrsituationsklasse kann vorgesehen sein, dass das Anzeigebild unter Verwendung von Kameradaten wenigstens einer Infrarotkamera der Rückschaukameras ermittelt wird. Beispielsweise können also Nahinfrarotkameras verwendet werden, um bei Nachtfahrten mehr beziehungsweise für den Fahrer besser erkennbare Informationen anzugeben.
-
Wird bei einer ein Überholmanöver anzeigenden Fahrsituationsklasse festgestellt, dass sich der Fahrer jeweils mehr auf die Spur konzentriert, auf die er als nächstes wechseln will, können sich auch die Anzeigebilder hierauf fokussieren und der Anzeigeort entsprechend den erwarteten beziehungsweise aus den Fahrerdaten festgestellten aktuellen Blickrichtungen gewählt werden, um das Überholmanöver für den Fahrer möglichst sicher zu gestalten.
-
In einem weiteren Beispiel kann bei einer ein Parkmanöver anzeigenden Fahrsituationsklasse eine Bildabsenkung, insbesondere zur Erfassung der Bordsteinkante, vorgenommen werden. Hierbei (wie im Übrigen auch in vergleichbaren Fällen) kann im Übrigen, falls vorgesehen, ausgenutzt werden, dass der Erfassungsbereich zumindest eines Teils der Rückschaukameras auch anpassbar ausgestaltet sein kann, um die entsprechenden Kameradaten bereitzustellen. Wird ein niedriger liegender Bereich in den Anzeigebildern dargestellt, der auch die Bordsteinkante zeigt, können beispielsweise Kollisionen mit dieser bei Parkmanövern vermieden werden.
-
Fahrsituationen können sich auch auf die aktuell befahrene Straße beziehen, beispielsweise also beschreiben, ob eine einspurige oder eine mehrspurige Straße befahren wird. Bei einer mehrspurigen Straße kann es beispielsweise zweckmäßig sein, durch Anzeigebilder einen breiteren Bereich abzudecken, so dass der Fahrer alle Fahrspuren möglichst vollständig erfassen kann und die Breite der Straße auch durch eine entsprechende Anordnung der genutzten Displayeinrichtungen abgebildet wird, so dass dem Fahrer der größere Raum besser bewusst wird.
-
Bei einer Kurvenfahrt als Fahrsituationsklasse kann, neben einer Berücksichtigung der Verkippung einer Hauptblickrichtung des Fahrers, wie bereits beschrieben, auch hinsichtlich der Anzeigebilder eine Anpassung erfolgen, beispielsweise durch Verstellung des Sichtwinkels, was beispielsweise aufgrund eines Lenkwinkels und/oder prädiktiven Streckendaten erfolgen kann. Eine ähnliche Verstellung des Sichtwinkels der Anzeigebilder, in diesem Fall bezüglich der Vertikalen, kann im Übrigen auch erfolgen, wenn als Fahrsituationsklasse eine Neigungsfahrt, also eine Fahrt über eine geneigte Fahrbahn, insbesondere bei Neigungswechseln, erfolgt.
-
Weitere Fahrsituationsklassen mit zugeordneten Ermittlungsparametern und/oder Auswahlparametern können auch andere Verkehrsteilnehmer betreffen, beispielsweise die Anwesenheit weiterer Verkehrsteilnehmer vor, hinter, rechts neben und links neben dem Kraftfahrzeug und/oder die Anzahl der Verkehrsteilnehmer in einem vorbestimmten Bereich um das Kraftfahrzeug. Anzeigebilder können hierbei gezielt Verkehrsteilnehmer darstellen und ihre Displayeinrichtung kann der Position des Verkehrsteilnehmers entsprechend gewählt werden. Beispielsweise kann bei einem im toten Winkel des Kraftfahrzeugs angeordneten weiteren Verkehrsteilnehmer ein diesen zeigendes Anzeigebild zur entsprechenden Seite über Displayeinrichtungen bewegt werden, um die Aufmerksamkeit des Fahrers, beispielsweise auch bei Nutzung von Aufmerksamkeitseffekten, gezielt in diesen Bereich und auf diesen toten Winkel zu lenken.
-
Ausgestaltungen der vorliegenden Erfindung können auch vorsehen, dass bei der Ermittlung des wenigstens einen Anzeigebilds und/oder bei der Auswahl wenigstens einer der Displayeinrichtungen eine trainierte Funktion der künstlichen Intelligenz eingesetzt wird. Die Nutzung derartiger trainierter Funktionen, welche beispielsweise ein neuronales Netzwerk umfassen können, kann sich beispielsweise auf Teilaspekte wie die Ermittlung einer Fahrsituationsklasse, Objektdetektion oder dergleichen beziehen; denkbar ist es jedoch grundsätzlich auch, eine umfassende Architektur zu verwenden, indem genau eine trainierte Ermittlungs- und Auswahlfunktion die Fahrsituationsdaten und/oder die Fahrerdaten sowie die Kameradaten als Eingangsdaten nutzt, um Anzeigebilder und zugeordnete Displayeinrichtungen als Ausgangsdaten zu liefern. Insgesamt ist durch die Nutzung trainierter Funktionen der künstlichen Intelligenz und von Maschinenlernen eine systematische Konsolidierung möglich. Das virtuelle Rückspiegelsystem kann sich immer schneller und genauer an die Fahrsituation und die Fahrererwartung anpassen.
-
Denkbar ist es im Rahmen der vorliegenden Erfindung auch, dass in die Ermittlung des wenigstens einen Anzeigebilds und/oder die Auswahl wenigstens einer der Displayeinrichtungen wenigstens ein aufgrund einer Nutzereingabe ermittelter Nutzerparameter eingeht. Das bedeutet, wenigstens ein Teil der genutzten Ermittlungs- und/oder Auswahlparameter kann auch, insbesondere zur Wiedergabe von Nutzervorlieben, auf einer Nutzereingabe, insbesondere des Fahrers, beruhen. Dabei ist es insbesondere auch denkbar, über die Nutzereingabe die Dynamisierung an sich zu steuern. Beispielsweise kann sich ein Fahrer bewusst für eine bestimmte Lage für die Anzeige eines bestimmten virtuellen Rückspiegels entscheiden und diese in einem Konfigurationsmenü anwählen, beispielsweise an einer zentralen Infotainment-Displayeinrichtung, die auch als Touchscreen ausgebildet ist. Dort kann er sich auch für eine situative Dynamisierung entscheiden. Diese kann auch so konfiguriert werden, dass sie nur in bestimmten Fahrsituationen, beispielsweise in bestimmten Fahrsituationsklassen, eingesetzt wird. Dem Fahrer wird also die Möglichkeit gegeben, das virtuelle Rückspiegelsystem nach seinen Wünschen einzustellen und die für ihn geeignetste Darstellung und situative Dynamik zu nutzen.
-
In einer zweckmäßigen Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass die Steuereinrichtung zur Berücksichtigung einer Sitzbelegungsinformation bei der Auswahl wenigstens einer der Displayeinrichtungen ausgebildet ist, insbesondere zum Ausschluss von einem Beifahrer zugeordneten Displayeinrichtungen bei belegtem Beifahrersitz. Abhängig von der Belegung der Sitze in dem Kraftfahrzeug, beispielsweise dem Vorhandensein eines Beifahrers, kann die Auswahl der Displayeinrichtung auch angepasst werden. Dadurch, dass beispielsweise dem Beifahrer zugeordnete Displayeinrichtungen ausgeschlossen werden, kann eine Ablenkung des Fahrers durch Inhalte auf der Beifahrer-Displayeinrichtung vermieden werden und das Erlebnis des Beifahrers wird nicht durch Einblendung von Anzeigebildern unterbrochen.
-
Zweckmäßigerweise kann das Kraftfahrzeug wenigstens einen weiteren, auf die Umgebung gerichteten Umgebungssensor aufweisen und die Steuereinrichtung kann bei der Ermittlung des wenigstens einen Kamerabildes und/oder bei Auswahl wenigstens einer der Displayeinrichtungen auch zur Verwendung von Umgebungsdaten der Umgebungssensoren ausgebildet sein. Derartige Umgebungssensoren können beispielsweise Ultraschallsensoren und/oder Radarsensoren umfassen. Mithin können beispielsweise auch Heckradare, Parksensoren und dergleichen eingesetzt werden, um eine Redundanz und Zusatzinformationen zu den Rückschaukameras zu erhalten. Derartige Umgebungssensoren nutzen eine andere Technologie und/oder haben einen anderen Erfassungswinkel oder Erfassungsbereich, was für spezielle Fahrsituationen vorteilhaft sein kann, beispielsweise bei Nebel und/oder schlechter Sicht beziehungsweise Ein- und/oder Ausparken. Dabei kann eine schlechte Sicht auch bei Verschmutzung der Rückschaukameras gegeben sein. Durch ein Einbeziehen von Sensordaten weiterer Umgebungssensoren kann dann dennoch eine Information in dem wenigstens einen Anzeigebild bereitgestellt werden.
-
Ferner kann vorgesehen sein, dass die Steuereinrichtung bei Ausfall einer der Rückschaukameras und/oder einer der Displayeinrichtungen zur Nutzung einer nächstgelegenen entsprechenden Komponente ausgebildet ist. So kann bei einem Ausfall einer der Rückschaukameras immer die nächstbeste Darstellung der Umgebung durch andere Rückschaukameras genutzt werden. Sollte eine der Displayeinrichtungen ausfallen, kann durch die Nutzung mehrerer Displayeinrichtungen problemlos eine alternative Lage der Anzeige des Anzeigebilds genutzt werden. Das bedeutet, die Verwendung einer größeren Zahl von Displayeinrichtungen ist auch im Hinblick auf Redundanz bei Ausfall von Displayeinrichtungen zweckmäßig und erhöht die allgemeine Verfügbarkeit und Ausfallsicherheit von virtuellen Rückspiegeln.
-
Neben dem Kraftfahrzeug betrifft die Erfindung auch ein Verfahren zum Betrieb eines virtuellen Rückspiegelsystems eines Kraftfahrzeugs, wobei das Rückspiegelsystem umfasst:
- - mehrere Rückschaukameras, die jeweils einen Erfassungsbereich aufweisen, der wenigstens teilweise eine Umgebung des Kraftfahrzeugs umfasst, die hinter A-Säulen des Kraftfahrzeugs liegt,
- - mehrere in einem Innenraum des Kraftfahrzeugs angeordnete, von einem Fahrersitz aus einsehbare Displayeinrichtungen, und
- - eine Steuereinrichtung,
wobei die Steuereinrichtung - - auf der Basis von Fahrsituationsdaten, die eine aktuelle Fahrsituation beschreiben, und/oder Fahrerdaten, die einen aktuellen Fahrerzustand und/oder ein Fahrerverhalten beschreiben, wenigstens ein anzuzeigendes Anzeigebild unter Verwendung von Kameradaten der Rückschaukameras ermittelt,
- - für jedes Anzeigebild eine der Displayeinrichtungen, auf der das Anzeigebild auszugeben ist, auswählt, und
- - die wenigstens eine ausgewählte Displayeinrichtung zur Ausgabe des zugeordneten Anzeigebilds ansteuert.
-
Sämtliche Ausführungen bezüglich des erfindungsgemäßen Kraftfahrzeugs lassen sich analog auf das erfindungsgemäße Verfahren übertragen, so dass auch mit diesen die bereits genannten Vorteile erhalten werden können. Dies ermöglicht es mithin, Anzeigebilder und zugeordnete Anzeigeeinrichtungen abgestimmt auf die Fahrsituation und den Fahrer zu wählen, wobei es insbesondere auch möglich ist, dass während des Betriebs des virtuellen Rückspiegelsystems aufgrund der Auswertung der Fahrsituationsdaten und/oder Fahrerdaten für wenigstens ein Anzeigebild die diesem zugeordnete Displayeinrichtung verändert wird.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
- 1 eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs,
- 2 schematisch einen Blick in ein Cockpit des Kraftfahrzeugs,
- 3 eine Prinzipskizze einer Displayeinrichtung mit Beleuchtungseinrichtung, und
- 4 einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens.
-
1 zeigt eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs 1. Das Kraftfahrzeug 1 weist ein virtuelles Rückspiegelsystem auf, welches eine Mehrzahl von auf eine hinter den A-Säulen des Kraftfahrzeugs 1 gelegene Umgebung des Kraftfahrzeugs 1 gerichtete Rückschaukameras 2 aufweist, deren Erfassungsbereiche 3 ebenso angedeutet sind. Vorliegend sind Rückschaukameras 2 an den Positionen herkömmlicher Außenspiegel, im Bereich der B-Säulen, im Bereich der hinteren Stoßstange sowie am oberen Ende der Heckscheibe vorgesehen. Die Erfassungsbereiche 3 überlappen ersichtlich teilweise. Die Rückschaukameras 2 sind zudem wenigstens teilweise auf unterschiedlichen Höhen angeordnet. Auch unterschiedliche Erfassungstechnologien werden eingesetzt, nachdem ein Teil der Rückschaukameras 2 Infrarot-Kameras sind. Sie sind bezüglich ihrer Erfassungseigenschaften im Übrigen auch durch eine Steuereinrichtung 4 des virtuellen Rückspiegelsystems wenigstens teilweise ansteuerbar, beispielsweise was Auflösung, Belichtung, Zoomfaktor, Belichtungszeit und dergleichen angeht, aber auch, was die Erfassungsbereiche 3 angeht. So kann eine elektronische und/oder mechanische Anpassung der Erfassungsbereiche 3 für zumindest einen Teil der Rückschaukameras 2 mittels entsprechender Verstellmittel erfolgen.
-
Optional kann das Kraftfahrzeug 1 zusätzlich zu dem virtuellen Rückspiegelsystem auch konventionelle Rückspiegel 5 umfassen, die hier als Außenspiegel gezeigt sind und auch Raum für den Verbau der entsprechenden Rückschaukameras 2 bieten können. Die konventionellen Spiegel 5 weisen auch eine, der Übersichtlichkeit hier nicht näher gezeigte, Spiegelfläche auf. Ein weiterer konventioneller Rückspiegel 6 mit Spiegelfläche 7 kann als Innenspiegel zentral in einem Innenraum 8 des Kraftfahrzeugs, beispielsweise mittels eines Halters an der Windschutzscheibe, angeordnet sein.
-
Das virtuelle Rückspiegelsystem umfasst ferner auch eine Vielzahl von im Cockpit des Kraftfahrzeugs vorgesehenen Displayeinrichtungen 9, 10, 11, 12, 13, 14, 15, 16, 17, auf denen Anzeigebilder, die aus Kameradaten der Rückschaukameras 2 mittels der Steuereinrichtung 4 ermittelt werden, darstellbar sind. Hierbei sind die Displayeinrichtungen 9 und 16 am Armaturenbrett oder Seitenverkleidungselementen an Positionen vorgesehen, an denen üblicherweise Displays virtueller Außenspiegel vorgesehen werden. Die Displayeinrichtungen 10 und 12 flankieren die Displayeinrichtung 11, welche als Teil eines Kombinationsdisplays 18 (vgl. hierzu auch 2) vorgesehen sind. Die Displayeinrichtung 13 ist ein klassisches Mittendisplay, welches - wie optional auch andere Displayeinrichtungen 9 bis 17 - als Touchscreen ausgebildet ist. Die Displayeinrichtung 14 ist eine breite, dem Beifahrer zugeordnete Displayeinrichtung, auf der dieser beispielsweise Entertainment-Inhalte betrachten kann. Diese wird flankiert von einer weiteren, äußeren Displayeinrichtung 15.
-
Die Displayeinrichtung 17 ist als Teil des Innenspiegels 6 vorgesehen und ergänzt sich mit der Spiegelfläche 7 zu einem Spiegel-Display, so dass darzustellende Informationen dem Spiegelbild der Spiegelfläche 7 überlagert angezeigt werden können.
-
2 zeigt diese Anordnung von Displayeinrichtungen 9 bis 17 nochmals genauer, wobei dort zudem auch ein Lenkrad 19 sowie die von den A-Säulen 20 flankierte Windschutzscheibe 21 zu sehen sind. Optional kann als weitere Displayeinrichtung 22 im Übrigen auch eine Head-up-Displayeinrichtung 22 vorgesehen sein, die ihre Informationen auf die Windschutzscheibe 21 projiziert.
-
Die Steuereinrichtung 4, die Rückschaukameras 2 und die Displayeinrichtungen 9 bis 17, 22 können, insbesondere gemäß einem Sicherheitsstandard, über Direktverbindungen verbunden sein. Beispielsweise kann so dem ASIL-A-Standard Genüge getan werden. Der Übersichtlichkeit halber sind diese Direktverbindungen in 1 nicht gezeigt.
-
3 zeigt eine mögliche Ausgestaltung einer der Displayeinrichtungen 9 bis 16 mit einer zugeordneten Beleuchtungseinrichtung 23, vorliegend einem umlaufenden Lichtleiter 24, wobei auch ein nur teilweise umlaufender Lichtleiter 24 oder alternativ ein LED-Band verwendet werden kann. Auch derartige Beleuchtungseinrichtungen 23 sind durch die Steuereinrichtung 4 beim Betrieb des virtuellen Rückspiegelsystems ansteuerbar.
-
Die Rückschaukameras 2 liefern bei Betrieb des virtuellen Rückspiegelsystems Kameradaten an die Steuereinrichtung 4. Diese ist ausgebildet, hieraus unter zusätzlicher Nutzung von weiterer Fahrsituationsdaten und von Fahrerdaten Anzeigebilder für verschiedene zu realisierende virtuelle Rückspiegel, vorliegend einen virtuellen Innenspiegel sowie zwei virtuelle Außenspiegel, zu ermitteln und auch auszuwählen, auf welcher der Displayeinrichtungen 9 bis 17, 22 die jeweiligen Anzeigebilder dargestellt werden sollen. Dabei sei an dieser Stelle noch angemerkt, dass den Anzeigebildern nicht allein die Kameradaten der Rückschaukameras 2 zugrunde liegen müssen, sondern auch Sensordaten weiterer auf den Rückraum beziehungsweise die Umgebung hinter den A-Säulen 20 gerichteter Umgebungssensoren 25, vgl. 1, verwendet werden können. Bei diesen weiteren Umgebungssensoren 25 kann es sich beispielsweise um Radarsensoren, Ultraschallsensoren und dergleichen handeln.
-
Fahrsituationsdaten, die die aktuelle Fahrsituation des Kraftfahrzeugs beschreiben, können von verschiedenen anderen Fahrzeugsystemen und Sensoreinrichtungen des Kraftfahrzeugs geliefert werden und/oder zum Teil auch aus Kameradaten der Rückschaukameras 2 selbst abgeleitet werden bzw. diese umfassen. Beispiele hierfür sind Betriebsdaten, wie beispielsweise aktuelle Geschwindigkeit, Lenkwinkel und dergleichen, Sensordaten (beispielsweise zusammengefasst in einem Umgebungsmodell) sowie weitere Daten, beispielsweise Sitzbelegungsdaten. Fahrerdaten, die den aktuellen Fahrerzustand und/oder ein Fahrerverhalten beschreiben, können beispielsweise von einer auf einen Fahrersitz 26 gerichteten Fahrerbeobachtungskamera 27 als optischem Fahrersensor 28 geliefert werden und von der Steuereinrichtung 4 beispielsweise ausgewertet werden, um eine Blickrichtung, ein Blickrichtungsverhalten und/oder sonstige Fahrerzustandsinformationen, beispielsweise Müdigkeit oder dergleichen, herzuleiten. Fahrerdaten können auch Einstellungen des Fahrersitzes 26, beispielsweise dessen Höhen- und Längeneinstellung, umfassen, so dass derartige Einstellungsdaten sowie Blickrichtungsdaten genutzt werden können, um Anzeigebilder in der Steuereinrichtung 4 perspektivisch korrekt aufzubereiten.
-
Durch die Auswertung der Fahrsituationsdaten und der Fahrerdaten wird vorliegend nicht nur die Ermittlung der Anzeigebilder (und damit im Übrigen auch deren Inhalt) bestimmt, sondern auch die Auswahl der Displayeinrichtungen 9 bis 17, 22, auf denen die jeweiligen Anzeigebilder ausgegeben werden sollen. Beispielsweise ist es während des Betriebs des virtuellen Rückspiegelsystems denkbar, aufgrund der Auswertung der Fahrsituationsdaten und/oder Fahrerdaten für wenigstens eines der Anzeigebilder die diesem zugeordnete Displayeinrichtung 9 bis 17, 22 zu verändern, mithin eine dynamische Anpassung aufgrund der Fahrsituation in Echtzeit vorzunehmen. Dabei ist es im Übrigen durchaus auch denkbar, eine Anwendungsinformation einer MMI-Anwendung des Kraftfahrzeugs 1 und wenigstens eines Anzeigebildes vorzunehmen oder aber die Anwendungsinformation auf eine andere der Displayeinrichtungen 9 bis 17, 22 zu verschieben. Beispielsweise kann eine Aufteilung der Anzeigefläche der jeweiligen Displayeinrichtungen 9, bis 17, 22 erfolgen oder aber auch eine Überlagerung stattfinden, so dass beispielsweise ein Anzeigebild einer Anwendungsinformation eines Navigationssystems oder dergleichen überlagert dargestellt wird. Auch eine Bild-in-Bild-Darstellung ist möglich. Zweckmäßig kann es in vielen Fällen sein, die Anwendungsinformation zu verschieben, beispielsweise auf eine benachbarte Displayeinrichtung 9 bis 17, 22.
-
In diesem Zusammenhang ist anzumerken, dass die Steuereinrichtung 4 bei einem neu auf einer Displayeinrichtung 9 bis 17, 22 darzustellenden Anzeigebild auch ausgebildet ist, den Beginn der Darstellung durch einen Aufmerksamkeitseffekt, der die Aufmerksamkeit des Fahrers erregt, zu begleiten, um diesen entsprechend zu informieren. Während hierfür Animationseffekte im Anzeigebild selbst beziehungsweise im Übergang von einer Anwendungsinformation zu dem Anzeigebild denkbar sind, kann besonders vorteilhaft auch die erwähnte Beleuchtungseinrichtung 23, beispielsweise zum Aufblinken, angesteuert werden. Auf diese Weise erfährt der Fahrer, wo nun das Anzeigebild (beziehungsweise auf Dauer der Strom von Anzeigebildern) zu finden ist. Eine derartige Ansteuerung durch die Steuereinrichtung 4 ist auch sinnvoll, wenn eine auf ein Anzeigebild bezogener Warninformation, beispielsweise eine Kollisionswarnung oder ein Hinweis auf einen anderen Verkehrsteilnehmer, vorliegt, die von einem anderen Fahrzeugsystem bereitgestellt sein kann. Dann kann ebenso der Aufmerksamkeitseffekt ausgegeben werden, die Aufmerksamkeit des Fahrers auf die Displayeinrichtung 9 bis 17, 22 beziehungsweise das Anzeigebild zu lenken; eine solche Aufmerksamkeitslenkung (gegebenenfalls auch ohne Aufmerksamkeitseffekt) kann auch der Richtung des Blicks des Fahrers allgemein auf eine Fahrzeugseite beziehungsweise dem Rückraum dienen.
-
Zur Ermittlung des Anzeigebilds aus den Kameradaten der Rückschaukameras 2 (sowie gegebenenfalls den Sensordaten der Umgebungssensoren 25) existieren verschiedenste, grundsätzlich bekannte Möglichkeiten, die auch im Rahmen der hiesigen Offenbarung angewendet werden können. So können Objekte und/oder Bereiche hervorgehoben werden, was nicht nur durch Farbe und/oder Helligkeit und/oder Animation erfolgen kann, sondern insbesondere auch durch Stereoskopie. Anzeigebilder können auch mit Annotationen versehen werden oder aber gegenüber den Kameradaten abstrahiert werden. Ferner können auch virtuelle Ansichten erzeugt werden, sozusagen durch Rekonstruktion, wobei beispielsweise durch Simulation des Bildgebungsvorgangs von Rückschaukameras auf eine einngeschränkte Menge von Objekten beziehungsweise Umgebungsmerkmalen ein virtuelles, rekonstruiertes und abstrahiertes Kamerabild geschaffen werden kann. Auch Mischbilder aus Kameradaten unterschiedlicher Rückschaukameras 2 können erzeugt werden.
-
In die konkrete Auswahl der Displayeinrichtung 9 bis 17, 22 für jedes Anzeigebild können verschiedenste Erwägungen eingehen. So kann die Steuereinrichtung 4 ausgebildet sein, eine Kritikalitätsinformation, die die Kritikalität der Fahrsituation, insbesondere die benötigte Fahrerkonzentration, beschreibt, aus den Fahrsituationsdaten (welche auch die Kameradaten umfassen können) und/oder Fahrerdaten zu ermitteln. Bei einer höheren Kritikalität können Displayeinrichtungen 9 bis 17, 22 gewählt werden, für die eine geringere Blickabwendung vom Geschehen im Vorfeld erforderlich ist. Beispielsweise ist es in sehr kritischen Situationen denkbar, die Displayeinrichtungen 11 oder 22 für das Anzeigebild des virtuellen Innenspiegels zu nutzen und die flankierenden Displayeinrichtungen 10 und 12 für die Anzeigebilder der virtuellen Außenspiegel, um die Blickabwendung zu minimieren. Denkbar ist auch eine Ausgestaltung, in der für den virtuellen Innenspiegel weiterhin die Displayeinrichtung 17 genutzt wird, für den rechten virtuellen Außenspiegel jedoch der linke Rand der Displayeinrichtung 14 oder eine der Displayeinrichtungen 12 oder 13. In ruhigeren Fahrsituationen können die „inneren“ Displayeinrichtungen 10 bis 15 auch für andere Anwendungsinformationen genutzt werden und die Anzeigebilder möglichst weit außen, beispielsweise auf den Displayeinrichtungen 9 und 16, gehalten werden. Dabei sei an dieser Stelle noch angemerkt, dass bei Verwendung einer Sitzbelegungsinformation die Steuereinrichtung 4 auch ausgebildet sein kann, die dem Beifahrer zugeordnete Displayeinrichtung 14 bei belegtem Beifahrersitz aus der Auswahl auszunehmen, um den Beifahrer nicht zu stören beziehungsweise den Fahrer nicht durch Entertainmentinhalte für den Beifahrer, die dann benachbart zu einem Anzeigebild erscheinen könnten, abzulenken. Ferner sei an dieser Stelle noch allgemein angemerkt, dass ein Anzeigebild in manchen Fällen auch über mehrere Displayeinrichtungen 9 bis 17, 22 angezeigt werden kann.
-
In konkreten, vorteilhaften Ausführungsbeispielen ist die Steuereinrichtung 4 ausgebildet, die Fahrsituationsdaten zu wenigstens einer Fahrsituationsklasse auszuwerten. Den jeweiligen Fahrsituationsklassen sind dann, beispielsweise in einer Look-up-Tabelle, jeweils Ermittlungsparameter und/oder Auswahlparameter zur Parametrierung der Ermittlung der Anzeigebilder beziehungsweise zur Auswahl der Displayeinrichtungen 9 bis 17, 22 zugeordnet. Diese können bei Vorliegen der entsprechenden Fahrsituationsklassen entsprechend genutzt werden. Konkrete Beispiele wurden im allgemeineren Teil der Beschreibung schon dargelegt.
-
Die Steuereinrichtung 4 kann beim Betrieb des virtuellen Rückspiegelsystems im Übrigen auch trainierte Funktionen der künstlichen Intelligenz einsetzen, beispielsweise zur Fahrsituationsklassenermittlung oder hinsichtlich anderer Aufgaben, wobei auch eine Gesamtarchitektur einer trainierten Funktion der künstlichen Intelligenz denkbar ist, welche aus Fahrsituationsdaten, Fahrerdaten (und Kameradaten) als Eingangsdaten unmittelbar Anzeigebilder und diesen zugeordnete Displayeinrichtungen 9 bis 17, 22 als Ausgangsdaten generiert.
-
Auch kann der Fahrer durch Nutzereingaben Einfluss auf die Ermittlung der Anzeigebilder und die Auswahl der Displayeinrichtungen 9 bis 17, 22 nehmen.
-
Durch die Verwendung einer großen Zahl von Rückschaukameras 2 und Displayeinrichtungen 9 bis 17, 22 ist eine hohe Redundanz und somit auch Ausfallsicherheit gegeben, nachdem bei Ausfall einer der Rückschaukameras 2 und/oder einer der Displayeinrichtungen 9 bis 17, 22 auch auf die nächstgelegenen entsprechenden Komponenten zurückgegriffen werden kann.
-
4 zeigt schließlich einen allgemeinen Ablaufplan von Ausführungsbeispielen des erfindungsgemäßen Verfahrens. In einem Schritt S1 werden dabei Kameradaten mittels der Rückschaukameras 2 aufgenommen. In einem Schritt S2 ermittelt die Steuereinrichtung unter Verwendung von Fahrsituationsdaten und Fahrerdaten aus den Kameradaten (und gegebenenfalls Sensordaten der Umgebungssensoren 25) geeignete Anzeigebilder. Im Schritt S3 wird für die Anzeigebilder jeweils wenigstens eine der Displayeinrichtungen 9 bis 17, 22 als Anzeigeort ausgewählt, wobei wiederum die Fahrsituationsdaten und die Fahrerdaten berücksichtigt werden. Gemäß dem Schritt S4 erfolgt dann die entsprechende Ausgabe der Anzeigebilder.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019123740 A1 [0006]
- DE 102020104082 A1 [0007]
- DE 102013020950 A1 [0008]