-
Die Erfindung betrifft ein Verfahren und ein Anzeigesystem zur Anzeige von Sensordaten einer Sensoreinrichtung auf einer Anzeigeeinrichtung sowie ein Kraftfahrzeug mit dem Anzeigesystem.
-
In modernen Multimediasystemen, beziehungsweise in Fahrzeugrechnern, ist die Anzeige von Rückfahrkamerabildern sowie weiterer optischer Inhalte, wie zum Beispiel einer Rundumsicht um das Fahrzeug, von der Benutzeroberfläche des jeweiligen Systems abhängig. Die Kommunikation von logischen Einheiten einer Benutzeroberfläche mit dem jeweiligen Steuergerät im Fahrzeug kann mehrstufige Dialoge enthalten und in Abhängigkeit von der jeweiligen Architektur verschiedene Schnittstellen durchlaufen. Die Abstimmung zwischen Multimediasystemen und Funktionssteuergeräten ist notwendig, um eine korrekte Anzeige der Informationen, im Rahmen eines definierten Gesamtkonzeptes der Benutzeroberfläche, gewährleisten zu können.
-
In gängigen Multimediasystemen sind nur die logischen Einheiten der Benutzeroberfläche für die angezeigten Inhalte (zum Beispiel Videostream, Karte der Navigation und so weiter) zuständig, sobald die Benutzeroberfläche verfügbar ist. Durch eine mehrschichtige Kommunikation, die in Fahrzeugrechnern vorliegt, entsteht pro zu durchlaufender Schicht eine nicht vermeidbare Latenz. Weiterhin sind die logischen Einheiten der Benutzeroberfläche nicht echtzeitfähig, und deren Latenzen sind maßgeblich von einer Systemlast, einem Zustand der Benutzeroberfläche sowie Eingaben des Nutzers abhängig. Zusätzlich basieren viele der gängigen Benutzeroberflächen auf einer Technologie, bei der virtuelle Maschinen bei Speicherbereinigungsoperationen zusätzliche, nicht vermeidbare, Latenzen hervorrufen, wie zum Beispiel der Java-Technologie. Des Weiteren können gepufferte Transitionen zu anderen Kontexten des Multimediasystems zu einer Verzögerung oder sogar Unterbrechung der Anzeige führen, wie beispielsweise ein Befehl zum Anzeigen einer Navigationskarte oder sehr viele aufeinanderfolgende Benutzereingaben. Das kann zu nicht vorhersagbaren Schwankungen in der Zeit zwischen Anforderung einer Information bis zur Anzeige oder sogar zu einer Unterbrechung in der aktiven Anzeige führen. Zum Beispiel kann eine zeitliche Differenz zwischen einem Einlegen eines Rückwärtsgangs in einem Fahrzeug bis zur Anzeige eines Rückfahrkamerabildes entstehen. Damit ist eine sichere Einhaltung von gesetzlich vorgegebenen Zeiten sowie gesetzlich relevanten Anzeigen, die unter Umständen zulassungsrelevant sind, gegebenenfalls nicht gewährleistet.
-
Aus der
DE 10 2009 018 586 A1 ist ein Computersystem bekannt, das zumindest einen zentralen Fahrzeugrechner aufweist, der zum Anzeigen von Daten über ein Bussystem mit einer Mehrzahl von Bedieneinheiten und über eine Displaydatenleitung mit zumindest einem Display verbunden ist. Ferner enthält das Computersystem ein Kamerasystem zur Aufnahme von Bilddaten und eine Mehrzahl von Kamerabilddatenleitungen zur Übertragung von Bilddaten von dem Kamerasystem über eine Bilddatenverarbeitungseinheit an das Display. Die Bilddatenverarbeitungseinheit ist ein von dem Fahrzeugrechner unabhängig operierendes Videosteuergerät. Nachteilig bei dem bekannten Computersystem ist, dass eine zusätzliche Bilddatenleitung sowie eine zusätzliche Bilddatenverarbeitungseinheit neben dem Fahrzeugrechner vorhanden sein müssen. Ein bereits vorhandener, nicht echtzeitfähiger Fahrzeugrechner kann nur unter hohem Kostenaufwand mittels des Einbaus zusätzlicher Hardwarekomponenten zu einem schnelleren, insbesondere echtzeitfähigen, Fahrzeugrechner umgerüstet werden.
-
Aus der
DE 10 2013 000 273 A1 ist eine Vorrichtung zum Anzeigen einer Information auf einer Anzeigeeinrichtung einer fahrrelevanten Verarbeitungseinheit in einem Fahrzeug bekannt, wobei die fahrrelevante Verarbeitungseinheit aus ersten Bilddaten und zweiten Bilddaten ein Überlagerungsbild aus Inhalten der beiden Bilddaten erzeugt und dieses auf einer Anzeigeeinrichtung anzeigt.
-
Aus der
DE 10 2017 110 896 A1 ist ein Rückfahrvideosystem für ein Fahrzeug bekannt, wobei eine Rückfahrkamera ein Rohvideosignal erzeugt. Ein Videomodifikationsmodul empfängt das Rohvideosignal und erzeugt basierend darauf ein modifiziertes Videosignal. Ein Videoanalysemodul analysiert, ob das modifizierte Videosignal gültig oder unzulässig ist. Ein Schalter gibt das modifizierte Videosignal an ein Display aus, wenn das Fahrzeug rückwärts fährt und das modifizierte Videosignal gültig ist, und gibt das Rohvideosignal an das Display aus, wenn das Fahrzeug rückwärts fährt und das modifizierte Videosignal unzulässig ist.
-
Der Erfindung liegt die Aufgabe zugrunde, eine möglichst schnelle Anzeige von Sensordaten zu ermöglichen.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.
-
Durch die Erfindung ist ein Verfahren zur Anzeige von Sensordaten einer Sensoreinrichtung auf einer Anzeigeeinrichtung bereitgestellt, wobei die Sensordaten vor der Anzeige durch einen Fahrzeugrechner verarbeitet werden, der eine vorgegebene Zeitanforderung zur Verarbeitung der Sensordaten aufweist und der einen ersten Datenpfad und einen zweiten Datenpfad umfasst. Mit anderen Worten werden Sensordaten einer Sensoreinrichtung von einem Fahrzeugrechner verarbeitet, damit diese auf einer Anzeigeeinrichtung angezeigt werden können. Für die Verarbeitung der Sensordaten kann der Fahrzeugrechner eine vorgegebene Zeitanforderung haben, wobei eine vorgegebene Zeitanforderung eine maximale Zeit sein kann, die der Fahrzeugrechner für die Verarbeitung der Daten benötigen soll. Beispielsweise kann bei einem Überschreiten der vorgegebenen Zeitanforderung eine unerwünschte Verzögerung der Anzeige der Sensordaten auf der Anzeigeeinrichtung vorhanden sein. Eine Sensoreinrichtung kann ein optischer, akustischer und/oder elektromagnetischer Sensor sein, der physikalische Eigenschaften seiner Umgebung erfassen kann und diese in ein analoges und/oder digitales Signal in Form von Sensordaten umwandelt. Eine Anzeigeeinrichtung kann eine optische Anzeige sein, wie beispielsweise ein Bildschirm zur Anzeige von optischen Informationen, wie beispielsweise von Bilddarstellungen und/oder Videodarstellungen. Der erste Datenpfad und der zweite Datenpfad in dem Fahrzeugrechner können programmierte Pfade innerhalb des Fahrzeugrechners auf Softwareebene sein, die Daten über eine oder mehrere vorgegebene Hardware- und/oder Software-Schnittstellen an vorgegebene Programme und/oder Funktionen übertragen können.
-
Das Verfahren zur Anzeige von Sensordaten umfasst als Schritt a) das Empfangen einer Anzeigeanfrage einer Steuereinheit durch den Fahrzeugrechner, als Schritt b) das Auswerten der Anzeigeanfrage durch den Fahrzeugrechner, als Schritt c) das Übertragen der Sensordaten zu einer Anzeigesteuerungseinheit in dem Fahrzeugrechner über den ersten Datenpfad, wenn das Auswerten der Anzeigeanfrage ergibt, dass die Sensordaten angezeigt werden sollen, wobei die Anzeigesteuerungseinheit die Verwaltung einer Anzeige auf der Anzeigeeinrichtung steuert und als Schritt d) das Anzeigen der Sensordaten auf der Anzeigeeinrichtung. Das Verfahren umfasst ferner als Schritt e) das Laden einer grafischen Benutzeroberfläche aus einer Graphikeinheit, wenn das Auswerten der Anzeigeanfrage ergibt, dass die Sensordaten angezeigt werden sollen, als Schritt f) das Übertragen der grafischen Benutzeroberfläche zu der Anzeigesteuerungseinheit über den zweiten Datenpfad, als Schritt g) das Synchronisieren der grafischen Benutzeroberfläche mit der Anzeige der Sensordaten und als Schritt h) das Anzeigen der synchronisierten grafischen Benutzeroberfläche, zusammen mit der Anzeige der Sensordaten, auf der Anzeigeeinrichtung.
-
Mit anderen Worten kann der Fahrzeugrechner von einer Steuereinheit eine Anzeigeanfrage erhalten, die anfragen kann, ob Sensordaten auf der Anzeigeeinrichtung angezeigt werden sollen. Der Fahrzeugrechner kann diese Anzeigeanfrage auswerten und bei der Feststellung, dass die Sensordaten angezeigt werden sollen, die Sensordaten zu der Anzeigesteuerungseinheit, die sich in dem Fahrzeugrechner befindet, über den ersten Datenpfad übertragen. Die Anzeigesteuerungseinheit kann dafür vorgesehen sein, die Anzeigeeinrichtung zu steuern und die Anzeige auf der Anzeigeeinrichtung zu verwalten. Beispielsweise kann die Anzeigesteuerungseinheit Sensordaten empfangen und diese für die Anzeige auf der Anzeigeeinrichtung derart formatieren, dass diese in einem vorgegebenen Format angezeigt werden. Des Weiteren kann die Anzeigeeinrichtung mehrere Bildschirme umfassen und die Anzeigesteuerungseinheit kann steuern, auf welchem Bildschirm und/oder Bildschirmen die Anzeige angezeigt wird. Ferner kann die Anzeigesteuerungseinheit dazu vorgesehen sein, weitere Benutzereingaben und Daten zu verwalten. Am Ende des ersten Datenpfads werden die Sensordaten auf der Anzeigeeinrichtung angezeigt. Parallel beziehungsweise zusätzlich zu dem Übertragen der Sensordaten zu der Anzeigesteuerungseinheit wird eine grafische Benutzeroberfläche aus der Graphikeinheit geladen, wenn die Auswertung der Anzeigeanfrage ergibt, dass die Sensordaten angezeigt werden sollen. Die Graphikeinheit kann ein Speicher in dem Fahrzeugrechner sein, der vorgegebene grafische Elemente lädt, um die grafische Benutzeroberfläche zu erzeugen. Die Graphikeinheit kann jedoch auch dafür vorgesehen sein, durch eine Bildsynthese aus Rohdaten zweidimensionale und/oder dreidimensionale Graphiken zu erstellen, um die grafische Benutzeroberfläche zu laden. Hierzu kann die Graphikeinheit auf Rechenleistung des Fahrzeugrechners zurückgreifen. Die grafische Benutzeroberfläche kann eine Schnittstelle zwischen einem Benutzer und dem Fahrzeugrechner sein. Die grafische Benutzeroberfläche kann Bedienelemente wie beispielsweise Bildsymbole aufweisen, deren Aktivierung über ein Eingabegerät, das beispielsweise eine Computermaus, ein Mikrofon zur Spracheingabe, Tasten und/oder einen druckempfindlichen Sensorbildschirm umfassen kann, stattfinden. Bei Aktivierung eines Bildsymbols, das als Steuerelement dienen kann, kann die grafische Benutzeroberfläche eine Funktion und/oder ein Programm starten, mit dem beispielsweise Komponenten eines Kraftfahrzeugs gesteuert werden können. Beispielsweise kann mittels der grafischen Benutzeroberfläche ein Befehl an die Anzeigesteuerungseinheit gesendet werden, der die Anzeigeeinrichtung aktiviert oder deaktiviert. Nach dem Laden der grafischen Benutzeroberfläche kann die graphische Benutzeroberfläche über den zweiten Datenpfad zu der Anzeigesteuerungseinheit übertragen werden und mit der Anzeige der Sensordaten synchronisiert werden. Anschließend wird die synchronisierte grafische Benutzeroberfläche zusammen mit der Anzeige der Sensordaten auf der Anzeigeeinrichtung angezeigt. Das Synchronisieren der grafischen Benutzeroberfläche mit der Anzeige der Sensordaten kann so ausgestaltet sein, dass die Bilddaten aus beiden Modalitäten derart übereinander gelegt werden, dass auf der Anzeigeeinrichtung ein fusioniertes Bild beider Datensätze angezeigt wird. Die grafische Benutzeroberfläche kann zum Beispiel relevante Informationen zu den Sensordaten in der Anzeige einblenden. Beispielsweise können die Sensordaten von einer Rückfahrkamera eines Fahrzeugs stammen, wodurch ein Bild der Rückfahrkamera auf der Anzeigeeinrichtung angezeigt wird. In der synchronisierten grafischen Benutzeroberfläche kann zusätzlich zu dem Bild der Rückfahrkamera ein grafisches Element eingeblendet werden, das einen Abstand zu einem Objekt hinter dem Fahrzeug anzeigt.
-
Durch das erfindungsgemäße Verfahren ergibt sich der Vorteil, dass durch die Bereitstellung von einem ersten Datenpfad und einem zweiten Datenpfad die Anzeige der Sensordaten, die zeitkritische Informationen enthalten können, schnell an die Anzeigeeinrichtung übertragen werden können, ohne dass Designvorgaben der grafischen Benutzeroberfläche verletzt werden. Der erste Datenpfad ermöglicht eine sichere und schnelle Übertragung der notwendigen Sensordaten und der zweite Datenpfad enthält Informationen, die gewährleisten, dass die Designvorgaben der jeweiligen grafischen Benutzeroberfläche eingehalten werden. Des Weiteren können Unterbrechungen der Anzeige durch ein Fehlverhalten etwaiger Applikationen oder der grafischen Benutzeroberfläche verhindert werden. Somit können gesetzliche Anforderungen, für beispielsweise eine maximale Verzögerung der Anzeige und für das Sichtfeld, erfüllt werden. Dieses Verfahren lässt sich in nicht echtzeitfähigen Fahrzeugrechnern, wie sie handelsüblich sind, umsetzen, ohne deren gesamte Architektur und Entwicklung auf Echtzeitfähigkeit auszurichten wobei die Echtzeitfähigkeit hier die Einhaltung der vorgegebenen Zeitanforderung für den Fahrzeugrechner sein kann. Durch das Verfahren lassen sich Entwicklungskosten und Aufwände, bei gleichzeitiger Einhaltung gesetzlicher Vorgaben minimieren.
-
Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
-
Eine Ausführungsform sieht vor, dass das Auswerten der empfangenen Anzeigeanfrage in Schritt b) mittels eines vordefinierten Protokolls durchgeführt wird. Das vordefinierte Protokoll kann ein einfaches Programm sein, das grundlegende Anfragen auswertet, die an den Fahrzeugrechner gerichtet sind. Vorzugsweise kann das vordefinierte Protokoll eine Anzeigeanfrage mit minimalem Zeitaufwand und minimaler Rechenkapazität des Fahrzeugrechners auswerten. Beispielsweise können die vordefinierten Protokolle auf einem C-Code und/oder einem C++-Code basieren. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine Anzeigeanfrage an den Fahrzeugrechner schnell bearbeitet werden kann und eine Verzögerung der Anzeige von Sensordaten auf der Anzeigeeinrichtung minimiert werden kann.
-
Eine weitere Ausführungsform sieht vor, dass das Verfahren ferner zwischen Schritt d) und e) in einem Schritt i) das Unterdrücken eines Steuerbefehls von dem Fahrzeugrechner an die Anzeigesteuerungseinheit umfasst, bis die grafische Benutzeroberfläche zusammen mit den Sensordaten angezeigt wird. Mit anderen Worten werden Befehle von dem Fahrzeugrechner an die Anzeigesteuerungseinheit so lange unterdrückt, beziehungsweise blockiert, bis die grafische Benutzeroberfläche zusammen mit den Sensordaten auf der Anzeigeeinrichtung angezeigt wird. Beispielsweise können in einem Puffer des Fahrzeugrechners Nutzereingaben für die Anzeige von weiteren Daten gespeichert sein, die auf der Anzeigeeinrichtung angezeigt werden sollen. Durch das Unterdrücken des Steuerbefehls an die Anzeigesteuerungseinheit kann verhindert werden, dass die Anzeige der Sensordaten verzögert und/oder unterbrochen wird.
-
Eine weitere Ausführungsform sieht vor, dass die Anzeigeanfrage durch die Steuereinheit mittels einer Benutzeranfrage und/oder automatisiert gesendet wird. Mit anderen Worten kann ein Benutzer die Anzeigeanfrage manuell auslösen, indem beispielsweise ein Schalter betätigt wird, sodass die Sensoreinrichtung den Benutzer unterstützen kann. Alternativ oder zusätzlich kann die Anzeigeanfrage automatisiert gesendet werden. Zum Beispiel kann ein Benutzer in einem Fahrzeug einen Rückwärtsgang einlegen, wodurch durch die Steuereinheit automatisch eine Anzeigeanfrage an den Fahrzeugrechner gesendet wird. Es kann auch vorgesehen sein, dass eine vorbestimmte Bedingung eintritt, durch die die Anzeigeanfrage ausgelöst wird. Die vorbestimmte Bedingung kann beispielsweise eine eingeschränkte Sicht durch zum Beispiel Dunkelheit oder Nebel sein, wodurch eine Sensoreinrichtung unterstützend eingeschaltet werden soll. Der Vorteil dieser Ausführungsform ist es, dass die Anzeige der Sensordaten einem Benutzer zuverlässig zur Verfügung gestellt werden kann.
-
Eine Ausführungsform sieht vor, dass die Anzeigesteuerungseinheit durch die grafische Benutzeroberfläche gesteuert wird. Mit anderen Worten können Befehle, die durch die grafische Benutzeroberfläche eingegeben werden, die Anzeigesteuerungseinheit steuern. Beispielsweise kann ein Benutzer über die grafische Benutzeroberfläche, die die Schnittstelle zwischen dem Benutzer und dem Fahrzeugrechner sein kann, einen Anzeigewechsel von einem Bildschirm der Anzeigeeinrichtung auf einen anderen Bildschirm der Anzeigeeinrichtung veranlassen und/oder die Anzeige auf der Anzeigeeinrichtung abfordern, das heißt ausschalten. Das hat den Vorteil, dass ein Benutzer über die grafische Benutzeroberfläche die Kontrolle über die Anzeige der Anzeigeeinrichtung hat.
-
Eine weitere Ausführungsform sieht vor, dass die Verarbeitung der Sensordaten in Echtzeit durchgeführt wird. Die Verarbeitung in Echtzeit bedeutet, dass die Verarbeitung der Sensordaten mit minimaler Verzögerung stattfinden und internationalen Normen für die Verarbeitung von Daten entsprechen. Insbesondere kann eine Verzögerung bei der Verarbeitung der Sensordaten kleiner als 1000 Millisekunden sein. Hierdurch ergibt sich der Vorteil, dass gesetzliche Vorgaben an die Anzeige der Sensordaten eingehalten werden können.
-
Erfindungsgemäß ist auch ein Anzeigesystem eines Fahrzeugs vorgesehen, mit einem Fahrzeugrechner, der eine Anzeigesteuerungseinheit und eine Graphikeinheit umfasst, mit einer Sensoreinrichtung, die dazu ausgelegt ist, Sensordaten aufzunehmen, mit einer Anzeigeeinrichtung, die dazu ausgelegt ist, eine Anzeige der Sensordaten bereitzustellen und mit einer Steuereinheit, die dazu ausgelegt, eine Anzeigeanfrage für die Anzeige der Sensordaten an den Fahrzeugrechner zu senden. Der Fahrzeugrechner umfasst weiterhin einen ersten Datenpfad und einen zweiten Datenpfad und ist dazu ausgelegt, die Anzeigeanfrage von der Steuereinheit zu empfangen und auszuwerten, die Sensordaten zu der Anzeigesteuerungseinheit über den ersten Datenpfad zu übertragen, wenn das Auswerten der Anzeigeanfrage ergibt, dass die Sensordaten angezeigt werden sollen, die Anzeigeeinrichtung dazu anzusteuern, die Sensordaten anzuzeigen, eine grafische Benutzeroberfläche aus einer Graphikeinheit zu laden, wenn das Auswerten der Anzeigeanfrage ergibt, dass die Sensordaten angezeigt werden sollen, die grafische Benutzeroberfläche zu der Anzeigesteuerungseinheit über den zweiten Datenpfad zu übertragen, die grafische Benutzeroberfläche mit der Anzeige der Sensordaten zu synchronisieren und die Anzeigeeinrichtung dazu anzusteuern, die synchronisierte grafische Benutzeroberfläche zusammen mit der Anzeige der Sensordaten anzuzeigen. Hierbei ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Verfahren.
-
Eine Ausführungsform sieht vor, dass die Sensoreinrichtung ein Sensor eines Fahrerassistenzsystems ist. Hierdurch ergibt sich der Vorteil, dass wichtige Sensordaten des Sensors des Fahrerassistenzsystems mit minimaler zeitlicher Verzögerung angezeigt werden können und somit gesetzlich vorgegebene Zeiten eingehalten werden.
-
Eine weitere Ausführungsform sieht vor, dass die Sensoreinrichtung eine Kamera ist. Die Kamera kann eine Videokamera sein, die kontinuierlich Bildsequenzen der Umgebung aufnehmen kann, um somit für einen Benutzer schlecht sichtbare und/oder nicht sichtbare Bereiche anzeigen zu können. Hierdurch ergibt sich der Vorteil, dass die Sensoreinrichtung optische Informationen der Umgebung bereitstellen kann.
-
Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit dem Anzeigesystem. Vorzugsweise kann ein Kraftfahrzeug ein Personenkraftwagen, ein Lastkraftwagen oder ein Bus sein.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Anzeigesystems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Außerdem gehören zu der Erfindung auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie im Zusammenhang mit dem Anzeigesystem beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Darstellung einer Ausführungsform eines Anzeigesystems zur Anzeige von Sensordaten;
- 2 ein schematisches Verfahrensdiagramm einer Ausführungsform.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden.
-
Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
-
1 zeigt ein Anzeigesystem 10 mit einem Fahrzeugrechner 12 zur Anzeige von Sensordaten 14 einer Sensoreinrichtung 16 auf einer Anzeigeeinrichtung 18. Das Anzeigesystem 10 kann in einem Kraftfahrzeug, insbesondere in einem Personenkraftwagen, angeordnet sein. Der Fahrzeugrechner 12 kann ein Bordcomputer des Kraftfahrzeugs oder vorzugsweise der Computer eines Multimediasystems sein. Das Multimediasystem, beziehungsweise der Fahrzeugrechner 12, können dazu ausgelegt sein, einem Fahrer des Kraftfahrzeugs Informationen bereitzustellen. Die Informationen können insbesondere Verkehrsinformationen, Fahrzeuginformationen, Unterhaltungsinformationen und/oder fahrsicherheitsrelevante Informationen sein. Fahrsicherheitsrelevante Informationen können insbesondere Sensordaten 14 von der Sensoreinrichtung 16 sein.
-
Die Sensoreinrichtung 16 kann zu einem Fahrerassistenzsystem gehören, das den Fahrer während der Fahrt unterstützt. Zum Beispiel kann die Sensoreinrichtung 16 eine Kamera sein, wobei die Kamera vorzugsweise eine Videokamera ist, die Bildsequenzen elektronisch erfassen kann und diese Bilddaten als Sensordaten 14 weitergeben kann. Insbesondere kann die Sensoreinrichtung 16 eine Rückfahrkamera des Kraftfahrzeugs sein, zum Beispiel zur Unterstützung eines Einparkvorgangs.
-
Dem in 1 gezeigten Ausführungsbeispiel folgende Situation beispielhaft zugrundeliegen. Der Fahrer des Kraftfahrzeugs kann für einen Einparkvorgang den Rückwärtsgang des Kraftfahrzeugs einlegen. Daraufhin kann eine Steuereinheit 20 eine Anzeigeanfrage 22 an den Fahrzeugrechner 12 senden. Die Kommunikation mit dem Fahrzeugrechner 12 und der Steuereinheit 20 kann dabei über einen rechnerexternen Signalweg 21, der ein oder mehrere Datenbusse umfassen kann, wie beispielsweise ein „Controller Area Network“ (CAN), stattfinden. Vorzugsweise kann der rechnerexterne Signalweg 21 als Ethernet ausgebildet sein. In dem Fahrzeugrechner 12 kann ein vordefiniertes Protokoll 24 die empfangene Anzeigeanfrage 22 auswerten. Der Signalweg von der Steuereinheit 20 zu dem vordefinierten Protokoll 24 innerhalb des Fahrzeugrechners 12 kann ein rechnerinterner Signalweg 23 sein, der ein Datenbus wie beispielsweise einen „Inter-Integrated Circuit“ (I-2-C) umfassen kann.
-
Ein vordefiniertes Protokoll kann beispielsweise eine einfache Funktion sein, die wenig Rechenressourcen benötigt und eine schnelle Auswahl trifft, ob Sensordaten 14 der Sensoreinrichtung 16 angezeigt werden sollen oder nicht.
-
Wenn das Auswerten der Anzeigeanfrage 22 durch das vordefinierte Protokoll 24 in dem Fahrzeugrechner 12 ergibt, dass die Sensordaten 14 angezeigt werden sollen, können die Sensordaten 14 von der Sensoreinrichtung 16 zu einer Anzeigesteuerungseinheit 26 über einen ersten Datenpfad 28 übertragen werden. Die Entscheidung des vordefinierten Protokolls 24 in dem Fahrzeugrechner 12, dass die Sensordaten 14 angezeigt werden sollen, kann beispielsweise durch ein Signal an die Anzeigesteuerungseinheit 26 übermittelt werden, was in 1 als gestrichelte Linie zwischen dem vordefinierten Protokoll 24 und der Anzeigesteuerungseinheit 26 angedeutet ist. Es kann jedoch auch zusätzlich oder alternativ ein Signal an die Steuereinheit 20 gesendet werden, die dann die Sensoreinrichtung 16 dazu ansteuern kann, Sensordaten 14 über den ersten Datenpfad 28 zu übertragen.
-
Der erste Datenpfad 28 kann in einen rechnerexternen Datenpfad 27 und in einen rechnerinternen Datenpfad 29 aufgeteilt sein und eine Hardwareverbindung und/oder Softwareverbindung umfassen. Vorzugsweise kann der erste Datenpfad 28 ein Datenbussystem zu dem Fahrzeugrechner 12 aufweisen. In dem Fahrzeugrechner 12 kann der erste Datenpfad 28 als Softwarepfad bis zur Anzeigesteuerungseinheit 26 über einen rechnerinternen Datenpfad 29, der eine interne Schnittstelle, wie beispielsweise ein Programm in dem Fahrzeugrechner, sein kann, fortgesetzt werden. Vorzugsweise kann der rechnerexterne Datenpfad 27 ein oder mehrere Datenbusse, insbesondere Ethernet, umfassen und für ein „Low Voltage Differential Signaling“ (LVDS) und/oder ein Farb-Bild-Austast-Synchronsignal (LVDS) vorgesehen sein. Der rechnerinterne Datenpfad 29 kann vorzugsweise als „Camera Serial Interface“ (CSI) und/oder als „Serial Peripheral Interface“ (SPI) ausgebildet sein.
-
Es kann auch vorgesehen sein, dass der rechnerexterne Datenpfad 27 und der rechnerexterne Signalweg 21 Daten über den selben Datenbus übertragen. Zum Beispiel können der rechnerexterne Datenpfad 27 und der rechnerexterne Signalweg 21 beide Daten beziehungsweise Signale über eine Ethernet-Verbindung übertragen.
-
Die Anzeigesteuerungseinheit 26 kann dazu vorgesehen sein, eine Anzeige auf der Anzeigeeinrichtung 18 zu verwalten. Die Anzeigeeinrichtung 18 kann beispielsweise eine Frontscheibenanzeige (Head-up-Display) und/oder ein Bildschirm, zum Beispiel der Bildschirm eines Multimediasystems, umfassen. Des Weiteren kann die Anzeigesteuerungseinheit 26 die Sensordaten 14 derart bearbeiten, dass diese auf der Anzeigeeinrichtung 18 angezeigt werden können. Beispielsweise kann ein Codec vorgesehen sein, der die Sensordaten 14 von einem Videoformat in ein anderes konvertiert. In dem Fall der Rückfahrkamera kann die Anzeigesteuerungseinheit 26 beispielsweise das verwendete Containerformat und die Videokompression derart auswählen, dass die Sensordaten 14 auf der Anzeigeeinrichtung 18 angezeigt werden können.
-
Zusätzlich zu dem Übertragen der Sensordaten 14 kann nach dem Empfang der Anzeigeanfrage 22 durch das vordefinierte Protokoll 24 eine Graphikeinheit 30 eine grafische Benutzeroberfläche 32 laden, wenn das Auswerten der Anzeigeanfrage 22 ergibt, dass die Sensordaten 14 angezeigt werden sollen. (in 1 als gestrichelte Linie zwischen dem vordefinierten Protokoll 24 und der Graphikeinheit 30 angedeutet).
-
Die Graphikeinheit 30 kann eine Datenbank auf einem Speichermedium umfassen, aus der die grafische Benutzeroberfläche 32 geladen werden kann. Die geladene grafische Benutzeroberfläche 32 kann Symbole, Steuerelemente und 3D-Graphiken aufweisen, durch die Daten für einen Benutzer aufbereitet werden können und mit denen Steuerbefehle aktiviert werden können.
-
Die grafische Benutzeroberfläche 32 kann nach dem Laden durch die Graphikeinheit 30 über einen zweiten Datenpfad 34, der sich innerhalb des Fahrzeugrechners 12 befinden kann, an die Anzeigesteuerungseinheit 26 übertragen werden und mit der Anzeige der Sensordaten 14 synchronisiert werden. Bei der Synchronisation können die Anzeige der Sensordaten 14 und die grafische Benutzeroberfläche 32 vorzugsweise derart übereinander gelegt werden, dass ein homogenes Überlagerungsbild der beiden Modalitäten entsteht. Anschließend kann die synchronisierte graphische Benutzeroberfläche 32 mit der Anzeige der Sensordaten 14 zusammen auf einem Bildschirm der Anzeigeeinrichtung 18 angezeigt werden. Durch das in diesem Ausführungsbeispiel gezeigte Verfahren kann sichergestellt werden, dass eine vorgegebene Zeitanforderung an den Fahrzeugrechner 12 eingehalten werden kann. Beispielsweise kann die vorgegebene Zeitanforderung an den Fahrzeugrechner 12 sein, dass die Sensordaten 14 in Echtzeit entsprechend internationalen Normen durch den Fahrzeugrechner 12 verarbeitet werden. Beispielsweise kann die vorgegebene Zeitanforderung sein, dass die Daten in unter 1000 Millisekunden oder in unter 2000 Millisekunden verarbeitet werden. Dies kann dadurch erreicht werden, dass die für die Anzeige wichtigen Sensordaten 14 über den ersten Datenpfad 28 direkt zur Anzeige auf der Anzeigeeinrichtung 18 gebracht werden, ohne auf das Laden der grafischen Benutzeroberfläche 32 warten zu müssen, was erst zeitverzögert abgeschlossen werden kann.
-
In 2 ist ein schematisches Verfahrensdiagramm einer Ausführungsform dargestellt. In Schritt S10 wird eine Anzeigeanfrage 22 einer Steuereinheit durch den Fahrzeugrechner 12 empfangen. In Schritt S12 wird die Anzeigeanfrage 22 durch den Fahrzeugrechner 12 ausgewertet. In Schritt S14 werden die Sensordaten 14 zu einer Anzeigesteuerungseinheit 26 übertragen, wenn das Auswerten der Anzeigeanfrage 22 ergibt, dass die Sensordaten 14 angezeigt werden sollen. In Schritt S16 werden die Sensordaten 14 auf der Anzeigeeinrichtung 18 angezeigt. In Schritt S18 wird eine grafische Benutzeroberfläche 32 aus einer Graphikeinheit 30 geladen, wenn das Auswerten der Anzeigeanfrage 22 ergibt, dass die Sensordaten 14 angezeigt werden sollen. In Schritt S20 wird die grafische Benutzeroberfläche 32 zu der Anzeigesteuerungseinheit 26 über einen zweiten Datenpfad 34 übertragen. In Schritt S22 wird die grafische Benutzeroberfläche 32 mit der Anzeige der Sensordaten 14 synchronisiert. Schließlich wird in Schritt S24 die synchronisierte grafische Benutzeroberfläche 32 zusammen mit der Anzeige der Sensordaten 14 auf der Anzeigeeinrichtung 18 angezeigt.
-
In einer anderen beispielhaften Ausführungsform besteht ein Aspekt darin, dass ein zweistufiger Ansatz mit einem ersten Datenpfad 28 und einem zweiten Datenpfad 34 verfolgt wird. In einer ersten Stufe werden grundlegende Low-Level-Systemkomponenten, die beispielsweise auf einem C-Code basieren (vordefiniertes Protokoll 24), eine Anzeigeanfrage 22 eines Funktionssteuergeräts (Steuereinheit 20) aus und antworten entsprechend der vordefinierten Protokolle 24. Diese Kommunikation erfolgt über eine direkte Schnittstelle zwischen den Komponenten innerhalb des Multimediasystems, das heißt über den ersten Datenpfad 28. Sollte die Kommunikation zwischen dem Fahrzeugrechner 12 und dem Funktionssteuergerät (Steuereinheit 20) zu einer Aufschaltung der Inhalte, wie beispielsweise eines Rückfahrkamerabilds führen, werden diese Sensordaten 14 über einen direkten Weg (erster Datenpfad 28) direkt zur Anzeige auf der Anzeigeeinrichtung 18 gebracht, ungeachtet eines Zustandes einer Benutzeroberfläche (grafische Benutzeroberfläche 32) oder etwaigen Transitionen.
-
In einer zweiten Stufe erfolgt auf einer weiteren Strecke, die einen rechnerexternen Signalweg 21, der ein Datenbus sein kann, und einen rechnerinternen Signalweg 23 umfassen kann und die als Teil eines zweiten Datenpfads ausgebildet sein kann, der Austausch, der für die Benutzeroberfläche (grafische Benutzeroberfläche 32) relevanten Informationen zwischen dem Multimediasystem (Fahrzeugrechner 12) und dem Funktionssteuergerät (Steuereinheit 20).
-
Durch die Entkopplung der Anzeige der optischen Informationen der Sensordaten 14 über den ersten Datenpfad 28 von den Inhalten und der Steuerung über die grafische Benutzeroberfläche 32, die über den zweiten Datenpfad 34 erfolgt, wird eine schnelle Anzeige der zeitkritischen Informationen der Sensordaten 14 erreicht. Zusätzliche Details können über den zweiten Datenpfad 34 ausgetauscht und zusätzlich zu den zeitkritischen Informationen der Sensordaten 14 angezeigt werden, sobald die grafische Benutzeroberfläche 32 mit deren Verarbeitung, wie beispielsweise den Informationsaustausch, Laden von 3D-Ressourcen, Rendering von Inhalten, abgeschlossen hat. Die beteiligten Komponenten der schnellen Anzeige über den ersten Datenpfad 28, wie beispielsweise die Anzeigesteuerungseinheit 26, unterdrücken zusätzlich jegliche Unterbrechung der Anzeige, solange die Anzeigeanfrage 22 valide ist und die grafische Benutzeroberfläche 32 noch nicht in der Lage ist, die Anzeige zu bearbeiten. Eine valide Abforderung der Anzeige auf der Anzeigeeinrichtung 18 kann dann entsprechend definierter Designregeln der grafischen Benutzeroberfläche 32 erfolgen.
-
Das hier beschriebene Konzept basiert auf einer Architektur, bei der zentrale Systemkomponenten wie beispielsweise die Anzeigesteuerungseinheit 26 die Verwaltung der Anzeige auf verschiedenen Bildschirmen der Anzeigeeinrichtung 18 steuert. Die Anzeigesteuerungseinheit 26 kann zusätzlich eine Komponente wie zum Beispiel ein Videocodec umfassen, um Videosignale verschiedener Sensoreinrichtungen 16 zu empfangen und diese zur Anzeige auf der Anzeigeeinrichtung 18 zu bringen. Um Latenzen gering zu halten, kann die Anzeigesteuerungseinheit 26 in der Lage sein, Anzeigen unabhängig von der grafischen Benutzeroberfläche 32 zu steuern.
-
Die Signalisierung über den ersten Datenpfad 28 wird immer benötigt. Dadurch werden sämtliche Verzögerungen in der Verarbeitung der Sensordaten 14 durch die grafische Benutzeroberfläche 32 vermieden. Somit können vorgegebene Zeitanforderungen für die Signallaufzeiten der Sensordaten 14 eingehalten werden, die selbst bei einer hohen Systemlast, die beispielsweise durch Multimediainhalte oder Nutzerinteraktionen hervorgerufen werden können, nur geringfügig ansteigen.
-
Nachdem eine Aufschaltung durch den ersten Datenpfad 28 erfolgt ist, wird der jeweilige Inhalt der Sensordaten 14 auf einer beliebigen Anzeige der Anzeigeeinrichtung 18, wie beispielsweise ein Videostream einer Rückfahrkamera, auf einem Bildschirm im Fahrerraum dargestellt.
-
Dies kann unabhängig von dem Zustand der Bearbeitung der jeweils relevanten grafischen Benutzeroberfläche 32 oder der bis dahin erfolgten Nutzerinteraktionen passieren. Parallel zur Anzeige der Sensordaten 14 werden über den zweiten Datenpfad 34 jegliche Kommunikationen und Aktionen durchgeführt, die zu einer vollständigen Anzeige des gewünschten Multimediakontextes mittels der grafischen Benutzeroberfläche 32 führen. Dazu gehören alle notwendigen Elemente, um den Designvorgaben zu entsprechen.
-
Sobald die grafische Benutzeroberfläche 32 durch die Graphikeinheit 30 geladen und verarbeitet ist, erfolgt eine Anzeigesynchronisation mit der Anzeigesteuerungseinheit 26. Somit werden die grafischen Inhalte der grafischen Benutzeroberfläche 32 zusammen mit dem Videostream der Sensordaten 14 in einer einheitlichen Anzeige der Anzeigeeinrichtung 18 verarbeitet und dargestellt.
-
Dazu werden in dem Multimediasystem, das heißt dem Fahrzeugrechner 12, die Videodatenströme (Sensordaten 14) mit allen relevanten Elementen der grafischen Benutzeroberfläche 32 zu einem oder mehreren Bildströmen zusammengefügt, die dann auf beliebig vielen Bildschirmen der Anzeigeeinrichtung 18 dargestellt werden können.
-
Eine Abforderung der Anzeige kann nach dieser Synchronisation gemäß einer Logik der grafischen Benutzeroberfläche 32 erfolgen, das heißt die Abforderung der Anzeige kann über die grafische Benutzeroberfläche 32 gesteuert werden. Dies kann durch Benutzerinteraktion am Multimediasystem oder durch eine Abforderung über die jeweiligen Funktionssteuergeräte (Steuereinheit 20) erfolgen.
-
Sollte eine Abforderung der Anzeige erfolgen, bevor die grafische Benutzeroberfläche 32 zu einer Verarbeitung der Abforderung in der Lage ist, kann die Anzeigesteuerungseinheit 26 die Anzeige selbstständig abfordern. Erst nach einer erfolgreichen Anzeigesynchronisation zwischen der grafischen Benutzeroberfläche 32 und der Anzeigesteuerungseinheit 26 können die logischen Einheiten der grafischen Benutzeroberfläche 32 wieder die Kontrolle über die angezeigten Inhalte übernehmen, das heißt die grafische Benutzeroberfläche 32 kann die Kontrolle über die Anzeigesteuerungseinheit 26 übernehmen, wenn die Anzeigesynchronisation erfolgreich abgeschlossen ist.
-
Insgesamt zeigen die Beispiele, wie durch die Erfindung eine Methode zur zuverlässigen Anzeige von zeitkritischen optischen Informationen in nicht echtzeitfähigen Infotainmentsystemen bereitgestellt werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102009018586 A1 [0004]
- DE 102013000273 A1 [0005]
- DE 102017110896 A1 [0006]
