DE102021115126B3 - Verfahren und System zum Bedienen eines nicht-tragbaren Benutzergeräts mittels eines Touchscreens eines portablen Handgeräts sowie ein mit dem Benutzergerät koppelbares Handgerät - Google Patents

Verfahren und System zum Bedienen eines nicht-tragbaren Benutzergeräts mittels eines Touchscreens eines portablen Handgeräts sowie ein mit dem Benutzergerät koppelbares Handgerät Download PDF

Info

Publication number
DE102021115126B3
DE102021115126B3 DE102021115126.0A DE102021115126A DE102021115126B3 DE 102021115126 B3 DE102021115126 B3 DE 102021115126B3 DE 102021115126 A DE102021115126 A DE 102021115126A DE 102021115126 B3 DE102021115126 B3 DE 102021115126B3
Authority
DE
Germany
Prior art keywords
user
partition
input
raw data
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102021115126.0A
Other languages
English (en)
Inventor
Jürgen Lerzer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cariad SE
Original Assignee
Cariad SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cariad SE filed Critical Cariad SE
Priority to DE102021115126.0A priority Critical patent/DE102021115126B3/de
Application granted granted Critical
Publication of DE102021115126B3 publication Critical patent/DE102021115126B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines nicht-tragbaren Benutzergeräts (11) mit zumindest einer festverbauten Interaktionskomponente (17) für Benutzerinteraktionen mit einem Benutzer (23). Die Erfindung sieht vor, dass das Benutzergerät (11) eine Kommunikationsschnittstelle (30) für einen Datenaustausch mit einem portablen Handgerät (25) des Benutzers (23) betreibt, welches jeweils eine zur Interaktionskomponente (17) korrespondierende Ersatzkomponente (27) in Form eines Touchscreens aufweist, wobei in einem Fernbedienmodus des Benutzergeräts (11) eine Übertragungssoftware (28) des Handgeräts (25) einerseits und eine Prozessorschaltung (12) des Benutzergeräts (11) andererseits Rohdaten für grafische Ausgaben und/oder für Eingaben über die Kommunikationsschnittstelle (30) austauschen und die Übertragungssoftware (28) des Handgeräts (25) die Rohdaten zwischen der Kommunikationsschnittstelle (30) und der Ersatzkomponente (27) durchleitet.

Description

  • Die Erfindung betrifft ein Verfahren und ein System zum Betreiben eines nicht-tragbaren Benutzergeräts, das zumindest eine festverbaute Interaktionskomponente für Benutzerinteraktionen mit einem Benutzer aufweist. Das Benutzergerät kann z.B. eine Bedienkonsole eines Kraftfahrzeugs sein. Ein Beispiel für eine Interaktionskomponente ist ein Touchscreen (Berührungsbildschirm). Ein mit dem Benutzergerät temporär per Funk und/oder per Kabel koppelbares Handgerät kann ebenfalls für die Benutzerinteraktionen verwendet werden, wenn der Benutzer die korrespondierende festverbaute Interaktionskomponente z.B. aktuell nicht erreichen und/oder sehen kann. Das Handgerät kann z.B. ein Smartphone sein.
  • In einem Kraftfahrzeug gibt es mehrere Benutzereingabemöglichkeiten zur Steuerung des Cockpit-Systems oder Infotainment-Systems und damit der Fahrzeugfunktionen. Solche Benutzereingabemöglichkeiten sind z.B. die Touch-Eingabe über berührungsempfindliche Oberflächen/Displays und/oder eingebaute haptische Benutzereingabeelemente wie Tasten oder Drehknöpfe. Diese Benutzereingabemöglichkeiten, die in heutigen Fahrzeugen vorhanden sind, sind so angeordnet, dass sie bei normaler Fahrposition vom Fahrer oder Beifahrer durch einfaches Ausstrecken eines Arms erreicht werden können.
  • In der Regel sind diese Benutzereingabemöglichkeiten aber nicht erreichbar, wenn ein Fahrer z.B. in einen Relax-Modus geht (Fahrzeugsitz auf die hinterste Stellung und/oder in Liegeposition gestellt), während das Fahrzeug z.B. autonom fährt (wie z.B. bei autonomem Fahren Level 3 oder 4 z.B. gemäß SAE J3016). Die Benutzereingabemöglichkeiten sind dann oftmals weiter als eine Armlänge (z.B. weiter als 80 Zentimeter) von der Schulterposition entfernt. Gleiches gilt aber auch für andere Interaktionskomponenten, wie z.B. eine Kamera für eine Gesichtserkennung und/oder ein Display zum Anzeigen eines Anzeigeinhalts, weil z.B. in einer Liegeposition des Fahrzeugsitzes das Gesicht des Sitzinsassen nicht mehr auf sie gerichtet ist.
  • Als generelles Problem wurde erkannt, dass die Interaktionskomponenten nicht-tragbar sind, d.h. sie sind fest im Kraftfahrzeug verbaut und können vom Benutzer nicht in die Hand genommen werden, um sie auch bei geänderter Sitzposition, z.B. bei Liegestellung des Fahrzeugsitzes, direkt bedienen und/oder anschauen zu können.
  • Daher soll eine Lösung gefunden werden, die die Steuerung eines Benutzergeräts, wie des Cockpit/Infotainment-Systems, durch den Fahrer ermöglicht, wenn er sich z.B. während des autonomen Fahrens in einer Relax-Position des Fahrzeugsitzes befindet, also allgemein außerhalb der Reichweite einer Interaktionskomponente für Benutzereingaben.
  • Aber auch außerhalb eines Kraftfahrzeugs kann sich für ein anderes Benutzergerät eine ähnliche Bediensituation und damit dieselbe Problematik ergeben. Beispiele hierfür sind Hausgeräte, Unterhaltungsgeräte in Gebäuden (zum Beispiel ein Fernseher, der weit vom Sofa beabstandet steht).
  • Aus der EP 1 571 032 A1 ist eine Fernbedienung für ein Infotainmentsystem eines Kraftfahrzeugs bekannt. Die Fernbedienung kann einen Touchscreen aufweisen, auf dem eine grafische Bedienoberfläche einer Applikation mit grafischen Bedienelementen angezeigt wird. Die Fernbedienung ist über eine API (Application Programming Interface) mit dem Infotainmentsystem gekoppelt, sodass die Betätigung eines Bedienelements auf dem Touchscreen über die API eine entsprechende Funktion im Infotainmentsystem auslöst. Eine solche Lösung weißt den Nachteil auf, dass aufgrund der Kopplung über die API die Programmversionen im Infotainmentsystem einerseits und der lokal auf der Fernbedienung ausgeführten Applikation andererseits zueinander passen müssen. Ein Update nur im Infotainmentsystem kann dazu führen, dass die Fernbedienung nicht mehr über die API kommunizieren kann.
  • Aus der DE 10 2017 208 991 A1 ist ein Kraftfahrzeug mit einer Rückfahrkamera bekannt. Für den Fall, dass die Rückfahrkamera nicht funktionsfähig ist, kann ein Benutzer auch die Kamera seines Mobiltelefons verwenden. Der Datenstrom der Bilddaten dieser Kamera wird hierfür an das Kraftfahrzeug gesendet und dort anstelle des Datenstroms der funktionsuntüchtigen Rückfahrkamera verarbeitet. Eine Bedienung eines Infotainmentsystems ist hiermit für den Benutzer allerdings nicht ermöglicht.
  • Aus der EP 3 694 195 A1 ist bekannt, dass für die Bedienung eines Infotainmentsystems eines Kraftfahrzeugs auch eine Applikationssoftware auf einem Tablet-PC betrieben werden kann. Diese Applikationssoftware muss allerdings in der Lage sein, eine grafische Benutzerschnittstelle, GUI, selbstständig zu rendern, da lediglich die fertigen Steuerbefehle von dem Tablet-PC an das Infotainmentsystem gesendet werden können. Somit ist bei einer Anpassung der Software im Infotainmentsystem eine korrespondierende Anpassung in der Applikationssoftware notwendig, damit die Steuerbefehle weiterhin zu der Softwareversion im Infotainmentsystem passen.
  • Aus der Druckschrift US 2018 / 0060 253 A1 ist bekannt, mobile Endgeräte, wie beispielsweise Smartphones, in einem Kraftfahrzeug mit einem Infotainmentsystem zu koppeln, um graphische Benutzerschnittstellen fernsteuern zu können, die vom Infotainmentsystem auf unterschiedlichen Bildschirmen angezeigt werden. Um festzulegen, welches mobile Endgerät für welchen Bildschirm verwendet wird, wird die Position des jeweiligen Endgeräts im Fahrzeug ermittelt.
  • Aus der US 2020 / 0057 544 A1 ist bekannt, eine berührungssensitive Oberfläche eines mobilen Endgeräts als Eingabeelement für ein Infotainmentsystem eines Kraftfahrzeugs zu nutzen. Berührereignisse auf dem mobilen Endgerät werden als absolute oder relative Koordinaten erfasst und an das Infotainmentsystem übertragen, wo eine grafische Benutzerschnittstelle in Abhängigkeit von den Koordinaten gesteuert werden kann.
  • Aus der nachveröffentlichten Druckschrift DE 10 2020 116 988 A1 ist bekannt, ein Infotainmentsystem auf der Grundlage mehrerer virtueller Maschinen zu realisieren, die über einen Hypervisor gekoppelt sind.
  • Der Erfindung liegt das Problem zugrunde, für einen Benutzer zumindest eine Interaktionskomponente eines nicht-tragbaren Benutzergeräts auch dann bedienbar zu machen, wenn diese sich außerhalb der Reichweite des Benutzers befindet und/oder der Benutzer sich außerhalb von deren Erfassungsbereich für Benutzereingaben befindet.
  • Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen sind durch die Unteranspräche, die folgende Beschreibung und die Figuren beschrieben.
  • Ein Aspekt der Lösung ist ein Verfahren zum Betreiben eines nicht-tragbaren Benutzergeräts mit zumindest einer festverbauten Interaktionskomponente für Benutzerinteraktionen mit einem Benutzer. Ein Benutzergerät ist insbesondere dann nicht-tragbar, wenn es dafür zu schwer ist, weil es beispielsweise mehr als 10 Kilogramm oder mehr als 20 Kilogramm wiegt und/oder weil es mit einem Objekt dieses Gewichts fest verbunden ist, beispielsweise verschraubt und/oder verklipst. Ein nicht-tragbares Benutzergerät kann beispielsweise ein Fernseher oder ein Infotainmentsystem oder eine Kombiinstrument in einem Kraftfahrzeug oder eine Schaltkonsole in einem Bedienleitstand sein. Die in dem Benutzergerät bereitgestellte zumindest eine Interaktionskomponente kann jeweils beispielsweise ein Bildschirm oder eine Tastatur oder ein Tastenfeld oder eine berührungssensitive Oberfläche (Touchpad - berührungssensitive Fläche ohne pixelbasierte Ausgabe) sein, um nur Beispiele zu nennen. Mit „fest verbaut“ ist hierbei gemeint, dass die Interaktionskomponente schaltungstechnisch fest in dem Benutzergerät verschaltet ist, beispielsweise durch Kabel. Zudem kann fest verbaut zusätzlich oder alternativ meinen, dass die jeweilige Leistungskomponente fest verbunden ist, beispielsweise verschraubt und/oder verklebt. Mit anderen Worten muss sich der Benutzer bei diesem Benutzergerät an die Interaktionskomponente heran bewegen, also in einem vorbestimmten Bedienbereich vor der Interaktionskomponente aufhalten, um die jeweilige vorgesehene Benutzerinteraktion, beispielsweise das Betrachten eines Bildschirms und/oder das manuelle Bedienen einer Bedienoberfläche, durchführen zu können. Die Interaktionskomponente lässt sich nicht einfach in die Hand nehmen.
  • In einem Direktbedienmodus des Benutzergeräts umfasst die Benutzerinteraktionen, dass für das Anzeigen eines Anzeigeinhalts durch eine Prozessorschaltung aus einer jeweiligen graphische Bedienoberfläche (z.B. eines sogenanntes „Fensters“ oder allgemein HMI - Human-Machine-Interface) zumindest einer Softwareapplikation / Softwareanwendung eine graphische Nutzerschnittstelle, GUI, gerendert oder erzeugt (z.B. als ein virtueller Desktop) und z.B. auf einem Bildschirm oder Display angezeigt wird.
  • Die jeweilige Bedienoberfläche der zumindest einen Softwareapplikation der GUI kann jeweils beispielsweise in an sich bekannter Weise als sogenanntes Fenster (Window) und/oder als Bedienmenü ausgestaltet sein. Mehrere solcher Bedienoberflächen können auch kombiniert auf der GUI dargestellt werden, beispielsweise als teilweise überlappende (überlagernde) und/oder nebeneinander angeordnete Bedienoberflächen. Ein Betriebssystem der Prozessorschaltung kann die Grafikdaten, die von jeder Softwareapplikation zum Darstellen seiner jeweiligen Bedienoberfläche erzeugt werden, miteinander kombinieren, was auch als Rendern bezeichnet wird. Hierdurch entsteht das finale Erscheinungsbild der GUI, wie es sich momentan oder aktuell je nach Zustand der zumindest einen Softwareapplikation und/oder deren Bedienoberfläche ergibt. Dieses fertige Bild oder Erscheinungsbild der GUI wird beispielsweise in einen Grafikspeicher eines Bildschirms oder Displays geschrieben oder kopiert, das dann dem Benutzer das Erscheinungsbild der GUI anzeigt.
  • Für das Empfangen einer Benutzereingabe entstehen entsprechend an einer entsprechenden Interaktionskomponente ebenfalls zunächst nur Rohdaten, die un-interpretiert und/oder unabhängig von der zugehörigen Bedienoberfläche der zumindest einen Softwareapplikation empfangen werden. In den Rohdaten ist insbesondere nicht beschrieben, auf welcher Softwareapplikation der Eingabefokus angeordnet ist. Die Prozessorschaltung muss deshalb diese eingegebenen oder erfassten Rohdaten, beispielsweise Berührungskoordinaten auf einem Touchpad, auf korrespondierende Positionen in der GUI abbilden, um zu erkennen, welche Bedienoberfläche (z.B. welches Fenster) von dem Benutzer mittels der Benutzereingabe eigentlich bedient wurde, also wo der Eingabefokus liegt. Dieses Abbilden wird auch als Mapping von Rohdaten der Benutzereingabe auf die zumindest eine Softwareapplikation der GUI bezeichnet. Allgemein sind also die besagten Rohdaten für die Benutzerinterkation oder Bedienung noch nicht ausgewertete Daten, die also zunächst noch interpretiert oder abgebildet werden müssen, wenn es um die Benutzereingabe für eine spezifische Softwareapplikation geht Rohdaten können Koordinatenwerte und/oder Messwerte aus einer Sensorschaltung sein, um nur Beispiele zu nennen.
  • Um nun die Bedienbarkeit des Benutzergeräts auch für den Fall zu gewährleisten, wenn der Benutzer sich außerhalb der Reichweite der jeweiligen Interaktionskomponente befindet, betreibt das Benutzergerät eine Kommunikationsschnittstelle für einen Datenaustausch mit einem portablen Handgerät des Benutzers, welches jeweils eine zur jeweiligen Interaktionskomponente zugeordnete Ersatzkomponente aufweist. Die besagte Ersatzkomponente im Handgeräte weist insbesondere jeweils die korrespondiere Funktion der zugehörigen Interaktionskomponente auf, d.h. ein Touchscreen als Interaktionskomponente kann durch einen Touchscreen als Ersatzkomponente in dem Handgerät repräsentiert oder ersetzt werden.
  • Für einen Fernbedienmodus des Benutzergeräts tauschen eine Übertragungssoftware des Handgeräts einerseits und die Prozessorschaltung des Benutzergeräts andererseits Rohdaten der Benutzereingabe über die Kommunikationsschnittstelle aus und die Übertragungssoftware des Handgeräts leitet diese Rohdaten zwischen der Kommunikationsschnittstelle und der jeweiligen Ersatzkomponente durch. Zwischen dem Benutzergerät einerseits und dem Handgerät des Benutzers andererseits wird also lediglich ein Rohdatenstrom ausgetauscht, der nicht dahingehend im Handgerät interpretiert werden muss, was den Bezug zu der zumindest einen Softwareapplikation angeht. Ein portables Handgerät kann beispielsweise ein Smartphone des Benutzers sein, eine Ersatzkomponente z.B. ein Touchscreen. Die Übertragungssoftware koppelt also die jeweilige Ersatzkomponente mit der Kommunikationsschnittstelle, indem sie die Rohdaten durchleitet. Die Übertragungssoftware erkennt oder interpretierte z.B. nicht, wenn ein Menüeintrag auf einer Bedienoberfläche ausgewählt wird. Dies wird erst im Benutzergerät erkannt oder ausgewertet. Dazu bekommt die Prozessorschaltung des Benutzergeräts die Rohdaten zum Steuern des Eingabefokus durchgeleitet.
  • Diese Lösung weist den Vorteil auf, dass eine Softwareversion eines Betriebssystems der Prozessorschaltung und/oder der jeweiligen Softwareapplikation im Benutzergerät einerseits und die Softwareversion der Übertragungssoftware andererseits nur einen geringen Bedarf an gegenseitige Anpassung zueinander haben, da keine Steuerbefehle über eine API ausgetauscht werden müssen, sondern lediglich der Rohdatenstrom. Insbesondere wenn die Rohdaten unmittelbar von der jeweiligen Ersatzkomponente erzeugt oder verarbeitet und dann von der Übertragungssoftware bevorzugt unverändert durchgeleitet werden, wäre erst bei einem Austausch der Hardware der jeweiligen Ersatzkomponente eine Anpassung notwendig. Somit kann ein Softwareupdate im Benutzergerät durchgeführt werden, ohne dass hierdurch die Funktionsfähigkeit oder die Kommunikationsfähigkeit einer Kommunikationsschnittstelle mit der Übertragungssoftware verloren gehen würde, da letztere die Rohdaten ohnehin nicht interpretieren, sondern nur durchleiten muss.
  • Das Verfahren umfasst auch Weiterbildungen, durch die sich zusätzliche Vorteile ergeben.
  • Eine Weiterbildung sieht vor, dass als eine korrespondierende Ersatzkomponente ein Berührungsbildschirm (Touchscreen) des Handgeräts bereitgestellt wird. Die Übertragungssoftware sendet als erfasste Rohdaten Berührungskoordinaten der manuellen Benutzereingabe von dem Berührungsbildschirm des Handgeräts über die Kommunikationsschnittstelle an das Benutzergerät. Somit kann ein Benutzer an dem Handgerät eine manuelle Benutzereingabe, beispielsweise ein Antippen und/oder ein Streichen, über die Oberfläche der Ersatzkomponente eingeben und dies wird durch die Ersatzkomponente erfasst und durch deren Rohdaten signalisiert, die dann durch die Übertragungssoftware über die Kommunikationsschnittstelle an das Benutzergerät weitergeleitet werden. Somit ist die Ersatzkomponente über die Kommunikationsschnittstelle mit dem Benutzergerät verbunden, ohne dass eine Interpretation der Rohdaten in dem Handgerät notwendig wäre.
  • Die besagte Kommunikationsschnittstelle ist bevorzugt eine Funkschnittstelle, wie sie beispielsweise mittels WIFI oder Bluetooth realisiert sein kann. Alternativ dazu kann die Kommunikationsschnittstelle auch eine kabelgebundene Übertragung der Rohdaten vorsehen, beispielsweise mittels des Standards USB (Universal Serial Bus). In dem Benutzergerät kann durch die Prozessorschaltung beispielsweise ein Eingabefokus, z.B. ein Maus-Cursor und/oder ein Menü-Auswahlfokus, in Abhängigkeit von den erfassen Rohdaten einer manuellen Benutzereingabe gesteuert oder verschoben werden. Die Interpretation, inwieweit sich dieser Eingabefokus in Abhängigkeit von den erfassten Rohdaten verschiebt, wird hierbei in dem Benutzergerät durch die Prozessorschaltung durchgeführt, denn in dem Handgerät muss die Übertragungssoftware die Rohdaten lediglich weiterleiten, ohne sie in Bezug auf die GUI zu interpretieren.
  • Auf dem Berührungsbildschirm kann die Übertragungssoftware zum Erfassen der Berührungskoordinaten ein dediziertes Eingabefeld (z.B. als eine schwarz oder farbig dargestellte Eingabefläche, z.B. als Touchpad-App) anzeigen, auf welches die Erfassung der Berührungskoordinaten beschränkt ist. Das Eingabefeld kann die gesamte Anzeigefläche des Berührungsbildschirm oder nur einen Teil davon belegen. Alternativ dazu kann auf dem Berührungsbildschirm ein Abbild der GUI angezeigt werden, d.h. graphische Rohdaten der GUI können über die Kommunikationsschnittstelle in das Handgerät übertragen werden, wo sie auf dem Berührungsbildschirm ausgegeben werden. Es erscheint dann z.B. ein Videostrom der GUI. Zu beachten ist, das ein solches Abbild einer GUI keine aktiven Schaltflächen oder Menüeinträge in dem Handgerät erzeugt, da die Interpretation der Berührungskoordinaten („Welche Schaltfläche/welcher Menüeintrag der GUI wurde geklickt?“) nicht im Handgerät stattfindet, sondern im Benutzergerät.
  • Eine Weiterbildung sieht in Bezug auf die Berührungskoordinaten vor, dass in einer Deltakonfiguration als Rohdaten relative Koordinaten übertragen werden und in dem Benutzergerät durch die Prozessorschaltung die relativen Koordinaten einer Softwareapplikation übergeben werden, welche dann die relativen Koordinaten selbständig auf absolute Koordinaten innerhalb ihrer applikationsspezifischen graphischen Bedienoberfläche umrechnet. Mit anderen Worten wird in der Deltakonfiguration durch die Rohdaten über die Kommunikationsschnittstelle die relative Veränderung bezüglich der absoluten Berührungskoordinaten der zuletzt erfassten Berührposition signalisiert. Die Übertragungssoftware muss hierzu lediglich die Differenz der aktuellen absoluten Berührungskoordinaten zu den vorangegangenen absoluten Berührungskoordinaten berechnen und diese Differenz als relative Koordinaten signalisieren oder übertragen. Es kann auch vorgesehen sein, dass die Berührungskoordinaten als relative Koordinaten direkt durch die Ersatzkomponente selbst erfasst und/oder signalisiert werden. In dem Benutzergerät wird dann der Softwareapplikation überlassen, die relativen Koordinaten in absolute Koordinaten in Bezug auf die Position auf der applikationsspezifischen Bedienoberfläche, also im Fenster und/oder Menü der Softwareapplikation, umzurechnen. Hierdurch ergibt sich der Vorteil, dass die Softwareapplikation ein Koordinatensystem betreiben kann, das unabhängig von einem Koordinatensystem der globalen oder insgesamt dargestellten GUI ist. Insbesondere kann die Softwareapplikation auch auf einem anderen Prozessor und/oder in einem anderen Betriebssystem betrieben werden als dasjenige Betriebssystem, welches über die Kommunikationsschnittstelle die Rohdaten aus dem Handgerät empfängt. Hierdurch ist es insbesondere möglich, ein übergeordnetes Betriebssystem für den Betrieb der Kommunikationsschnittstelle einerseits und insbesondere zumindest eine virtuelle Maschine für den Betrieb zumindest einer Softwareapplikation in der Prozessorschaltung des Benutzergeräts zu betreiben. Ein weiterer Vorteil von relativen Koordinaten ist, dass die Übertragungssoftware auf einem Touchscreen des Handgeräts ein virtuelles Touchpad betreiben kann, dass nicht die gesamte Anzeigefläche des Touchscreens umfasst, sondern nur eine Teilfläche.
  • Wenn die relativen Koordinaten durch die Softwareapplikation selbst in absolute Koordinaten umgewandelt werden, nämlich in Bezug auf ihre applikationsspezifische grafische Bedienoberfläche, dann kann eigentlich nur durch diese Softwareapplikation selbst erkannt werden, wenn der Benutzer diese Softwareapplikation wieder verlassen möchte, indem er den Eingabefokus beispielsweise an den Rand der Bedienoberfläche bewegt, um den Eingabefokus über den Rand der Bedienoberfläche hinaus und aus dieser heraus zu bewegen (z.B. den Maus-Cursor aus dem Fenster der Softwareapplikation ziehen). Dies muss dann wiederum dem übergeordneten Betriebssystem, welches die GUI insgesamt kombiniert oder rendert, signalisiert werden, damit der Eingabefokus von dem übergeordneten Betriebssystem einer anderen Softwareapplikation übergeben werden kann.
  • Eine Weiterbildung sieht vor, dass durch die Prozessorschaltung jeweils neu empfangene Rohdaten auf eine vorbestimmte Ausbruchsgeste (break-out gesture) hin geprüft werden, mittels welcher der Benutzer signalisiert, dass er den mittels der Berührungskoordinaten gesteuerten Eingabefokus aus einer applikationsspezifischen Bedienoberfläche herausbewegen will. Mit „neu empfangene Rohdaten“ ist gemeint, dass die Übertragung jeweils aktueller Rohdaten zyklisch und/oder ereignisgesteuert (z.B. bei Erkennen einer Berührung) erfolgen kann. Diese Rohdaten signalisieren dabei aktuelle Berührungskoordinaten aus dem Berührungsbildschirm des Handgeräts und/oder aktuelle Lagedaten einer Raumlage des Handgeräts aus einem Lagesensor und/oder Bewegungssensor des Handgeräts. Eine Ausbruchsgeste kann z.B. das Zeichnen eines Kreuzes auf dem Berührungsbildschirm oder eine vorbestimmte Schüttelbewegung und/oder Schwenkbewegung des ganzen Handgeräts sein. Zusätzlich oder alternativ dazu wird durch die Übertragungssoftware, also unabhängig von der Benutzeroberfläche der Softwareapplikation, eine Schaltfläche zum Verlassen der applikationsspezifischen Bedienoberfläche auf dem Berührungsbildschirm des Handgeräts bereitgestellt.
  • Bei Erkennen der Ausbruchsgeste und/oder einer Betätigung der Schaltfläche wird dann der Eingabefokus der Softwareapplikation entzogen. Somit kann von innerhalb der Bedienoberfläche der Softwareapplikation aus durch den Benutzer selbst signalisiert werden, dass dieser den Eingabefokus der Bedienoberfläche entziehen möchte oder von dieser wegbewegen möchte, um beispielsweise eine andere Softwareapplikation mittels seiner zukünftigen Benutzereingabe zu bedienen. Das Erkennen der Abbruchgeste und das Entziehen des Eingabefokus können durch das übergeordnete Betriebssystem, welches beispielsweise auch die Kommunikationsschnittstelle betreibt, vorgenommen werden. Entsprechende Mechanismen zum Entziehen eines Eingabefokus sind aus Betriebssystemen, wie sie beispielsweise durch Android®, Linux® und/oder Microsoft-Windows® bekannt.
  • Es sei hier angemerkt, dass durch das Betriebssystem auf der graphischen Nutzerschnittstelle mehrere Bedienoberflächen mehrerer Softwareapplikationen zusammengefasst (kombiniert) darstellt werden können und in Abhängigkeit von dem Eingabefokus (d.h. seiner Positionierung durch die Benutzereingabe) jeweils eine davon die Koordinaten erhält. Die GUI zeigt also ein Bild oder einen Anzeigeinhalt an, in welchem gleichzeitig mehrere Bedienoberflächen zu sehen oder dargestellt sind, beispielsweise als teilweise überlappende oder überlagernde Fenster oder „Windows“. Jedes Mal, wenn durch die beschriebene Ausbruchsgeste und/oder durch die Betätigung der Schaltfläche der Eingabefokus einer Softwareapplikation entzogen wird, kann durch ein übergeordnete Betriebssystems ermittelt werden, welche andere Softwareapplikation den Eingabefokus erhält, indem beispielsweise diejenige Stelle, an welcher der Eingabefokus die vorangegangene Softwareapplikation verlässt, ermittelt wird und die sich dort befindliche andere Softwareapplikation, beispielsweise das „dahinter liegende“ Fenster, ermittelt wird. Diese Informationen liegen in dem übergeordneten Betriebssystem vor, da dieses die Bedienoberflächen der Softwareapplikationen zu der insgesamt dargestellten GUI kombiniert. Ein Softwaremodul, das diese Kombination mehrerer Bedienoberflächen oder Fenster durchführt, wird auch als Compositor oder Kompositionskomponente bezeichnet.
  • Bisher wurde die Verwendung von relativen Koordinaten beschrieben. Eine Weiterbildung sieht vor, dass in einer Absolutkonfiguration als Rohdaten absolute Koordinaten von der Übertragungssoftware über die Kommunikationsschnittstelle übertragen werden und in dem Benutzergerät anhand der durch die absoluten Koordinaten signalisierten Position auf der GUI insgesamt ermittelt wird, welche Softwareapplikation (also welche Bedienoberfläche) durch die manuelle Benutzereingabe zu steuern ist und/oder wohin innerhalb der graphischen Benutzeroberfläche der Softwareapplikation der Eingabefokus zeigt. Mit anderen Worten kann global für die gesamte GUI der Eingabefokus durch ein Programmmodul, das beispielsweise Bestandteil des übergeordneten Betriebssystems sein kann, gesteuert werden. Die absoluten Koordinaten legen fest, wo auf der GUI der Eingabefokus aktuell angeordnet ist. Für den Fall, dass die zugehörige Interaktionskomponente (beispielsweise ein Display oder mehrere kombinierte Displays des Benutzergeräts) eine andere Größe (beispielsweise gemessen in Pixeln in x-Richtung und y-Richtung) aufweist als die zugehörige Ersatzkomponente (z.B. ein Touchscreen eines Smartphones), kann mittels eines Skalierungsfaktors und/oder durch Angabe von absoluten Koordinaten in Prozent (z.B. 60% X-Richtung und 20% Y-Richtung) eine Kompensation der unterschiedlichen Größen erreicht werden. Durch die Verwendung absoluter Koordinaten kann in vorteilhafter Weise der Eingabefokus für alle Softwareapplikationen durch das übergeordnete Betriebssystem verwaltet oder gesteuert werden.
  • Eine Weiterbildung sieht vor, dass ein externes Steuergerät mit dem Benutzergerät gekoppelt ist, wie es beispielsweise in einem Kraftfahrzeug vorgesehen sein kann, wenn eine Steuergerät über beispielsweise einen CAN-Bus (CAN - Controller Area Network) oder ein Ethernet-Netzwerk mit einem Benutzergerät in Form einer Bedienkonsole eines Kraftfahrzeugs verbunden ist. Ein solches Steuergerät kann z.B. von einem Kamerasystem des Kraftfahrzeugs sein. Das Steuergerät stellt eine eigene Bedienoberfläche (HMI) bereitstellt (im Falle eines Kamerasystems z.B. einen Top-View oder Bowl-View) und diese Bedienoberfläche wird als Bestandteil der GUI dargestellt. Durch die Prozessorschaltung des Benutzergeräts werden als Rohdaten relative Koordinaten aus dem Handgerät empfangen werden (z.B. von dessen Touchscreen) und in absolute Koordinaten innerhalb der Bedienoberfläche des externen Steuergeräts umgerechnet. Diese absoluten Koordinaten werden dann dem externen Steuergerät zum Steuern des Eingabefokus innerhalb von dessen Bedienoberfläche zur Verfügung gestellt. Damit bleibt für das Steuergerät transparent oder nicht-erkennbar, dass es über ein Handgerät bedient wird, wodurch eine Anpassung des Steuergerät in vorteilhafter Weise entfallen kann.
  • Eine Weiterbildung sieht vor, dass als eine korrespondierende Ersatzkomponente im Handgerät die bereits erwähnte Sensorschaltung zum Detektieren einer Raumlage (z.B. die Ausrichtung oben/unten) und/oder einer Raumlageänderung (z.B. eine Rotation und/oder eine Bewegungsgeschwindigkeit) und/oder einer Beschleunigung des Handgeräts bereitgestellt wird und vom Benutzer mit dem Handgerät ausgeführte Bewegungsgesten von der Sensorschaltung des Handgeräts als Messdaten erfasst werden. Die Sensorschaltung kann einen im Handgerät eingebauten Beschleunigungssensor und/oder eine IMU (Inertial Measurement Unit) aufweisen. Durch die Messdaten kann z.B. eine Aufwärtsbewegung zur Auswahl des oberen Inhalts des Displays, Abwärtsbewegung zur Auswahl des unteren Inhalts, Bewegung nach links zur Auswahl des Inhalts auf der linken Seite und/oder eine Bewegung nach rechts zur Auswahl des Inhalts auf der rechten Seite signalisiert werden, da diese Bewegungsgesten das Handgerät entsprechende Messwerte seiner Sensorschaltung, insbesondere seines Beschleunigungssensors/IMU erzeugt.
  • In einer Variante werden die Messdaten als die Rohdaten übertragen und durch die Prozessorschaltung des Benutzergeräts werden anhand der Rohdaten mittels eines Gestenerkenners die Bewegungsgesten erkannt. Ein Gestenerkenner kann auf einem Hidden-Markov-Modell und/oder auf einem künstlichen neuronalen Netzwerk beruhen, wie es an sich bekannt ist. In einer alternativen Variante werden durch einen Gestenerkenner des Handgeräts anhand der Messdaten die Bewegungsgesten im Handgerät erkannt und als Rohdaten die erkannten Bewegungsgesten signalisiert. In der Prozessorschaltung des Benutzergeräts wird dann in Abhängigkeit von der jeweils erkannten Bewegungsgeste eine der erkannten Bewegungsgeste jeweils zugeordnete Bedienoberfläche zum Übertragen des Eingabefokus ausgewählt und/oder der Eingabefokus gesteuert. Somit kann der Benutzer das Handgerät drehen und/oder schwenken und damit ebenfalls den Eingabefokus steuern.
  • Eine Weiterbildung sieht vor, dass zumindest zwei Displays zum Darstellen der GUI an das Benutzergerät angeschlossen sind und die von der Übertragungssoftware aus dem Handgerät gesendeten Rohdaten eine vorbestimmte (dedizierte) Information enthalten, durch die signalisiert ist, dass nachfolgende Benutzereingabeereignisse für die erste Anzeige oder die zweite Anzeige bestimmt sind oder dass ein Anzeigewechsel durchgeführt werden soll. Die Benutzereingabeereignisse vom Handgerät enthalten also eine dedizierte Informationen, durch die Prozessorschaltung bestimmen kann, dass der Benutzer z.B. einen Zeiger oder allgemein den Eingabefokus auf das andere Display übertragen möchte. Die entsprechende Information kann z.B. eine Bewegungsgeste wie z.B. ein Kippen in Richtung des anderen Displays und/oder ein Knopfdrucksignal umfassen. Die Prozessorschaltung entfernt dann den Eingabefokus für über das Handgeräte empfangene Benutzereingaben von einem der Displays und ordnet ihn dem anderen der Displays in Abhängigkeit von der Information zu, sodass nachfolgende Benutzereingabeereignisse an eine Softwareapplikation geleitet werden, deren Bedienoberfläche auf dem anderen Display ist.
  • Die Erfindung sieht gemäß einem Aspekt vor, dass die Prozessorschaltung zumindest zwei unterschiedliche Eingabefokusse auf der GUI bereitstellt, von denen einer für Benutzereingaben aus der zumindest einen festverbauten Interaktionskomponente (z.B. einem Touchscreen Display einer Bedienkonsole eines Kraftfahrzeugs) und einer für Benutzereingaben aus dem Handgerät (z.B. einem der Bedienkonsole gekoppelten Smartphone) bereitgestellt und anhand von deren jeweiligen Rohdaten gesteuert wird. D.h. z.B. könnte der aktuellen Eingabefokus für Benutzereingaben über das eingebaute touch-basierte Display an eine Softwareapplikation für eine Systemanwendung (z.B. in einem Kraftfahrzeug eine fahrbetriebsrelevante und/oder für eine Fahrzeugkomponente (Klimaanlage, Fahrzeugsitze) relevante Softwareapplikation) und den aktuellen Eingabefokus für Benutzereingaben vom Handgerät an einer Softwareapplikation für eine Infotainmentanwendung (Information-/Unterhaltungsfunktion, z.B. das Abspielen einer Mediendatei und/oder eine Navigationsplanung) geben oder umgekehrt das Handgerät mit der Systemanwendung und das Benutzergerät mit der Infotainmentanwendung koppeln.
  • Die Erfindung sieht gemäß einem Aspekt vor, dass durch die Prozessorschaltung mittels eines Hypervisors zumindest zwei virtuelle Maschinen mit betrieben werden, wobei eine der virtuellen Maschinen als Systempartition die Kommunikationsschnittstelle betreibt und mit der Übertragungssoftware des Handgeräts die Rohdaten austauscht und zumindest eine andere der virtuellen Maschinen (Anwendungspartition) zumindest eine Softwareapplikation betreibt, welche aber dabei die Rohdaten nur indirekt über die Systempartition mit der Kommunikationsschnittstelle austauscht. Somit wird die Kommunikationsschnittstelle in einem übergeordneten Betriebssystem einer Systempartition ausgeführt, wobei „übergeordnet“ meint, dass dort exklusiv die Kommunikation mit der Übertragungssoftware durchgeführt wird. Dies ergibt in vorteilhafter Weise in dieser Systempartition einen robusten und/oder sicheren Bereich für Software in dem Benutzergerät, der von keiner Softwareapplikation in einer anderen virtuellen Maschine beeinträchtigt werden kann, das die Systempartition die Hoheit über die Rohdaten hat. Eine jeweilige Softwareapplikation kann dann in jeweils einer anderen virtuellen Maschine oder mehrere Softwareapplikationen können in einer oder mehreren virtuellen Maschinen, die sich jeweils von der Systempartition unterscheidet, ausgeführt werden. In der Systempartition kann also das beschriebene übergeordnete Betriebssystem betrieben werden, das die Rohdaten mit der Übertragungssoftware auf dem Handgerät austauscht und die Softwareapplikationen können dann von dieser Systempartition die Rohdaten einer Benutzereingabe empfangen. Zumindest eine Softwareapplikationen kann aber auch in der Systempartition betrieben werden (z.B. als sogenannten Systemapplikation, z.B. eine fahrbetriebsrelevante Softwareapplikation). In der Systempartition kann auch die beschriebene GUI kombiniert oder gerendert werden, das heißt in der Systempartition kann der beschriebene Compositor oder die Kompositionskomponente betrieben werden, welche die grafischen Daten (Fensterinhalt oder Menüinhalt) der jeweiligen Bedienoberfläche zumindest einer Softwareapplikation empfängt und zu der GUI kombiniert. Diese finalen grafischen Rohdaten der GUI können dann von der Systempartition aus über die Kommunikationsschnittstelle an die Übertragungssoftware ausgegeben werden. Durch das Trennen des übergeordneten Betriebssystems in der Systempartition einerseits und der jeweiligen Softwareapplikation in einer virtuellen Maschine andererseits kann selbst bei einer Fehlfunktion einer Softwareapplikation ein durchgehender Betrieb in der Systempartition sichergestellt werden (z.B. der Betrieb einer Systemapplikation). Somit kann in der Systempartition eine Auswahl mehrerer Gerätefunktionen und/oder zumindest eine Gerätefunktion des Benutzergeräts zuverlässig betrieben werden, unbeeinflusst von einem Funktionsfehler in der zumindest einen Softwareapplikation der zumindest eine Anwendungspartition.
  • Eine Weiterbildung sieht vor, dass die Prozessorschaltung des Benutzergeräts (bevorzugt durch ein übergeordnetes Betriebssystem in der Systempartition) den Eingabefokus für Benutzereingaben des Handgeräts von der zumindest einen Softwareapplikation der Anwendungspartition wegnimmt und an eine Softwareapplikation der Systempartition weitergibt, falls eine vollständig oder teilweise überlagernde Bedienoberfläche der Softwareapplikation der Systempartition vom Benutzer oder vom Betriebssystem der Systempartition (z.B. ein Pop-Up-Fenster) ausgelöst wird, die den Eingabefokus benötigt. Somit wird der Benutzer gezwungen, sich mit der Bedienoberfläche der Softwareapplikation der Systempartition anstelle mit der Anwendungspartition zu befassen und/oder z.B. eine Frage zu beantworten.
  • Dieses „Wegnehmen“ von der Applikationspartition und Übergeben an die Systempartition kann auch im Zusammenhang mit dem bereits beschriebenen Erkennen der Ausbruchsgeste und/oder der Betätigung der Schaltfläche erfolgen. Dadurch kann bei Laufzeitproblemen („hängende Software“) im Bereich der Anwendungspartition sichergestellt werden, dass der Benutzer zu einer Softwareapplikation der Systempartition (Systemapplikation) wechseln kann.
  • Eine Weiterbildung sieht vor, dass die Prozessorschaltung
    1. a) den Eingabefokus für Benutzereingaben aus dem Handgerät von der Bedienoberfläche der Softwareapplikation der Systempartition wieder entzieht und an die Anwendungspartition zurückgibt, falls in den Rohdaten ein Benutzereingabeereignis vom Handgerät eine vorbestimmte (dedizierte) Information (z.B. das Signal eines Knopfdrucks und/oder eine Bewegungsgeste) enthalten, durch die signalisiert ist, dass nachfolgende Benutzereingabeereignisse für die Anwendungspartition bestimmt sind, und/oder
    2. b) den Eingabefokus für Benutzereingaben aus dem Handgerät von der Systempartition wieder entzieht und ihn an die Anwendungspartition zurückgibt, falls anhand der Rohdaten detektiert wird, dass
      • ○ die vollständig oder teilweise überlagernde Bedienoberfläche einer Softwareapplikation der Systempartition (z. B. das besagte Pop-up-Fenster), die den Eingabefokus benötigt hat, durch den Benutzer oder durch das Betriebssystem entfernt wird (z.B. durch Schließen des Fenstern und/oder durch Beantworten der Frage), und/oder
      • ○ anhand der Rohdaten erkannt wird, dass der Benutzer einen Zeiger des Eingabefokus aus der Bedienoberfläche der überlagernden Bedienoberfläche der Softwareapplikation der Systempartition herausbewegt.
  • Somit wird dem Benutzer eine Möglichkeit bereitgestellt, zu der Bedienoberfläche der Softwareapplikation der Anwendungspartition zurückzukehren.
  • Ein weiterer Aspekt der Lösung ist ein System umfassend ein Benutzergerät und ein Handgerät mit einer Übertragungssoftware. Das System stellt die beschriebenen Elemente für das Ausführen des Verfahrens bereit, das heißt ein Benutzergerät mit der zumindest einen festverbauten Interaktionskomponente einerseits und ein Handgerät mit der beschriebenen Übertragungssoftware andererseits. Das System ist insgesamt dazu eingerichtet, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.
  • Das Benutzergerät dieses Systems stellt ebenfalls einen Aspekt der Erfindung dar und weist die zumindest eine festverbaute Interaktionskomponente für Benutzerinteraktionen mit dem Benutzer auf, wobei die zumindest eine Interaktionskomponente jeweils als Berührungsbildschirm oder Touchpad oder Tastenfeld ausgestaltet ist und wobei eine Prozessorschaltung des Benutzergeräts dazu eingerichtet ist, dass in einem Direktbedienmodus des Benutzergeräts die Benutzerinterkationen umfassen, dass durch eine Prozessorschaltung eine jeweilige graphische Bedienoberfläche zumindest einer Softwareapplikation zu einer graphischen Nutzerschnittstelle, GUI, kombiniert wird und erfasste Rohdaten einer manuellen Benutzereingabe aus der zumindest einen Interaktionskomponente empfangen werden und in Abhängigkeit von den Rohdaten ein Eingabefokus der GUI gesteuert wird.
  • Entsprechend dem beschriebenen Verfahren ist die Prozessorschaltung des Benutzergeräts dazu eingerichtet, in dem Benutzergerät eine Kommunikationsschnittstelle für einen Datenaustausch mit einem portablen Handgerät des Benutzers zu betreiben, welches insbesondere zumindest eine der jeweiligen Interaktionskomponente zugeordnete Ersatzkomponente aufweist, und in einem Fernbedienmodus des Benutzergeräts über die Kommunikationsschnittstelle die Rohdaten zum Steuern des Eingabefokus zu empfangen und hierbei die von dem Benutzergerät auszuführenden Schritte einer Ausführungsform des erfindungsgemäßen Verfahrens auszuführenWie bereits ausgeführt, kann es sich bei einer Interaktionskomponente beispielsweise um einen Bildschirm, einen Touchscreen, ein Touchpad handeln. Eine entsprechende Ersatzkomponente kann dann bei einem Bildschirm ebenfalls ein Bildschirm (insbesondere Touchscreen), bei einem Touchscreen oder Touchpad ein entsprechender Touchscreen oder Touchpad sein. Eine Softwareapplikation kann als Bedienoberfläche in der beschriebenen Weise ein sogenanntes Fenster und/oder ein Bedienmenü berechnen oder erzeugen, wie es an sich für Softwareapplikationen aus dem Stand der Technik bekannt ist. Die GUI repräsentiert die finalen kombinierten grafischen Benutzeroberflächen oder die grafische Ausgabe einer einzelnen Benutzeroberfläche einer Softwareapplikation (falls nur ein sichtbar ist) . Erfasste Rohdaten können insbesondere die beschriebenen Koordinaten und/oder Bilddaten umfassen. Der Benutzer kann also im Direktbedienmodus an einer fest verbauten Interaktionskomponente des Benutzergeräts eine Benutzerinteraktion durchführen und im Fernbedienmodus diese Benutzerinteraktion an einer jeweiligen Ersatzkomponente am portablen Handgerät ausführen.
  • Die Prozessorschaltung eines solchen Benutzergeräts kann für das Betriebssystem (hier auch als übergeordnetes Betriebssystem bezeichnet) zum Betreiben der Kommunikationsschnittstelle eine virtuelle Maschine als Systempartition betreiben und die zumindest eine Softwareapplikation auf einer oder mehreren weiteren virtuellen Maschinen betreiben, also jeweils einer von der Systempartition verschiedenen Anwendungspartition oder als Gästepartition. Zumindest eine Softwareapplikation kann von der Systempartition betrieben werden (Systemapplikation).
  • Eine Weiterbildung sieht vor, dass das Benutzergerät als eine Bedienkonsole eines Kraftfahrzeugs ausgestaltet ist. Denn insbesondere in einem Kraftfahrzeug kann sich der Anwendungsfalls ergeben, dass ein Fahrzeuginsasse, insbesondere ein Fahrer, einen Fahrzeugsitz in eine Liegeposition und/oder eine Komfortposition einstellt oder verfährt, wodurch sich aber ein Abstand zu der zumindest einen Interaktionskomponente der Bedienkonsole ergibt, der größer ist als eine Armlängen und/oder eine Ausrichtung des Körpers des Fahrzeuginsassen verhindert ein Erreichen der jeweiligen Interaktionskomponente beziehungsweise ein Betrachten derselben. Hier kann der Benutzer dann auf sein portables Handgerät zum Bedienen des Bediengeräts zurückgreifen. Die Bedienkonsole kann beispielsweise ein Infotainmentsystem und/oder ein Kombiinstrument und/oder ein Armaturenbrett und/oder Cockpitsystem des Kraftfahrzeugs umfassen.
  • Ein weiterer Aspekt der Lösung ist ein Kraftfahrzeug mit einer Ausführungsform des besagten Benutzergeräts. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet. Das Kraftfahrzeug kann somit direkt über die zumindest einen fest verbauten Interaktionskomponente des Benutzergeräts bedient werden und der Benutzer kann zusätzlich mittels eines portablen Handgeräts Benutzerinteraktionen für das Benutzergerät ausführen.
  • Ein weiterer Aspekt der Lösung ist eine Übertragungssoftware für ein portables Handgerät eines Benutzers, d.h. die Übertragungssoftware umfasst maschinenlesbare Instruktionen, die dazu eingerichtet sind, bei Ausführen durch eine Prozessorschalung des Handgeräts die das Handgerät betreffenden Schritte gemäß einer Ausführungsform des beschriebenen Verfahrens auszuführen. Durch die Übertragungssoftware wird ein portables Handgerät ertüchtigt, eine Komponente des beschriebenen erfindungsgemäßen Systems darzustellen oder zu ergeben. Das Handgerät kann insbesondere als Smartphone oder Smartwatch oder Tablet-PC ausgestaltet sein, um nur Beispiele für geeignete Handgeräte zu nennen. Eine andere Bezeichnung für dies Art von Handgerät ist auch CE Device (CE - Consumer Electronics). Die Übertragungssoftware kann also sogenannte App bereitgestellt werden, z.B. in einem sogenannten App-Store.
  • Die beschriebene jeweilige Prozessorschaltung (im Benutzergerät und/oder im Handgrät) kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessorschaltung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die jeweils vorgesehenen Schritte einer Ausführungsform des Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung gespeichert sein.
  • Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Systems und der Bediengeräts und der Übertragungssoftware, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen hier nicht noch einmal beschrieben.
  • Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
  • Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
    • 1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs mit einer Ausführungsform des erfindungsgemäßen Systems;
    • 2 eine Skizze zur Veranschaulichung einer grafischen Benutzeroberfläche, GUI, beim Verschieben eines Eingabefokus für unterschiedliche Bediensituationen.
  • Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
  • In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
  • 1 zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen oder Lastkraftwagen, handeln kann. Dem Kraftfahrzeug 10 kann als ein nicht-tragbares Benutzergerät 11 eine Bedienkonsole bereitgestellt sein, die insbesondere ein Cockpitsystem und/oder ein Infotainmentsystem und/oder ein Kombiinstrument umfassen kann. In dem Benutzergerät 11 kann eine Prozessorschaltung 12 bereitgestellt sein, die zumindest einen Mikroprozessor mit jeweils zumindest einem Prozessorkern aufweisen kann. Für einen Programmcode oder Programminstruktionen kann die Prozessorschaltung 12 einen Datenspeicher aufweisen, beispielsweise einen Flash-Speicher und/oder ein Solid State Device SSD. Die Prozessorschaltung 12 kann einen Rechenknoten des Benutzergeräts 11 darstellen. In der Prozessorschaltung 12 können mittels eines Virtual Machine Managers VMM oder Hypervisors 13 mehrere Betriebssystempartitionen oder Softwarepartitionen 14 betrieben werden, wobei eine der Softwarepartitionen 14 eine Systempartition 15 und die zumindest eine weitere Softwarepartition 14 eine jeweilige Anwendungspartition 16 darstellen kann. In der Systempartition 15 kann ein Betriebssystem 15' betrieben werden, das ein übergeordnetes Betriebssystem 15' darstellen kann, da durch dieses Betriebssystem 15' zumindest eine Interaktionskomponente 17, beispielsweise zumindest ein Bildschirm betrieben werden kann, wozu die Prozessorschaltung 12 mit der Interaktionskomponente 17 mittels einer Grafikschnittstelle 18, beispielsweise einer Grafikkarte mit Graphikspeicher, gekoppelt sein kann. Eine softwarebasierte Kompositionskomponente 19 kann grafische Rohdaten 20 erzeugen, mit denen die Grafikschnittstelle 18 angesteuert werden kann, um aus den grafischen Rohdaten 20 elektrische Signale 21 zum Steuern der Interaktionskomponente 17 zu erzeugen, die daraufhin in Abhängigkeit von den grafischen Rohdaten 20 einen Anzeigeinhalt 22 einem Benutzer 23 anzeigt, der beispielsweise ein Fahrzeuginsasse, insbesondere der Fahrer, sein kann. Der Anzeigeinhalt 22 kann eine grafische Benutzerschnittstelle GUI sein, der die Bedienoberflächen mehrerer Softwareapplikationen in Kombination zeigen kann. Die Interaktionskomponente 17 kann ein Touchscreen sein, über welchen auch eine manuelle Benutzereingabe des Benutzers 23 empfangen werden kann, wenn sich der Touchscreen in Reichweite des Benutzer 23 befindet. Diese stellt einen Direktbedienmodus für das Benutzergerät dar.
  • Eine Benutzereingabe 24 des Benutzers 23 kann aber in einem Fernbedienmoduls auch durch ein tragbares Handgerät 25, beispielsweise einem Smartphone, auf einem Touchscreen 26 des Handgeräts 25 empfangen werden. Der Fernbedienmodus kann dauerhaft aktiv sein oder mit einem Koppelvorgang (sogenanntes Pairing) des Handgeräts 25 aktiviert werden oder benutzergesteuert aktiviert werden. Der Touchscreen 26 und/oder eine Hardwarekomponente des Handgeräts 25 allgemein, die die Benutzereingabe 24 empfängt, kann als Ersatzkomponente 27 für eine korrespondierende Interaktionskomponente des Benutzergeräts 11 betrieben werden. Hierzu kann in dem Handgerät 25 eine Übertragungssoftware 28 betrieben werden, welche die von der Ersatzkomponente 27 in Abhängigkeit von der Benutzereingabe 24 erzeugten Rohdaten, das heißt diejenigen digitalen Signale, die von der Ersatzkomponente 27 bei Ausführen der Benutzereingabe 24 erzeugt werden, als Rohdaten 29 an eine Kommunikationsschnittstelle 30 des Benutzergeräts 11 übertragen, ohne das in der Übertragungssoftware 28 bekannt sein müsste, welche Funktion durch die Benutzereingabe 24 bedient oder ausgelöst wird.
  • Insgesamt ergeben das Benutzergerät 11 und das Handgerät 25 ein System S, wie es bereits beschrieben wurde.
  • Das Benutzergerät 11 kann als Kommunikationsschnittstelle 30 beispielsweise ein Konnektivitätsmodem oder einen Empfänger für ein Funksignal betreiben. Die Kommunikationsschnittstelle 30 kann hierzu beispielsweise auf dem Standard WIFI oder Bluetooth basieren. Eine kabelgebundene Kommunikationsschnittstelle kann beispielsweise auf der Grundlage von USB realisiert werden. Die Rohdaten 29 können beispielsweise Koordinaten 31 beschreiben, die angeben, wo auf dem Touchscreen 26 des Handgeräts 25 der Benutzer 23 eine Berührung und/oder eine Wischgeste als Benutzereingabe 24 ausgeführt hat. Ist die Ersatzkomponente 27 eine Kamera, welche ein Gesicht und/oder eine Hand des Benutzers 23 erfasst, so kann als Rohdaten 29 ein Datenstrom aus Bilddaten 32 der Kamerabilder an die Kommunikationsschnittstelle 30 übertragen werden.
  • Die jeweilige Softwarepartition 14, also die Systempartition 15 und die zumindest eine Anwendungspartition 16, repräsentiert jeweils auch ein jeweiliges Betriebssystem, nämlich ein übergeordnetes Betriebssystem 15', und ein Anwendungsbetriebssystem 16', das in der jeweiligen Softwarepartition 14 betrieben wird. In der Systempartition 15 kann entsprechend ein übergeordnetes Betriebssystem 15' betrieben werden, das unabhängig von dem jeweiligen Anwendungsbetriebssystem 16' der jeweiligen Anwendungspartition 16, insbesondere auch bei einer Funktionsstörung einer Anwendungspartition 16 oder einer darin betriebenen Softwareapplikation 34, weiterbetrieben werden kann. Entsprechend kann eine jeweilige Systemapplikation 37 eine Funktionalität oder Gerätefunktion des Benutzergeräts 11 bereitstellen, die robuster oder zuverlässiger läuft als eine Softwareapplikation 34 in der Anwendungspartition.
  • Sowohl die Systemapplikation als auch die Anwendungssoftware 34 können eine Softwareapplikation im Sinne der vorliegenden Beschreibung darstellen. Eine Systemapplikation 37 ist eine Softwareapplikation in der Systempartition 15. Beispiele für eine Systemapplikation 37 können sein: eine Bedienoberfläche für die Klimaanlage, ein Tachomat, eine Bedienoberfläche für den Tempomaten eines Kraftfahrzeugs, eine Passworteingabe-Bedienoberfläche. Beispiele für eine Softwareapplikation in einer Anwendungspartition sind des Weiteren jeweils eine Medienwiedergabe (Radio, Blueray-Player), Telefonie, Internet-Browsing.
  • Innerhalb der Systempartition 15 kann eine Empfangskomponente 33 als Software betrieben werden, welche die Rohdaten 29 dem übergeordneten Betriebssystem 15' und/oder der zumindest einen Softwareapplikation 34 bereitstellt. Eine solche Softwareapplikation 34 kann als Anwendung in einer virtuellen Maschine einer Anwendungspartition 16 betrieben werden. In der jeweiligen Anwendungspartition 16 kann ein unabhängiges Betriebssystem (Anwendungsbetriebssystem 16') eine grafische Ausgabekomponente 19' für das Erzeugen des Anzeigeinhalte 22 Grafikdaten 36 einer jeweiligen Bedienoberfläche 35 der jeweiligen Softwareapplikation 34 an die Kompositionskomponente 19 aussenden. Aus Sicht der Kompositionskomponente 19 stellen die Grafikdaten 36 aus einer Softwareapplikation 16 insgesamt eine einzelne Bedienoberfläche dar, die aber innerhalb der jeweiligen Anwendungspartition 16 wiederum aus einer oder mehreren in der Anwendungspartition 16 betriebener Softwareapplikationen 34 zusammengesetzt sein kann.
  • Eine Besonderheit dieser Systemarchitektur oder kurz Architektur liegt darin, dass ein Hypervisor 13 vom Typ 1 betrieben werden kann und dennoch alle Benutzereingaben 24 und alle Anzeigeinhalte 22 von einer der mehreren Softwarepartitionen 14 empfangen beziehungsweise ausgegeben werden, nämlich der Systempartition 15. Dies erfordert es zusätzlich, dass eine Kommunikation zwischen der Systempartition 15 einerseits und jeder Anwendungspartition 16 andererseits erfolgt, was, wie in 1 symbolisch dargestellt, über den Hypervisor 13 erfolgen kann, der hierzu aber in besonderer Weise erweitert werden muss. Beispielsweise kann durch sogenannten geteilten Speicher (Shared Memory) ein Eingabeereignis von der Systempartition 15 auf die Anwendungspartition 16 übertragen oder signalisiert werden und anders herum Grafikdaten 36 aus der Anwendungspartition 16 über Shared Memory in die Systempartition 15 übertragen werden.
  • Die Empfangskomponente 33 kann die Rohdaten 29 an die Systemapplikation 37 und/oder an die Anwendungspartition 16 jeweils als Eingabedaten 40 leiten. In der jeweiligen Anwendungspartition 16 kann durch das Anwendungssystem 16' eine betriebssystemeigene Empfangskomponente 41 betrieben werden, welche die empfangenen Eingabedaten 40 der Empfangskomponente 33, insbesondere in Form von Rohdaten 29, auf die jeweilige Bedienoberfläche 35 der jeweiligen Softwareapplikation 34 abbilden oder zuordnen kann. Insgesamt kann hierdurch ein Eingabefokus zwischen Softwareapplikationen durch eine manuelle Benutzereingabe am Handgeräte verschoben werden und innerhalb einer jeweiligen Softwareapplikation mittels Eingabefokus zumindest eine Softwarefunktion vom Benutzer 23 ausgewählt und/oder gesteuert werden.
  • 2 veranschaulicht hierzu fünf verschiedene Bediensituationen B1, B2, B3, B4, B5, die zu einem Wechsel eines Eingabefokus 50 zwischen den grafischen Bedienoberflächen 35 innerhalb der grafischen Benutzerschnittstelle GUI führen. Die Ausrichtung oder Position des Eingabefokus 50 ist hier durch eine Schraffur repräsentiert.
  • Jede Bediensituation B1 bis B5 ist jeweils auf der linken Seite mit der GUI vor und auf der rechten Seite nach dem Fokuswechsel 51 des Eingabefokus 50 dargestellt. In dem Beispiel sei angenommen, dass die Bedienoberfläche 52 eine Bedienoberfläche 35 einer Systemapplikation 37 darstellt, während die Bedienoberfläche 53 eine Bedienoberfläche 35 einer Softwareapplikation aus einer Softwarepartition 16 darstellt. Durch die manuelle Benutzereingabe 24 können Koordinaten des Eingabefokus verschoben werden, wodurch sich der Fokuswechsel 51 zu einer anderen Softwareapplikation ergeben kann.
  • In der Bediensituation B1 kann vorgesehen sein, dass beispielsweise durch die Empfangskomponente 33 immer dann, während der Eingabefokus 50 bei der Bedienoberfläche 53 liegt, anhand der erfassten Rohdaten eine vorbestimmte Ausbruchgeste 60 erkannt wird, mittels welcher der Benutzer 23 durch seine Benutzereingabe 24 signalisiert, dass er die Bedienoberfläche 53 verlassen möchte. Eine Ausbruchgeste 60 kann im Zeichnen eines Kreuzes oder eines X bestehen. Sodann kann in dem Fokuswechsel 51 der Eingabefokus 50 von der Bedienoberfläche 53 abgezogen werden und der Eingabefokus auf die Bedienoberfläche 52 der Systemapplikation übertragen werden, also in die Systempartition.
  • Zusätzlich oder alternativ zur Erkennung einer Ausbruchgeste 60 kann in der Bedienoberfläche 53 durch die Übertragungssoftware 28 eine Schaltfläche 61 bereitgestellt werden, bei deren Betätigung der Eingabefokus auf die Bedienoberfläche 52 zurück übertragen wird.
  • In der Bediensituation B2 ist die Systemapplikation 37 im Besitz des Eingabefokus, weshalb ein Verlassen der Systemapplikation 37 und ein Fokuswechsel 51 auf die Softwareapplikation 34 unmittelbar oder ohne spezielle Eingabegeste möglich ist.
  • In der Bediensituation B3 liegt der Eingabefokus auf der Softwareapplikation 34 und muss aber aufgrund beispielsweise ein Hinweisfenster einer Systemnachricht 62, die als Pop-up-Fenster grafisch überlagert wird, auf die Bedienoberfläche 52 übertragen werden. Dies kann zum Beispiel dadurch erkannt werden, dass in der Systempartition 15 ein Signal für das Hinweisfenster der Bedienoberfläche 52 vorhanden ist, und dadurch in beispielsweise der Empfangskomponente 33 der Eingabefokus 50 durch den Fokuswechsel 51 auf die Systemnachricht 62 umgeschaltet wird.
  • In der Bediensituation B4 und der Bediensituation B5 ist der Fokuswechsel 51 wieder zurück von der Systemapplikation 37 auf eine Softwareapplikation 34 der Anwendungspartition 16 vorgesehen, was direkt erkannt werden kann, da der Eingabefokus zunächst bei der Systempartition 15 liegt.
  • Es ist somit möglich, dass verschiedene Softwareapplikationen oder Anwendungen ihre graphischen Inhalte auf demselben Display darstellen. Darüber hinaus lassen sich die eingesetzten Funktionen der Anwendungen auf einem Cockpit/Infotainment-System auch grob in zwei Klassen getrennt betreiben.
  • Eine Klasse bezieht sich auf die Early-Available/High-Robust/High-Secure-Funktionalität, d.h. eine Funktionalität
    • ○ die sehr früh (insbesondere in weniger als 30 Sekunden, insbesondere weniger als 10 Sekunden) nach dem Systemstart verfügbar sein muss und/oder
    • ○ die Robustheit/Stabilität aufweist, was z.B. bedeutet, dass die Rücksetzrate dieser Funktionalität sehr gering sein muss (insbesondere weniger als 1 mal pro Stunde) und dass sie auch dann weiterläuft, wenn andere Funktionen von anderen Softwareapplikationen im System zurückgesetzt werden oder defekt sind, und/oder
    • ○ die Sicherheit gegen Manipulationen bietet, was z. B. bedeutet, dass sie höhere Sicherheitsanforderungen erfüllt als andere Funktionen im System und dass sie auch dann weiterläuft, wenn ein Eindringen (unberechtigter Zugriff) oder eine kritische Sicherheitslücke in anderen Teilen des Systems festgestellt wird.
  • Beispiele für solche Funktionen können z.B. System-Pop-ups (Systemnachrichten und/oder Bestätigungsanfragen), Klimaanlagen-UI (Bedienoberfläche), Start-up-Animation, Anmeldebildschirme sein. Ein Beispiel für die Realisierung solcher Funktionalität ist die Verwendung von Linux OS als übergeordnetes Betriebssystem in einer Systempartition.
  • Dagegen steht zumindest eine Softwareapplikation für die IVI (In-Vehicle Infotainment)-Funktionalität zur Information und Unterhaltung des Fahrers und der Passagiere mit dem Fokus auf Benutzererfahrung und Funktionsumfang. Beispiele für solche Funktionen können z.B. Navigation, Radio, Medien, Telefonie, Connect-Anwendungen, Smartphone-Integration, Internet-Browsing umfassen. Ein Beispiel für die Realisierung solcher Funktionen ist das Android OS für Fahrzeuge als Anwendungspartition einer virtuellen Maschine.
  • Um die oben beschriebenen widersprüchlichen Anforderungen zwischen der Early-Available/High-Robust/High-Secure-Funktionalität und der IVI-Funktionalität bei der Implementierung auf einem CPU-Subsystem (Prozessorschaltung des Benutzergeräts) zu erfüllen, wird bevorzugt ein Virtualisierungsansatz verwendet
    • - mit einem Hypervisor als Basis und
    • - mindestens eine SW-Partition (SW - Software) für die Early-Available/High-Robust/High-Secure-Funktionalität, die hier fortan „SYS_Partition“ 15 (d.h. Systempartition 15) genannt wird und
    • - mindestens eine SW-Partition für die IVI-Funktionalität, die hier auch als „IVI_Partition“ 16 (d.h. Anwendungspartition 16) bezeichnet wird,
    • - mit einem Display-Manager auf der SYS_Partition, der die Inhalte und die HMI von Anwendungen aus der SYS_Partition und der IVI_Partition überlagert, um sie auf demselben Display darzustellen,
    • - mit einem Input Manager in der SYS_Partition, der die Benutzereingabe an den richtigen Empfänger weiterleitet, d. h. an eine Applikation/HMI innerhalb der SYS_Partition und/oder an die IVI_Partition, je nachdem, was im Display-Vordergrund und/oder auf registrierten Input-Regionen von Applikationen oder Partitionen steht.
  • Zusammengefasst besteht das hier zu lösende Problem darin, es dem Fahrer oder allgemein dem Benutzer 23 zu ermöglichen, das Cockpit/Infotainment-System manuell zu bedienen, wenn er sich z.B. während des autonomen Fahrens in einer Relax-Modus-Position befindet, z.B. über ein CE-Gerät oder Handgerät 25 (CE - consumer electronics), und die mit der Situation umgehen kann, dass Inhalte aus zwei verschiedenen Partitionen auf demselben Display 18, z.B. dem Center Infotainment Display (CID) des Kraftfahrzeugs 10, angezeigt werden.
  • Generell erfolgt bei berührungssensitiven Oberflächen/Displays die Eingabe für Softwareanwendungen / Softwareapplikationen über Koordinaten 31, die im Cockpit/Infotainment System empfangen werden und die zunächst im Cockpit/Infotainment System durch Anreicherung der Koordinaten mit Informationen aus dem HMI (z.B. aktueller Displayinhalt oder Anzeigeinhalt 22, Eingabemethoden wie Tastatur- oder Handschrifterkennung, UI-Bedienelemente) in eine passende Eingabe überführt werden.
  • Falls ein CE-Gerät oder Handgerät 25 als virtuelles Touchpad-Gerät zur Steuerung des Eingabefokus im Cockpit/Infotainment-Systems dient, fungiert es als eine Art Zeiger bzw. Maus und stellt dem Cockpit/Infotainment-System in einer Ausführungsform relative Koordinaten zur Verfügung. Um eine bessere Benutzererfahrung zu erhalten, sollen die relativen Koordinaten auch der IVI_Partition 16 zur Verfügung gestellt werden und nicht erst von SYS_Partition 15, die die Touch-Koordinaten vom CE-Gerät erhält, in absolute Koordinaten umgewandelt werden. Dadurch weiß die SYS_Partition 15 nicht, wo sich der Zeiger (Pfeil) im gesamten Anzeigebereich befindet, falls die IVI_Partition 16 den Eingabefokus 50 hat. D.h. auch, dass die SYS_Partition 15 an den reinen Bewegungen des Zeigers (Pfeils) nicht erkennen kann, ob der Eingabefokus von der IVI_Partition 16 zur SYS_Partition 15 wechseln soll oder nicht. Da die SYS_Partition 15 aber höhere Anforderungen an Robustheit und Sicherheit hat als die IVI_Partition 16, muss eine Lösung gefunden werden, die es der SYS_Partition 15 ermöglicht, den Eingabefokus 50 abhängig von der Benutzereingabe 24 auf dem Handgerät 25 auf die SYS_Partition 15 zu wechseln.
  • Folgende Merkmale bringen hier Vorteile:
    • (1) Eine Systemarchitektur des Systems S und eine Methode/Verfahren (zum Betrieb eines Systems S, insbesondere eines Fahrzeug-Cockpit/Infotainment-Systems) als Lösung,
      • • die es dem Benutzer 23 ermöglichen, das Cockpit/InfotainmentSystem über ein angeschlossenes Touch-basiertes Handgerät 25, d.h. ein CE-Gerät (z. B. ein Smartphone oder ein Tablet) zu steuern, und die Steuerung von HMI-Inhalten (HMI sind GUI-Inhalte) aus zwei verschiedenen SW-Partitionen 14, die parallel und überlagernd auf demselben Bildschirm oder Display 17 dargestellt werden, über das angeschlossene Touch-basierte Handgerät 25 unterstützt
      • • und die umfasst (siehe auch 1):
        • ◯ ein Kraftfahrzeug 10, das mindestens eine der folgenden Komponenten umfasst:
          • ■ einem Cockpit/IVI-System (Bedienkonsole), umfassend mindestens
            • • Eine Compute-Node oder Prozessorschaltung 12 mit mindestens einem CPU (Central Processing Unit) Subsystem.
            • • Mindestens ein Cockpit/IVI-Display 17, das an die Prozessorschaltung 12 des Cockpit/IVI-Systems angeschlossen ist.
            • • Eine Systempartition SYS_Partition 15, die auf dem CPU-Subsystem ausgeführt wird, zur Ausführung von Early-Available/High-Robust/High-Secure-Funktionalität als Softwareapplikationen 37 einschließlich der auf dem Cockpit/IVI-Display 17 angezeigten HMI-Inhalte oder Anzeigeinhalte 18.
            • • Eine Anwendungspartition IVI_Partition 16 (z. B. basierend auf Android), die auf dem CPU-Subsystem ausgeführt wird, um IVI-Funktionalität als Softwareapplikationen 34 einschließlich der auf dem Cockpit/IVI-Display angezeigten HMI-Inhalte auszuführen.
            • • Eine Empfangskomponente 33, im Folgenden als Input_Framework_SYS bezeichnet, (innerhalb der SYS_Partition), das Benutzereingabe-Ereignisse vom CE-Gerät / Handgerät 25 z.B. über das Connectivity Modem (Konnektivitätsmodem) der Kommunikationsschnittstelle 30 empfängt und auf der Grundlage einer dynamischen Benutzereingabe-Zugehörigkeitsermittlung (Position des Eingabefokus und/oder Signalisierung eines Ausbruchsgeste) entweder an eine Anwendung/HMI (Softwareapplikation 37 in der Systempartition 15) innerhalb der SYS_Partition 15 oder an das Empfangsmodul 41 der Anwendungspartition 16 weiterleitet (im Folgenden als Input_Framework_IVI bezeichnet).
            • • Das Input_Framework_IVI (Empfangsmodul 41 innerhalb der IVI_Partition 16), das Benutzereingabeereignisse von Input_Framework_SYS empfängt und an die entsprechende Applikation/HMI, d.h. eine Softwareapplikation 34 innerhalb der IVI_Partition 16 weiterleitet.
            • • mindestens ein Cockpit/IVI-Display, das zur Anzeige von HMI-Ausgaben aus der SYS_Partition und der IVI_Partition verwendet wird (, das in der Regel ein Touch-basiertes Gerät ist, das Touch-Eingaben verarbeitet und an das Cockpit/IVI-System für Benutzereingaben weiterleitet).
            • • ein Connectivity Modem zur drahtlosen Anbindung mehrerer Connectivity-Geräte (wie z.B. Smartphones, Headsets, Tablets, Wearables, HID-Geräte), das eine oder mehrere drahtlose Verbindungstechnologien (z. B. Bluetooth, WiFi, ...) unterstützt und insbesondere die Anbindung an HID-Geräteklassen und entsprechende Schnittstellen/APIs unterstützt.
          • o ein CE-Gerät (z. B. ein Smartphone oder ein Tablet), das auf seinem Touchscreen ein virtuelles Touchpad und/oder eine Maus als HID-Gerät zum Cockpit/IVI-System hin emuliert und das als HID-Gerät mit dem Connectivity Modem verbunden ist und dem Cockpit/IVI-System Benutzereingabeereignisse zur Steuerung des Cockpit/IVI-Systems und des Fahrzeugs zur Verfügung stellt.
        • • Und wo die Ereignisse einer Benutzereingabe 24 vom CE-Gerät / Handgerät 25 dedizierte Informationen enthalten, durch die Input_Framework_SYS (Empfangskomponente 33) feststellt, ob nachfolgende Benutzereingabe-Ereignisse für SYS_Partition oder IVI_Partition bestimmt sind.
    • (2) Die Architektur und Methode von (1) erweitert um die Methode, dass die dedizierte Information, durch die Input_Framework_SYS feststellen kann, ob nachfolgende Benutzereingabeereignisse für SYS_Partition oder IVI_Partition bestimmt sind, ist/sind
      • • dedizierte Touch-Geste(n) (z. B. entweder eine zum Ändern des Kontexts oder zwei zur Auswahl der gemeinten Partition), für die Input_Framework_SYS die Benutzereingabe-Ereignisse vom CE-Gerät für entsprechende Touch-Gesten überwacht und auswertet, auch wenn die aktuelle Empfangspartition der Benutzereingabe-Ereignisse die IVI_Partition ist, und/oder
      • • dedizierte virtuelle Schaltfläche(n) (z. B. entweder eine zum Ändern des Kontexts oder zwei zur Auswahl der gemeinten Partition), für die Input_Framework_SYS die Benutzereingabeereignisse vom CE-Gerät für die dedizierte(n) virtuelle(n) Schaltfläche(n) überwacht und auswertet, auch wenn die aktuelle empfangende Partition der Benutzereingabeereignisse die IVI_Partition ist, und/oder
      • • Bewegungsgesten, die vom eingebauten Beschleunigungssensor bzw. der IMU (Inertial Measurement Unit) im CE-Gerät abgeleitet werden (z.B. Aufwärtsbewegung zur Auswahl des oberen Inhalts des Displays, Abwärtsbewegung zur Auswahl des unteren Inhalts, Bewegung nach links zur Auswahl des Inhalts auf der linken Seite),
        • ○ für die das CE-Gerät entsprechende Messwerte seines Beschleunigungssensors/IMU an das Cockpit/IVI-System liefert und das Cockpit/IVI-System die Bewegungsgesten ermittelt und Input_Framework_SYS in Abhängigkeit von der erkannten Bewegungsgeste die gemeinte Partition auswählt oder
        • ○ für die das CE-Gerät die Bewegungsgesten aus Messwerten seines Beschleunigungssensors/IMU ableitet und die Bewegungsgesten dem Cockpit/IVI-System zur Verfügung stellt und Input_Framework_SYS in Abhängigkeit von der erkannten Bewegungsgeste die gemeinte Partition auswählt.
    • (3) Die Architektur und Methode von (1) und (2) erweitert um die Methode, dass Input_Framework_SYS den Benutzereingabefokus für Benutzereingaben vom CE-Gerät von der IVI_Partition wegnimmt und an die SYS_Partition gibt, falls die Benutzereingabeereignisse vom CE-Gerät dedizierte Informationen enthalten, durch die Input_Framework_SYS bestimmen kann, ob nachfolgende Benutzereingabeereignisse für die SYS_Partition bestimmt sind.
    • (4) Die Architektur und Methode von (1) bis (3) erweitert um die Methode, dass Input_Framework_SYS den Benutzereingabefokus für Benutzereingaben des CE-Gerätes von der IVI_Partition wegnimmt und an die SYS_Partition weitergibt, falls eine vollständig oder teilweise überlagernde Anwendung/HMI der SYS_Partition vom Benutzer oder vom System (z.B. ein Pop-Up) ausgelöst wird, die den Eingabefokus benötigt.
    • (5) Die Architektur und Methode von (1) und (4) erweitert um die Methode, dass Input_Framework_SYS den Benutzereingabefokus für Benutzereingaben vom CE-Gerät von der SYS_Partition wegnimmt und an die IVI_Partition gibt, falls die Benutzereingabeereignisse vom CE-Gerät dedizierte Informationen enthalten, durch die Input_Framework_SYS bestimmen kann, ob nachfolgende Benutzereingabeereignisse für die IVI_Partition bestimmt sind.
    • (6) Die Architektur und Methode von (1) bis (5) erweitert um die Methode, dass Input_Framework_SYS den Benutzereingabefokus für die Benutzereingabe des CE-Gerätes von der SYS_Partition wegnimmt und ihn an die IVI_Partition gibt, wenn
      • • eine vollständig oder teilweise überlagernde Anwendung/HMI von SYS_Partition wird vom Benutzer oder vom System (z. B. ein Pop-up) weggenommen, die den Eingabefokus benötigt hat
      • • und/oder Input_Framework_SYS erkennt, dass der Benutzer den Zeiger außerhalb des Eingabefokusbereichs der überlagernden Anwendung/HMI von SYS_Partition bewegt.
    • (7) Die Architektur und die Methode von (1) bis (6), erweitert um die Methode, dass die Benutzereingabeereignisse vom CE-Gerät relative Berührungs-/Zeigerkoordinaten enthalten, die in SYS_Partition empfangen werden.
    • (8) Die Architektur und Methode von (7) erweitert um die Methode, dass die relativen Touch/Pointer-Koordinaten vom CE Device von SYS_Partition als relative Koordinaten zu IVI_Partition bereitgestellt werden.
    • (9) Die Architektur und Methode von (7) und (8) erweitert um die Methode, dass die relativen Touch-/Zeiger-Koordinaten vom CE-Gerät in absolute Koordinaten innerhalb der Oberflächen von SYS_Partition-Anwendungen/HMIs übertragen werden und als absolute Koordinaten diesen SYS_Partition-Anwendungen/HMIs durch Input_Framework_SYS zur Verfügung gestellt werden.
    • (10) Die Architektur und die Methode von (7) bis (9) erweitert um die Methode, dass für den Fall, dass ein externes Steuergerät eine HMI bereitstellt, die über SYS_Partition (z.B. Top-View oder Bowl-View) dargestellt wird und einen Eingabefokus hat, die relativen Touch/Pointer-Koordinaten vom CE-Gerät in absolute Koordinaten innerhalb der Oberfläche des externen Steuergeräts übertragen und als absolute Koordinaten dem externen Steuergerät zur Verfügung gestellt werden.
    • (11) Die Architektur und Methode von (1) bis (10) erweitert um die Methode,
      • • dass ein zweites Display an das Cockpit/IVI-System angeschlossen ist und
      • • dass die Benutzereingabeereignisse vom CE-Gerät dedizierte Informationen enthalten, durch die Input_Framework_SYS bestimmen kann, ob nachfolgende Benutzereingabeereignisse für die erste Anzeige oder die zweite Anzeige bestimmt sind und
      • • dass Input_Framework_SYS den Eingabefokus für die Benutzereingaben vom CE Device von einem Display wegnimmt und dem anderen Display in Abhängigkeit von den dedizierten Informationen vom CE Device gibt, wodurch Input_Framework_SYS feststellen kann, ob nachfolgende Benutzereingabeereignisse für das erste Display oder das zweite Display bestimmt sind.
    • (12) Die Architektur und die Methode von (1) bis (11), wobei die zugrunde liegende Systemarchitektur und die auf dem CPU-Subsystem laufende Software auf einem Virtualisierungsansatz basiert,
      • • mit einem Hypervisor als Basis und
      • • mindestens eine SW-Partition für die Early-Available/High-Robust/High-Secure-Funktionalität (SYS_Partition), und
      • • mindestens eine SW-Partition für die IVI-Funktionalität (IVI_Partition),
      • • mit einem Graphics_Framework_SYS, das den Inhalt und die HMI von Anwendungen aus der SYS_Partition und der IVI_Partition überlagert, um sie auf demselben Display darzustellen
    • (13) Die Architektur und die Methode von (1) bis (12), bei denen das Konnektivitätsmodem oder Teile des Konnektivitätsmodems (wie ein Konnektivitäts-SW-Stack) in das Cockpit/IVI-System integriert ist/sind.
    • (14) Die Architektur und die Methode von (1) bis (13), wobei das Connectivity Modem von der IVI_Partition gesteuert wird und an diese angeschlossen ist und/oder ein Connectivity SW Stack in die IVI_Partition integriert ist und Benutzereingabeereignisse vom CE-Gerät in der IVI_Partition empfangen und dann an die SYS_Partition weitergeleitet werden.
    • (15) Die Architektur und die Methode von (1) bis (14), wobei das CE-Gerät über Bluetooth verbunden ist, um Benutzereingabeereignisse an das Fahrzeug zu übertragen.
    • (16) Die Architektur und die Methode von (1) bis (15), wobei das CE-Gerät über eine kabelgebundene Schnittstelle (wie z. B. USB) angeschlossen ist, um Benutzereingabeereignisse an das Fahrzeug zu übertragen.
    • (17) Die Architektur und die Methode nach (1) bis (16), wobei das CE-Gerät als integraler Bestandteil des Fahrzeugs vorgesehen ist.
    • (18) Die Architektur und die Methode von (1) bis (17), wobei das Input_Framework_SYS zwei unterschiedliche Eingabefokusse für Benutzereingaben vom eingebauten touch-basierten Cockpit/IVI-Display und Benutzereingaben vom CE-Gerät handhabt (d.h. z.B. könnte das Input_Framework_SYS den aktuellen Eingabefokus für Benutzereingaben über das eingebaute touch-basierte Cockpit/IVI-Display an die SYS_Partition und den aktuellen Eingabefokus für Benutzereingaben vom CE-Gerät an die IVI_Partition geben und umgekehrt).
    • (19) Die Architektur und die Methode von (1) bis (18), wobei die aktuelle Position des Benutzereingabezeigers vom CE-Gerät durch einen Cursor, Pfeil oder ein ähnliches Symbol auf dem Cockpit/IVI-Display angezeigt wird.
  • Die Vorteile der Idee sind:
    • • Die Idee ermöglicht die Bedienen des Cockpit-/Infotainment-Systems durch den Fahrer, wenn er sich z.B. in einer Relax-Modus-Position während des Autonomen Fahrens befindet, z.B. über ein CE-Gerät.
    • • Die Idee ermöglicht die Steuerung des Cockpit/Infotainment-Systems über ein CE-Gerät für den Fall, dass Inhalte aus zwei verschiedenen Partitionen auf demselben Display, z.B. dem Center Infotainment Display (CID), dargestellt werden.
    • • Diese Idee ermöglicht, dass der Benutzer in jeder Situation (auch wenn die IVI_Partition hängt oder einen Reset durchläuft) die SW-Partition mit der kritischeren Funktionalität (in Bezug auf Robustheit, Sicherheit und/oder funktionale Sicherheit) steuern kann.
  • Vorteilhafte Merkmale der Idee sind,
    • - die Verwendung eines CE Devices (Smartphones) als Remote Touchpad für die Steuerung von Inhalten, die auf einem im Fahrzeug eingebauten Display ausgegeben werden und von dem im Fahrzeug eingebauten Cockpit/Infotainment-System erzeugt werden, durch (drahtlose) Übertragung von relativen Touchkoordinaten vom CE Device an das Cockpit/InfotainmentSystem,
    • - wobei das Cockpit/Infotainment-System zumindest zwei Betriebssysteme (SYS_Partition (sicherheitsrelevant, fahraufgabenbezogen) oder IVI_Partition (Anwendungspartition, User-zentriert, unterhaltungsbezogen)) betreibt, welche beide Anzeigeinhalte für das gleiche eingebaute Display erzeugen und die beiden Anzeigeinhalte somit parallel und überlagernd auf dem gleichen Display ausgegeben werden,
    • - und wobei das Cockpit/Infotainment-System eine Logik beinhaltet, welche abhängig von verschiedene Inputs (Überlagerungszustand der Anzeigen auf dem Display, relative Touchkoordinaten vom CE Device, dedizierte Information vom CE Device für welches Betriebssystem nachfolgende Touchkoordinaten bestimmt sind) den Fokus der User Inputs vom CE Device ermittelt und die relativen Touchkoordinaten dann entsprechend an die SYS_Partition oder IVI_Partition weiterleitet.
  • Die Schwierigkeit, die die Idee löst, ist daher
    • - ein Remote Touchpad an das Cockpit/Infotainment-System anzubinden, welches relative Touchkoordinaten liefert, die aus User-Experience-Gründen auch als relative TouchKoordinaten der IVI_Partition zur Verfügung gestellt werden sollen,
    • - und dass, obwohl die über den User Input Fokus entscheidende Instanz, welche außerhalb der IVI_Partition liegen muss (da die SYS_Partition sicherheitsrelevanter ist), nicht weiß, wo genau sich der Eingabezeiger befindet (wenn die IVI_Partition den User Input Fokus hat), diese Instanz trotzdem die richtige Entscheidung bzgl. des User Input Fokus treffen kann (vor allem wenn ein User Input Fokus Wechsel zur SYS_Partition hin geschehen soll).
  • Während es sich beim im Stand der Technik in der Regel um ein Device mit eigenen Applikationen/HMI handelt,
    • - welches Display-Inhalte und das HMI selbst erzeugt & rendert,
    • - welches User Inputs (Touch) im Device auswertet und
    • - welches für die Kontrolle des Cockpit/Infotainment System bzw. des Fahrzeugs eine API Schnittstelle verwendet,
    wird ein CE Device / Handgerät als remote/wireless Touchpad bzw. Pointer-Device verwendet, durch welches man die angezeigten Inhalte im eingebauten Cockpit/Infotainment-Display „fernsteuern“ kann, wie z.B. bei der Bedienung eines PCs mit einer Maus.
  • Insgesamt zeigen die Beispiele, wie ein Smartphone als erweiterte Bedienschnittstelle für das Infotainmentsystem eines Kraftfahrzeugs eingebunden werden kann.

Claims (13)

  1. Verfahren zum Betreiben eines nicht-tragbaren Benutzergeräts (11) mit zumindest einer festverbauten Interaktionskomponente (17) für Benutzerinteraktionen mit einem Benutzer (23), wobei die zumindest eine Interaktionskomponente (17) jeweils als Berührungsbildschirm oder Touchpad oder Tastenfeld ausgestaltet ist und wobei in einem Direktbedienmodus des Benutzergeräts (11) die Benutzerinterkationen umfassen, dass durch eine Prozessorschaltung (12) des Benutzergeräts (11) eine jeweilige graphische Bedienoberfläche (35, 52, 53) zumindest einer Softwareapplikation (34) zu einer graphischen Nutzerschnittstelle, GUI, kombiniert und angezeigt werden und erfasste Rohdaten (29) einer manuellen Benutzereingabe (24) aus der zumindest einen Interaktionskomponente (17) empfangen werden und in Abhängigkeit von den Rohdaten (29) ein Eingabefokus der GUI gesteuert wird, wobei das Benutzergerät (11) eine Kommunikationsschnittstelle (30) für einen Datenaustausch mit einem portablen Handgerät (25) des Benutzers (23) betreibt, welches zumindest eine der jeweiligen Interaktionskomponente (17) zugeordnete Ersatzkomponente (27) aufweist, und in einem Fernbedienmodus des Benutzergeräts (11) eine Übertragungssoftware (28) des Handgeräts (25) die Rohdaten (29) aus der zumindest einen Ersatzkomponente (27) empfängt und über die Kommunikationsschnittstelle (30) an die Prozessorschaltung (12) des Benutzergeräts (11) zum Steuern des Eingabefokus durchleitet, dadurch gekennzeichnet, dass die Prozessorschaltung zumindest zwei unterschiedliche Eingabefokusse bereitstellt, von denen einer für Benutzereingaben aus der zumindest einen festverbauten Interaktionskomponente (17) und einer für Benutzereingaben aus dem Handgerät bereitgestellt und anhand von deren jeweiligen Rohdaten gesteuert wird, und/oder durch die Prozessorschaltung (12) mittels eines Hypervisors (13) zumindest zwei virtuelle Maschinen betrieben werden und eine der virtuellen Maschinen als Systempartition (15) die Kommunikationsschnittstelle (30) betreibt und mit der Übertragungssoftware (28) des Handgeräts (25) die Rohdaten austauscht und zumindest eine andere der virtuellen Maschinen als Anwendungspartition (16) zumindest eine Softwareapplikation (34) betreibt und dabei die Rohdaten nur indirekt über die Systempartition (15) mit der Kommunikationsschnittstelle (30) austauscht.
  2. Verfahren nach Anspruch 1, wobei als eine korrespondierende Ersatzkomponente (27) ein Berührungsbildschirm des Handgeräts (25) bereitgestellt wird und die Übertragungssoftware (28) als erfasste Rohdaten (29) Berührungskoordinaten (31) der manuellen Benutzereingabe (24) durchleitet.
  3. Verfahren nach Anspruch 2, wobei in einer Deltakonfiguration als Rohdaten relative Koordinaten (31) übertragen werden und in dem Benutzergerät (11) durch die Prozessorschaltung (12) die relativen Koordinaten (31) einer Softwareapplikation (34) übergeben werden, welche die relativen Koordinaten (31) selbständig auf absolute Koordinaten (31) innerhalb einer applikationsspezifischen graphischen Bedienoberfläche (35, 52, 53) umrechnet.
  4. Verfahren nach einem der Ansprüche 2 oder 3, wobei durch die Prozessorschaltung jeweils neu empfangene Rohdaten (29), die aktuelle Berührungskoordinaten (31) aus dem Berührungsbildschirm des Handgeräts und/oder aktuelle Lagedaten einer Raumlage des Handgeräts (25) aus einem Lagesensor und/oder Bewegungssensor des Handgeräts (25) signalisieren, auf eine vorbestimmte Ausbruchsgeste hin geprüft werden, mittels welcher der Benutzer (23) signalisiert, dass er den mittels der Berührungskoordinaten (31) gesteuerten Eingabefokus (50) aus einer applikationsspezifischen Bedienoberfläche (35, 52, 53) herausbewegen will, und/oder wobei die Übertragungssoftware (28) eine Schaltfläche (61) zum Verlassen der applikationsspezifischen Bedienoberfläche (35, 52, 53) auf dem Berührungsbildschirm des Handgeräts bereitstellt, und bei Erkennen der Ausbruchsgeste und/oder einer Betätigung der Schaltfläche (61) der Eingabefokus (50) der Softwareapplikation (34) entzogen wird.
  5. Verfahren nach einem der Ansprüche 2 bis 4, wobei in einer Absolutkonfiguration als Rohdaten (29) absolute Koordinaten (31) über die Kommunikationsschnittstelle (30) von der Übertragungssoftware (28) übertragen werden und in dem Benutzergerät (11) anhand der durch die absoluten Koordinaten (31) signalisierten Position auf der graphischen Nutzerschnittstelle, GUI, ermittelt wird, welche Softwareapplikation (34) durch die manuelle Benutzereingabe (24) zu steuern ist und/oder wo innerhalb der graphischen Benutzeroberfläche dieser Softwareapplikation (34) der Eingabefokus (50) liegt.
  6. Verfahren nach einem der Ansprüche 2 bis 5, wobei mit dem Benutzergerät ein externes Steuergerät gekoppelt ist, welches eine eigene Bedienoberfläche bereitstellt, die als Bestandteil der GUI dargestellt wird und durch die Prozessorschaltung als Rohdaten relative Koordinaten aus dem Handgerät empfangen werden und in absolute Koordinaten innerhalb der Bedienoberfläche des externen Steuergeräts umgerechnet werden und diese absoluten Koordinaten dem externen Steuergerät zum Steuern des Eingabefokus innerhalb von dessen Bedienoberfläche zur Verfügung gestellt werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei als eine korrespondierende Ersatzkomponente (27) eine Sensorschaltung zum Detektieren einer Raumlage und/oder Raumlageänderung und/oder Beschleunigung des Handgeräts (25) bereitgestellt wird und vom Benutzer mit dem Handgerät (25) ausgeführte Bewegungsgesten von der Sensorschaltung des Handgeräts als Messdaten erfasst werden und a. die Messdaten als die Rohdaten (29) übertragen werden und durch die Prozessorschaltung des Benutzergeräts (11) anhand der Rohdaten (29) mittels eines Gestenerkenners die Bewegungsgesten erkannt werden oder b. durch einen Gestenerkenner des Handgeräts (25) anhand der Messdaten die Bewegungsgesten im Handgerät (25) erkannt werden und als Rohdaten die erkannten Bewegungsgesten (29) signalisiert werden, und in der Prozessorschaltung des Benutzergeräts (11) in Abhängigkeit von der jeweils erkannten Bewegungsgeste eine der erkannten Bewegungsgeste jeweils zugeordnete Bedienoberfläche zum Übertragen des Eingabefokus ausgewählt wird und/oder der Eingabefokus gesteuert wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest zwei Displays zum Darstellen der GUI an das Benutzergerät angeschlossen sind und die von der Übertragungssoftware aus dem Handgerät gesendeten Rohdaten eine vorbestimmte Information enthalten, durch die signalisiert ist, dass nachfolgende Benutzereingabeereignisse für die erste Anzeige oder die zweite Anzeige bestimmt sind oder dass ein Anzeigewechsel durchgeführt werden soll, und die Prozessorschaltung den Eingabefokus für über das Handgeräte empfangene Benutzereingaben von einem der Displays entfernt und dem anderen der Displays in Abhängigkeit von der Information übergibt, sodass nachfolgende Benutzereingabeereignisse an eine Softwareapplikation geleitet werden, deren Bedienoberfläche auf dem anderen Display ist.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zumindest zwei virtuelle Maschinen betrieben werden und die Prozessorschaltung des Benutzergeräts (11) den Eingabefokus für Benutzereingaben des Handgeräts (25) von der zumindest einen Softwareapplikation der Anwendungspartition (16) wegnimmt und an eine Softwareapplikation der Systempartition (15) weitergibt, falls eine vollständig oder teilweise überlagernde Bedienoberfläche der Softwareapplikation der Systempartition (15) vom Benutzer oder vom Betriebssystem der Systempartition ausgelöst wird, die den Eingabefokus benötigt.
  10. Verfahren nach Anspruch 9, wobei die Prozessorschaltung a) den Eingabefokus für Benutzereingaben aus dem Handgerät (25) von der Bedienoberfläche der Softwareapplikation der Systempartition wieder entzieht und an die Anwendungspartition zurückgibt, falls in den Rohdaten ein Benutzereingabeereignis vom Handgerät eine vorbestimmte Information enthalten, durch die signalisiert ist, dass nachfolgende Benutzereingabeereignisse für die Anwendungspartition bestimmt sind, und/oder b) den Eingabefokus für Benutzereingaben aus dem Handgerät (25) von der Systempartition wieder entzieht und ihn an die Anwendungspartition zurückgibt, falls anhand der Rohdaten detektiert wird, dass o die vollständig oder teilweise überlagernde Bedienoberfläche einer Softwareapplikation der Systempartition, die den Eingabefokus benötigt hat, durch den Benutzer oder durch das Betriebssystem entfernt wird, und/oder o anhand der Rohdaten erkannt wird, dass der Benutzer einen Zeiger des Eingabefokus aus der Bedienoberfläche der überlagernden Bedienoberfläche der Softwareapplikation der Systempartition herausbewegt.
  11. System (S) umfassend ein Benutzergerät (11) mit einer Prozessorschaltung und ein Handgerät (25) mit einer Übertragungssoftware (28), welche dazu eingerichtet sind, ein Verfahren nach einem vorhergehenden Ansprüche durchzuführen.
  12. Benutzergerät (11), insbesondere Bedienkonsole für ein Kraftfahrzeug (10), wobei das Benutzergerät (11) für einen Betrieb in einem System nach Anspruch 11 zumindest eine festverbaute Interaktionskomponente (17) für Benutzerinteraktionen mit einem Benutzer (23) aufweist, wobei die zumindest eine Interaktionskomponente (17) jeweils als Berührungsbildschirm oder Touchpad oder Tastenfeld ausgestaltet ist und wobei eine Prozessorschaltung (12) des Benutzergeräts (11) dazu eingerichtet ist, dass in einem Direktbedienmodus des Benutzergeräts (11) die Benutzerinterkationen umfassen, dass durch eine Prozessorschaltung (12) eine jeweilige graphische Bedienoberfläche (35, 52, 53) zumindest einer Softwareapplikation (34) zu einer graphischen Nutzerschnittstelle, GUI, kombiniert wird und erfasste Rohdaten (29) einer manuellen Benutzereingabe (24) aus der zumindest einen Interaktionskomponente (17) empfangen werden und in Abhängigkeit von den Rohdaten (29) ein Eingabefokus der GUI gesteuert wird, dadurch gekennzeichnet, dass die Prozessorschaltung (12) dazu eingerichtet ist, in dem Benutzergerät (11) eine Kommunikationsschnittstelle (30) für einen Datenaustausch mit einem portablen Handgerät (25) des Benutzers (23) zu betreiben, welches zumindest eine der jeweiligen Interaktionskomponente (17) zugeordnete Ersatzkomponente (27) aufweist, und in einem Fernbedienmodus des Benutzergeräts (11) über die Kommunikationsschnittstelle (30) die Rohdaten zum Steuern des Eingabefokus zu empfangen und hierbei die von dem Benutzergerät auszuführenden Schritte eines Verfahrens nach einem Ansprüche 1 bis 10 auszuführen.
  13. Kraftfahrzeug (10) mit einem Benutzergerät (11) nach Anspruch 12.
DE102021115126.0A 2021-06-11 2021-06-11 Verfahren und System zum Bedienen eines nicht-tragbaren Benutzergeräts mittels eines Touchscreens eines portablen Handgeräts sowie ein mit dem Benutzergerät koppelbares Handgerät Active DE102021115126B3 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021115126.0A DE102021115126B3 (de) 2021-06-11 2021-06-11 Verfahren und System zum Bedienen eines nicht-tragbaren Benutzergeräts mittels eines Touchscreens eines portablen Handgeräts sowie ein mit dem Benutzergerät koppelbares Handgerät

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021115126.0A DE102021115126B3 (de) 2021-06-11 2021-06-11 Verfahren und System zum Bedienen eines nicht-tragbaren Benutzergeräts mittels eines Touchscreens eines portablen Handgeräts sowie ein mit dem Benutzergerät koppelbares Handgerät

Publications (1)

Publication Number Publication Date
DE102021115126B3 true DE102021115126B3 (de) 2022-10-06

Family

ID=83282995

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021115126.0A Active DE102021115126B3 (de) 2021-06-11 2021-06-11 Verfahren und System zum Bedienen eines nicht-tragbaren Benutzergeräts mittels eines Touchscreens eines portablen Handgeräts sowie ein mit dem Benutzergerät koppelbares Handgerät

Country Status (1)

Country Link
DE (1) DE102021115126B3 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1571032A1 (de) 2004-03-04 2005-09-07 Delphi Technologies, Inc. Informationssystem für ein Kraftfahrzeug mit einer Fernbedienung
DE102017208991A1 (de) 2017-05-29 2018-11-29 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem zum zumindest teilautomatischen Kuppeln eines zweispurigen Kraftfahrzeugs mit einem Anhänger
EP3694195A1 (de) 2019-02-11 2020-08-12 Volvo Car Corporation Fernsteuerung von elektronischen funktionen eines fahrzeugs ohne einen integrierten berührungsbildschirm
DE102020116988A1 (de) 2020-06-29 2021-12-30 Audi Aktiengesellschaft Betriebsverfahren für ein Fahrzeuginformationssystem

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1571032A1 (de) 2004-03-04 2005-09-07 Delphi Technologies, Inc. Informationssystem für ein Kraftfahrzeug mit einer Fernbedienung
DE102017208991A1 (de) 2017-05-29 2018-11-29 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem zum zumindest teilautomatischen Kuppeln eines zweispurigen Kraftfahrzeugs mit einem Anhänger
EP3694195A1 (de) 2019-02-11 2020-08-12 Volvo Car Corporation Fernsteuerung von elektronischen funktionen eines fahrzeugs ohne einen integrierten berührungsbildschirm
DE102020116988A1 (de) 2020-06-29 2021-12-30 Audi Aktiengesellschaft Betriebsverfahren für ein Fahrzeuginformationssystem

Similar Documents

Publication Publication Date Title
EP2943367B1 (de) Verfahren zum synchronisieren von anzeigeeinrichtungen eines kraftfahrzeugs
EP2927791B1 (de) Verfahren und vorrichtung zum bereitstellen einer graphischen benutzerschnittstelle in einem fahrzeug
EP4062344A1 (de) Verfahren zum betreiben eines bediensystems in einem fahrzeug und bediensystem für ein fahrzeug
DE112012004769T5 (de) Konfigurierbare Hardwareeinheit für Autosysteme
DE102012109039A1 (de) Fahrzeugbedienungseingabevorrichtung und Steuerverfahren für eine Fahrzeugbedienungseingabevorrichtung
DE102019217733A1 (de) Verfahren zum Betreiben eines Bediensystems in einem Fahrzeug und Bediensystem für ein Fahrzeug
EP3341245B1 (de) Verfahren und vorrichtung zum bereitstellen eines empfehlungssignals zum steuern zumindest einer funktion in einem fahrzeug
WO2016162269A1 (de) Verfahren und system zur bereitstellung einer virtual-reality-umgebung für passagiere von land- und luftfahrzeugen
EP2941685B1 (de) Bedienverfahren und bediensystem in einem fahrzeug
DE102013000071B4 (de) Synchronisieren von Nutzdaten zwischen einem Kraftfahrzeug und einem mobilen Endgerät
DE102013021978A1 (de) Verfahren und mobiles Endgerät zur augmentierten Darstellung mindestens eines realen Bedienelements und/oder... eines realen Objekts
EP3243688B1 (de) Verfahren und vorrichtung zum zuordnen von steuerbefehlen in einem fahrzeug sowie fahrzeug
EP3108331A1 (de) Anwenderschnittstelle und verfahren zum berührungslosen bedienen eines in hardware ausgestalteten bedienelementes in einem 3d-gestenmodus
EP2704634A1 (de) Multifunktionsbedieneinrichtung
DE102019210383A1 (de) Verfahren zum Betreiben eines mobilen Endgeräts mittels einer Gestenerkennungs- und Steuereinrichtung, Gestenerkennungs- und Steuereinrichtung, Kraftfahrzeug, und am Kopf tragbare Ausgabevorrichtung
DE102017207557B4 (de) Verfahren zum Steuern einer Bedienvorrichtung eines Kraftfahrzeugs sowie Bedienvorrichtung und Kraftfahrzeug
DE102021115126B3 (de) Verfahren und System zum Bedienen eines nicht-tragbaren Benutzergeräts mittels eines Touchscreens eines portablen Handgeräts sowie ein mit dem Benutzergerät koppelbares Handgerät
DE102017121176B4 (de) Flexible modulare Bilschirmvorrichtung zur Befestigung an und Transportieren von Nutzerprofilen zwischen beteiligten Fahrzeugen
DE102017219332A1 (de) Mensch-fahrzeug-interaktion
DE102014017173A1 (de) Verfahren zum Steuern von Funktionen einer externen Vorrichtung in einem Fahrzeug
DE102021115117B3 (de) Verfahren und System zum Bedienen eines nicht-tragbaren Benutzergeräts mittels eines Displays und/oder einer Kamera eines portablen Handgeräts sowie ein mit dem Benutzergerät koppelbares Handgerät
EP3959647B1 (de) Lagerichtige einblendung einer zusatzinformation auf einer anzeigeeinheit eines fahrzeugs
EP2917062B1 (de) Verfahren zum anzeigen von informationen in einem fahrzeug und vorrichtung zum steuern der anzeige
EP3108333A1 (de) Anwenderschnittstelle und verfahren zur unterstützung eines anwenders bei der bedienung einer anwenderschnittstelle
EP3874450A1 (de) Verfahren zur vermeidung einer sichtfeldstörung für eine bedienperson eines objektes, vorrichtung zur durchführung des verfahrens sowie fahrzeug und computerprogramm

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: CARIAD SE, DE

Free format text: FORMER OWNER: AUDI AKTIENGESELLSCHAFT, 85057 INGOLSTADT, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R130 Divisional application to

Ref document number: 102021006587

Country of ref document: DE

R020 Patent grant now final