DE102023116876B3 - Method for operating an application software, proxy software for controlling the application software, processor system and motor vehicle with processor system - Google Patents

Method for operating an application software, proxy software for controlling the application software, processor system and motor vehicle with processor system Download PDF

Info

Publication number
DE102023116876B3
DE102023116876B3 DE102023116876.2A DE102023116876A DE102023116876B3 DE 102023116876 B3 DE102023116876 B3 DE 102023116876B3 DE 102023116876 A DE102023116876 A DE 102023116876A DE 102023116876 B3 DE102023116876 B3 DE 102023116876B3
Authority
DE
Germany
Prior art keywords
display
application software
software
operating
proxy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102023116876.2A
Other languages
German (de)
Inventor
Sebastian Fröbisch
Timo Schaschek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102023116876.2A priority Critical patent/DE102023116876B3/en
Application granted granted Critical
Publication of DE102023116876B3 publication Critical patent/DE102023116876B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Applikationssoftware (AS) in einem Kraftfahrzeug (KFZ), wobei das Kraftfahrzeug (KFZ) ein Prozessorsystem und eine Anzeigeeinrichtung (CID) und eine kombinierte Anzeige- und Bedieneinrichtung (ABE) aufweist. Das Verfahren ist dadurch gekennzeichnet, dass das Prozessorsystem die Applikationssoftware (AS) ausführt und die Applikationssoftware (AS) beim Ausführen Ausgabedaten (AD) erzeugt, die in einem Anzeigebereich darzustellen sind, und das Prozessorsystem eine von der Applikationssoftware (AS) verschiedene Proxy-Software (PS) betreibt, welche die Ausgabedaten (AD) von der Applikationssoftware (AS) entgegennimmt und in Abhängigkeit von Nutzereingabedaten (NED), die in Reaktion auf eine Nutzereingabe von der Anzeige- und Bedieneinrichtung (ABE) erzeugt werden, zwischen der Anzeigeeinrichtung (CID) und der Anzeige- und Bedieneinrichtung (ABE) als Anzeigebereich auswählt und die Ausgabedaten (AD) dem ausgewählten Anzeigebereich zuleitet.The invention relates to a method for operating an application software (AS) in a motor vehicle (KFZ), wherein the motor vehicle (KFZ) has a processor system and a display device (CID) and a combined display and operating device (ABE). The method is characterized in that the processor system executes the application software (AS) and the application software (AS) generates output data (AD) during execution, which are to be displayed in a display area, and the processor system operates proxy software (PS) which is different from the application software (AS), which receives the output data (AD) from the application software (AS) and, depending on user input data (NED) generated by the display and operating device (ABE) in response to a user input, selects between the display device (CID) and the display and operating device (ABE) as a display area and forwards the output data (AD) to the selected display area.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Applikationssoftware in einem Kraftfahrzeug, wofür das Kraftfahrzeug ein Prozessorsystem und eine Anzeigeeinrichtung und eine kombinierte Anzeige- und Bedieneinrichtung aufweist.The invention relates to a method for operating an application software in a motor vehicle, for which the motor vehicle has a processor system and a display device and a combined display and operating device.

In einem Kraftfahrzeug können mehrere Anzeigeeinrichtungen, also Bildschirme oder Displays, vorhanden sein. Gerade im Hinblick auf das autonome Fahren, bei dem nur eine geringe Konzentration des Fahrers auf den Straßenverkehr nötig ist, kann sich der Wunsch ergeben, auf einem bestimmten der zur Verfügung stehenden Bildschirme eine Applikationssoftware auszuführen oder anzuzeigen, die eine Videofilmwiedergabe oder eine Bildbetrachtung z.B. von Urlaubsbildern vorsieht. Auch ein Wechseln der Wiedergabe der Applikationssoftware zwischen den zur Verfügung stehenden Bildschirmen im Kraftfahrzeug kann gewünscht sein. Ein Vorsehen einer solchen Funktionalität gerade für Applikationssoftware von Drittanbietern, kann umständlich sein, da die Applikationssoftware hierfür an die Software- und Hardware-Umgebung des Kraftfahrzeugs angepasst werden müsste. Mit der Applikationssoftware von Drittanbietern ist hier eine Applikationssoftware gemeint, die nicht vom Kraftfahrzeughersteller entwickelt oder zur Verfügung gestellt ist. Es kann sich z.B. um eine Streaming-Software handeln, die eine Wiedergabe von Videofilmen vorsieht.A motor vehicle can have several display devices, i.e. screens or displays. Particularly with regard to autonomous driving, where the driver only needs to concentrate to a limited extent on the road, the desire may arise to run or display application software on a certain of the available screens, which provides for video playback or image viewing, e.g. of holiday photos. It may also be desired to switch the playback of the application software between the available screens in the motor vehicle. Providing such functionality, especially for application software from third-party providers, can be cumbersome, as the application software would have to be adapted to the software and hardware environment of the motor vehicle. Third-party application software here refers to application software that is not developed or provided by the motor vehicle manufacturer. It can, for example, be streaming software that provides for video playback.

Aus dem Bereich des Home Entertainments ist in diesem Zusammenhang ein sogenanntes Screen Mirroring bekannt. Dabei handelt es sich um eine Technologie, die es ermöglicht, den Bildschirm eines mobilen Endgeräts auf beispielsweise einen Fernsehbildschirm zu übertragen und somit eine Bildausgabe der auf dem mobilen Endgerät ausgeführte Anwendung oder Applikationssoftware auf dem großen Bildschirm des Fernsehers zu betrachten. Ebenso kann beim Screen Casting eine Applikationssoftware, die beispielsweise auf einem Mobiltelefon ausgeführt wird, auf einem externen Bildschirm wiedergegeben werden, wobei im Unterschied zum Screen Mirroring die Wiedergabe dann nur auf dem externen Bildschirm erfolgt und nicht zusätzlich auf dem Bildschirm des Mobiltelefons.In this context, so-called screen mirroring is known from the area of home entertainment. This is a technology that makes it possible to transfer the screen of a mobile device to a television screen, for example, and thus to view an image output of the application or application software running on the mobile device on the large screen of the television. Likewise, with screen casting, application software that is running on a mobile phone, for example, can be played on an external screen. In contrast to screen mirroring, the playback then only takes place on the external screen and not also on the screen of the mobile phone.

Aus der 2011 / 0 185 390 US ist ein System zur Interaktion eines Nutzers eines Kraftfahrzeugs mit einer Drittanbieter-Applikationssoftware auf einem mobilen Endgerät bekannt, wobei das mobile Endgerät über kraftfahrzeugseitige Eingabemittel bedienbar ist, wenn auf einem Kraftfahrzeugbildschirm eine Wiedergabe von Inhalten der Drittanbieter-Applikationssoftware erfolgt, und Eingabeschnittstellen des mobilen Endgeräts zu den kraftfahrzeugseitigen Eingabemitteln konvertiert werden.From 2011 / 0 185 390 US a system for interaction of a user of a motor vehicle with a third-party application software on a mobile terminal is known, wherein the mobile terminal can be operated via motor vehicle-side input means when content of the third-party application software is reproduced on a motor vehicle screen, and input interfaces of the mobile terminal are converted to the motor vehicle-side input means.

Aus der DE 10 2014 204 747 A1 ist ein Kraftfahrzeugrechnersystem mit einer kraftfahrzeugseitigen Anzeigeanordnung bekannt, die zur Wiedergabe von Medieninhalten eines mit dem Kraftfahrzeugrechnersystem gekoppelten mobilen Endgeräts nutzbar ist, wobei das mobile Endgerät durch einen Nutzer oder Kraftfahrzeuginsassen als Anzeige- und Bedienvorrichtung zum Erstellen von Kraftfahrzeugkonfigurationen und zum Verschieben von Medieninhalten auf die kraftfahrzeugseitige Anzeigeanordnung nutzbar ist.From the EN 10 2014 204 747 A1 A motor vehicle computer system with a motor vehicle-side display arrangement is known which can be used to play back media content from a mobile terminal coupled to the motor vehicle computer system, wherein the mobile terminal can be used by a user or motor vehicle occupant as a display and operating device for creating motor vehicle configurations and for moving media content to the motor vehicle-side display arrangement.

Aus der 2019 / 0 339 918 US ist ein Verfahren zum Bereitstellen einer Nutzerschnittstelle für eine Drittanbieter-Applikationssoftware zur Anzeige über ein kraftfahrzeugseitiges Infotainment-System bekannt, wobei das Infotainment-System eine durch ein separates Anzeige- und Bedieneinrichtung eines Nutzers generierte Nutzerschnittstelle mit an die Drittanbieter- Applikationssoftware angepassten Bedienoptionen übernimmt.From 2019 / 0 339 918 US a method is known for providing a user interface for a third-party application software for display via a motor vehicle infotainment system, wherein the infotainment system takes over a user interface generated by a separate display and operating device of a user with operating options adapted to the third-party application software.

Nachteilig am beschriebenen Stand der Technik ist, dass für eine Wiedergabe oder ein Anzeigen von Ausgabedaten einer Applikationssoftware oder einer Applikationssoftware von Drittanbietern und/oder für eine Steuerung der Applikationssoftware in einem Kraftfahrzeug entweder ein zusätzliches mobiles Endgerät oder zumindest eine separate, also nicht kraftfahrzeugseitige Anzeige- und Bedieneinrichtung erforderlich ist. Die Applikation direkt auf einem Rechnersystem des Kraftfahrzeugs laufen zu lassen und sie die unterschiedlichen Anzeigeeinrichtungen des Kraftfahrzeugs ansteuern zu lassen, ist ohne vorherige Umprogrammierung nicht vorgesehen.A disadvantage of the described prior art is that either an additional mobile device or at least a separate display and control device, i.e. not on the vehicle, is required to play or display output data from an application software or third-party application software and/or to control the application software in a motor vehicle. Running the application directly on a computer system of the motor vehicle and having it control the various display devices of the motor vehicle is not possible without prior reprogramming.

In der US 2020 / 0 387 278 A1 werden Techniken beschrieben, die den Fernzugriff auf einen Fahrzeug-Touchscreen erleichtern.US 2020 / 0 387 278 A1 describes techniques that facilitate remote access to a vehicle touchscreen.

Die US 2016 / 0 321 043 A1 zeigt ein Verfahren zum Integrieren eines Algorithmus, der in einer Programmiersprache kodiert und in Algorithmus-Softwarebibliotheken kompiliert ist, in ein Ziel-Informationsverarbeitungssystem, das einen Satz von Zielsystem-Algorithmen umfasst, die mit einem Prozess-Proxy, mit Algorithmus-Variablen und variablen Daten-Objekt-Typen verbunden sind.US 2016 / 0 321 043 A1 shows a method for integrating an algorithm encoded in a programming language and compiled into algorithm software libraries into a target information processing system comprising a set of target system algorithms associated with a process proxy, algorithm variables and variable data object types.

Die US 2013 / 0 212 237 A1 offenbart eine anpassbare Konfigurationsdatenstruktur, die Informationen über die bereitzustellenden Proxys enthält, wobei eine Proxy-Infrastruktur über einen Controller zum Lesen der anpassbaren Konfigurationsdatenstruktur und zum Erstellen der Proxys und ein Verwaltungsprozessor über Firmware-basierte Funktionen verfügt, auf welche die Proxys über eine Schnittstelle zwischen der Proxy-Infrastruktur und dem Verwaltungsprozessor zugreifen sollen.US 2013 / 0 212 237 A1 discloses a customizable configuration data structure containing information about the proxies to be provided, wherein a proxy infrastructure has a controller for reading the customizable configuration data structure and creating the proxies and a management processor has firmware-based functions which the proxies should access via an interface between the proxy infrastructure and the management processor.

Die DE 10 2014 016 570 A1 zeigt eine Fahrzeugtür mit einem Bedienfeld, das als Touchscreen ausgebildet ist und zwischen wenigstens zwei Anzeigemodi umschaltbar ist, wobei im ersten Steuer-Anzeigemodus der Touchscreen mindestens ein erstes Steuerbedienelement zum Steuern eines ersten Aktors des Fahrzeugs und im zweiten Steuer-Anzeigemodus ein zweites Steuerbedienelement zum Steuern eines von dem ersten Aktor unterschiedenen zweiten Aktors zeigt.The EN 10 2014 016 570 A1 shows a vehicle door with a control panel which is designed as a touchscreen and can be switched between at least two display modes, wherein in the first control display mode the touchscreen shows at least a first control operating element for controlling a first actuator of the vehicle and in the second control display mode a second control operating element for controlling a second actuator different from the first actuator.

Die DE 10 2021 214 619 A1 zeigt eine Bedieneinrichtung für ein Kraftfahrzeug, die ein insbesondere berührungsempfindliches Flächenelement zur Erfassung von Steuerbefehlen eines Benutzers auf dem Flächenelement aufweist, wobei das Flächenelement elastisch verformbar ausgebildet ist und auf einem Stützkörper gehalten wird, wobei vorgesehen ist, dass zwischen dem Stützkörper und dem Flächenelement eine Schicht aus einem elastisch verformbaren Weichmaterial angeordnet ist.The EN 10 2021 214 619 A1 shows an operating device for a motor vehicle, which has a particularly touch-sensitive surface element for detecting control commands from a user on the surface element, wherein the surface element is designed to be elastically deformable and is held on a support body, wherein it is provided that a layer of an elastically deformable soft material is arranged between the support body and the surface element.

Der Erfindung liegt die Aufgabe zugrunde, möglichst aufwandsreduziert mehrere Bildschirme bei Verwendung einer Applikationssoftware in einem Kraftfahrzeug anzusteuern.The invention is based on the object of controlling several screens in a motor vehicle with as little effort as possible when using application software.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.The object is achieved by the subject matter of the independent patent claims. Advantageous developments of the invention are described by the dependent patent claims, the following description and the figures.

Durch die Erfindung ist ein Verfahren zum Betreiben einer Applikationssoftware in einem Kraftfahrzeug bereitgestellt, wobei das Kraftfahrzeug ein Prozessorsystem und eine Anzeigeeinrichtung und eine kombinierte Anzeige- und Bedieneinrichtung aufweist. Es gibt also zumindest eine Anzeige- und Bedieneinrichtung, bei der durch das Verfahren sowohl die Anzeigefunktionalität als auch die Bedienfunktionalität genutzt werden (z.B. ein Touchscreen). Zudem gibt es zumindest eine Anzeigeeinrichtung, bei der durch das Verfahren nur die Anzeigefunktionalität genutzt werden soll (z.B. ein Bildschirm). Es gibt damit mehrere Anzeigeflächen. Das Verfahren zeichnet sich dadurch aus, dass das Prozessorsystem die Applikationssoftware ausführt und die Applikationssoftware beim Ausführen Ausgabedaten erzeugt, z.B. Videostromdaten eines Videofilms, die in einem Anzeigebereich darzustellen sind. Der „Anzeigebereich“ ist z.B. als Pixelfeld oder „Window“ zu verstehen, in welchem die Ausgabedaten ausgegeben werden sollen.The invention provides a method for operating application software in a motor vehicle, the motor vehicle having a processor system and a display device and a combined display and operating device. There is therefore at least one display and operating device in which both the display functionality and the operating functionality are used by the method (e.g. a touchscreen). In addition, there is at least one display device in which only the display functionality is to be used by the method (e.g. a screen). There are therefore several display areas. The method is characterized in that the processor system executes the application software and the application software generates output data when it is executed, e.g. video stream data from a video film, which are to be displayed in a display area. The "display area" is to be understood, for example, as a pixel field or "window" in which the output data is to be output.

Nun geht das Verfahren davon aus, dass die Applikationssoftware selbst nicht dafür programmiert ist, zwischen den mehreren Anzeigeflächen umzuschalten. Denn das Prozessorsystem betreibt eine von der Applikationssoftware verschiedene Proxy-Software, welche die Ausgabedaten von der Applikationssoftware entgegennimmt und in Abhängigkeit von Nutzereingabedaten zwischen der Anzeigeeinrichtung und der Anzeige- und Bedieneinrichtung als Anzeigebereich auswählt und die Ausgabedaten dem ausgewählten Anzeigebereich zuleitet. Die Nutzereingabedaten können in Reaktion auf eine Nutzereingabe von der Anzeige- und Bedieneinrichtung erzeugt werden.The method now assumes that the application software itself is not programmed to switch between the multiple display areas. This is because the processor system operates proxy software that is different from the application software, which receives the output data from the application software and, depending on user input data, selects between the display device and the display and operating device as the display area and forwards the output data to the selected display area. The user input data can be generated in response to a user input from the display and operating device.

Mit anderen Worten soll ein Nutzer in einem Kraftfahrzeug auswählen können, auf welchem der im Kraftfahrzeug zur Verfügung stehenden und zum Kraftfahrzeug gehörigen Bildschirme Ausgabedaten einer momentan ausgeführten Applikationssoftware wiedergegeben oder angezeigt werden sollen.In other words, a user in a motor vehicle should be able to select on which of the screens available in the motor vehicle and belonging to the motor vehicle output data of a currently executed application software should be reproduced or displayed.

Dadurch ergibt sich der Vorteil, dass der Nutzer die Applikationssoftware auf einem Bildschirm anzeigen oder wiedergeben kann, der für ihn momentan, beispielsweise aufgrund seiner Sitzposition einsehbar ist. Gerade im Hinblick auf das autonome Fahren kann auch ein Fahrer, welcher der Nutzer sein kann, seine Sitzposition derart verändern, zum Beispiel durch ein Zurückfahren des Sitzes oder Zurückstellen einer Rückenlehne, dass sich die für ihn einsehbaren Bildschirme ändern, verglichen mit einer Sitzposition, in der er das Kraftfahrzeug selbst führt.This has the advantage that the user can display or play the application software on a screen that is currently visible to him, for example due to his sitting position. Particularly with regard to autonomous driving, a driver, who may be the user, can also change his sitting position in such a way, for example by moving the seat back or reclining a backrest, that the screens visible to him change compared to a sitting position in which he is driving the vehicle himself.

Das Prozessorsystem, auf dem die Applikationssoftware ausgeführt werden soll, kann beispielsweise eine Recheneinrichtung und/oder eine Computerhardware-Umgebung des Kraftfahrzeugs sein. Die Anzeigeeinrichtung, auf dem die Ausgabedaten angezeigt oder wiedergegeben werden kann, kann ein TFT-Bildschirm (TFT: Thin-Film-Transistor), ein OLED-Bildschirm (OLED: Organic Light-Emitting Diode) oder ein LCD-Display (LCD: Liquid Crystal Display) sein. Die kombinierte Anzeige- und Bedieneinrichtung kann einen Bildschirm wie die Anzeigeeinrichtung umfassen, der zusätzlich eine berührungssensitive Oberfläche aufweist, die dazu eingerichtet ist, Nutzereingaben, zum Beispiel durch Berühren eines graphischen Bedienelements auf dem Bildschirm durch einen Finger des Nutzers, entgegenzunehmen.The processor system on which the application software is to be executed can be, for example, a computing device and/or a computer hardware environment of the motor vehicle. The display device on which the output data can be displayed or reproduced can be a TFT screen (TFT: thin-film transistor), an OLED screen (OLED: organic light-emitting diode) or an LCD display (LCD: liquid crystal display). The combined display and operating device can comprise a screen like the display device, which additionally has a touch-sensitive surface that is designed to accept user inputs, for example by touching a graphical operating element on the screen with a user's finger.

Die Applikationssoftware kann ein von dem Prozessorsystem ausführbares Computerprogramm sein, beispielsweise ein Computerprogramm zur Wiedergabe von Medieninhalten. Die Proxysoftware kann von einem Kraftahrzeughersteller bereitgestellt sein und auf dem Prozessorsystem ausführbar gespeichert sein. Die Applikationssoftware kann von einem Drittanbieter stammen, also aus einer Servereinrichtung eines Drittanbieters auf das Prozessorsystem heruntergeladen sein. Die Ausgabedaten können einen Bildstrom umfassen, also beispielsweise bei einer Medien-Applikationssoftware zum Anzeigen von Medieninhalten, beispielsweise Bewegtbildmaterial wie einen Film. Die Proxy-Software stellt ein Computerprogramm oder eine Adaptersoftware dar, die von dem Prozessorsystem ausgeführt wird, aber von der Applikationssoftware verschieden ist. Die Proxy-Software kann als Adaptersoftware durch Schnittstellen zum Empfangen und ausgeben von Daten ein Bindeglied oder eine Vermittlerfunktion zwischen dem von dem Prozessorsystem umfassten Betriebssystem und der Applikationssoftware darstellen. Die Schnittstellen der Proxy-Software können mit korrespondierenden Schnittstellen seitens der Applikationssoftware und des Betriebssystems zusammenwirken oder verbunden sein. Mit einer Schnittstelle kann eine Programmschnittstelle oder Softwareschnittstelle zur Interprozesskommunikation (IPC) gemeint sein, wie beispielsweise eine API (API: Application Programming Interface). Die Ausgabedaten der Applikationssoftware sollen dazu zunächst der Proxy-Software übergeben werden. Durch eine Nutzereingabe generierte Nutzereingabedaten, die der Proxy-Software übergeben werden können, kann durch die Proxy-Software festgelegt werden, auf welchem Anzeigebereich, also auf welchem Bildschirm, die Ausgabedaten nach einem Übergeben der Ausgabedaten an das Betriebssystem, angezeigt werden. Die kombinierte Anzeige- und Bedieneinrichtung kann dabei ein Touch-Display sein, das in Reichweite des Nutzers angeordnet ist. Die andere Anzeigeeinrichtung kann außerhalb der Reichweite liegen. In einer vorgegebenen Sitzposition kann die Reichweite einen Wert in einem Bereich von 0.7m bis 1.1 m aufweisen.The application software can be a computer program that can be executed by the processor system, for example a computer program for playing media content. The proxy software can be provided by a motor vehicle manufacturer and stored in an executable manner on the processor system. The application software can originate from a third party, i.e. downloaded from a third party server facility onto the processor system. The output data can comprise an image stream, for example in the case of media application software for displaying media content, for example moving image material such as a film. The proxy software is a computer program or adapter software that is executed by the processor system but is different from the application software. As adapter software, the proxy software can represent a link or an intermediary function between the operating system included in the processor system and the application software through interfaces for receiving and outputting data. The interfaces of the proxy software can interact with or be connected to corresponding interfaces on the part of the application software and the operating system. An interface can mean a program interface or software interface for interprocess communication (IPC), such as an API (API: Application Programming Interface). The output data of the application software should first be transferred to the proxy software. User input data generated by a user input that can be passed on to the proxy software can be used by the proxy software to determine on which display area, i.e. on which screen, the output data is displayed after the output data has been passed on to the operating system. The combined display and control device can be a touch display that is located within reach of the user. The other display device can be located outside the reach. In a given sitting position, the range can have a value in a range of 0.7 m to 1.1 m.

Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.The invention also includes embodiments which provide additional advantages.

Eine Ausführungsform sieht vor, dass die Proxy- Software folgende Schnittstellen aufweist: eine Nutzerschnittstelle, über die aus der Anzeige- und Bedieneinrichtung die Nutzereingabedaten zum Betreiben der Applikationssoftware von der Proxy-Software empfangen werden, eine Inputausgabeschnittstelle, über welche ein über das Auswählen des Anzeigebereichs hinausgehender erster Teil der Nutzereingabedaten von der Proxy-Software an die Applikationssoftware übergeben werden können (beispielsweise Bedieneingaben, die für die Applikationssoftware selbst bestimmt sind), eine Ausgabedatenempfangsschnittstelle, über welche die Proxy- Software die Ausgabedaten (beispielsweise Videodaten) aus der Applikationssoftware empfängt, wobei die Ausgabedaten in Abhängigkeit eines zweiten Teils der Nutzereingabedaten in einer von der Proxy-Software umfassten Zuweisungseinheit mit einer Anzeigeanweisung versehen werden, welche den Anzeigebereich identifiziert (durch die Nutzereingabedaten wird also der Bildschirm zur Ausgabe festgelegt), und eine Ausgabedatenübergabeschnittstelle, über welche die Ausgabedaten zusammen mit der Anzeigeanweisung an ein vom Prozessorsystem umfasstes Betriebssystem übergeben werden, das die Ausgabedaten zur Ausgabe in Abhängigkeit der Anzeigeanweisung an den durch die Anzeigeanweisung beschriebenen Anzeigebereich übergibt (also das Betriebssystem übernimmt beispielsweise die Videodaten und zeigt sie auf dem Bildschirm an, der von Proxy-Software vorgegeben ist). Damit ergibt sich die besagte Adapterfunktion der Proxy-Software.One embodiment provides that the proxy software has the following interfaces: a user interface, via which the user input data for operating the application software is received from the display and operating device by the proxy software, an input output interface, via which a first part of the user input data that goes beyond the selection of the display area can be transferred from the proxy software to the application software (for example, operating inputs that are intended for the application software itself), an output data reception interface, via which the proxy software receives the output data (for example, video data) from the application software, wherein the output data, depending on a second part of the user input data, are provided with a display instruction in an allocation unit included in the proxy software, which identifies the display area (the user input data thus determines the screen for output), and an output data transfer interface, via which the output data is transferred together with the display instruction to an operating system included in the processor system, which transfers the output data for output depending on the display instruction to the display area described by the display instruction (i.e. the operating system takes over for example, the video data and displays it on the screen specified by the proxy software). This results in the adapter function of the proxy software.

Mit anderen Worten soll die Proxy-Software zwischen die Applikationssoftware und das Betriebssystem geschaltet sein. Dazu kann die Proxy-Software Schnittstellen aufweisen. Über die Ausgabedatenempfangsschnittstelle können die Ausgabedaten der Applikationssoftware von der Proxy-Software empfangen werden. In Abhängigkeit von den Nutzereingabedaten soll von der Proxy-Software eine Anzeigeanweisung generiert werden. Für den Empfang der Nutzereingabedaten kann die Proxy-Software die Nutzerschnittstelle aufweisen. Durch die Anzeigeanweisung kann festgelegt sein, auf welchem Anzeigebereich die Ausgabedaten nach der Übergabe von der Proxy-Software an das Betriebssystem ausgegeben werden sollen. Hierzu kann die Anzeigeanweisung (z.B. ein Auswahlbefehl zum Auswählen der zu verwendenden Anzeigeeinrichtung) zusammen mit den Ausgabedaten (z.B. Videodaten) über die Ausgabedatenübergabeschnittstelle an das Betriebssystem übergeben werden. Die Übergabe der Ausgabedaten an die jeweilige durch die Anzeigeanweisung vorgegebene Anzeigeeinrichtung oder Anzeige- und Bedieneinrichtung zur Ausgabe kann durch das Betriebssystem in aus dem Stand der Technik bekannter Weise erfolgen. Die Nutzereingabedaten können aus zwei Teilen bestehen: einem ersten Teil, der Befehle oder Bedienanweisungen des Nutzers zur Steuerung der Applikationssoftware beschreibt, und einem zweiten Teil, der die Auswahl des Anzeigebereichs durch den Nutzer beschreibt und der für die Proxy-Software bestimmt ist. Für die Übergabe des ersten Teils kann die Proxy-Software eine Inputausgabeschnittstelle aufweisen, über welche die Befehle an die Applikationssoftware übergeben werden. Das Auswählen des Anzeigebereichs oder die Generierung der Anzeigeanweisung kann in Abhängigkeit von dem zweiten Teil der Nutzereingabedaten von der Zuordnungseinheit, die von der Proxy-Software umfasst sein kann, vorgenommen werden. Durch diese Software-Architektur oder Softwareverbund-Architektur der Proxy-Software und der Applikationssoftware und dem Betriebssystem in Verbindung mit der Anzeigeeinrichtung und der Anzeige- und Bedieneinrichtung, ergibt sich der Vorteil, dass der Nutzer die Applikationssoftware über die in seiner Reichweite befindliche Anzeige- und Bedieneinrichtung steuern und den Anzeigebereich bestimmen oder wählen kann.In other words, the proxy software should be connected between the application software and the operating system. The proxy software can have interfaces for this purpose. The output data of the application software can be received by the proxy software via the output data reception interface. Depending on the user input data, the proxy software should generate a display instruction. The proxy software can have the user interface for receiving the user input data. The display instruction can specify the display area on which the output data should be output after it has been transferred from the proxy software to the operating system. For this purpose, the display instruction (e.g. a selection command for selecting the display device to be used) can be transferred to the operating system together with the output data (e.g. video data) via the output data transfer interface. The output data can be transferred to the respective display device or display and operating device specified by the display instruction for output by the operating system in a manner known from the prior art. The user input data can consist of two parts: a first part that describes commands or operating instructions from the user to control the application software, and a second part that describes the selection of the display area by the user and is intended for the proxy software. For the transfer of the first part, the proxy software can have an input output interface via which the commands are transferred to the application software. The selection of the display area or the generation of the display instruction can be carried out by the allocation unit, which can be included in the proxy software, depending on the second part of the user input data. Through this software architecture or software network architecture of the proxy software and the application software and the operating system in conjunction with the display device and the display and operating The advantage of this device is that the user can control the application software via the display and control device within his reach and can determine or select the display area.

Eine Ausführungsform des Verfahrens sieht vor, dass die auszuführende Applikationssoftware aus einer Servereinrichtung eines Drittanbieters auf das Prozessorsystem heruntergeladen und dort installiert wird.One embodiment of the method provides that the application software to be executed is downloaded from a third-party server device onto the processor system and installed there.

Mit anderen Worten soll die Applikationssoftware nicht nur aus einem Applikationssoftwareangebot des Kraftfahrzeugherstellers stammen. Vielmehr soll durch die Proxy-Software ermöglicht werden, dass auch eine Applikationssoftware von Drittanbietern, die nicht auf die SoftwareUmgebung und/oder Hardware-Umgebung des Kraftfahrzeugs abgestimmt ist, im Kraftfahrzeug betrieben werden kann. Mit Betreiben ist hier das ausführen der Applikationssoftware auf dem Prozessorsystem, das Festlegen des Anzeigebereichs durch einen Nutzer, Ausgabe von Ausgabedaten der Applikationssoftware auf dem Anzeigebereich und das Steuern oder ein Bedienen der Applikationssoftware durch den Nutzer gemeint. Eine solche Servereinrichtung eines Drittanbieters kann beispielsweise der App Store™ von Apple™ oder der Google Play Store™ von Google™ sein. Beispielsweise kann die Applikationssoftware zum Betreiben auf einem auf einer nicht kraftfahrzeug-typischen Hardware- und/oder Softwareumgebung ausgelegt oder programmiert sein, wie auf einem mobilen Endgerät, also einem Mobiltelefon, einem Tablet-PC oder Desktop-PC. Die Proxy-Software simuliert nun der Applikationssoftware ihre „gewohnte“ Hardware- und/oder Softwareumgebung indem sie die zum Betreiben der Applikationssoftware erforderlichen oder beim Betreiben auftretenden Datenströme bereitstellt und/oder abnimmt und gleichzeitig an die im Kraftfahrzeug vorhandene Hardware- und/oder Softwareumgebung anpasst.In other words, the application software should not only come from an application software offering from the motor vehicle manufacturer. Rather, the proxy software should make it possible for application software from third parties that is not tailored to the software environment and/or hardware environment of the motor vehicle to be operated in the motor vehicle. Operating here means running the application software on the processor system, defining the display area by a user, outputting output data from the application software on the display area and controlling or operating the application software by the user. Such a third-party server facility can be, for example, the App Store™ from Apple™ or the Google Play Store™ from Google™. For example, the application software can be designed or programmed to operate on a hardware and/or software environment that is not typical for motor vehicles, such as on a mobile device, i.e. a mobile phone, a tablet PC or a desktop PC. The proxy software now simulates the application software’s “usual” hardware and/or software environment by providing and/or receiving the data streams required to operate the application software or which occur during operation and at the same time adapting them to the hardware and/or software environment present in the vehicle.

Eine Ausführungsform sieht vor, dass die Proxy-Software aus Metadaten der Applikationssoftware zumindest eine Bedienfunktion zur Bedienung der Applikationssoftware abfragt und auf der Anzeige- und Bedieneinrichtung anwählbar bereitstellt, wobei hierzu von der Proxy-Software von der Applikationssoftware unabhängig graphische Bedienelemente bereitgestellt werden.One embodiment provides that the proxy software queries at least one operating function for operating the application software from metadata of the application software and makes it available for selection on the display and operating device, wherein graphical operating elements are provided by the proxy software independently of the application software.

Mit anderen Worten soll die Proxy-Software aus zumindest einer beispielsweise vom Betriebssystem angelegte oder vom Hersteller der Applikationssoftware mitgelieferte Informationsdatei zu der Applikationssoftware Steuerbefehle oder Steuerfunktionen ermitteln, mit denen die Applikationssoftware gesteuert werden kann, also die von der Applikationssoftware als Input empfangen und verstanden oder umgesetzt werden können. In Abhängigkeit von den ermittelten Steuerbefehlen kann die Proxy-Software auf der Anzeige- und Bedieneinrichtung graphische Bedienelemente bereitstellen, die jeweils den jeweiligen Steuerbefehl beschreiben, beispielsweise durch ein Symbol. Bei Auslösen oder Anwählen eines Bedienelements durch den Nutzer kann der dem Bedienelement durch die Proxy-Software zugeordnete Steuerbefehl über die Proxy-Software an die Applikationssoftware übergeben werden. Dadurch ergibt sich der Vorteil, dass durch die Proxy-Software über die Anzeige- und Bedieneinrichtung dem Nutzer eine auf die Bedienung der Applikationssoftware abgestimmte Bedienmöglichkeit oder Steuermöglichkeit gegeben wird.In other words, the proxy software should determine control commands or control functions with which the application software can be controlled, i.e. which can be received as input and understood or implemented by the application software, from at least one information file about the application software, for example created by the operating system or supplied by the manufacturer of the application software. Depending on the control commands determined, the proxy software can provide graphical control elements on the display and operating device, each of which describes the respective control command, for example using a symbol. When the user triggers or selects a control element, the control command assigned to the control element by the proxy software can be transferred to the application software via the proxy software. This has the advantage that the proxy software gives the user an operating or control option via the display and operating device that is tailored to the operation of the application software.

So sieht eine Ausführungsform insbesondere vor, dass die Proxy- Software als die zumindest eine Bedienfunktion eine Wiedergabesteuerungsfunktion und/oder eine Lautstärkeregelungsfunktion und/oder eine Sprachsteuerungsfunktion und/oder eine Cursorsteuerungsfunktion bereitstellt.Thus, one embodiment provides in particular that the proxy software provides a playback control function and/or a volume control function and/or a voice control function and/or a cursor control function as the at least one operating function.

Mit anderen Worten soll die Proxy-Software zusätzlich zu den applikationssoftware-spezifischen und ermittelten Steuerbefehlen generische oder allgemeine Steuerbefehle oder Bedienfunktionen für den Nutzer zum Steuern der Applikationssoftware anwählbar oder auslösbar bereitstellen. So kann beispielsweise auf der Anzeige- und Bedieneinrichtung eine Wiedergabesteuerungsfunktion wie Play/Pause und/oder eine Lautstärkeregelungsfunktion, also Steuerbefehle, die auf die Steuerung von Medien-Applikationssoftware zugeschnitten sind, anwählbar in Form der Bedienelemente bereitgestellt werden. Zusätzlich oder alternativ kann auf der Anzeige- und Bedieneinrichtung auch ein Bedienelement bereitgestellt sein, bei dessen Anwählen durch den Nutzer eine Sprachsteuerungsfunktion ausgelöst wird, mit der der Nutzer durch eine Sprachsteuerung die Applikationssoftware steuern kann. Zusätzlich oder alternativ kann über das berührungssensitive Display oder Bildschirm der Anzeige- und Bedieneinrichtung eine Cursor-Steuerungsfunktion bereitgestellt sein, mit der Funktionselemente ausgewählt werden können, die auf einem Bildschirm anwählbar dargestellt sein können, der nicht berührungssensitiv ist oder außerhalb der Reichweite des Nutzers liegt. Mit Reichweite ist hier eine Bedienreichweite gemeint, innerhalb derer der Nutzer eine Bedieneinrichtung beispielsweise mit seiner Hand berühren kann. Die zumindest eine Bedienfunktion kann zusätzlich oder alternativ eine Bedienfunktion zur Steuerung von Medieninhalten sein, wie eine Vorspulfunktion, eine Rückspulfunktion, und/oder ein Fortschrittsbalken sein. Dadurch ergibt sich der Vorteil, dass der Nutzer die Applikationssoftware nach seinen Bedürfnissen steuern kann.In other words, in addition to the application software-specific and determined control commands, the proxy software should provide generic or general control commands or operating functions for the user to control the application software in a selectable or triggerable manner. For example, a playback control function such as play/pause and/or a volume control function, i.e. control commands that are tailored to the control of media application software, can be provided on the display and operating device in the form of control elements. Additionally or alternatively, a control element can also be provided on the display and operating device, which, when selected by the user, triggers a voice control function with which the user can control the application software using voice control. Additionally or alternatively, a cursor control function can be provided via the touch-sensitive display or screen of the display and operating device, with which function elements can be selected that can be displayed on a screen that is not touch-sensitive or is outside the user's reach. The term range here means an operating range within which the user can touch an operating device, for example with his hand. The at least one operating function can additionally or alternatively be an operating function for controlling media content, such as a fast-forward function, a rewind function, and/or a progress bar. This results in the advantage that the user can control the application software according to his needs.

Eine Ausführungsform sieht vor, dass die Anzeige- und Bedieneinrichtung eine berührungssensitive Bedienfläche zur Entgegennahme einer Nutzereingabe aufweist, wobei in Reaktion auf die Nutzereingabe Nutzereingabedaten erzeugt werden.One embodiment provides that the display and operating device has a touch-sensitive operating surface for receiving a user input, wherein user input data is generated in response to the user input.

Die Anzeige- und Bedieneinrichtung kann hierzu als ein aus dem Stand der Technik bekanntes Touch-Display oder Touch-Bildschirm ausgeführt sein. Hierdurch ergibt sich der Vorteil, dass die Anzeige- und Bedieneinrichtung zusätzlich zur Anzeigeeinrichtung, also einem Bildschirm, kein weiteres Eingabegerät oder eine Bedieneinrichtung, wie eine Computermaus oder eine Tastatur aufweisen muss, um die Nutzereingabe zu empfangen.The display and operating device can be designed as a touch display or touch screen known from the prior art. This has the advantage that the display and operating device does not need to have any additional input device or operating device, such as a computer mouse or keyboard, in addition to the display device, i.e. a screen, in order to receive the user input.

Eine Ausführungsform sieht vor, dass die Anzeige- und Bedieneinrichtung an zumindest einer Armlehne eines Sitzes des Kraftfahrzeugs bereitgestellt wird.One embodiment provides that the display and operating device is provided on at least one armrest of a seat of the motor vehicle.

Dadurch ergibt sich der Vorteil, dass sich die Anzeige- und Bedieneinrichtung stets in Reichweite des Nutzers befindet, auch wenn er seine Rückenlehne waagerecht gestellt hat oder den Sitz von einer Fahrposition weg zurückgefahren hat. Bevorzugt ist die Anzeige- und Bedieneinrichtung an einer Armlehne des Fahrersitzes angeordnet oder angebracht. Zusätzlich oder alternativ kann die Anzeige- und Bedieneinrichtung an einer Armlehne jedes weiteren im Kraftfahrzeug vorhandenen Sitzes angeordnet sein.This has the advantage that the display and control device is always within reach of the user, even if he has placed his backrest horizontally or moved the seat back from a driving position. The display and control device is preferably arranged or attached to an armrest of the driver's seat. Additionally or alternatively, the display and control device can be arranged on an armrest of any other seat in the motor vehicle.

Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung oder Nutzereingabe ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For use cases or application situations that may arise during the method and which are not explicitly described here, it may be provided that, in accordance with the method, an error message and/or a request to enter user feedback or user input is issued and/or a default setting and/or a predetermined initial state is set.

Die Erfindung umfasst eine Proxy-Software zur Kopplung einer Applikationssoftware mit einem von einem Prozessorsystem umfassten Betriebssystem, wobei die Proxy-Software Instruktionen umfasst, die dazu eingerichtet sind, bei einem Ausführen durch das Prozessorsystem dieses zu veranlassen, die die Proxy-Software betreffenden Ausführungsformen oder Weiterbildungen auszuführen.The invention comprises a proxy software for coupling an application software with an operating system comprised by a processor system, wherein the proxy software comprises instructions which, when executed by the processor system, are designed to cause the latter to execute the embodiments or further developments relating to the proxy software.

Die Proxy-Software kann von dem Betriebssystem umfasst sein oder als eigenständiges Computerprogramm von dem Prozessorsystem ausgeführt werden. Wird die Proxy-Software als eigenständiges Computerprogramm ausgeführt, kann die Applikationssoftware durch die Proxy-Software gespawnt werden. Damit ist gemeint, dass die Applikationssoftware von der Proxy-Software oder abhängig von der Proxy-Software als sogenannter Child-Prozess ausgeführt wird, um die Applikationssoftware über die Proxy-Software mit dem Betriebssystem zu koppeln. So können beispielsweise die Ausgaben der Applikationssoftware über Betriebssystembefehle, wie strace, an die Proxy-Software weitergeleitet werden, wo dann die Umleitung auf den ausgewählten Ausgabebereich erfolgen kann. Dadurch ergibt sich der Vorteil, dass die Proxy-Software separat oder in einem eigenen Installationsschritt auf dem Prozessorsystem installiert oder nachgerüstet werden kann, wenn sie beispielsweise bei Auslieferung des Kraftfahrzeugs noch nicht installiert war, um eine Applikationssoftware mit dem Betriebssystem zu koppeln. Ist die Proxy-Software bereits vom Betriebssystem bereits bei Auslieferung umfasst, liegt der Vorteil darin, dass die Proxy-Software nicht in einem eigenen Arbeitsschritt installiert werden muss und somit dem Nutzer Zeit und Aufwand erspart ist. Ein Child-Prozess kann mit Betriebssystem-Befehlen, wie z.B. fork oder Process/Task initiiert werden.The proxy software can be included in the operating system or executed as a standalone computer program by the processor system. If the proxy software is executed as a standalone computer program, the application software can be spawned by the proxy software. This means that the application software is executed by the proxy software or, dependent on the proxy software, as a so-called child process in order to link the application software to the operating system via the proxy software. For example, the output of the application software can be forwarded to the proxy software via operating system commands such as strace, where it can then be redirected to the selected output area. This has the advantage that the proxy software can be installed or retrofitted separately or in a separate installation step on the processor system if, for example, it was not yet installed when the vehicle was delivered in order to link application software to the operating system. If the proxy software is already included in the operating system when delivered, the advantage is that the proxy software does not have to be installed in a separate step, thus saving the user time and effort. A child process can be initiated with operating system commands such as fork or Process/Task.

Die Erfindung umfasst ein Prozessorsystem, das eine Prozessorschaltung zum Ausführen von Applikationssoftware, einen digitalen Datenspeicher für ein ausführbares Speichern von Applikationssoftware und einem Betriebssystem und einer Proxy-Software, eine Anzeigeeinrichtung, eine kombinierte Anzeige- und Bedieneinrichtung und eine Übertragungseinheit, die zur drahtlosen Datenübertragung mit einer Servereinrichtung eines Drittanbieters zum Herunterladen von Applikationssoftware ausgebildet ist, umfasst. Die Datenübertragung kann über ein Computernetzwerk wie das Internet vorgenommen werden. Die Übertragungseinheit kann ein Mobilfunkmodul und/oder ein WLAN-Modul (WLAN: Wireless Local Area Network) sein.The invention comprises a processor system that includes a processor circuit for executing application software, a digital data storage device for executable storage of application software and an operating system and proxy software, a display device, a combined display and operating device and a transmission unit that is designed for wireless data transmission to a server device of a third-party provider for downloading application software. The data transmission can be carried out via a computer network such as the Internet. The transmission unit can be a mobile radio module and/or a WLAN module (WLAN: Wireless Local Area Network).

Hierzu kann die Prozessorschaltung zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Als Mikroprozessor kann insbesondere jeweils eine CPU (Central Processing Unit), eine GPU (Graphical Processing Unit) oder eine NPU (Neural Processing Unit) verwendet werden. Des Weiteren kann die Prozessorschaltung Programmcode, insbesondere in Form der Proxy-Software und/oder zumindest einer Applikationssoftware, aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann zusätzlich oder alternativ zu dem digitalen Datenspeicher des Prozessorsystems in einem digitalen Datenspeicher der Prozessorschaltung gespeichert sein. Die Prozessorschaltung kann z.B. auf zumindest einer Schaltungsplatine und/oder auf zumindest einem SoC (System on Chip) basieren.For this purpose, the processor circuit can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). In particular, a CPU (Central Processing Unit), a GPU (Graphical Processing Unit) or an NPU (Neural Processing Unit) can be used as the microprocessor. Furthermore, the processor circuit can have program code, in particular in the form of proxy software and/or at least one application software, which is designed to carry out an embodiment of the method according to the invention when executed by the processor circuit. The program code can be stored in a digital data memory of the processor circuit in addition to or as an alternative to the digital data memory of the processor system. The processor circuit can, for example, be stored on at least one Circuit board and/or at least one SoC (System on Chip).

Als eine weitere Lösung umfasst die Erfindung auch den digitalen Datenspeicher der Prozessorschaltung und/oder des Prozessorsystems, ein computerlesbares Speichermedium umfassend Programmcode, insbesondere in Form der Proxy-Software und/oder zumindest einer Applikationssoftware, der bei der Ausführung durch einen Computer oder einen Computerverbund oder das Prozessorsystem und/oder die Prozessorschaltung diese veranlasst, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als ein Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in dem Computer oder Computerverbund oder dem Prozessorsystem und/oder der Prozessorschaltung angeordnet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server und/oder Cloud-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine weitere Prozessorschaltung mit beispielsweise zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode kann als Binärcode und/oder als Assembler-Code und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.As a further solution, the invention also includes the digital data memory of the processor circuit and/or the processor system, a computer-readable storage medium comprising program code, in particular in the form of proxy software and/or at least one application software, which, when executed by a computer or a computer network or the processor system and/or the processor circuit, causes them to carry out an embodiment of the method according to the invention. The storage medium can be provided at least partially as a non-volatile data memory (e.g. as a flash memory and/or as an SSD - solid state drive) and/or at least partially as a volatile data memory (e.g. as a RAM - random access memory). The storage medium can be arranged in the computer or computer network or the processor system and/or the processor circuit. The storage medium can also be operated, for example, as a so-called app store server and/or cloud server on the Internet. The computer or computer network can provide a further processor circuit with, for example, at least one microprocessor. The program code can be provided as binary code and/or as assembly code and/or as source code of a programming language (e.g. C) and/or as a program script (e.g. Python).

Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Prozessorschaltung, die Merkmale aufweist, wie sie bereits im Zusammenhang mit den Weiterbildungen oder Ausführungsformen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Prozessorschaltung hier nicht noch einmal beschrieben.The invention also includes further developments of the processor circuit according to the invention, which has features as have already been described in connection with the further developments or embodiments of the method according to the invention. For this reason, the corresponding further developments of the processor circuit according to the invention are not described again here.

Zudem ist durch die Erfindung ein Kraftfahrzeug bereitgestellt, das die erfindungsgemäße Prozessorschaltung umfasst.In addition, the invention provides a motor vehicle which comprises the processor circuit according to the invention.

Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes combinations of the features of the described embodiments. The invention therefore also includes implementations that each have a combination of the features of several of the described embodiments, provided that the embodiments have not been described as mutually exclusive.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

  • 1 eine schematische Darstellung einer Anzeige- und Bedieneinrichtung mit graphischen Bedienelementen zur Steuerung einer Applikationssoftware, deren Ausgabedaten auf einer ebenfalls dargestellten Anzeigeeinrichtung ausgegeben werden, und
  • 2 eine schematische Darstellung einer Softwareverbund-Architektur von Proxy-Software, Applikationssoftware und Betriebssystem in Verbindung mit einer Anzeigeeinrichtung und einer Anzeige- und Bedienvorrichtung für ein Betreiben einer Applikationssoftware.
Exemplary embodiments of the invention are described below.
  • 1 a schematic representation of a display and operating device with graphical operating elements for controlling an application software, the output data of which are displayed on a display device also shown, and
  • 2 a schematic representation of a software network architecture of proxy software, application software and operating system in conjunction with a display device and a display and operating device for operating an application software.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the components of the embodiments described each represent individual features of the invention that are to be considered independently of one another and which also develop the invention independently of one another. Therefore, the disclosure should also include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by other features of the invention already described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, identical reference symbols designate functionally identical elements.

1 zeigt eine schematische Darstellung einer Anordnung von einer Anzeige- und Bedieneinrichtung ABE und einer Anzeigeeinrichtung CID. Die Anzeige- und Bedieneinrichtung ABE kann als berührungssensitives Touch-Display ausgeführt sein, wie es aus dem Stand der Technik bekannt ist. In einem ersten Anzeigeabschnitt 4 der Anzeige- und Bedieneinrichtung ABE können graphische Bedienelemente für die Steuerung einer Applikationssoftware AS bereitgestellt sein. In einem zweiten Anzeigeabschnitt 5 der Anzeige- und Bedieneinrichtung ABE können weitere graphische Bedienelemente durch einen Nutzer anwählbar bereitgestellt sein, wie beispielsweise ein Applikationssoftware-Auswahlelement 1, ein Anzeigewechselelement 2 und/oder ein Home-Element 3. 1 shows a schematic representation of an arrangement of a display and operating device ABE and a display device CID. The display and operating device ABE can be designed as a touch-sensitive touch display, as is known from the prior art. In a first display section 4 of the display and operating device ABE, graphical operating elements for controlling an application software AS can be provided. In a second display section 5 of the display and operating device ABE, further graphical operating elements can be provided that can be selected by a user, such as an application software selection element 1, a display change element 2 and/or a home element 3.

In einem Ausführungsbeispiel kann ein Nutzer über eine Drahtloskommunikationseinheit oder Übertragungseinheit über ein Computernetzwerk oder Datennetzwerk wie das Internet, beispielsweise über ein Mobilfunknetz und/oder ein WLAN-Netz von einer Servereinrichtung eines Drittanbieters eine Applikationssoftware AS herunterladen. Die Übertragungseinheit kann von einem Prozessorsystem des Kraftfahrzeugs KFZ umfasst sein. Nach dem Herunterladen kann die Applikationssoftware AS beispielsweise auf einem von dem Prozessorsystem umfassten digitalen Datenspeicher ausführbar installiert sein. Zum Ausführen der Applikationssoftware AS kann der Nutzer das Applikationssoftware-Auswahlelement 1 auf der Anzeige- und Bedieneinrichtung ABE anwählen. Daraufhin kann sich eine Auswahlausgabe öffnen, in welcher der Nutzer die Applikationssoftware AS aus einer möglichen Mehrzahl von bereits installierten Applikationssoftwares auswählt. In diesem Beispiel kann die Proxy-Software PS in das von dem Prozessorsystem umfasste Betriebssystem OS integriert sein. In diesem Fall kann das Betriebssystem OS selbsttätig erkennen, dass die zum Ausführen ausgewählte Applikationssoftware AS von einem Drittanbieter stammt und selbsttätig die Applikationssoftware an Schnittstellen der Proxy-Software anbinden. Alternativ kann die Proxy-Software PS, wenn sie als eigenständige Applikationssoftware installiert ist, zuerst vom Nutzer gestartet werden. Daraufhin kann in einem weiten Auswahldialog dem Nutzer eine Auswahl von Applikationssoftwares AS ausgegeben werden, die von der Proxy-Software PS als sogenannter Child-Prozess gestartet werden sollen. Die auszuführende Applikationssoftware AS kann beispielsweise eine Medien-Applikationssoftware zur Wiedergabe von Filmen oder Musikstücken sein. Sie stellt ein Beispiel für die hier beschriebene Applikationssoftware dar. Es kann vorgesehen sein, dass die Applikationssoftware AS nach dem Starten zunächst ihre Ausgabedaten, z.B. Graphikdaten eines Bedienmenüs, auch auf der Anzeige- und Bedieneinrichtung ABE ausgibt. Mit dem Starten der Applikationssoftware AS, entweder direkt oder über die Proxy-Software PS, kann vorgesehen sein, dass die Proxy-Software PS aus einer von dem Betriebssystem OS oder einer Dateisammlung der Applikationssoftware umfassten Informationsdatei, wie beispielsweise Metadaten und/oder Manifest-Dateien, ermitteln oder abfragt, welche Funktionen und/oder Steuerbefehle in der Applikationssoftware AS hinterlegt sind. Da es sich in diesem Beispiel um eine Medien-Applikationssoftware handeln kann, können als Bedien- oder Steuerfunktionen beispielsweise die Funktionen Play, Pause, Skip vorwärts, Skip rückwärts, eine Lautstärkeregelung, eine Stummschaltefunktion und/oder ein Fortschrittsbalken einer Mediendatei ermittelt werden. Die Proxy-Software PS kann nach dem Starten der Applikationssoftware AS auf der Anzeige- und Bedieneinrichtung ABE ein Anwählen der ermittelten Bedienfunktionen oder Steuerbefehle durch entsprechende graphische Bedienelemente darstellen. Die Bedienelemente können in dem ersten Anzeigeabschnitt 4 der Anzeige- und Bedieneinrichtung ABE dargestellt sein und die dort ausgeführte Applikationssoftware AS transparent oder teiltransparent überblenden. Der Nutzer kann nun beispielsweise eine Mediendatei wie beispielsweise einen Film in der Medien-Applikationssoftware starten. Dazu kann der Nutzer beispielsweise durch eine Berührung mit seinem Finger das entsprechende Bedienelement, beispielsweise das Play-Zeichen, anwählen, wobei hierzu die Anzeige- und Bedieneinrichtung ABE als berührungssensitives Touch-Display ausgeführt sein kann. Startet nun der Film auf der Anzeige- und Bedieneinrichtung ABE, kann der Nutzer in einem nächsten Schritt das Anzeigewechselelement 2 auswählen. Daraufhin kann eine Wiedergabe des Films beziehungsweise eine Anzeige von Ausgabedaten AD der Applikationssoftware AS auf eine im Kraftfahrzeug KFZ angeordnete Anzeigeeinrichtung CID verschoben werden. Nach dem Verschieben der Applikationssoftware AS kann beispielsweise in dem ersten Anzeigeabschnitt 4 auf der Anzeige- und Bedieneinrichtung ABE ein Hinweis an den Nutzer ausgegeben werden, dass die momentan ausgeführte Applikationssoftware AS auf der Anzeigeeinrichtung CID oder einem weiteren im Kraftfahrzeug KFZ möglicherweise vorhandenen und von einer Prozessorschaltung des Kraftfahrzeugs umfassten Bildschirm ausgegeben wird. Sind mehrere Anzeigeeinrichtungen oder Bildschirme von der Prozessorschaltung umfasst, kann bei Anwahl des Anzeigewechselelements 2 eine Eingabeaufforderung an den Nutzer ausgegeben werden, in der er zumindest einen der Bildschirme auswählen kann. Die Bedienelemente in dem zweiten Anzeigeabschnitt 5 können jedoch weiterhin anwählbar bereitgestellt sein, wenn die Applikationssoftware auf der Anzeigeeinrichtung ausgegeben wird. Die Anzeigeeinrichtung CID kann dabei als nicht berührungssensitiver Bildschirm ausgeführt sein. Möchte der Nutzer nun der Applikationssoftware AS einen Steuerbefehl übermitteln, beispielsweise den Film pausieren, kann vorgesehen sein, dass er zunächst durch ein Anwählen des Anzeigewechselelements 2 die Applikationssoftware AS wieder auf die Anzeige- und Bedieneinrichtung ABE „zurückholt“ (Anzeigewechsel). Nun können wieder die Bedienelemente im ersten Anzeigeabschnitt 4 bereitgestellt sein und ausgewählt werden. Über ein Anwählen des Home- Elements 3 kann beispielsweise die Ausführung der Applikationssoftware AS beendet werden und ein Startbildschirm oder Ausgangsbildschirm auf der Anzeige- und Bedieneinrichtung ABE und/oder der Anzeigeeinrichtung CID oder ein Ausgangsbildschirm der momentan ausgeführten Applikationssoftware angezeigt werden.In one embodiment, a user can download an application software AS from a server device of a third party via a wireless communication unit or transmission unit via a computer network or data network such as the Internet, for example via a mobile network and/or a WLAN network. The transmission unit can be included in a processor system of the motor vehicle KFZ. After downloading The application software AS can be downloaded, for example, and installed in an executable manner on a digital data storage device included in the processor system. To run the application software AS, the user can select the application software selection element 1 on the display and operating device ABE. A selection output can then open in which the user selects the application software AS from a possible plurality of already installed application softwares. In this example, the proxy software PS can be integrated into the operating system OS included in the processor system. In this case, the operating system OS can automatically recognize that the application software AS selected for execution comes from a third-party provider and automatically connect the application software to interfaces of the proxy software. Alternatively, the proxy software PS, if it is installed as standalone application software, can be started by the user first. A wide selection dialog can then be displayed to the user with a selection of application software AS that should be started by the proxy software PS as a so-called child process. The application software AS to be executed can, for example, be a media application software for playing films or pieces of music. It is an example of the application software described here. It can be provided that the application software AS, after starting, initially outputs its output data, e.g. graphic data from an operating menu, on the display and operating device ABE. When the application software AS is started, either directly or via the proxy software PS, it can be provided that the proxy software PS determines or queries which functions and/or control commands are stored in the application software AS from an information file included in the operating system OS or a file collection of the application software, such as metadata and/or manifest files. Since this example can be a media application software, the operating or control functions that can be determined are, for example, the functions play, pause, skip forward, skip backward, volume control, a mute function and/or a progress bar of a media file. After starting the application software AS on the display and control device ABE, the proxy software PS can display a selection of the determined operating functions or control commands using corresponding graphical operating elements. The operating elements can be displayed in the first display section 4 of the display and control device ABE and can overlay the application software AS running there transparently or partially transparently. The user can now, for example, start a media file such as a film in the media application software. To do this, the user can, for example, select the corresponding operating element, such as the play symbol, by touching it with his finger, whereby the display and control device ABE can be designed as a touch-sensitive touch display for this purpose. If the film now starts on the display and control device ABE, the user can select the display change element 2 in a next step. A playback of the film or a display of output data AD of the application software AS can then be moved to a display device CID arranged in the motor vehicle KFZ. After moving the application software AS, for example, a message can be issued to the user in the first display section 4 on the display and operating device ABE that the application software AS currently being executed is being output on the display device CID or another screen that may be present in the motor vehicle KFZ and is included in a processor circuit of the motor vehicle. If several display devices or screens are included in the processor circuit, an input prompt can be issued to the user when the display change element 2 is selected, in which he can select at least one of the screens. The control elements in the second display section 5 can, however, still be provided in a selectable manner when the application software is output on the display device. The display device CID can be designed as a non-touch-sensitive screen. If the user now wants to transmit a control command to the application software AS, for example to pause the film, it can be provided that he first "returns" the application software AS to the display and operating device ABE by selecting the display change element 2 (display change). The control elements in the first display section 4 can now be provided and selected again. By selecting the home element 3, for example, the execution of the application software AS can be terminated and a start screen or exit screen can be displayed on the display and control device ABE and/or the display device CID or an exit screen of the application software currently being executed can be displayed.

Anhand von 2 soll der diesem Ausführungsbeispiel zugrunde liegende Ablauf erläutert werden.Based on 2 The process underlying this embodiment will be explained.

Ein im Kraftfahrzeug KFZ angeordnetes Anzeigesystem ASS kann die Anzeige- und Bedieneinrichtung ABE, die Anzeigeeinrichtung CID und ein Prozessorsystem umfassen. Das Prozessorsystem kann das Betriebssystem OS, die Proxy-Software PS und die Applikationssoftware AS gespeichert auf einem digitalen Datenspeicher umfassen. Durch ein Anwählen eines Bedienelements durch den Nutzer auf der Anzeige- und Bedieneinrichtung ABE können Nutzereingabedaten NED generiert werden und über eine Nutzerschnittstelle NS an die Proxy-Software PS übergeben werden. Die Nutzereingabedaten NED können in zwei Teile aufgeteilt sein: Einen ersten Teil NED1, der Steuerbefehle an die App umfassen kann, und einen zweiten Teil NED 2, der eine Auswahl eines Anzeigebereichs umfassen kann. Startet der Nutzer nun beispielsweise die Wiedergabe einer Mediendatei, indem er ein dafür vorgesehenes Bedienelement anwählt, können die Nutzereingabedaten NED von der Anzeige- und Bedieneinrichtung ABE über die Nutzerschnittstelle NS an die Proxy-Software PS übermittelt werden. Durch die Proxy-Software PS kann der erste Teil der Nutzereingabedaten NED1, der den Steuerbefehl zur Wiedergabe beschreibt, umfassen kann, über eine Input-Ausgabe-Schnittstelle IAS an die Applikationssoftware AS übergeben werden. Daraufhin kann die Wiedergabe der Mediendatei auf der Anzeige- und Bedieneinrichtung ABE starten. Möchte nun der Nutzer die Wiedergabe auf die Anzeigeeinrichtung CID verschieben, kann er das Anzeigewechselelement 2 auswählen. Diese Auswahl des Anzeigebereichs kann von dem zweiten Teil der Nutzereingabedaten NED2 umfasst sein und in der Proxy-Software PS von der Nutzerschnittstelle NS an eine Zuordnungseinheit ZE übertragen werden. In der Zuordnungseinheit ZE kann eine Anzeigeanweisung AW in Abhängigkeit von dem zweiten Teil der Nutzereingabedaten NED2 generiert werden. Das heißt, durch die Anzeigeanweisung AW kann entsprechend einer Nutzereingabe festgelegt sein, auf welchem Bildschirm Ausgabedaten der Applikationssoftware AS gezeigt werden sollen, also auf der Anzeige- und Bedieneinrichtung ABE oder auf der Anzeigeeinrichtung CID. Die Ausgabedaten AD, die in diesem Beispiel zu einem Bildstrom oder Audiodaten passen können, können in der Applikationssoftware AS an die Proxy-Software PS übergeben werden, wobei die Proxy-Software PS hierzu eine Ausgabedatenempfangsschnittstelle ADES aufweisen kann. Nach dem Generieren der Anzeigeanweisung AW kann die Proxy-Software PS die Ausgabedaten AD zusammen mit der Anzeigeanweisung AW über eine Ausgabedatenübergabeschnittstelle ADUS an das Betriebssystem OS übergeben. Mit Hilfe der Anzeigeanweisung AW kann das Betriebssystem OS, wie aus dem Stand der Technik bekannt, die Ausgabedaten AD auf den vom Nutzer ausgewählten Bildschirm weiterleiten, und zwar in diesem Fall an die Anzeigeeinrichtung CID oder an die Anzeige- und Bedieneinrichtung ABE, wobei die Anzeigeeinrichtung CID und die Anzeige- und Bedieneinrichtung ABE mit dem Betriebssystem OS über eine jeweilige Datenschnittstelle verbunden sein können.A display system ASS arranged in the motor vehicle KFZ can comprise the display and operating device ABE, the display device CID and a processor system. The processor system can store the operating system OS, the proxy software PS and the application software AS. stored on a digital data storage device. When the user selects a control element on the display and control device ABE, user input data NED can be generated and transferred to the proxy software PS via a user interface NS. The user input data NED can be divided into two parts: a first part NED1, which can include control commands to the app, and a second part NED 2, which can include a selection of a display area. If the user now starts the playback of a media file by selecting a control element provided for this purpose, the user input data NED can be transmitted from the display and control device ABE to the proxy software PS via the user interface NS. The proxy software PS can transfer the first part of the user input data NED1, which describes the control command for playback, to the application software AS via an input-output interface IAS. The playback of the media file can then start on the display and control device ABE. If the user now wants to move the playback to the display device CID, he can select the display change element 2. This selection of the display area can be included in the second part of the user input data NED2 and transferred in the proxy software PS from the user interface NS to an allocation unit ZE. In the allocation unit ZE, a display instruction AW can be generated depending on the second part of the user input data NED2. This means that the display instruction AW can be used to specify, according to a user input, on which screen the output data of the application software AS should be shown, i.e. on the display and operating device ABE or on the display device CID. The output data AD, which in this example can match an image stream or audio data, can be transferred in the application software AS to the proxy software PS, whereby the proxy software PS can have an output data reception interface ADES for this purpose. After the display instruction AW has been generated, the proxy software PS can transfer the output data AD together with the display instruction AW to the operating system OS via an output data transfer interface ADUS. With the aid of the display instruction AW, the operating system OS can, as is known from the prior art, forward the output data AD to the screen selected by the user, in this case to the display device CID or to the display and control device ABE, whereby the display device CID and the display and control device ABE can be connected to the operating system OS via a respective data interface.

In einem weiteren Ausführungsbeispiel kann die Applikationssoftware AS direkt nach dem Starten auf der Anzeige- und Bedieneinrichtung ABE ausgeführt werden. In diesem Beispiel können jedoch die von der Proxy-Software PS ermittelten Steuerfunktionen oder Steuerbefehle für die Applikationssoftware AS nach einem Wechsel des Anzeigebereichs auf der Anzeige- und Bedieneinrichtung ABE weiterhin anwählbar bereitgestellt sein. Hierfür startet der Nutzer beispielsweise wie im ersten Ausführungsbeispiel die Wiedergabe einer Mediendatei wie eines Films und verschiebt die Wiedergabe des Films beziehungsweise die Ausgabe der Ausgabedaten AD durch ein Anwählen des Anzeigewechselelements 2 von der Anzeige- und Bedieneinrichtung ABE auf die Anzeigeeinrichtung CID. Nach dem Wechsel des Anzeigebereichs von der Anzeige- und Bedieneinrichtung ABE auf die Anzeigeeinrichtung CID können die von der Proxy-Software PS ermittelten Steuerfunktionen im ersten Anzeigeabschnitt 4 in Form von Bedienelementen weiterhin für den Nutzer anwählbar bereitgestellt sein. Hierdurch ergibt sich der Vorteil, dass der Nutzer die Applikationssoftware AS über die Anzeige- und Bedieneinrichtung ABE weiterhin steuern kann, ohne den Anzeigebereich durch ein Anwählen des Anzeigewechselelements 2 wieder auf die Anzeige- und Bedieneinrichtung ABE zurückwechseln zu müssen.In a further embodiment, the application software AS can be executed on the display and operating device ABE directly after starting. In this example, however, the control functions or control commands for the application software AS determined by the proxy software PS can still be made available for selection on the display and operating device ABE after the display area has changed. To do this, the user starts the playback of a media file such as a film, for example, as in the first embodiment, and moves the playback of the film or the output of the output data AD from the display and operating device ABE to the display device CID by selecting the display change element 2. After the display area has changed from the display and operating device ABE to the display device CID, the control functions determined by the proxy software PS can still be made available for selection by the user in the first display section 4 in the form of control elements. This has the advantage that the user can continue to control the application software AS via the display and operating device ABE without having to switch the display area back to the display and operating device ABE by selecting the display change element 2.

Im Folgenden wird ein besonders bevorzugtes Ausführungsbeispiel beschrieben.A particularly preferred embodiment is described below.

Aktuelle Infotainmentgenerationen oder Anzeigesysteme in Kraftfahrzeugen können sich dadurch auszeichnen, dass sowohl OEM-spezifische (OEM: Original Equipment Manufacturer) Inhalte wie Applikationssoftware AS als auch Applikationssoftware AS von Drittanbietern im System oder Prozessorsystem oder dem Anzeigesystem ASS integriert werden können.Current infotainment generations or display systems in motor vehicles can be characterized by the fact that both OEM-specific (OEM: Original Equipment Manufacturer) content such as application software AS and application software AS from third-party providers can be integrated into the system or processor system or the display system ASS.

Typische OEM-Applikationssoftware kann eine Fahrzeug-Applikationssoftware oder eine Navigations-Applikationssoftware sein. Eine typische Applikationssoftware AS von Drittanbietern, die man gegebenenfalls seitens des OEM nicht selbst erstellen möchte, sondern „so wie sie ist“ einem digitalen Ökosystem oder Appstore entnehmen möchte kann z.B. Netflix™ sein. Derartige Applikationssoftwares kann typischerweise keine OEM-spezifischen Eingabe- und/oder Ausgabemechanismen kennen, sondern kann analog zur einer Tablet- und/oder Smartphonewelt einen Touchscreen zu einer Anzeige und/oder zu einer Nutzerinteraktion erwarten. Parallel dazu können sich die Fahrzeuginnenräume durch die Möglichkeiten des hochautomatisierten Fahrens weiterentwickeln. Ein Fahrer oder Nutzer kann nicht mehr zwangsläufig direkt hinter einem Lenkrad in Bedienreichweite von Anzeigen und Schalter oder der Anzeige- und Bedieneinrichtung ABE und einer Anzeigeeinrichtung CID sitzen müssen, sondern kann einen gewonnenen Freiraum für Nebentätigkeiten nutzen und sich hierfür von einer Schalttafel entfernen.Typical OEM application software can be vehicle application software or navigation application software. A typical application software AS from third-party providers, which the OEM may not want to create itself but would rather take from a digital ecosystem or app store “as is”, can be Netflix™, for example. Such application software typically does not have OEM-specific input and/or output mechanisms, but can expect a touchscreen for display and/or user interaction, analogous to a tablet and/or smartphone world. At the same time, vehicle interiors can develop further due to the possibilities of highly automated driving. A driver or user can no longer necessarily sit directly behind a steering wheel within operating range of displays and switches or the display and control device ABE and a The operator does not have to sit in front of the CID display device, but can use the free space gained for secondary activities and move away from a control panel for this purpose.

So kann der Bedarf entstehen, Applikationssoftware AS von Drittanbietern auf Displays oder Bildschirmen im Fahrzeug abzuspielen, die sich außer Touchreichweite oder der Bedienreichweite des Fahrers oder Nutzers befinden können. Eine Herausforderung kann also sein, Applikationssoftwares von Drittanbietern, die erwarten können per Touch bedient zu werden, auf nicht touchbaren oder nicht erreichbaren Displays konsumieren zu können.This can create the need to play third-party application software AS on displays or screens in the vehicle that may be outside of touch range or the operating range of the driver or user. One challenge can therefore be to be able to consume third-party application software that can expect to be operated via touch on non-touchable or inaccessible displays.

Die Idee ist es nun, die Applikationssoftware AS von Drittanbietern zunächst auf einem kleineren Bediendisplay (FCD) oder der Anzeige- und Bedieneinrichtung ABE, welche sich in Touchreichweite oder Bedienreichweite des Fahrers oder Nutzers befinden kann, zu starten. Auf diesem FCD oder der Anzeige- und Bedieneinrichtung ABE kann der Nutzer alle erforderlichen Bedienschritte ausführen (z.B. einen Film auswählen und abspielen) und anschließend die gesamte Applikationssoftware AS auf ein Display oder einen Bildschirm oder der Anzeigeeinrichtung CID außerhalb der Touchreichweite oder Bedienreichweite verschieben (casten) und auf diesem Display konsumieren. Wenn der Nutzer erneut Eingaben in der Applikationssoftware AS von Drittanbietern vornehmen möchte, verschiebt er die Applikationssoftware AS wieder zurück auf das FCD oder die Anzeige- und Bedieneinrichtung ABE. Wenn die Applikationssoftware AS auf die Anzeigeeinrichtung CID verschoben wurde, kann der Nutzer auf dem FCD oder der Anzeige- und Bedieneinrichtung ABE eine Möglichkeit benötigen, die Applikationssoftware AS wieder zurück zu holen. Eine Möglichkeit kann eine sogenannte generische Proxy- App oder Proxy-Software PS sein, die den Platz der verschobenen Applikationssoftware AS von Drittanbietern auf dem FCD oder der Anzeige- und Bedieneinrichtung ABE einnimmt. Diese Proxy-App oder Proxy-Software PS kann generische Bedienmöglichkeiten (Lautstärke, Play, Pause und/oder Skip) aber auch weitere Eingabemethoden oder -mittel wie ein Touchpad und/oder eine Cursorsteuerung beinhalten, um eine einfache Bedienung der Applikationssoftware AS von Drittanbietern auch ohne ein Zurückholen im „gecasteten“ Zustand bewerkstelligen zu können.The idea is to start the third-party application software AS on a smaller operating display (FCD) or the display and control device ABE, which can be within touch range or operating range of the driver or user. On this FCD or the display and control device ABE, the user can carry out all the necessary operating steps (e.g. select and play a film) and then move (cast) the entire application software AS to a display or screen or the display device CID outside the touch range or operating range and consume it on this display. If the user wants to make further entries in the third-party application software AS, he moves the application software AS back to the FCD or the display and control device ABE. If the application software AS has been moved to the display device CID, the user may need a way to get the application software AS back on the FCD or the display and control device ABE. One possibility could be a so-called generic proxy app or proxy software PS, which takes the place of the moved third-party application software AS on the FCD or the display and control device ABE. This proxy app or proxy software PS can contain generic control options (volume, play, pause and/or skip) but also other input methods or means such as a touchpad and/or cursor control in order to be able to easily operate the third-party application software AS without retrieving it in the "cast" state.

Zur Abgrenzung: Es kann sich bei dieser Idee nicht um ein „mirrorn“, also eine Dopplung der App-Ausgabedate auf 2 Displays, handeln, sondern die App oder Applikationssoftware AS kann im Gegensatz zum Spiegeln auf einem ersten Display oder der Anzeige- und Bedieneinrichtung ABE geschlossen und auf einem zweiten Display oder der Anzeigeeinrichtung CID geöffnet werden. Und wenn im ersten Display oder der Anzeige- und Bedieneinrichtung ABE die App oder Applikationssoftware AS geschlossen wird, dann kann die Proxy-App oder Proxy-Software PS erscheinen.To clarify: This idea cannot be a case of "mirroring", i.e. duplicating the app output data on 2 displays, but rather, in contrast to mirroring, the app or application software AS can be closed on a first display or the display and control device ABE and opened on a second display or the display device CID. And if the app or application software AS is closed on the first display or the display and control device ABE, then the proxy app or proxy software PS can appear.

Daraus kann sich als Vorteil ergeben, dass ein solcher Mechanismus Fahrzeugkonzepte ermöglichen kann mit kleinen Bediendisplays in Touchreichweite oder Bedienreichweite des Nutzers und weiteren gegebenenfalls größeren Displays oder der Anzeigeeinrichtung CID außerhalb der Touchreichweite oder Bedienreichweite des Nutzers im Fahrzeug. Somit kann ein Kunde oder Nutzer auch außerhalb einer Fahrposition oder Fahrerposition Infotainment-Inhalte steuern und konsumieren - inklusive Applikationssoftwares von Drittanbietern, die für ein solches Szenario nicht programmiert sein können.The advantage of this is that such a mechanism can enable vehicle concepts with small operating displays within the user's touch range or operating range and additional, possibly larger displays or the CID display device outside the user's touch range or operating range in the vehicle. This means that a customer or user can also control and consume infotainment content outside of a driving position or driver's position - including application software from third-party providers that cannot be programmed for such a scenario.

Insgesamt zeigen die Beispiele, wie ein Verfahren zum Betreiben einer Applikationssoftware, eine Proxy-Software zur Steuerung der Applikationssoftware, ein Prozessorsystem sowie ein Kraftfahrzeug mit Prozessorsystem bereitgestellt werden kann.Overall, the examples show how a method for operating an application software, a proxy software for controlling the application software, a processor system and a motor vehicle with a processor system can be provided.

Claims (10)

Verfahren zum Betreiben einer Applikationssoftware (AS) in einem Kraftfahrzeug (KFZ), wobei das Kraftfahrzeug (KFZ) ein Prozessorsystem und eine Anzeigeeinrichtung (CID) und eine kombinierte Anzeige- und Bedieneinrichtung (ABE) aufweist, dadurch gekennzeichnet, dass das Prozessorsystem die Applikationssoftware (AS) ausführt und die Applikationssoftware (AS) beim Ausführen Ausgabedaten (AD) erzeugt, die in einem Anzeigebereich darzustellen sind, und das Prozessorsystem eine von der Applikationssoftware (AS) verschiedene Proxy-Software (PS) betreibt, welche die Ausgabedaten (AD) von der Applikationssoftware (AS) entgegennimmt und in Abhängigkeit von Nutzereingabedaten (NED), die in Reaktion auf eine Nutzereingabe von der Anzeige- und Bedieneinrichtung (ABE) erzeugt werden, zwischen der Anzeigeeinrichtung (CID) und der Anzeige- und Bedieneinrichtung (ABE) als Anzeigebereich auswählt und die Ausgabedaten (AD) dem ausgewählten Anzeigebereich zuleitet.Method for operating an application software (AS) in a motor vehicle (KFZ), the motor vehicle (KFZ) having a processor system and a display device (CID) and a combined display and operating device (ABE), characterized in that the processor system executes the application software (AS) and the application software (AS) generates output data (AD) during execution, which are to be displayed in a display area, and the processor system operates a proxy software (PS) which is different from the application software (AS), which receives the output data (AD) from the application software (AS) and, depending on user input data (NED) which are generated by the display and operating device (ABE) in response to a user input, selects between the display device (CID) and the display and operating device (ABE) as a display area and forwards the output data (AD) to the selected display area. Verfahren nach Anspruch 1, wobei die Proxy- Software folgende Schnittstellen aufweist: • eine Nutzerschnittstelle (NS), über die aus der Anzeige- und Bedieneinrichtung (ABE) Nutzereingabedaten (NED) zum Betreiben der Applikationssoftware (AS) von der Proxy-Software PS empfangen werden, • eine Inputausgabeschnittstelle (IAS), über welche ein über das Auswählen des Anzeigebereichs hinausgehender erster Teil der Nutzereingabedaten (NED1) von der Proxy-Software (PS) an die Applikationssoftware (AS) übergeben werden, • eine Ausgabedatenempfangsschnittstelle (ADES), über welche die Proxy- Software (PS) Ausgabedaten (AD) aus der Applikationssoftware (AS) empfängt, wobei die Ausgabedaten (AD) in Abhängigkeit eines zweiten Teils der Nutzereingabedaten (NED2) in einer von der Proxy-Software (PS) umfassten Zuweisungseinheit (ZE) mit einer Anzeigeanweisung (AW) versehen werden, welche den Anzeigebereich identifiziert, und • eine Ausgabedatenübergabeschnittstelle (ADUS), über welche die Ausgabedaten (AD) zusammen mit der Anzeigeanweisung (AW) an ein vom Prozessorsystem umfasstes Betriebssystem (OS) übergeben werden, das die Ausgabedaten (AD) zur Ausgabe in Abhängigkeit der Anzeigeanweisung (AW) an den durch die Anzeigeanweisung (AW) beschriebenen Anzeigebereich übergibt.Procedure according to Claim 1 , whereby the proxy software has the following interfaces: • a user interface (NS), via which user input data (NED) for operating the application software (AS) is received from the display and operating device (ABE) by the proxy software PS, • an input output interface (IAS), via which a first part of the user input data, which goes beyond the selection of the display area (NED1) are transferred from the proxy software (PS) to the application software (AS), • an output data reception interface (ADES), via which the proxy software (PS) receives output data (AD) from the application software (AS), wherein the output data (AD) are provided with a display instruction (AW) in an allocation unit (ZE) included in the proxy software (PS) as a function of a second part of the user input data (NED2), which identifies the display area, and • an output data transfer interface (ADUS), via which the output data (AD) are transferred together with the display instruction (AW) to an operating system (OS) included in the processor system, which transfers the output data (AD) for output as a function of the display instruction (AW) to the display area described by the display instruction (AW). Verfahren nach einem der vorhergehenden Ansprüche, wobei die auszuführende Applikationssoftware (AS) aus einer Servereinrichtung eines Drittanbieters auf das Prozessorsystem heruntergeladen und dort installiert wird.Method according to one of the preceding claims, wherein the application software (AS) to be executed is downloaded from a server device of a third-party provider to the processor system and installed there. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Proxy-Software (PS) aus Metadaten der Applikationssoftware (AS) zumindest eine Bedienfunktion zur Bedienung der Applikationssoftware (AS) abfragt und auf der Anzeige- und Bedieneinrichtung (ABE) anwählbar bereitstellt, wobei hierzu von der Proxy-Software (PS) von der Applikationssoftware (AS) unabhängig Bedienelemente bereitgestellt werden.Method according to one of the preceding claims, wherein the proxy software (PS) queries at least one operating function for operating the application software (AS) from metadata of the application software (AS) and makes it available on the display and operating device (ABE) in a selectable manner, wherein for this purpose operating elements are provided by the proxy software (PS) independently of the application software (AS). Verfahren nach Anspruch 4, wobei die Proxy-Software (PS) als die zumindest eine Bedienfunktion eine Wiedergabesteuerungsfunktion und/oder eine Lautstärkeregelungsfunktion und/oder eine Sprachsteuerungsfunktion und/oder eine Cursorsteuerungsfunktion bereitstellt.Procedure according to Claim 4 , wherein the proxy software (PS) provides as the at least one operating function a playback control function and/or a volume control function and/or a voice control function and/or a cursor control function. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Anzeige- und Bedieneinrichtung (ABE) eine berührungssensitive Bedienfläche zur Entgegennahme einer Nutzereingabe aufweist, wobei in Reaktion auf die Nutzereingabe Nutzereingabedaten (NED) erzeugt werden.Method according to one of the preceding claims, wherein the display and operating device (ABE) has a touch-sensitive operating surface for receiving a user input, wherein user input data (NED) are generated in response to the user input. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Anzeige- und Bedieneinrichtung (ABE) an zumindest einer Armlehne eines Sitzes des Kraftfahrzeugs (KFZ) bereitgestellt wird.Method according to one of the preceding claims, wherein the display and operating device (ABE) is provided on at least one armrest of a seat of the motor vehicle (KFZ). Proxy-Software (PS) zur Kopplung einer Applikationssoftware (AS) mit einem von einem Prozessorsystem umfassten Betriebssystem (OS), wobei die Proxy-Software (PS) Instruktionen umfasst, die dazu eingerichtet sind, bei einem Ausführen durch das Prozessorsystem dieses zu veranlassen, die die Proxy-Software (PS) betreffenden Verfahrensschritte nach einem der vorhergehenden Ansprüche auszuführen.Proxy software (PS) for coupling an application software (AS) with an operating system (OS) comprised by a processor system, wherein the proxy software (PS) comprises instructions which, when executed by the processor system, are designed to cause the processor system to carry out the method steps relating to the proxy software (PS) according to one of the preceding claims. Prozessorsystem, umfassend eine Prozessorschaltung zum Ausführen von Applikationssoftware (AS), einen digitalen Datenspeicher für ein ausführbares Speichern von Applikationssoftware (AS) und einem Betriebssystem (OS) und einer Proxy-Software (OS), eine Anzeigeeinrichtung (CID) sowie eine kombinierte Anzeige- und Bedieneinrichtung (ABE) und eine Übertragungseinheit, ausgebildet zur drahtlosen Datenübertragung mit einer Servereinrichtung eines Drittanbieters zum Herunterladen von Applikationssoftware (AS).Processor system, comprising a processor circuit for executing application software (AS), a digital data memory for executable storage of application software (AS) and an operating system (OS) and proxy software (OS), a display device (CID) and a combined display and operating device (ABE) and a transmission unit, designed for wireless data transmission with a server device of a third-party provider for downloading application software (AS). Kraftfahrzeug (KFZ) umfassend ein Prozessorsystem nach Anspruch 9.Motor vehicle (KFZ) comprising a processor system according to Claim 9 .
DE102023116876.2A 2023-06-27 2023-06-27 Method for operating an application software, proxy software for controlling the application software, processor system and motor vehicle with processor system Active DE102023116876B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102023116876.2A DE102023116876B3 (en) 2023-06-27 2023-06-27 Method for operating an application software, proxy software for controlling the application software, processor system and motor vehicle with processor system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023116876.2A DE102023116876B3 (en) 2023-06-27 2023-06-27 Method for operating an application software, proxy software for controlling the application software, processor system and motor vehicle with processor system

Publications (1)

Publication Number Publication Date
DE102023116876B3 true DE102023116876B3 (en) 2024-05-23

Family

ID=90719525

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023116876.2A Active DE102023116876B3 (en) 2023-06-27 2023-06-27 Method for operating an application software, proxy software for controlling the application software, processor system and motor vehicle with processor system

Country Status (1)

Country Link
DE (1) DE102023116876B3 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130212237A1 (en) 2012-02-10 2013-08-15 Suhas SHIVANNA Proxy infrastructure to access firmware-based features
DE102014204747A1 (en) 2013-03-15 2014-09-18 Ford Global Technologies, Llc SYSTEM AND METHOD FOR DETERMINING THE PUBLIC ORGANIZATION USING ASSOCIATED DEVICES
DE102014016570A1 (en) 2014-11-08 2016-05-12 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Vehicle door with control panel
US20160321043A1 (en) 2013-12-31 2016-11-03 Thales Nederland B.V. A process integration method and system
US20200387278A1 (en) 2019-02-11 2020-12-10 Volvo Car Corporation Remotely controlling vehicle touchscreen controls
DE102021214619A1 (en) 2021-12-17 2023-06-22 Audi Aktiengesellschaft Operating device for a motor vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130212237A1 (en) 2012-02-10 2013-08-15 Suhas SHIVANNA Proxy infrastructure to access firmware-based features
DE102014204747A1 (en) 2013-03-15 2014-09-18 Ford Global Technologies, Llc SYSTEM AND METHOD FOR DETERMINING THE PUBLIC ORGANIZATION USING ASSOCIATED DEVICES
US20160321043A1 (en) 2013-12-31 2016-11-03 Thales Nederland B.V. A process integration method and system
DE102014016570A1 (en) 2014-11-08 2016-05-12 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Vehicle door with control panel
US20200387278A1 (en) 2019-02-11 2020-12-10 Volvo Car Corporation Remotely controlling vehicle touchscreen controls
DE102021214619A1 (en) 2021-12-17 2023-06-22 Audi Aktiengesellschaft Operating device for a motor vehicle

Similar Documents

Publication Publication Date Title
DE102016213688B4 (en) Motor vehicle display device with at least a first and a second display and method for operating such a motor vehicle display device
DE69819889T2 (en) DISPLAY OF COMPUTER INFORMATION TO A DRIVER OF A VEHICLE
DE10134717C2 (en) Method for configuring an information system
EP2927791A1 (en) Method and device for providing a graphical user interface in a vehicle
DE102017112634A1 (en) Motor vehicle with driving mode and simulation mode
EP2941685B1 (en) Operating method and operating system in a vehicle
DE112016004768T5 (en) Vehicle on-board display system and vehicle on-board display system control method
DE102012009429A1 (en) Method for remote configuration of electric car, involves displaying visually perceptible connection between two graphic elements of two display modes, where one of modes corresponds to actual control arrangement in vehicle
WO2009127522A1 (en) Operating system
WO2013091815A1 (en) Method for displaying information in a vehicle interior
DE102018103662A1 (en) POSITION CONTROL TOUCHSCREENS FOR VEHICLES
EP2924551A1 (en) Method and device for providing a graphical user interface in a vehicle
DE102013021978A1 (en) Method for augmented display of real control element and real object on terminal, involves displaying virtual real and additional information with respect to control elements and objects based on change in terminal current position
DE102015204336A1 (en) Method and device for integrating vehicle applications
DE102007007982A1 (en) Information device and method for providing information in a motor vehicle with improved operability
EP2987066B1 (en) Motor vehicle having a display and operating device and corresponding method
DE102016219134B4 (en) Method for accessing an external electronic device
DE102023116876B3 (en) Method for operating an application software, proxy software for controlling the application software, processor system and motor vehicle with processor system
DE102014118221A1 (en) A method and apparatus for providing user selectable preset options and associated data for an in-vehicle computer system
EP2548106B1 (en) Method for controlling an electronic system for a vehicle and corresponding controller
EP2936309B1 (en) Method, computer program product and device system for switching application programs
EP3033668A1 (en) Method for providing a operating device in a vehicle and operating device
DE10123475A1 (en) Multimedia system for vehicle, has application computer that provides user with access to external multimedia services and communicates with vehicle computer via standard interface
DE102018217127B4 (en) Method and display system for displaying sensor data of a sensor device on a display device and motor vehicle with a display system
DE102018204223A1 (en) Mobile, portable operating device for operating a device wirelessly coupled to the operating device, and method for operating a device using a mobile, portable operating device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division