DE102016224235A1 - Method and device for adapting the representation of image and / or operating elements on a graphical user interface - Google Patents

Method and device for adapting the representation of image and / or operating elements on a graphical user interface Download PDF

Info

Publication number
DE102016224235A1
DE102016224235A1 DE102016224235.0A DE102016224235A DE102016224235A1 DE 102016224235 A1 DE102016224235 A1 DE 102016224235A1 DE 102016224235 A DE102016224235 A DE 102016224235A DE 102016224235 A1 DE102016224235 A1 DE 102016224235A1
Authority
DE
Germany
Prior art keywords
detected
display device
display
head
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016224235.0A
Other languages
German (de)
Inventor
Johannes Tümler
Paul Leiber
Michael Wittkämper
Johannes Rhede
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102016224235.0A priority Critical patent/DE102016224235A1/en
Publication of DE102016224235A1 publication Critical patent/DE102016224235A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/403—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being monoscopic

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Zur Anpassung der Darstellung von Bild- und/oder Bedienelementen auf einer grafischen Benutzerschnittstelle wird die grafische Benutzerschnittstelle auf einer Anzeigevorrichtung (6) angezeigt (1). Der Betrachtungswinkel, unter dem ein Betrachter (8) die Anzeigevorrichtung betrachtet, und/oder die Betrachtungsposition, von welcher der Betrachter die Anzeigevorrichtung betrachtet, wird erfasst (2), und in Abhängigkeit von einer Änderung des erfassten Betrachtungswinkels und/oder der erfassten Betrachtungsposition die Darstellung der Bild- und/oder Bedienelemente angepasst (3). Gemäß einer Ausführungsform der Erfindung sind unterschiedliche räumliche Zonen (4, 5) vor der Anzeigevorrichtung definiert, wobei je nach räumlicher Zone, in dem der Kopf des Betrachters erfasst wird, ein angepasster Inhalt auf der Anzeigevorrichtung dargestellt wird. Dieses ermöglicht dem Betrachter allein durch eine gezielte Änderung der Blickposition, d.h. ohne jegliche Betätigung weiterer Bedienelemente, unterschiedliche Bildinhalte oder Funktionen der grafischen Benutzerschnittstelle auszuwählen.For adapting the representation of image and / or operating elements on a graphical user interface, the graphical user interface is displayed on a display device (6) (1). The viewing angle at which a viewer (8) views the display device and / or the viewing position from which the viewer views the display device is detected (2), and in response to a change in the detected viewing angle and / or the detected viewing position Representation of the image and / or operating elements adapted (3). According to one embodiment of the invention, different spatial zones (4, 5) are defined in front of the display device, wherein a customized content is displayed on the display device, depending on the spatial zone in which the head of the viewer is detected. This allows the viewer to be controlled solely by a deliberate change of the gaze position, i. without selecting any other controls, to select different image contents or functions of the graphical user interface.

Description

Gebiet der ErfindungField of the invention

Die vorliegende Erfindung betrifft ein Verfahren zur Anpassung der Darstellung von Bild- und/oder Bedienelementen auf einer grafischen Benutzerschnittstelle. Die vorliegende Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung des Verfahrens und ein Fahrzeug, das eingerichtet ist, ein solches Verfahren auszuführen oder eine solche Vorrichtung aufweist.The present invention relates to a method for adapting the representation of image and / or operating elements on a graphical user interface. The present invention further relates to an apparatus for carrying out the method and to a vehicle that is configured to carry out such a method or has such a device.

Hintergrund der ErfindungBackground of the invention

In vielen Bereichen der Technik werden für eine Interaktion mit Maschinen und Geräten Benutzerschnittstellen (abgekürzt HMI von englisch „Human Machine Interface“) eingesetzten, wobei grafische Benutzeroberflächen bzw. Benutzerschnittstellen (abgekürzt GUI von englisch „Graphical User Interface“) mittlerweile weit verbreitet sind. Mit grafischen Benutzerschnittstellen lassen sich komplexe grafische Elemente auf einer Bildschirmoberfläche darstellen, auswählen und bedienen. Eine Bedienung kann durch eine Vielzahl verschiedener Eingabegeräte erfolgen. So wird beispielsweise im Bereich der Computertechnologie als Eingabegerät häufig eine Computermaus verwendet, bei Mobilfunkgeräten wie sogenannten Smartphones und bei sogenannten Tabletcomputern erfolgt eine Bedienung üblicherweise durch Berührung einer berührungsempfindlichen Displayoberfläche, einem sogenannten Touchscreen. Statt der Verwendung solcher Eingabegeräte können aber ebenso Eingabetechniken wie eine Bedienung durch eine Spracheingabe oder eine Gestensteuerung eingesetzt werden.In many areas of technology, user interfaces (abbreviated to HMI) are used for interaction with machines and devices, with graphical user interfaces (GUIs) now being widely used. With graphical user interfaces, complex graphic elements can be displayed, selected and operated on a screen surface. An operation can be done by a variety of different input devices. Thus, for example, in the field of computer technology as an input device often a computer mouse is used in mobile devices such as so-called smartphones and so-called tablet computers, an operation is usually done by touching a touch-sensitive display surface, a so-called touch screen. However, instead of using such input devices, input techniques such as speech input or gesture control can also be used.

Für die Interaktion werden auf GUIs häufig Bedienelemente in Form von Bildsymbolen, sogenannten Icons, dargestellt. Ebenso können als Bedienelemente Schaltflächen (Buttons), Symbol- bzw. Werkzeugleisten (Toolbars), Schieberegler, Auswahllisten oder auch Dialogfelder verwendet werden. Eines dieser Bedienelemente kann durch den Nutzer an- bzw. ausgewählt werden und steht dann für die nächste Eingabe im Fokus. Dieses kann für den Nutzer sichtbar gemacht werden, in dem das an- bzw. ausgewählte Bedienelement grafisch hervorgehoben wird, was insbesondere von Vorteil ist wenn mehrere an- bzw. auswählbare Bedienelemente angezeigt werden. Größere Bildsymbole mit höherem Detailgrad werden häufig auch als Kacheln bezeichnet, wobei diese üblicherweise rechteckig ausgestaltet sind und auf einer Arbeitsoberfläche oder einem sogenannten Home Screen mehrere Kacheln auf einer Kacheloberfläche angeordnet werden können. Icons und Kacheln sind üblicherweise mit Computeranwendungsprogrammen, kurz Anwendungen (englisch „Apps“), verknüpft, die durch Anwählen eines Icons bzw. einer Kachel gestartet und bedient werden können.For interaction, GUIs often display control elements in the form of image symbols, so-called icons. Likewise, buttons (buttons), toolbars (toolbars), sliders, selection lists or dialog boxes can be used as control elements. One of these controls can be selected or selected by the user and is then in focus for the next input. This can be made visible to the user, in which the on or selected control element is highlighted graphically, which is particularly advantageous when multiple on or selectable controls are displayed. Larger icons with a higher degree of detail are often referred to as tiles, which are usually designed rectangular and can be arranged on a work surface or a so-called home screen several tiles on a tile surface. Icons and tiles are usually associated with computer application programs, short applications (English "Apps"), which can be started and operated by selecting an icon or a tile.

Bei GUIs mit umfangreichen Funktionsumfang bzw. einer Vielzahl von Funktionalitäten kann die Anzahl von Bild- und/oder Bedienelementen so groß sein, dass diese nicht alle gleichzeitig in sinnvoller Weise angezeigt werden können. Auch besteht die Gefahr, dass durch eine Anzeige einer Vielzahl von Bild- und/oder Bedienelementen die Übersichtlichkeit und Bedienbarkeit des GUIs leidet. Dieses kann beispielsweise bei einer Verwendung von GUIs in Fahrzeugen problematisch sein. Insbesondere eine Bedienung des GUIs während der Fahrt durch einen Fahrer des Fahrzeugs sollte so einfach und intuitiv wie möglich sein um eine Ablenkung von der Fahraufgabe zu minimieren und so die Fahrsicherheit zu gewährleisten.For GUIs with a comprehensive range of functions or a large number of functionalities, the number of picture and / or operating elements can be so large that they can not all be displayed in a meaningful way at the same time. There is also the risk that the clarity and operability of the GUIs suffers through a display of a large number of image and / or operating elements. This can be problematic, for example, when using GUIs in vehicles. In particular, an operation of the GUIs while driving by a driver of the vehicle should be as simple and intuitive as possible to minimize distraction from the driving task and thus to ensure driving safety.

Um die Übersichtlichkeit zu verbessern ist es bekannt hierarchische Menüs mit einer Vielzahl von Unterebenen vorzusehen. Dieses kann aber für den Nutzer, beispielsweise für den Fahrer eines Fahrzeugs, die Navigation in dem Menü und das Auffinden von seltener benutzten Funktionen schwierig gestalten. Kontextabhängige Menüs können hier bedingt Abhilfe schaffen, erfordern aber eine Selektion der vom Nutzer gewünschten Anzeige bzw. Bedienung. Schließlich ist auch ein An- und Abschalten von Funktionen, beispielsweise in einem Konfigurationsmenü, für den Nutzer nicht unbedingt einfach und erfordert ein manuelles Eingreifen.For the sake of clarity, it is known to provide hierarchical menus with a plurality of sub-levels. However, this may make it difficult for the user, for example for the driver of a vehicle, to navigate the menu and to find less frequently used functions. Context-dependent menus can remedy this conditionally, but require a selection of the display or operation desired by the user. Finally, switching on and off of functions, for example in a configuration menu, is not necessarily easy for the user and requires manual intervention.

Ein automatisches An- und Abschalten einer kompletten Anzeige in einem Fahrzeug ist aus der DE 10 2012 206 030 A1 bekannt. Hierbei wird mit einer Kamera im Fahrzeuginnenraum ermittelt, ob die aktuellen Blickrichtung eines Fahrzeuginsassen auf eine Anzeige gerichtet ist und in Abhängigkeit davon die Anzeige an- bzw. abgeschaltet oder in der Helligkeit verändert. In ähnlicher Weise wird in der WO 2012/162060 A2 beschrieben mit einer Kamera die Blickrichtung eines Nutzers zu erfassen, wobei ein elektrisches Gerät in Abhängigkeit davon in zwei verschiedenen Betriebsmodi betrieben wird. So gibt beispielsweise ein Navigationssystem in einem ersten Modus eine Karte mit Richtungsangaben auf einem Display wieder während in einem zweiten Modus die Richtungsangaben durch eine Sprachausgabe erfolgen. Die DE 10 2014 203 982 A1 beschreibt ebenfalls die Blickrichtung eines Fahrzeuginsassen zu detektieren, wobei beispielsweise die Anzeige eines Warnsymbols nach Betrachtung durch den Fahrzeuginsassen wieder zurückgenommen wird um insbesondere den Fahrer von seiner Fahraufgabe weniger abzulenken. Schließlich wird in der WO 2005/021314 A1 beschrieben mit einem oder mehreren Kameras die aktuelle Blickrichtung des Fahrers zu detektieren wobei für den Fahrer fahrtrelevante Informationen angezeigt werden, wenn der Fahrer auf ein Display schaut und fahrtunrelevante Informationen, wie beispielsweise Medieninhalte, für den Beifahrer angezeigt werden wenn der Fahrer nicht auf das Display blickt.An automatic switching on and off of a complete display in a vehicle is from the DE 10 2012 206 030 A1 known. Here, it is determined with a camera in the vehicle interior, whether the current viewing direction of a vehicle occupant is directed to a display and depending on the display on or off or changed in brightness. Similarly, in the WO 2012/162060 A2 described with a camera to capture the viewing direction of a user, wherein an electrical device is operated in response to it in two different operating modes. For example, a navigation system in a first mode displays a map with directions on a display while in a second mode the direction information is provided by a voice output. The DE 10 2014 203 982 A1 also describes the direction of view of a vehicle occupant to detect, for example, the display of a warning symbol after consideration by the vehicle occupant is withdrawn in particular to distract the driver less of his driving task. Finally, in the WO 2005/021314 A1 described with one or more cameras to detect the current line of sight of the driver with the driver information relevant to driving are displayed when the Driver looks at a display and ride-relevant information, such as media content, are displayed to the passenger when the driver does not look at the display.

Zusammenfassung der ErfindungSummary of the invention

Es ist eine Aufgabe der Erfindung, ein Verfahren zur Anpassung der Darstellung von Bild- und/oder Bedienelementen auf einer grafischen Benutzerschnittstelle, dass insbesondere in einem Kraftfahrzeug eingesetzt werden kann, zur Verfügung zu stellen.It is an object of the invention to provide a method for adjusting the representation of image and / or operating elements on a graphical user interface, which can be used in particular in a motor vehicle.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, sowie durch eine entsprechende Vorrichtung gemäß Anspruch 8 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.This object is achieved by a method having the features of claim 1 and by a corresponding device according to claim 8. Preferred embodiments of the invention are the subject of the dependent claims.

Bei dem erfindungsgemäßen Verfahren zur Anpassung der Darstellung von Bild- und/oder Bedienelementen auf einer grafischen Benutzerschnittstelle wird die grafische Benutzerschnittstelle auf einer Anzeigevorrichtung angezeigt. Der Betrachtungswinkel, unter dem ein Betrachter die Anzeigevorrichtung betrachtet, und/oder die Betrachtungsposition, von welcher der Betrachter die Anzeigevorrichtung betrachtet, wird erfasst, und in Abhängigkeit von einer Änderung des erfassten Betrachtungswinkels und/oder der erfassten Betrachtungsposition die Darstellung der Bild- und/oder Bedienelemente angepasst.In the inventive method for adjusting the representation of image and / or operating elements on a graphical user interface, the graphical user interface is displayed on a display device. The viewing angle at which a viewer views the display device and / or the viewing position from which the viewer views the display device is detected, and depending on a change in the detected viewing angle and / or the detected viewing position, the display of image and / or or controls adapted.

Dieses ermöglicht verschiedene Darstellungen auf einem Display je nach Betrachtungswinkel und/oder Betrachtungsposition des Betrachters für diesen Betrachter wiederzugeben. Anders als beim Stand der Technik, bei dem lediglich Anzeigen an- bzw. abgeschaltet werden je nachdem ob der Betrachter zur Anzeige hinschaut oder aber wegschaut, ermöglicht die Erfindung dem Betrachter durch gezielten Wechsel von Betrachtungswinkel und/oder Betrachtungsposition alternative Inhalte auszuwählen. Hierbei können beliebige Displaytechnologien eingesetzt werden. Insbesondere müssen hierbei keine Dual-View- oder Multi-View-Displays verwendet werden, die zwar permanent in unterschiedlichen Richtungen verschiedene Bildinhalte darstellen können, aber aufwendig und damit kostenintensiv zu fertigen sind und auch nur eine begrenzte Anzahl von unterschiedlichen Anzeigen ermöglichen. Bei der vorliegenden Erfindung dagegen ist die Anzahl der unterschiedlichen Anzeigen technologisch nur durch das Auflösungsvermögen der Erfassung des Betrachtungswinkels und/oder der Betrachtungsposition des Betrachters begrenzt, auch wenn für eine komfortable und fehlerfreie Benutzung eine Anpassung der Darstellung nur bei merklicher Änderung von Betrachtungswinkel und/oder Betrachtungsposition des Betrachters erfolgen sollte. Auch ist, anders als bei Dual-View- oder Multi-View-Displays, eine unterschiedliche Darstellung nicht auf verschiedene Blickrichtungen in einer Raumrichtung, üblicherweise in horizontaler Richtung, begrenzt.This allows various representations on a display depending on the viewing angle and / or viewing position of the viewer for this viewer play. Unlike the prior art, in which only displays are switched on or off depending on whether the viewer is looking to the display or looking away, the invention allows the viewer to select alternative content by targeted change of viewing angle and / or viewing position. Here, any display technologies can be used. In particular, in this case, no dual-view or multi-view displays must be used, which may permanently display different image contents in different directions, but are expensive and thus expensive to manufacture and also allow only a limited number of different displays. In the present invention, however, the number of different displays is technologically limited only by the resolution of the detection of the viewing angle and / or the viewing position of the viewer, even if for a comfortable and error-free use, an adaptation of the representation only with a noticeable change of viewing angle and / or Viewing position of the viewer should be done. Also, unlike dual-view or multi-view displays, a different representation is not limited to different viewing directions in a spatial direction, usually in a horizontal direction.

Gemäß einer Ausführungsform der Erfindung sind unterschiedliche räumliche Zonen vor der Anzeigevorrichtung definiert, wobei je nach räumlicher Zone, in dem der Kopf des Betrachters erfasst wird, ein angepasster Inhalt auf der Anzeigevorrichtung dargestellt wird. Dieses ermöglicht dem Betrachter allein durch eine gezielte Änderung der Kopf/Augenposition, d.h. ohne jegliche Betätigung weiterer Bedienelemente, unterschiedliche Bildinhalte oder Funktionen der grafischen Benutzerschnittstelle auszuwählen.According to one embodiment of the invention, different spatial zones are defined in front of the display device, wherein a customized content is displayed on the display device depending on the spatial zone in which the head of the viewer is detected. This allows the viewer to be controlled solely by a deliberate change in the head / eye position, i. without selecting any other controls, to select different image contents or functions of the graphical user interface.

Gemäß einer weiteren Ausführungsform der Erfindung werden die Kopfneigung und Blickrichtung des Betrachters erfasst, wobei unterschiedliche Kopfneigungen mit unterschiedlicher vertikaler Blickrichtung zu einer Darstellung von unterschiedlichen angepassten Inhalten führen. Dieses ermöglicht auch bei Situationen, bei denen der Betrachter seine Position in vertikaler Richtung nicht oder nur kaum verändern kann, dennoch unterschiedliche, angepasste Inhalte auszuwählen.According to a further embodiment of the invention, the head inclination and viewing direction of the observer are detected, wherein different head inclinations with different vertical viewing directions lead to a representation of different adapted contents. This allows even in situations in which the viewer can not or hardly change his position in the vertical direction, yet to select different, customized content.

Gemäß einer weiteren Ausführungsform der Erfindung wird erfasst, wenn der Kopf des Betrachters an die Anzeigevorrichtung herangeführt wird und automatisch ein betrachteter Teil der Anzeige vergrößert dargestellt. Damit kann auf einfache Art und Weise eine vergrößerte und gegebenenfalls auch detailliertere Darstellung von einem Teil der Anzeige wiedergegeben werden ohne dass der Betrachter auf weitere Bedienelemente zurückgreifen muss.According to a further embodiment of the invention is detected when the head of the observer is brought to the display device and automatically displayed a part of the enlarged display. In this way, an enlarged and optionally also more detailed representation of a part of the display can be reproduced in a simple manner without the observer having to resort to further operating elements.

Vorteilhafterweise wird der vergrößert dargestellte Teil der Anzeige wieder verkleinert dargestellt, wenn erfasst wird, dass der Kopf des Betrachters sich wieder von der Anzeigevorrichtung entfernt.Advantageously, the enlarged portion of the display is again displayed reduced in size when it is detected that the head of the viewer is again away from the display device.

Gemäß einer besonders vorteilhaften Ausführungsform der Erfindung ist die Anzeigevorrichtung in einem Fahrzeug angeordnet und kann von dem Fahrer und/oder Beifahrer des Fahrzeugs betrachtet werden. Dieses ermöglicht beispielsweise dem Fahrer des Fahrzeugs während der Fahrt je nach Fahrsituation unterschiedliche, der aktuellen Fahrsituation angepasste Inhalte auszuwählen und sich darstellen zu lassen.According to a particularly advantageous embodiment of the invention, the display device is arranged in a vehicle and can be viewed by the driver and / or passenger of the vehicle. This allows, for example, the driver of the vehicle while driving depending on the driving situation to select different, the current driving situation adapted content and to be presented.

Bei dieser Ausführungsform kann automatisch ein autonomer Fahrmodus ausgelöst werden, wenn erfasst wird, dass der Kopf des Fahrers einen zugelassenen Bereich verlässt. So können andere Inhalte wie beispielsweise Videos von einem Media-Player wiedergegeben werden, ohne dass es zu einer Gefährdung im Straßenverkehr kommt.In this embodiment, an autonomous driving mode may be automatically released when it is detected that the driver's head is leaving an approved area. This allows other content, such as videos, to be played back by a media player, without the risk of road traffic.

Entsprechend umfasst eine erfindungsgemäße Vorrichtung zur Anpassung der Darstellung von Bild- und/oder Bedienelementen auf einer grafischen Benutzerschnittstelle

  • - eine Anzeigevorrichtung, auf der die grafische Benutzerschnittstelle angezeigt wird;
  • - einen Sensor oder Sensorenverbund zur Erfassung des Betrachtungswinkels und/oder der Betrachtungsposition eines Betrachters der Anzeigevorrichtung;
  • - eine Auswerte-und Steuereinheit, der mindestens ein Ausgangssignal des Sensors oder Sensorenverbunds zugeführt wird und die hieraus eine Änderung des erfassten Betrachtungswinkels und/oder der erfassten Betrachtungsposition ermittelt; und
  • - eine Bilderzeugungs- und ausgabeeinheit, die von der Auswerte- und Steuereinheit so angesteuert wird, dass in Abhängigkeit von einer ermittelten Änderung des erfassten Betrachtungswinkels und/oder der erfassten Betrachtungsposition die Darstellung der Bild- und/oder Bedienelemente auf der Anzeigevorrichtung angepasst wird.
Accordingly, a device according to the invention for adapting the representation of image and / or operating elements on a graphical user interface
  • a display device on which the graphical user interface is displayed;
  • a sensor or sensor combination for detecting the viewing angle and / or the viewing position of a viewer of the display device;
  • an evaluation and control unit, to which at least one output signal of the sensor or sensor network is supplied and which determines therefrom a change in the detected viewing angle and / or the detected viewing position; and
  • an image generation and output unit, which is controlled by the evaluation and control unit so that, depending on a determined change in the detected viewing angle and / or the detected viewing position, the representation of the image and / or operating elements on the display device is adjusted.

Vorzugsweise ist die Anzeigevorrichtung so in einem Fahrzeug angeordnet, dass sie von dem Fahrer und/oder Beifahrer des Fahrzeugs betrachtet werden kann, wobei der Sensor oder Sensorenverbund die Kopf- und/oder Augenposition des Fahrers und/oder Beifahrers bestimmen kann.Preferably, the display device is arranged in a vehicle so that it can be viewed by the driver and / or passenger of the vehicle, wherein the sensor or sensor combination can determine the head and / or eye position of the driver and / or passenger.

Vorteilhafterweise wird hierbei der Bereich der üblicherweise eingenommenen Kopfposition des Fahrers und/oder Beifahrers mit einem Infrarotbeleuchtungsmittel beleuchtet und mit einer auf diesen Bereich ausgerichteten Infrarotkamera erfasst.Advantageously, in this case the area of the driver's and / or passenger's head position, which is usually assumed, is illuminated with an infrared illuminating means and detected with an infrared camera oriented on this area.

Vorzugsweise wird das erfindungsgemäße Verfahren oder die erfindungsgemäße Vorrichtung in einem Kraftfahrzeug eingesetzt.The method according to the invention or the device according to the invention is preferably used in a motor vehicle.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.Further features of the present invention will become apparent from the following description and claims taken in conjunction with the figures.

Figurenlistelist of figures

  • 1 zeigt schematisch das erfindungsgemäße Verfahren mit einer Anpassung der Anzeige bei einer erfassten Änderung des Betrachtungswinkels bzw. der Betrachtungsposition; 1 schematically shows the inventive method with an adjustment of the display at a detected change in the viewing angle or the viewing position;
  • 2 zeigt schematisch zwei unterschiedliche räumliche Zonen für die Betrachtungsposition in einem Teil eines Fahrzeuginnenraums; und 2 schematically shows two different spatial zones for the viewing position in a part of a vehicle interior; and
  • 3 zeigt schematisch ein Blockschaltbild einer erfindungsgemäßen Vorrichtung mit einer Anpassung der Anzeige für zwei unterschiedliche Betrachtungsposition. 3 schematically shows a block diagram of a device according to the invention with an adjustment of the display for two different viewing position.

Detaillierte Beschreibung der AusführungsformenDetailed description of the embodiments

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.For a better understanding of the principles of the present invention, embodiments of the invention will be explained in more detail below with reference to the figures. It should be understood that the invention is not limited to these embodiments, and that the features described may also be combined or modified without departing from the scope of the invention as defined in the claims.

1 zeigt schematisch das erfindungsgemäße Verfahren zur Anpassung der Darstellung von Bild- und/oder Bedienelementen auf einer grafischen Benutzerschnittstelle, dass insbesondere bei einer Wiedergabe der grafischen Benutzerschnittstelle auf einer Anzeigevorrichtung in einem Fahrzeug durchgeführt werden kann. 1 schematically shows the inventive method for adjusting the representation of image and / or controls on a graphical user interface, which can be carried out in particular in a reproduction of the graphical user interface on a display device in a vehicle.

Bei einer Anwendung im einem Fahrzeug kann diese Darstellung beispielsweise für den Fahrer auf dem Kombiinstrument, einem Display in der Mittelkonsole, einem Head-up-Display oder auch einem beliebigen anderen Display, welches frei programmierbar und für den Fahrer vom Fahrersitz aus einsehbar ist, erfolgen. Ebenso kann die Erfindung, je nach Anordnung in dem Fahrzeug, aber auch für eine Anpassung von Displaydarstellungen für den Beifahrer oder einen beliebigen anderen Mitfahrer verwendet werden. Schließlich kann die Erfindung auch angewendet werden, wenn die Anzeige auf einer Datenbrille erfolgt. When used in a vehicle, this representation can be made for example for the driver on the instrument cluster, a display in the center console, a head-up display or any other display, which is freely programmable and for the driver from the driver's seat , Likewise, the invention, depending on the arrangement in the vehicle, but also for an adaptation of display representations for the passenger or any other passenger can be used. Finally, the invention can also be applied when the display is on a data glasses.

Gemäß Verfahrensschritt 1 erfolgt eine erste Darstellung von Bild- und/oder Bedienelementen auf der Anzeigevorrichtung, die von einem Nutzer unter einem ersten Betrachtungswinkel bzw. aus einer ersten Betrachtungsposition betrachtet wird. So können für den Fahrer eines Fahrzeuges in der ersten Darstellung beispielsweise fahrzeugrelevante Informationen wiedergegeben werden.According to process step 1 a first representation of image and / or operating elements takes place on the display device, which is viewed by a user at a first viewing angle or from a first viewing position. For example, vehicle-relevant information can be reproduced for the driver of a vehicle in the first representation.

Ist für die dargestellten Bildinhalte nicht nur eine Wiedergabe auf dem Display sondern auch eine Bedienung durch den Fahrer möglich, so kann diese durch beliebige Bedienelemente erfolgen. So kann ein Multifunktionslenkrad verwendet werden, in dem verschiedene Bedienelemente wie Tasten, Schaltwippen, Rädchen oder Touchpads vorgesehen sein können. Ebenso kann beispielsweise bei einem Display in der Mittelkonsole dieses als Touchscreen-Display ausgestaltet sein, dass eine Bedienung von auf dem Display dargestellten Bedienelementen ermöglicht. Weiterhin kann eine Bedienung auch durch eine Sprachsteuerung oder Gestensteuerung im Raum erfolgen, wobei bei letzterer eine Erkennung der Gesten durch eine optische Erfassung mittels einer Videokamera und anschließende Bildanalyse erfolgt.If not only a reproduction on the display but also an operation by the driver is possible for the displayed image contents, then this can be done by any desired control elements. Thus, a multi-function steering wheel can be used, in which various controls such as buttons, paddles, wheels or touchpads can be provided. Likewise, for example, in the case of a display in the center console, this can be designed as a touch-screen display that enables the operation of operating elements shown on the display. Furthermore, an operation also by a voice control or gesture control in space, wherein in the latter a recognition of the gestures by an optical detection by means of a video camera and subsequent image analysis is done.

Ändert sich nun der Betrachtungswinkel, unter dem der Nutzer die Anzeigevorrichtung betrachtet und/oder die Betrachtungsposition, aus welcher der Nutzer auf die Anzeigevorrichtung schaut, so wird dieses in einem Verfahrensschritt 2 erfasst. Hierfür können beispielsweise Head- oder Eye-Tracking-Verfahren eingesetzt werden mittels der relativ zum Fahrzeugkoordinatensystem die aktuelle Position des Kopfes bzw. der Augen und gegebenenfalls auch die Blickrichtung des Betrachters ermittelt werden können.If the viewing angle under which the user views the display device and / or the viewing position from which the user looks at the display device changes, this becomes a procedural step 2 detected. For this purpose, for example, head or eye tracking method can be used by means of the relative to the vehicle coordinate system, the current position of the head or the eyes and possibly also the line of sight of the viewer can be determined.

Daraufhin wird in Verfahrensschritt 3 automatisch die Anzeige der Bild- und/oder Bedienelementen angepasst. Bei einer Anwendung im einem Fahrzeug können in dieser zweiten Darstellung beispielsweise Informationen von einem Navigationssystem wiedergegeben werden.Subsequently, in process step 3 automatically adjust the display of the image and / or controls. In an application in a vehicle, for example, information from a navigation system can be reproduced in this second representation.

2 zeigt schematisch einen Teil des Fahrzeuginnenraums im Bereich des Armaturenbretts. In diesem Beispiel sind zwei nebeneinanderliegende räumliche Zonen 4, 5 im Fahrzeug definiert. Je nachdem, in welchem dieser beiden unterschiedlichen Zonen der Kopf des Fahrers sich gerade befindet, wird auf dem Display 6 ein anderer, angepasster Bildinhalt dargestellt. 2 schematically shows a part of the vehicle interior in the area of the dashboard. In this example, there are two adjacent spatial zones 4 . 5 defined in the vehicle. Depending on which of these two different zones the driver's head is currently in, the display shows 6 another, customized image content shown.

Das Display 6 ist rechts vom Lenkrad im Bereich der Mittelkonsole zwischen Fahrer und Beifahrer angeordnet und kann eine vergleichsweise große Bildschirmdiagonale aufweisen und so beispielsweise auch eine angenehme Betrachtung von Infotainment-Inhalten, wie Videos von einem im Fahrzeug integrierten Mediaplayer, ermöglichen. Zur Bedienung und Interaktion verschiedener Fahrzeugfunktionen und -systeme wird auf dem Display 6 eine grafische Benutzerschnittstelle dargestellt. Das Display kann hierbei beispielsweise auf der LCD- oder der OLED-Technologie beruhen. Es kann sich um ein 2-D- oder auch um ein 3-D Display handeln.the display 6 is located to the right of the steering wheel in the area of the center console between the driver and front passenger and can have a comparatively large screen size and thus, for example, a pleasant viewing of infotainment content, such as videos from a built-in media player. The operation and interaction of various vehicle functions and systems is shown on the display 6 a graphical user interface shown. The display can be based for example on LCD or OLED technology. It can be a 2-D or a 3-D display.

Unterhalb des Displays 6 ist ein Sensor 7 zur Fahrerbeobachtung vorgesehen. Dieser Sensor 7 umfasst eine Kamera, welche die Kopfposition des Fahrers erfasst und durch geeignete Bildanalyseverfahren auch die Augenposition und gegebenenfalls die Blickrichtung des Fahrers ermitteln kann. Vorzugsweise handelt es sich hierbei um eine NIR-Kamera (englisch: near infrared, NIR), die sich an den sichtbaren Bereich unmittelbar anschließende kurzwellige Infrarotstrahlung erfasst. In diesem Fall kann eine Beleuchtung, insbesondere im Dunkeln, durch eine oder mehrere NIR-LEDs erfolgen, ohne dass dieses für den Fahrer störend ist oder ihn blenden kann.Below the display 6 is a sensor 7 intended for driver observation. This sensor 7 includes a camera that detects the head position of the driver and can also determine the eye position and possibly the line of sight of the driver by suitable image analysis method. This is preferably an NIR camera (English: near infrared, NIR), which detects the short wave infrared radiation immediately following the visible region. In this case, an illumination, in particular in the dark, by one or more NIR LEDs done without this is annoying to the driver or can dazzle him.

Sowohl die NIR-Kamera als auch die NIR-LEDs können an verschiedenen Stellen im Fahrzeuginnenraum angeordnet werden, wobei für die NIR-Kamera eine Anordnung in der Nähe des betrachteten Displays von Vorteil sein kann. Die NIR-Kamera und die NIR-LEDs können separat oder aber auch in einem gemeinsamen Sensorbauteil verbaut werden.Both the NIR camera and the NIR LEDs can be arranged at different locations in the vehicle interior, wherein for the NIR camera an arrangement in the vicinity of the viewed display can be advantageous. The NIR camera and the NIR LEDs can be installed separately or in a common sensor component.

Statt, wie in 2 dargestellt, den Sensor 7 unterhalb des Displays 6 anzuordnen, kann dieser beispielsweise auch daneben, oberhalb oder, bei einer Transparenz der Oberfläche des Displays für kurzwellige Infrarotstrahlung, auch hinter der Displayoberfläche angeordnet sein. Weiterhin kann bei einer erfindungsgemäßen Anpassung der Darstellung auf einem Kombiinstrument der Sensor 7 im Bereich der Kombihutze eingeordnet sein. Bei der Anwendung der Erfindung für die Darstellung auf einem Head-up-Display kann der Sensor 7 in der Nähe der Windschutzscheibe, beispielsweise im Bereich der A-Säule oder des Rückspiegels, vorgesehen sein. Ebenso kann der Sensor 7 auch im Bereich der Projektionsvorrichtung für das Head-up-Display angeordnet sein, wenn die Windschutzscheibe die kurzwellige Infrarotstrahlung in ausreichendem Maße reflektiert. Schließlich können statt eines einzelnen physikalischen Sensors auch mehrere gekoppelte Sensoren in einem Sensorenverbund verwendet werden. Hierbei können auch unterschiedliche Sensortypen kombiniert werden, beispielsweise optische Sensoren im sichtbaren und/oder NIR-Bereich mit Ultraschallsensoren.Instead, as in 2 shown the sensor 7 below the display 6 This can also be arranged, for example, next to it, above or, if the surface of the display for short-wave infrared radiation is transparent, also behind the display surface. Furthermore, in an inventive adaptation of the representation on an instrument cluster of the sensor 7 be classified in the field of combi helmets. In the application of the invention for display on a head-up display, the sensor 7 be provided in the vicinity of the windshield, for example in the area of the A-pillar or the rearview mirror. Likewise, the sensor 7 be arranged in the area of the projection device for the head-up display, when the windshield reflects the short-wave infrared radiation to a sufficient extent. Finally, instead of a single physical sensor, it is also possible to use a plurality of coupled sensors in a sensor network. Different sensor types can also be combined here, for example optical sensors in the visible and / or NIR range with ultrasonic sensors.

Im obigen Beispiel sind zwei nebeneinanderliegende räumliche Zonen 4, 5 im Fahrzeug definiert, die Erfindung ist aber nicht hierauf beschränkt. Vielmehr können auch mehr als zwei nebeneinanderliegende räumliche Zonen vorgesehen sein. Weiterhin können mehrere räumliche Zonen statt nebeneinander auch übereinander angeordnet sein. Da der Fahrer, zumindest während der Fahrt, seine Sitzposition zwar seitlich aber kaum senkrecht verändern kann, wird bei übereinanderliegenden räumlichen Zonen stattdessen eine Änderung der Kopfneigung und Blickrichtung des Betrachters erfasst um unterschiedliche, angepasste Inhalte darzustellen. Auch ist es möglich mehrere räumliche Zonen sowohl neben- als auch übereinander anzuordnen. Schließlich können stattdessen oder zusätzlich, in Form einer dreidimensionalen Matrix, mehrere aus Sicht des Betrachters hintereinander liegende räumliche Zonen vorgesehen sein.In the example above, there are two adjacent spatial zones 4 . 5 defined in the vehicle, but the invention is not limited thereto. Rather, more than two adjacent spatial zones can be provided. Furthermore, several spatial zones instead of side by side can also be arranged one above the other. Since the driver, at least while driving, although his seat position can change laterally but hardly vertical, a change in the head tilt and line of sight of the viewer is detected in superimposed spatial zones instead to represent different, customized content. It is also possible to arrange several spatial zones both side by side and on top of each other. Finally, instead of or in addition, in the form of a three-dimensional matrix, a plurality of spatial zones lying consecutively from the perspective of the observer can be provided.

Die vom Fahrer durch gezielte Änderung der Blickrichtung und/oder Blickposition angewählten alternativen Inhalte können hierbei unterschiedlichen Kontexten entsprechen, wie zum Beispiel Angaben zu technischen Daten des Fahrzeugs oder der Fahrzeugumgebung oder Anzeigen eines Assistenz-, Infotainment- oder Navigationssystems. Ebenso können aber auch Darstellungen mit unterschiedlichem Detailreichtum bzw. unterschiedlicher Informationstiefe erfolgen. Weiterhin kann der Fahrer eine vergrößerte und/oder detailliertere Darstellung von einem Teil der Anzeige dadurch initiieren, dass er seinen Kopf an das Display heranführt. Durch eine Erfassung der Blickrichtung des Fahrers wird dann der vom Fahrer betrachtete Teil vergrößert in Form eines Lupeneffektes dargestellt.The alternative contents selected by the driver by deliberate change of the viewing direction and / or eye position can correspond here to different contexts, such as information to technical data of the vehicle or the vehicle environment or display an assistance, infotainment or navigation system. Likewise, however, representations can also take place with varying levels of detail or information depth. Furthermore, the driver can initiate an enlarged and / or more detailed representation of a part of the display by bringing his head to the display. By detecting the line of sight of the driver, the part viewed by the driver is then enlarged in the form of a magnifying glass effect.

Die räumliche Zone, in der sich der Kopf des Fahrers für einen sicheren Fahrbetrieb befinden sollte, kann als zugelassener Bereich definiert werden. Wird mit dem Sensor nun festgestellt, dass der Kopf des Fahrers diesen zugelassenen Bereich verlässt, kann ein automatischer Fahrmodus ausgelöst werden und das Fahrzeug die Steuerung übernehmen. Hierbei kann eine akustische Information wie beispielsweise „Bereich verlassen, Steuerung wird übernommen“ ausgeben werden, die auch einen Warnhinweis enthalten kann, beispielsweise „Bereich verlassen, Steuerung wird für die nächsten 10 Sekunden übernommen, danach muss Position wieder eingenommen werden, sonst Not-Stopp“. Wird vom Fahrer die Fahrposition wieder eingenommen so kann eine akustische Information wie beispielsweise „Position wieder eingenommen, Steuerung wird wieder an Fahrer übergeben in ... Sekunden“ wiedergegeben werden, andere Übergabeszenarios sind aber ebenso denkbar.The spatial zone in which the driver's head should be located for safe driving can be defined as an approved area. If the sensor now determines that the driver's head is leaving this permitted area, an automatic driving mode can be triggered and the vehicle can take over control. In this case, an acoustic information such as "leave area, control will be taken over" will be issued, which may also contain a warning, such as "leave the area, control is taken over the next 10 seconds, then position must be taken again, otherwise emergency stop ". If the driver resumes the driving position, acoustic information such as, for example, "resume position, control is passed back to driver in ... seconds" can be reproduced, but other transfer scenarios are also conceivable.

Auch wenn im obigen Beispiel eine Anpassung der Darstellung auf dem Display für den Fahrer erfolgte, kann die Erfindung ebenso auch in Abhängigkeit von der Änderung des Betrachtungswinkels und/oder der Betrachtungsposition des Beifahrers oder eines anderen Mitfahrers angewendet werden. Hierbei kann auch ein Multi-View-Display verwendet werden, dass es ermöglicht, Fahrer, Beifahrer und/oder einem anderen Mitfahrer gleichzeitig unterschiedliche Inhalte anzuzeigen, die je nach ihrer jeweiligen aktuellen Position angepasst werden.Although in the above example the display was adapted for the driver, the invention may also be applied depending on the change of the viewing angle and / or the viewing position of the passenger or another rider. A multi-view display can also be used here, which allows the driver, front passenger and / or another passenger to simultaneously display different contents, which are adapted according to their current position.

3 zeigt schematisch ein Blockschaltbild einer erfindungsgemäßen Vorrichtung mit Anpassung der Darstellung in Abhängigkeit von der Position des Betrachters. Ein Betrachter 8, beispielsweise der Fahrer in einem Fahrzeug, befindet sich vor einem Display 6, das von einer Bilderzeugungs- und ausgabeeinheit 9 angesteuert wird. Die Position des Betrachters wird von einem Sensor 7 erfasst, dessen Ausgangssignal einer Auswerte- und Steuereinheit 10 zugeführt wird um die Position des Kopfes des Betrachters und gegebenenfalls auch der Augen bzw. des Betrachtungswinkels zu ermitteln und die Darstellung auf dem Display an die ermittelte Position anzupassen. Kommt statt eines einzelnen Sensors ein Sensorenverbund zum Einsatz, so werden entsprechend die Ausgangssignale der verschiedenen Sensoren der Auswerte-und Steuereinheit zugeführt. 3 schematically shows a block diagram of a device according to the invention with adaptation of the representation as a function of the position of the viewer. A viewer 8, for example the driver in a vehicle, is in front of a display 6 which is driven by an image forming and output unit 9. The position of the viewer is determined by a sensor 7 detected, the output signal of an evaluation and control unit 10 is supplied to determine the position of the head of the viewer and possibly also the eyes or the viewing angle and adjust the display on the display to the determined position. If a sensor network is used instead of a single sensor, then the output signals of the various sensors are supplied to the evaluation and control unit accordingly.

In Teil3A befindet sich der Betrachter 8 links versetzt von der Mitte des Displays 6. Der Kopf des Betrachters wird von dem Sensor 7 erfasst und eine Information hierüber der Auswerte- und Steuereinheit 10 zugeführt, die hieraus ermittelt, dass sich der Kopf des Betrachters in einer ersten räumliche Zone 4 befindet. Die Auswerte- und Steuereinheit 10 steuert daraufhin die Bilderzeugungs- und ausgabeeinheit 9 so an, dass auf dem Display 6 ein Bildinhalt A angezeigt wird. Erfolgt nun eine Änderung der Betrachtungsposition, in dem der Betrachter 8 sich seitlich bewegt und sich, wie in Teil3B dargestellt, nun rechts versetzt von der Mitte des Displays 6 befindet, so wird dieses von dem Sensor 7 erfasst. Die Auswerte- und Steuereinheit 10 ermittelt, dass sich der Kopf des Betrachters nun in einer zweiten räumlichen Zone 5 befindet und steuert die Bilderzeugungs- und ausgabeeinheit 9 in der Weise an, dass die Darstellung auf dem Display 6 angepasst wird, um dem Betrachter nun einen Bildinhalt B anzuzeigen.In part 3A is the viewer 8th offset to the left of the center of the display 6 , The head of the viewer is from the sensor 7 recorded and information about this the evaluation and control unit 10 which determines that the head of the observer is in a first spatial zone 4 located. The evaluation and control unit 10 then controls the imaging and output unit 9 so that on the display 6 an image content A is displayed. Now there is a change in the viewing position in which the viewer 8th moving sideways and, as in part 3B shown, now offset to the right of the center of the display 6 is located, this is from the sensor 7 detected. The evaluation and control unit 10 determines that the head of the viewer is now in a second spatial zone 5 is located and controls the image forming and output unit 9 in such a way that the representation on the display 6 is adjusted in order to now display the image content B to the viewer.

Die Erfindung kann vorteilhaft im Bereich der Fahrzeugtechnik eingesetzt werden, ist aber keineswegs darauf beschränkt. Vielmehr kann die Erfindung in beliebigen computerbasierten Systemen verwendet werden, bei denen eine Darstellung einer grafischen Benutzerschnittstelle auf einem Display erfolgt.The invention can be advantageously used in the field of vehicle technology, but is by no means limited thereto. Rather, the invention may be used in any computer-based systems in which a representation of a graphical user interface is made on a display.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Verfahrensschritt mit Anzeige von Bild- und/oder Bedienelementen auf einer grafischen BenutzerschnittstelleProcess step with display of image and / or operating elements on a graphical user interface
22
Verfahrensschritt mit Erfassung einer Änderung des Betrachtungswinkels und/oder der BetrachtungspositionMethod step with detection of a change of the viewing angle and / or the viewing position
33
Verfahrensschritt mit angepasster Anzeige der Bild- und/oder BedienelementeProcess step with adapted display of the image and / or controls
44
Erste räumliche Zone vor einem Display im FahrzeuginnenraumFirst spatial zone in front of a display in the vehicle interior
55
Zweite räumliche Zone vor einem Display im FahrzeuginnenraumSecond spatial zone in front of a display in the vehicle interior
66
Displaydisplay
77
Sensor bzw. SensorenverbundSensor or sensor network
88th
Betrachterobserver
99
Bilderzeugungs- und ausgabeeinheitImaging and output unit
1010
Auswerte- und SteuereinheitEvaluation and control unit

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102012206030 A1 [0006]DE 102012206030 A1 [0006]
  • WO 2012/162060 A2 [0006]WO 2012/162060 A2 [0006]
  • DE 102014203982 A1 [0006]DE 102014203982 A1 [0006]
  • WO 2005/021314 A1 [0006]WO 2005/021314 A1 [0006]

Claims (11)

Verfahren zur Anpassung der Darstellung von Bild- und/oder Bedienelementen auf einer grafischen Benutzerschnittstelle, wobei die grafische Benutzerschnittstelle auf einer Anzeigevorrichtung (6) angezeigt (1) wird, dadurch gekennzeichnet, dass ein Betrachtungswinkel, unter dem ein Betrachter (8) die Anzeigevorrichtung betrachtet, und/oder eine Betrachtungsposition, von welcher der Betrachter die Anzeigevorrichtung betrachtet, erfasst (2) wird, und in Abhängigkeit von einer Änderung des erfassten Betrachtungswinkels und/oder der erfassten Betrachtungsposition die Darstellung der Bild- und/oder Bedienelemente angepasst (3) wird.Method for adjusting the representation of image and / or operating elements on a graphical user interface, wherein the graphical user interface is displayed (1) on a display device (6), characterized in that a viewing angle at which a viewer (8) views the display device , and / or a viewing position from which the observer views the display device is detected (2), and the display of the image and / or operating elements is adapted (3) in dependence on a change in the detected viewing angle and / or the detected viewing position , Verfahren nach Anspruch 1, wobei unterschiedliche räumliche Zonen (4, 5) vor der Anzeigevorrichtung (6) definiert sind und je nach räumlicher Zone, in dem ein Kopf des Betrachters (8) erfasst wird, ein angepasster Inhalt auf der Anzeigevorrichtung (6) dargestellt wird.Method according to Claim 1 , wherein different spatial zones (4, 5) are defined in front of the display device (6) and, depending on the spatial zone in which a head of the viewer (8) is detected, a customized content is displayed on the display device (6). Verfahren nach Anspruch 1 oder 2, wobei eine Kopfneigung und Blickrichtung des Betrachters erfasst werden und unterschiedliche Kopfneigungen mit unterschiedlicher vertikaler Blickrichtung zu einer Darstellung von unterschiedlichen angepassten Inhalten führen.Method according to Claim 1 or 2 in which a head inclination and viewing direction of the observer are detected and different head inclinations with different vertical viewing directions lead to a representation of different adapted contents. Verfahren nach einem der vorhergehenden Ansprüche, wobei erfasst wird, wenn der Kopf des Betrachters (8) an die Anzeigevorrichtung (6) herangeführt wird und automatisch ein betrachteter Teil der Anzeige vergrößert dargestellt wird.Method according to one of the preceding claims, wherein it is detected when the head of the observer (8) is brought to the display device (6) and automatically displayed part of the display is enlarged. Verfahren nach Anspruch 4, wobei der vergrößert dargestellte Teil der Anzeige wieder verkleinert dargestellt wird, wenn erfasst wird, dass der Kopf des Betrachters (8) sich wieder von der Anzeigevorrichtung (6) entfernt.Method according to Claim 4 , wherein the enlarged portion of the display is displayed again reduced in size, when it is detected that the head of the viewer (8) moves away from the display device (6). Verfahren nach einem der vorhergehenden Ansprüche, wobei die Anzeigevorrichtung (6) in einem Fahrzeug angeordnet ist und von einem Fahrer und/oder Beifahrer des Fahrzeugs betrachtet werden kann.Method according to one of the preceding claims, wherein the display device (6) is arranged in a vehicle and can be viewed by a driver and / or passenger of the vehicle. Verfahren nach Anspruch 6, wobei automatisch ein autonomer Fahrmodus ausgelöst wird, wenn erfasst wird, dass der Kopf des Fahrers einen zugelassenen Bereich verlässt.Method according to Claim 6 wherein automatically an autonomous driving mode is triggered when it is detected that the driver's head is leaving an approved area. Vorrichtung zur Anpassung der Darstellung von Bild- und/oder Bedienelementen auf einer grafischen Benutzerschnittstelle mit - einer Anzeigevorrichtung (6) auf der die grafische Benutzerschnittstelle angezeigt wird; - einem Sensor oder Sensorenverbund (7) zur Erfassung eines Betrachtungswinkels und/oder einer Betrachtungsposition eines Betrachters der Anzeigevorrichtung; - einer Auswerte-und Steuereinheit (10), der mindestens ein Ausgangssignal des Sensors oder Sensorenverbunds zugeführt wird und die hieraus eine Änderung des erfassten Betrachtungswinkels und/oder der erfassten Betrachtungsposition ermittelt; und - einer Bilderzeugungs- und ausgabeeinheit (9), die von der Auswerte- und Steuereinheit (10) so angesteuert wird, dass in Abhängigkeit von einer ermittelten Änderung des erfassten Betrachtungswinkels und/oder der erfassten Betrachtungsposition die Darstellung der Bild- und/oder Bedienelemente auf der Anzeigevorrichtung angepasst wird.Device for adjusting the representation of image and / or operating elements on a graphical user interface with - a display device (6) on which the graphical user interface is displayed; a sensor or sensor network (7) for detecting a viewing angle and / or a viewing position of a viewer of the display device; - An evaluation and control unit (10), the at least one output signal of the sensor or sensor network is supplied and determines therefrom a change of the detected viewing angle and / or the detected viewing position; and - An image generating and output unit (9), which is controlled by the evaluation and control unit (10) so that in dependence on a determined change of the detected viewing angle and / or the detected viewing position, the representation of the image and / or controls on the display device is adjusted. Vorrichtung nach Anspruch 8, wobei - die Anzeigevorrichtung (6) in einem Fahrzeug angeordnet ist und von einem Fahrer und/oder Beifahrer des Fahrzeugs betrachtet werden kann; - der Sensor oder Sensorenverbund (7) eine Kopf- und/oder Augenposition des Fahrers und/oder Beifahrers bestimmt.Device after Claim 8 in which - the display device (6) is arranged in a vehicle and can be viewed by a driver and / or passenger of the vehicle; - The sensor or sensor network (7) determines a head and / or eye position of the driver and / or passenger. Vorrichtung nach Anspruch 9, wobei der Bereich der üblicherweise eingenommenen Kopfposition des Fahrers und/oder Beifahrers mit einem Infrarotbeleuchtungsmittel beleuchtet wird und mit einer auf diesen Bereich ausgerichteten Infrarotkamera erfasst wird.Device after Claim 9 in which the area of the driver's and / or passenger's head position, which is usually assumed, is illuminated with an infrared illuminant and is detected by an infrared camera aligned with this area. Kraftfahrzeug, das es eine Vorrichtung gemäß einem der Anspruch 8 bis 10 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 auszuführen.Motor vehicle, which is a device according to one of Claim 8 to 10 or is arranged, a method according to one of Claims 1 to 7 perform.
DE102016224235.0A 2016-12-06 2016-12-06 Method and device for adapting the representation of image and / or operating elements on a graphical user interface Pending DE102016224235A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016224235.0A DE102016224235A1 (en) 2016-12-06 2016-12-06 Method and device for adapting the representation of image and / or operating elements on a graphical user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016224235.0A DE102016224235A1 (en) 2016-12-06 2016-12-06 Method and device for adapting the representation of image and / or operating elements on a graphical user interface

Publications (1)

Publication Number Publication Date
DE102016224235A1 true DE102016224235A1 (en) 2018-06-07

Family

ID=62163833

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016224235.0A Pending DE102016224235A1 (en) 2016-12-06 2016-12-06 Method and device for adapting the representation of image and / or operating elements on a graphical user interface

Country Status (1)

Country Link
DE (1) DE102016224235A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110949272A (en) * 2019-12-23 2020-04-03 斑马网络技术有限公司 Vehicle-mounted display equipment adjusting method and device, vehicle, medium and equipment
DE102021122464B4 (en) 2021-08-31 2023-05-25 Audi Aktiengesellschaft Method of setting a viewing area for a screen
DE102022120809A1 (en) 2022-08-17 2024-02-22 Bayerische Motoren Werke Aktiengesellschaft Method for displaying content on a display of a vehicle

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005021314A1 (en) 2003-08-27 2005-03-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Method for controlling the display of different information in a vehicle and optoacoustic information unit
WO2012162060A2 (en) 2011-05-25 2012-11-29 Sony Computer Entertainment Inc. Eye gaze to alter device behavior
JP2013061988A (en) * 2013-01-04 2013-04-04 Fujitsu Ltd Display control device, display control method and display control program
WO2013093040A1 (en) * 2011-12-23 2013-06-27 Sensomotoric Instruments Gmbh Method and system for presenting at least one image of at least one application on a display device
DE102012201805A1 (en) * 2012-02-07 2013-08-08 Robert Bosch Gmbh Method for determining compensation parameter for cross talks with multi-view-operable display device for inner chamber of e.g. passenger car, involves assigning reference angle and/or reference distance to reference parameters
DE102012206030A1 (en) 2012-04-13 2013-10-17 Robert Bosch Gmbh Method and device for controlling at least one function of at least one display device for an interior of a vehicle
US20140118255A1 (en) * 2012-10-25 2014-05-01 Bryed Billerbeck Graphical user interface adjusting to a change of user's disposition
US20140191965A1 (en) * 2013-01-08 2014-07-10 Qnx Software Systems Limited Remote point of view
DE102014203982A1 (en) 2014-03-05 2015-09-10 Bayerische Motoren Werke Aktiengesellschaft Method and correspondingly designed device for visually triggering a process in a motor vehicle
DE102015220237A1 (en) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Vehicle system and method for activating a self-propelled unit for autonomous driving

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005021314A1 (en) 2003-08-27 2005-03-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Method for controlling the display of different information in a vehicle and optoacoustic information unit
WO2012162060A2 (en) 2011-05-25 2012-11-29 Sony Computer Entertainment Inc. Eye gaze to alter device behavior
WO2013093040A1 (en) * 2011-12-23 2013-06-27 Sensomotoric Instruments Gmbh Method and system for presenting at least one image of at least one application on a display device
DE102012201805A1 (en) * 2012-02-07 2013-08-08 Robert Bosch Gmbh Method for determining compensation parameter for cross talks with multi-view-operable display device for inner chamber of e.g. passenger car, involves assigning reference angle and/or reference distance to reference parameters
DE102012206030A1 (en) 2012-04-13 2013-10-17 Robert Bosch Gmbh Method and device for controlling at least one function of at least one display device for an interior of a vehicle
US20140118255A1 (en) * 2012-10-25 2014-05-01 Bryed Billerbeck Graphical user interface adjusting to a change of user's disposition
JP2013061988A (en) * 2013-01-04 2013-04-04 Fujitsu Ltd Display control device, display control method and display control program
US20140191965A1 (en) * 2013-01-08 2014-07-10 Qnx Software Systems Limited Remote point of view
DE102014203982A1 (en) 2014-03-05 2015-09-10 Bayerische Motoren Werke Aktiengesellschaft Method and correspondingly designed device for visually triggering a process in a motor vehicle
DE102015220237A1 (en) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Vehicle system and method for activating a self-propelled unit for autonomous driving

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110949272A (en) * 2019-12-23 2020-04-03 斑马网络技术有限公司 Vehicle-mounted display equipment adjusting method and device, vehicle, medium and equipment
DE102021122464B4 (en) 2021-08-31 2023-05-25 Audi Aktiengesellschaft Method of setting a viewing area for a screen
DE102022120809A1 (en) 2022-08-17 2024-02-22 Bayerische Motoren Werke Aktiengesellschaft Method for displaying content on a display of a vehicle

Similar Documents

Publication Publication Date Title
EP2331361B1 (en) Method and apparatus for displaying information, in particular in a vehicle
EP3507681B1 (en) Method for interacting with image contents displayed on a display device in a vehicle
EP3322611B1 (en) Method and operator control system for operating at least one function in a vehicle
DE102016224246B4 (en) Method and device for interacting with a graphical user interface
DE102009036371A1 (en) Method for providing user interface in vehicle i.e. motor vehicle, involves displaying anchor object for graphical object in display region, where anchor object permits operation of graphical object by operating device
EP1798588A1 (en) Operating system for functions in a motor vehicle
DE102016120995A1 (en) User interface and method for inputting and outputting information in a vehicle
EP3108334B1 (en) System having an adjustment device and method for automatically adjusting/switching said adjustment device for a head-up display device
EP2802924A1 (en) Method for displacing at least one display content
WO2015135737A1 (en) Method and apparatus for providing a graphical user interface in a vehicle
DE102015205167A1 (en) Method and control device for operating an autostereoscopic field of view display device for a vehicle
DE102016120999B4 (en) User interface and method for inputting and outputting information in a vehicle
WO2018050343A1 (en) Method for interacting with display and/or operating devices in a vehicle
DE102013000069B4 (en) Motor vehicle user interface with a control element for detecting a control action
DE102015115362B4 (en) Detection device for a motor vehicle and motor vehicle
DE102013000110A1 (en) Operating method and operating system in a vehicle
DE102016224235A1 (en) Method and device for adapting the representation of image and / or operating elements on a graphical user interface
DE112016001394T5 (en) OPERATING SYSTEM
EP3532332B1 (en) Method and device for the viewing angle-dependent representation of a graphic user interface
EP3874450A1 (en) Method for avoiding a field of view disturbance for an operator of an object, device for carrying out the method as well as vehicle and computer program
EP3296795B1 (en) Method for displaying an image object in a vehicle on a display seen inside and outside the vehicle
DE102016218003A1 (en) Method and device for optimizing the display on a display or multiple displays and / or the interaction with a display or multiple displays in a vehicle
DE102019105216A1 (en) Method and device for operating a display system with data glasses
DE102019208235B4 (en) Method for operating an HMD display unit for a vehicle, HMD display unit, multifunction steering wheel and vehicle for use in the method
DE102012024962A1 (en) External rear view mirror system for parking assistance system for motor vehicle, has gesture recognition device connected with computer unit, which is designed for recognition of gestures of driver, and data is assigned to control function

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication