DE102013000066A1 - Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung - Google Patents

Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung Download PDF

Info

Publication number
DE102013000066A1
DE102013000066A1 DE102013000066.1A DE102013000066A DE102013000066A1 DE 102013000066 A1 DE102013000066 A1 DE 102013000066A1 DE 102013000066 A DE102013000066 A DE 102013000066A DE 102013000066 A1 DE102013000066 A1 DE 102013000066A1
Authority
DE
Germany
Prior art keywords
hand
display device
sensor device
image content
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102013000066.1A
Other languages
English (en)
Inventor
Michael Schlittenbauer
Martin Roehder
Lorenz Bohrer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102013000066.1A priority Critical patent/DE102013000066A1/de
Priority to PCT/EP2013/003375 priority patent/WO2014108147A1/de
Publication of DE102013000066A1 publication Critical patent/DE102013000066A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern einer Anzeigeeinrichtung (12), durch welche auf einem Bildschirm (28) ein Bildinhalt (30) angezeigt wird. Durch eine optische Sensoreinrichtung (10) wird eine Position (P) einer Hand (24) vor dem Bildschirm (28) ermittelt und in Abhängigkeit von der aktuellen Position (P) der Bildinhalt verschoben und/oder gezoomt. Der Erfindung liegt die Aufgabe zugrunde, einem Benutzer eine leicht bedienbare Anzeigeeinrichtung bereitzustellen, welche ein Verschieben und/oder Zoomen des Bildinhalts (30) ermöglicht. Der Bildinhalt (30) wird durch die Anzeigeeinrichtung hierzu nur dann in Abhängigkeit von der ermittelten Position (P) der Hand (24) verändert, falls sich die Anzeigeeinrichtung (12) in einem Koppelmodus befindet. Durch eine Gestenerkennungseinheit (16) der optischen Sensoreinrichtung wird dabei eine relative Fingerstellung mehrerer Finger (34, 38) der Hand (24) erkannt und die Anzeigeeinrichtung (12) nur in dem Koppelmodus betrieben, während durch die Gestenerkennungseinheit signalisiert wird, dass die Fingerstellung (34, 38) mit einer vorbestimmten Bediengeste übereinstimmt.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben einer Anzeigeeinrichtung, durch welche auf einem Bildschirm ein Bildinhalt angezeigt wird. Eine Lage und/oder eine Skalierung des Bildinhalts können durch Bewegen einer Hand vor dem Bildschirm verändert werden. Mit anderen Worten kann durch eine Handbewegung ein Zoomen und/oder Verschieben des Bildinhalts bewirkt werden. Hierzu wird eine Position der Hand durch eine optische Sensoreinrichtung wiederholt ermittelt. Ein solches Verfahren ist auch aus der DE 10 2008 016 215 A1 bekannt. Zu der Erfindung gehören auch ein Kraftfahrzeug, ein mobiles Endgerät, wie beispielsweise ein Smartphone oder einen Tablet-PC, sowie ein Computerprogrammprodukt, mit dem ein herkömmliches mobiles Endgerät zum Durchführen des erfindungsgemäßen Verfahrens ertüchtigt wird.
  • In der genannten Druckschrift ist ein Bediengerät für ein Navigationssystem beschrieben. Das Gerät weist ein berührungsempfindliches Bedienfeld auf, über das ein Benutzer die Hand halten kann, um so durch Bewegen der Hand einen Kartenausschnitt auf einem Bildschirm zu verschieben oder zu skalieren. Die Bewegung der Hand wird durch eine CCD-Kamera oder eine CMOS-Kamera erfasst. Ein Abstand der Handfläche von dem Bedienfeld kann durch Ultraschallsensoren erfasst werden. Eine andere Möglichkeit für die Abstandsermittlung besteht in der Auswertung von Helligkeitswerten der Handfläche. Bei diesem aus dem Stand der Technik bekannten System kann es sich als schwierig erweisen, zwischen einer Bedienhandlung des Benutzers einerseits und einem Zurückziehen der Hand nach Beendigung des Bedienvorgangs andererseits zu unterscheiden. Ist der Benutzer mit dem Einstellen des Kartenausschnitts und der Skalierung der Karte fertig, möchte er in der Regel die Hand wieder dem Bedienfeld entfernen. Das Bediengerät erfasst jedoch auch diese Bewegung. Dann kann es passieren, dass der Kartenausschnitt noch einmal verschoben und in der Skalierung verändert wird. Ein solches „Verreißen” am Ende eines Bedienvorgangs soll nach Möglichkeit vermieden werden.
  • Aus der DE 10 2006 037 157 A1 ist ebenfalls ein Verfahren zum Betreiben eines Navigationssystems bekannt. Danach wird eine Position eines Fingers relativ zu einer Anzeigevorrichtung des Navigationsgeräts erfasst und eine Darstellung von Navigationsinformationen in Abhängigkeit von der ermittelten Position des Fingers angepasst. Hierdurch kann der Nutzer beispielsweise eine Ausschnittsvergrößerung (Skalierung) der Navigationsinformationen bewirken. Auch ein Verschieben des dargestellten Ausschnitts ist hierdurch möglich. Die Position des Fingers über der Anzeigefläche kann mit vier optischer Sensoren erfasst werden, die an Ecken der Anzeigefläche angebracht sind. Der Finger wird hierzu mittels einer LED mit moduliertem Licht angestrahlt, das zu unterschiedlichen Zeiten an den Sensoren auftrifft. Eine Laufzeitmessung ergibt dann die Position des Fingers. Um den Finger nach Beendigung eines Bedienvorgangs von der Anzeige zurückziehen zu können, kann der Benutzer entweder den Finger zunächst in ein vorbestimmtes Raumvolumen über der Anzeigefläche bewegen, in welchem eine Bewegung des Fingers keine Veränderung des Bildinhalts bewirkt. Eine andere Möglichkeit besteht darin, eine „flächige Ausdehnung” des Fingers zu verändern oder mit dem Finger eine bestimmte Bewegung auszuführen. Mit flächiger Ausdehnung ist hierbei gemeint, dass der Benutzer den Finger sehr nahe an die Anzeigefläche heranbewegen muss, um ihn dann seitlich herausbewegen zu können. Solche „Gesten” können von dem System erkannt und zum Abstellen der Bewegungserkennung genutzt werden. Eine Ausführungsform sieht vor, dass auch Bedienelemente, die in die Kartendarstellung integriert sind, mit dem Finger ausgewählt werden können. Der Finger muss hierzu eine vorgegebene Betätigungszeitspanne über dem Bedienelement verweilen.
  • Bei dem bekannten System kann es sich als problematisch erweisen, dass der Nutzer mit dem Finger immer dann, wenn er eine Bedienfläche betätigen möchte, zunächst die Verschiebung des Kartenausschnitts deaktivieren muss. Vergisst er dies einmal, so wird er unweigerlich beim Ausrichten seines Fingers auf die Bedienfläche den darunter dargestellten Kartenausschnitt in der beschriebenen Weise „verreißen”.
  • Der Erfindung liegt die Aufgabe zugrunde, einem Benutzer eine leicht bedienbare Anzeigeeinrichtung bereitzustellen, welche ein Verändern einer Lage und/oder einer Skalierung (d. h. Verschieben und/oder Zoomen) eines Bildinhalts auf einem Bildschirm ermöglicht.
  • Die Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1, ein Kraftfahrzeug gemäß Patentanspruch 6, ein Computerprogrammprodukt gemäß Patentanspruch 9 sowie ein mobiles Endgerät gemäß Patentanspruch 10 gelöst. Vorteilhafte Weiterbildungen der Erfindungen sind durch die Unteransprüche gegeben.
  • Das erfindungsgemäße Verfahren setzt bei dem eingangs beschriebenen Ansatz an, eine Lage und/oder eine Skalierung eines Bildinhalts auf einem Bildschirm einer Anzeigeeinrichtung in Abhängigkeit von einer aktuellen Position einer Hand eines Benutzers einzustellen. Verändert die Hand ihre Position, so wird hierdurch entsprechend die Lage des Bildinhalts verändert (Verschiebung des Bildinhalts) und/oder die Skalierung des Bildinhalts verändert (Hinein- oder Hinauszoomen). Die Position der Hand wird durch eine optische Sensoreinrichtung erfasst. Wichtig ist bei dem erfindungsgemäßen Verfahren, dass die Position einer Hand vor dem Bildschirm ermittelt wird und nicht nur diejenige eines einzelnen Fingers, um den Bildinhalt einzustellen. Bei der Anzeigeeinrichtung kann es sich beispielsweise um diejenige einer Navigationseinrichtung oder eines Infotainmentsystems eines Kraftfahrzeugs handeln. Von der Erfindung sind aber auch Ausführungsformen des Verfahrens umfasst, welche auf einem mobilen Endgerät ausgeführt werden, um so den Bildinhalt eines Bildschirms, beispielsweise eines Smartphones, eines Tablet-PCs, eines Personal Digital Assistants (PDA) oder eines Notebooks zu verschieben und/oder zu zoomen.
  • Bei dem erfindungsgemäßen Verfahren ist nun vorgesehen, dass durch die Anzeigeeinrichtung nur dann der Bildinhalt in Abhängigkeit von der ermittelten Position der Hand verändert wird, falls sich die Anzeigeeinrichtung in einem Modus befindet, der hier als Koppelmodus bezeichnet ist. Mit anderen Worten muss zunächst die Hand mit der Anzeigeeinrichtung „gekoppelt” werden. Hierzu wird gemäß dem Verfahren durch eine Gestenerkennungseinrichtung der optischen Sensoreinrichtung eine relative Fingerstellung mehrerer Finger der Hand erkannt. Der Benutzer kann ja seine Fingerstellung problemlos ändern, ohne hierdurch den Bildinhalt zu „verreißen”, da die Position der Hand entscheidend ist und nicht diejenige der einzelnen Finger. Die Anzeigeeinrichtung wird dabei nur in dem Koppelmodus betrieben, während durch die Gestenerkennungseinrichtung signalisiert wird, dass die Fingerstellung mit einer vorbestimmten Bediengeste übereinstimmt.
  • Der Benutzer kann also jederzeit durch Verändern seiner Fingerstellung den Koppelmodus aktivieren oder deaktivieren. So ist bevorzugt vorgesehen, dass durch die Gestenerkennungseinrichtung überprüft wird, ob sich als Bediengeste zumindest zwei Fingerspitzen berühren. Durch Zusammenführen der Finger kann der Benutzer so den Verschiebe- bzw. Zoomvorgang aktivieren (Koppelmodus aktiviert) und dann durch Bewegen der Hand den Bildinhalt intuitiv nach seinen Bedürfnissen einstellen. Trennt er die Fingerspitzen dann wieder voneinander (Koppelmodus deaktiviert), ist die Hand von der Anzeigeeinrichtung entkoppelt und er kann die Position der Hand beliebig ohne Auswirkung auf den Bildinhalt verändern. Die beschriebene Bediengeste (Berühren von Fingerspitzen) weist den zusätzlichen Vorteil auf, dass der Benutzer sich selbst ein haptisches Feedback an den Fingerspitzen erzeugt, und ihm so klar ist, wann der Koppelmodus aktiv ist.
  • Das erfindungsgemäße Verfahren weist den Vorteil auf, dass das beschriebene „Verreißen” des Bildinhalts nun einfach vermieden werden kann. Die erfindungsgemäße unabhängige Erfassung der Handposition einerseits und der Fingerstellung andererseits erlaubt es dem Benutzer, seine Handbewegungen wie gewünscht jederzeit Zeit mit dem Bildinhalt zu koppeln bzw. sie wieder zu entkoppeln.
  • Zum Ermitteln der Position der Hand und/oder zum Erkennen der Fingerstellung werden bevorzugt 3D-Bilddaten einer 3D-Kamera der Sensoreinrichtung zugrunde gelegt. Die 3D-Kamera ist dabei bevorzugt außerhalb der Anzeigeeinrichtung angeordnet und überwacht von dort aus einen vorbestimmten Raumbereich außerhalb der Anzeigeeinrichtung. Als besonders geeignet hat sich als 3D-Kamera eine TOF-Kamera (TOF – Time of Flight) erwiesen. Mittels einer 3D-Kamera ist es möglich, 3D-Bilddaten zu erzeugen, mittels welchen einzelne Finger der Hand und der Handrücken voneinander unterschieden werden können. Eine TOF-Kamera zeichnet sich hierbei durch einen besonders großen Erfassungsbereich aus, sodass mittels einer einzigen TOF-Kamera mehrere Bildschirme in der beschriebenen Weise überwacht und deren Bildinhalte gesteuert werden können. Bei einer 3D-Kamera stellt auch die Abschattung auch kein Problem dar, wie sie sich dadurch ergibt, dass mittels einer 3D-Kamera in der Regel nur von einer Seite einer Hand betrachtet werden kann. Eine solche Abschattung kann mittels eines Handmodells kompensiert werden, wie es beispielsweise von dem Produkt „Kinect”® des Unternehmens Microsoft® bekannt ist. Ein weiterer Vorteil einer TOF-Kamera besteht darin, dass mit ihr 3D-Bilddaten auch bei veränderlichen Lichtverhältnissen besonders robust erfasst werden können. Selbst für den Fall, dass Infrarotlicht zur Bilderfassung genutzt wird, kann dieses zuverlässig von beispielsweise wärmender Sonneneinstrahlung anhand des Modulationsmusters der TOF-Lichtquelle unterschieden werden.
  • Ein weiterer Vorteil ergibt sich, wenn durch die Anzeigeeinrichtung eine Ausgangsposition, welche die Hand beim Aktivieren des Koppelmodus inne hat, als Referenzposition festgelegt wird und dann im Koppelmodus ein Abstand der aktuellen Position der Hand von der Referenzposition ermittelt wird und die Skalierung und/oder Verschiebung (Veränderung der Lage), in Abhängigkeit von dem Abstand eingestellt wird. Der Benutzer kann so in vorteilhafter Weise „nachgreifen”. Dies bedeutet, dass der Benutzer für eine größere Verschiebung nur kleine Handbewegungen ausführen muss. Beispielsweise kann der Benutzer für eine große Verschiebung des Bildinhalts nach rechts zunächst den Koppelmodus aktivieren (z. B. Fingerspitzen zusammenführen) und die Hand dann nach rechts bewegen, anschließend den Koppelmodus deaktivieren (Fingerspitzen trennen), die Hand wieder nach links zurückbewegen, und dann durch erneutes Aktivieren des Koppelmodus und Bewegen der Hand nach rechts die Verschiebung der Bildinhalts nach rechts fortsetzen.
  • Wie bereits ausgeführt gehört zu der Erfindung auch ein Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug weist eine Anzeigeeinrichtung mit einem Bildschirm zum Anzeigen eines Bildinhalts, beispielsweise einer Navigationskarte, sowie eine optische Sensoreinrichtung auf. Die optische Sensoreinrichtung ist dazu ausgelegt, in Abhängigkeit von einer Position einer Hand vor dem Bildschirm ein Signal zu erzeugen, durch welches dann von der Anzeigeeinrichtung der Bildinhalt auf dem Bildschirm in der Lage und/oder Skalierung von der Anzeigeeinrichtung verändert wird. Das erfindungsgemäße Kraftfahrzeug zeichnet sich hierbei durch eine Gestenerkennungseinrichtung aus und ist dazu ausgelegt, mittels der Gestenerkennungseinrichtung eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.
  • Eine Weiterbildung des erfindungsgemäßen Kraftwagens umfasst eine 3D-Kamera zum Erfassen der Position der Hand und/oder zum Ermitteln der Fingerstellung, wobei die 3D-Kamera in einem Dachhimmel des Kraftfahrzeugs angeordnet ist. Von dieser Position aus werden bevorzugt mittels einer einzigen 3D-Kamera oder auch einer einzigen 3D-Kamera-Stereoanordnung aus zwei 3D-Kameras mehrere Bildschirme beobachtet und zu jedem dieser Bildschirme eine Bedienung in der beschriebenen Weise ermöglicht. Dies macht die Steuerung mehrerer Bildschirme besonders aufwandsarm. Weist also ein Kraftwagen bereits eine Bedieneinrichtung mit einer optischen Sensoreinrichtung auf, die auch zum Durchführen einer Ausführungsform des erfindungsgemäßen Verfahrens geeignet ist, so ist insbesondere vorgesehen, dass für eine weitere Anzeigeeinrichtung, die von der bereits vorhandenen Bedieneinrichtung des Kraftfahrzeugs verschieden ist, diese optische Sensoreinrichtung der vorhandenen Bedieneinrichtung genutzt wird, um für die weitere Anzeigeeinrichtung eine Steuerung des Bildinhalts mittels der Hand zu ermöglichen. So ist für die zusätzliche Anzeigeeinrichtung keine zusätzliche optische Sensoreinrichtung bereitzustellen, was eine vorteilhafte Reduzierung des Hardwareaufwands beim Herstellen des Kraftfahrzeugs mit sich bringt.
  • Wie bereits ausgeführt ist auch Bestandteil der Erfindung, die beschriebene Einstellung des Bildinhalts bei einem mobilen Endgerät zu ermöglichen. Hierzu umfasst die Erfindung auch ein Computerprogrammprodukt mit einem auf zumindest einem Speichermedium gespeicherten Programmcode, welcher dazu ausgelegt ist, bei Ausführen des Programmcodes durch eine Prozessoreinrichtung eines mobilen Endgeräts auf der Grundlage von Bilddaten einer optischen Sensoreinrichtung des mobilen Endgeräts eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Das Computerprogramm ist insbesondere in Form einer so genannten „App” (Application – Anwendungsprogramm) bereitgestellt, wie sie für Smartphones oder Tablet-PCs genutzt werden kann.
  • Natürlich gehört zu der Erfindung auch ein entsprechend ausgestattetes mobiles Endgerät mit einem solchen Computerprogrammprodukt. Das erfindungsgemäße mobile Endgerät kann in den bereits beispielhaft angeführten Ausführungsformen (Smartphone, Tablet-PC etc.) bereitgestellt sein.
  • Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausführungsbeispiels erläutert. Hierzu zeigt:
  • 1 ein Blockschaltbild zu einer optischen Sensoreinrichtung, die in einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs eingebaut sein kann, und
  • 2 eine Skizze zu einem Bedienvorgang, wie er einer Bedienperson auf der Grundlage einer Ausführungsform des erfindungsgemäßen Verfahrens ermöglicht wird.
  • Die gezeigten Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar.
  • In 1 sind von einem Kraftwagen, beispielsweise einem Personenkraftwagen, eine optische Sensoreinrichtung 10 und eine Wiedereingabeeinrichtung 12 gezeigt. Bei der Wiedergabeeinrichtung 12 kann es sich beispielsweise um ein Infotainmentsystem, ein Audiosystem, ein Navigationssystem, ein Fernsehsystem, ein Telefon, ein Kombiinstrument oder ein Head-up-Display handeln. Die Sensoreinrichtung 10 umfasst eine Messeinrichtung 14 und eine Berechnungseinheit 16. Die Messeinrichtung 14 umfasst einen optischen Sensor 18, der beispielsweise eine TOF-Kamera (etwa eine PMD-Kamera, PMD – Photonenmischdetektor) sein kann. Es kann sich bei dem optischen Sensor 18 auch beispielsweise um eine Stereo-Kamera oder auch um TOF-Kameras in Stereoanordnung handeln. In dem in 1 gezeigten Beispiel ist davon ausgegangen, dass es sich bei dem optischen Sensor 18 um eine PMD-Kamera handelt. Der optische Sensor 18 kann beispielsweise in einem Dachhimmel des Kraftfahrzeugs angeordnet sein.
  • Der optische Sensor 18 kann in an sich bekannter Weise ausgestaltet sein, d. h. eine Leuchtquelle 20, z. B. eine Infrarotleuchte, beleuchtet einen Erfassungsbereich 22, beispielsweise einen Raum über einer Mittelkonsole des Kraftfahrzeugs. Befindet sich darin ein Objekt, beispielsweise einer Hand 24 des Fahrers des Kraftfahrzeugs, so wird die von der Leuchtquelle 20 ausgestrahlte elektromagnetische Strahlung von der Hand 24 zu einem Sensorarray 26 zurückgeworfen. Mittels des Sensorarrays 26 können dann 3D-Bilddaten erzeugt werden, welche 3D-Koordinaten zu einzelnen Flächenelementen der Hand 24 angeben. Die 3D-Bilddaten werden von der Messeinrichtung 14 an die Berechnungseinheit 16 übertragen.
  • Bei der Berechnungseinheit 16 kann es sich beispielsweise um ein Steuergerät des Kraftfahrzeugs handeln. In der Berechnungseinheit 16 werden die Signale ausgewertet und dann dem Fahrzeug die ausgewerteten Daten zur Verfügung gestellt, indem sie beispielsweise an die Wiedergabeeinrichtung 12 übertragen werden. Durch die Berechnungseinheit 16 können Gliedmaßen, wie beispielsweise eine Hand, aus den 3D-Bilddaten segmentiert werden, wodurch beispielsweise die Position einer Fingerspitze in dem Erfassungsbereich 22 ermittelt werden kann. Hier können an sich bekannte Segmentierungsalgorithmen zugrunde gelegt werden.
  • Durch die 3D-Bilddaten des Sensorarrays 26 des optischen Sensors 18 kann auch eine Sequenz von aufeinander folgenden 3D-Bildern repräsentiert sein, d. h. mit dem optischen Sensor 18 können auch Bewegungen der Hand 24 erfasst werden. Durch Verfolgen der Trajektorie beispielsweise der Fingerspitze in dieser 3D-Bildsequenz, insbesondere durch Verfolgen der Position und der Geschwindigkeit der Fingerspitze, kann so eine mit der Fingerspitze angedeutete Bewegungsgeste aus der Trajektorie extrapoliert werden.
  • In 2 und 3 ist die Funktionsweise der optischen Sensoreinrichtung als Bedienschnittstelle in Zusammenhang mit einem Navigationsgerät beschrieben, das hier als Wiedergabeeinrichtung 12 fungiert, weshalb nachfolgend auf das Wiedergabegerät 12 als das Navigationsgerät 12 mit demselben Bezugszeichen verwiesen wird. Das Navigationsgerät 12 zeigt auf einen Bildschirm 28, der beispielsweise in einer Mittelkonsole des Kraftfahrzeugs eingebaut sein kann, eine Straßenkarte 30 als Bildinhalt an. Der optische Sensor 26 kann beispielsweise in einem Dachhimmel über der Mittelkonsole angeordnet sein und einen Raumbereich über der Mittelkonsole als Erfassungsbereich 22 beobachten, d. h. zu diesem Raumbereich 3D-Bilddaten zu darin befindlichen Objekten erzeugt. Die Messeinrichtung 14 überträgt die 3D-Bilddaten an die Berechnungseinheit 16, welche in der beschriebenen Weise ermittelt, ob sich eine Hand 24 vor dem Bildschirm 28 befindet und welche Fingerstellung die Hand aufweist.
  • Durch die Berechnungseinheit 16 wird eine aktuelle Position P der Hand, beispielsweise eines Referenzpunkts auf einem Handrücken der Hand 24, sowie eine Position einer Fingerspitze 32 eines Daumens 34 und einer Fingerspitze 36 eines Zeigefingers 38 ermittelt. Die Fingerstellung des Daumens 34 und des Zeigefingers 28, insbesondere die relative Position der Fingerspitzen 32, 36 können mit einer vorbestimmten Sollgeste verglichen werden. Diese kann z. B. darin bestehen, dass sich die Fingerspitzen 32, 36 berühren. Ist dies der Fall, so wird auch dies dem Navigationsgerät 12 zusammen mit der aktuellen Position P signalisiert. Der Benutzer kann dann mit seiner Hand 24 die Straßenkarte 30 seitlich auf dem Bildschirm 28 verschieben, also nach oben, unten, rechts oder links und auch eine Skalierung der Straßenkarte 30 verändern. Er muss hierzu den Bildschirm 28 nicht berühren, sondern kann einfach seine Hand 24 vor dem Bildschirm 28 entweder entsprechend seitlich bewegen (Verschieben der Karte 30) oder vom Bildschirm 28 weg bewegen bzw. auf ihn zu bewegen (Verändern der Skalierung).
  • Hierbei kann der Benutzer allerdings entscheiden, wann eine Bewegung seiner Hand 24 eine Veränderung des Bildinhalts bewirkt und wann nicht. In 2 ist gezeigt, wie der Benutzer mit der Hand 24 eine Bewegung vor dem Bildschirm 28 ausführen kann, ohne dass sich hierbei der Bildinhalt des Bildschirms 28 verändert. Hierzu hält er die Fingerspitzen 32, 36 voneinander getrennt. In 2 ist dies durch zwei getrennte Kreise um die Fingerspitzen 32, 36 symbolisiert.
  • Hat der Benutzer nun seine Hand 24 bei aktivierter Kartenansicht (Straßenkarte 30 wird angezeigt) vor dem Bildschirm 28 positioniert, so kann er die Steuerung der Karte aktivieren, indem er, wie in 3 gezeigt, in dem Beispiel Daumen 34 und Zeigefinger 38 zusammenführt, sodass sich die Fingerspitzen 32, 36 berühren. In 3 ist dieser Zustand durch eine einzige geschlossene Kurve um beide Fingerspitzen 32, 36 symbolisiert. Bei der zusammengeführten Stellung der Fingerspitzen 32, 36 wird die aktuelle Position als Referenzpunkt P0 für die Steuerung des Navigationsgeräts 12 festgelegt. Ausgehend von dem Reverenzpunkt P0 kann nun die aktuelle Position P der Hand 24 weiter verändert werden. Hierdurch verändert sich ein Abstand A zwischen der aktuellen Position P und dem Referenzpunkt P0. Die Darstellung der Straßenkarte 30 wird dann in Abhängigkeit von dem Abstand A und der Bewegungsrichtung der Hand 24 verändert. Beispielsweise kann durch Bewegungen 40 auf dem Bildschirm 28 zu und von diesem weg mit der Hand 24 z. B. in die Straßenkarte 30 hinein- bzw. aus dieser hinausgezoomt werden. Mit einer horizontalen oder vertikalen Bewegung 42 vor dem Bildschirm 28 wird die Straßenkarte 30 in die entsprechende Richtung 42 verschoben.
  • Durch Öffnen von Daumen 34 und Zeigefinger 38, d. h. durch Auseinanderführen der Fingerspitzen 32, 36, wird die Straßenkarte wieder festgestellt, d. h. eine weitere Veränderung der aktuellen Position P der Hand 24 bewirkt keine weitere Veränderung der Darstellung der Straßenkarte 30. Weitere Bewegungen der Hand 24 erzeugen also keine Steuersignale mehr für das Navigationsgerät 12.
  • Durch das Beispiel ist gezeigt, wie durch die physikalisch einwandfreie Ortbarkeit eines Insassen (beispielsweise durch eine TOF-Kamera) bzw. von Körperteilen des Insassen Gesten bzw. Handfigurationen erkannt werden können. Positioniert der Benutzer bei aktivierter Kartenansicht seine Hand vor einem Display, so kann so eine Steuerung der Hand durch eine entsprechende Fingerstellung aktiviert bzw. deaktiviert werden. Es ist kein Taster für die Interaktion notwendig. Der Benutzer kann mit intuitiven Gesten passend zur Positionierung der Hand in der Karte navigieren. Mittels einer Gestenerkennungseinheit, die in der Berechnungseinheit 16 bereitgestellt sein kann, können Gesten der Finger in an sich bekannter Weise einwandfrei extrahiert werden, wodurch die Position von Fingerspitzen jederzeit ermittelt werden kann. Verfolgt man dann noch die Trajektorie (Bewegungsbahn) der Hand z. B. mit Position und Geschwindigkeit, können so Steuersignale zum Einstellen der Lage und/oder Skalierung der Straßenkarte und auch anderer Bildinhalte eingestellt werden.
  • Der Fahrer muss so vor Benutzung einer Verschiebungs- und/oder einer Skalierungsfunktion keine Tasten oder Softkeys (Bedienfelder auf einem Bildschirm) orten, sondern kann die Kartensteuerung sofort mit der frei im Raum vor dem Bildschirm 28 positionierten Hand aktivieren. Dies verringert auch in vorteilhafter Weise die Ablenkung eines Fahrers während der Fahrt beim Bedienen eines Navigationsgeräts oder eines anderen Wiedergabegeräts.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102008016215 A1 [0001]
    • DE 102006037157 A1 [0003]

Claims (10)

  1. Verfahren zum Steuern einer Anzeigeeinrichtung (12), durch welche auf einem Bildschirm (28) ein Bildinhalt (30) angezeigt wird, wobei durch eine optische Sensoreinrichtung (10) eine Position (P) einer Hand (24) vor dem Bildschirm (28) wiederholt ermittelt wird und in Abhängigkeit von der jeweils ermittelten aktuellen Position (P) eine Lage und/oder eine Skalierung des Bildinhalts (30) eingestellt wird, dadurch gekennzeichnet, dass der Bildinhalt (30) durch die Anzeigeeinrichtung nur dann in Abhängigkeit von der ermittelten Position (P) verändert wird, falls sich die Anzeigeeinrichtung (12) in einem Koppelmodus befindet, und durch eine Gestenerkennungseinheit (16) der optischen Sensoreinrichtung eine relative Fingerstellung mehrerer Finger (34, 38) der Hand (24) erkannt wird und die Anzeigeeinrichtung (12) nur in dem Koppelmodus betrieben wird, während durch die Gestenerkennungseinheit signalisiert wird, dass die Fingerstellung (34, 38) mit einer vorbestimmten Bediengeste übereinstimmt.
  2. Verfahren nach Anspruch 1, wobei zum Ermitteln der Position (P) und/oder zum Erkennen der Fingerstellung 3D-Bilddaten einer 3D-Kamera (26) der Sensoreinrichtung (10) zugrunde gelegt werden, welche außerhalb der Anzeigeeinrichtung (12) die 3D-Bilddaten in einem vorbestimmten Raumbereich (22) außerhalb der Anzeigeeinrichtung (12) erfasst.
  3. Verfahren nach Anspruch 1 oder 2, wobei durch die Sensoreinrichtung (10) die Position der Hand (24) mittels einer TOF-Kamera ermittelt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei durch die Gestenerkennungseinheit (16) überprüft wird, ob sich als die Bediengeste Fingerspitzen zweier Finger (32, 36) der Hand (24) berühren.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei durch die Anzeigeeinrichtung (12) eine Ausgangposition (P0), welche die Hand beim Aktivieren des Koppelmodus innehat, als Referenzposition (P0) festgelegt wird und im Koppelmoduls ein Abstand (A) der aktuellen Position (P) von der Referenzposition (P0) ermittelt wird und die Skalierung und/oder die Verschiebung in Abhängigkeit von dem Abstand (A) eingestellt wird.
  6. Kraftfahrzeug mit einer Anzeigeeinrichtung (12) und einer optischen Sensoreinrichtung (10), wobei die Anzeigerichtung (12) einen Bildschirm (28) zum Anzeigen eines Bildinhalts (30) und zum Einstellen einer Lage und/oder Skalierung des angezeigten Bildinhalts (30) in Abhängigkeit von einem Signal der Sensoreinrichtung (10) ausgelegt ist und wobei die Sensoreinrichtung dazu ausgelegt ist, das Signal in Abhängigkeit von einer Position (P) einer Hand (24) vor dem Bildschirm (28) zu erzeugen, dadurch gekennzeichnet, dass die Sensoreinrichtung (10) eine Gestenerkennungseinrichtung (16) aufweist und das Kraftfahrzeug dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
  7. Kraftfahrzeug nach Anspruch 6, wobei eine 3D-Kamera (26) zum Erfassen der Position (P) der Hand (24) und/oder gemäß dem Verfahren ermittelten Fingerstellung in einem Dachhimmel des Kraftfahrzeugs angeordnet ist.
  8. Kraftfahrzeug nach Anspruch 6 oder 7, wobei die optische Sensoreinrichtung (10) Bestandteil einer von der Anzeigeeinrichtung (12) verschiedenen Bedieneinrichtung des Kraftfahrzeugs ist und mit der Anzeigeinrichtung (12) gekoppelt ist.
  9. Computerprogrammprodukt mit einem auf zumindest einem Speichermedium gespeicherten Programmcode, welcher dazu ausgelegt ist, bei Ausführen des Programmcodes durch eine Prozessoreinrichtung eines mobilen Endgeräts auf der Grundlage von Bilddaten einer optischen Sensoreinrichtung des mobilen Endgeräts ein Verfahren nach einem der Ansprüche 1 bis 5 durchzuführen.
  10. Mobiles Endgerät, welches ein Computerprogrammprodukt nach Anspruch 9 aufweist.
DE102013000066.1A 2013-01-08 2013-01-08 Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung Ceased DE102013000066A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102013000066.1A DE102013000066A1 (de) 2013-01-08 2013-01-08 Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung
PCT/EP2013/003375 WO2014108147A1 (de) 2013-01-08 2013-11-08 Zoomen und verschieben eines bildinhalts einer anzeigeeinrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013000066.1A DE102013000066A1 (de) 2013-01-08 2013-01-08 Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung

Publications (1)

Publication Number Publication Date
DE102013000066A1 true DE102013000066A1 (de) 2014-07-10

Family

ID=49582701

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013000066.1A Ceased DE102013000066A1 (de) 2013-01-08 2013-01-08 Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung

Country Status (2)

Country Link
DE (1) DE102013000066A1 (de)
WO (1) WO2014108147A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207637A1 (de) * 2014-04-23 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Gesteninteraktion mit einem Fahrerinformationssystem eines Fahrzeuges
DE102014017179A1 (de) * 2014-11-20 2016-05-25 Audi Ag Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs mittels einer Bediengeste
DE102015211521A1 (de) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE102016212682A1 (de) 2016-07-12 2018-01-18 Audi Ag Gestensteuerung mittels eines Laufzeitmessungskamerasystems
DE102017213435A1 (de) 2017-08-02 2019-02-07 Audi Ag Verfahren und Vorrichtung zur Bedienung einer Bedienvorrichtung in Fahrzeugen

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016216577A1 (de) 2016-09-01 2018-03-01 Volkswagen Aktiengesellschaft Verfahren zur Interaktion mit Bildinhalten, die auf einer Anzeigevorrichtung in einem Fahrzeug dargestellt werden
CN110908558B (zh) * 2019-10-30 2022-10-18 维沃移动通信(杭州)有限公司 一种图像显示方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006037157A1 (de) 2005-09-12 2007-03-22 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Coburg Kunststoff-Türmodul für eine Kraftfahrzeugtür
DE102008016215A1 (de) 2007-03-30 2008-10-02 Denso Corp., Kariya Informationsvorrichtungsbediengerät
DE102009043798A1 (de) * 2008-12-17 2010-06-24 Northrop Grumman Space & Mission Systems Corporation, Los Angeles Verfahren zur Erkennung von Handgesten
US20100231509A1 (en) * 2009-03-12 2010-09-16 Marc Boillot Sterile Networked Interface for Medical Systems
US20120038679A1 (en) * 2010-08-13 2012-02-16 Lg Electronics Inc. Mobile terminal, display device and controlling method thereof
US20120105613A1 (en) * 2010-11-01 2012-05-03 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006009291A1 (de) * 2006-03-01 2007-09-06 Audi Ag Verfahren und Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, insbesondere eines Fahrzeugs
DE112008001396B4 (de) * 2007-06-05 2015-12-31 Mitsubishi Electric Corp. Fahrzeugbedienungsvorrichtung
US9594431B2 (en) * 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
DE102011089195A1 (de) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006037157A1 (de) 2005-09-12 2007-03-22 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Coburg Kunststoff-Türmodul für eine Kraftfahrzeugtür
DE102008016215A1 (de) 2007-03-30 2008-10-02 Denso Corp., Kariya Informationsvorrichtungsbediengerät
DE102009043798A1 (de) * 2008-12-17 2010-06-24 Northrop Grumman Space & Mission Systems Corporation, Los Angeles Verfahren zur Erkennung von Handgesten
US20100231509A1 (en) * 2009-03-12 2010-09-16 Marc Boillot Sterile Networked Interface for Medical Systems
US20120038679A1 (en) * 2010-08-13 2012-02-16 Lg Electronics Inc. Mobile terminal, display device and controlling method thereof
US20120105613A1 (en) * 2010-11-01 2012-05-03 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207637A1 (de) * 2014-04-23 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Gesteninteraktion mit einem Fahrerinformationssystem eines Fahrzeuges
US10585487B2 (en) 2014-04-23 2020-03-10 Bayerische Motoren Werke Aktiengesellschaft Gesture interaction with a driver information system of a vehicle
DE102014017179A1 (de) * 2014-11-20 2016-05-25 Audi Ag Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs mittels einer Bediengeste
DE102014017179B4 (de) 2014-11-20 2022-10-06 Audi Ag Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs mittels einer Bediengeste
DE102015211521A1 (de) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE102016212682A1 (de) 2016-07-12 2018-01-18 Audi Ag Gestensteuerung mittels eines Laufzeitmessungskamerasystems
DE102017213435A1 (de) 2017-08-02 2019-02-07 Audi Ag Verfahren und Vorrichtung zur Bedienung einer Bedienvorrichtung in Fahrzeugen

Also Published As

Publication number Publication date
WO2014108147A1 (de) 2014-07-17

Similar Documents

Publication Publication Date Title
EP1998996B1 (de) Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung
DE102013000066A1 (de) Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung
EP2943367B1 (de) Verfahren zum synchronisieren von anzeigeeinrichtungen eines kraftfahrzeugs
EP1840522B1 (de) Navigationsgerät und Verfahren zum Betreiben eines Navigationsgeräts
EP3507681B1 (de) Verfahren zur interaktion mit bildinhalten, die auf einer anzeigevorrichtung in einem fahrzeug dargestellt werden
DE102012216195A1 (de) Eingabeeinrichtung
DE102012000263A1 (de) Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102009019561A1 (de) Verfahren zum Anzeigen von Informationen in einem Kraftfahrzeug und Anzeigeeinrichtung
DE102012020607B4 (de) Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements
DE102012018685B4 (de) System und Verfahren zur Steuerung von zumindest einem Fahrzeugsystem mittels von einem Fahrer durchgeführter Gesten
WO2015162058A1 (de) Gesteninteraktion mit einem fahrerinformationssystem eines fahrzeuges
DE102014226553A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung, Kraftfahrzeug
DE102013114794A1 (de) Gekrümmter Bildschirm
DE102015115362A1 (de) Erfassungsvorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
DE102013000069B4 (de) Kraftfahrzeug-Bedienschnittstelle mit einem Bedienelement zum Erfassen einer Bedienhandlung
DE102013013166A1 (de) Kraftwagen mit Head-up-Anzeige und zugehöriger Gestenbedienung
WO2017054894A1 (de) Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem
DE102013000072A1 (de) Bedienschnittstelle für eine handschriftliche Zeicheneingabe in ein Gerät
DE102013000081B4 (de) Bedienschnittstelle zum berührungslosen Auswählen einer Gerätefunktion
DE102014224599A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE102015201722A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
WO2015010829A1 (de) Verfahren zum betreiben einer eingabevorrichtung, sowie eingabevorrichtung
DE102013211046A1 (de) Verfahren und Vorrichtung zum Gewinnen eines Stellsignals aus einer Bediengeste
DE102013000085A1 (de) Verfahren zum Wechseln eines Betriebsmodus eines Infotainmentsystems eines Kraftfahrzeugs
DE102020122969A1 (de) Verfahren zur Erkennung einer Bewegung eines Eingabegegenstands gegenüber einer Anzeigevorrichtung über optische Merkmale, Aufnahmevorrichtung mit Recheneinheit, Anzeigevorrichtung und Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final