DE102014017179B4 - Method for operating a navigation system of a motor vehicle using an operating gesture - Google Patents

Method for operating a navigation system of a motor vehicle using an operating gesture Download PDF

Info

Publication number
DE102014017179B4
DE102014017179B4 DE102014017179.5A DE102014017179A DE102014017179B4 DE 102014017179 B4 DE102014017179 B4 DE 102014017179B4 DE 102014017179 A DE102014017179 A DE 102014017179A DE 102014017179 B4 DE102014017179 B4 DE 102014017179B4
Authority
DE
Germany
Prior art keywords
body part
motor vehicle
gesture
navigation system
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102014017179.5A
Other languages
German (de)
Other versions
DE102014017179A1 (en
Inventor
Michael Schlittenbauer
Werner Hamberger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102014017179.5A priority Critical patent/DE102014017179B4/en
Priority to PCT/EP2015/002156 priority patent/WO2016078742A1/en
Publication of DE102014017179A1 publication Critical patent/DE102014017179A1/en
Application granted granted Critical
Publication of DE102014017179B4 publication Critical patent/DE102014017179B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs (10), wobei das Navigationssystem eine Sensoreinrichtung (12), eine Gestenerkennungseinrichtung (14) und eine Fokussierungseinrichtung (16) umfasst, umfassend die Schritte:- Ermitteln einer geographischen Position des Kraftfahrzeugs (10) durch die Fokussierungseinrichtung (16, S6),- Erfassen eines Körperteils (22) eines Benutzers durch die Sensoreinrichtung (12, S1) und durch die Gestenerkennungseinrichtung (14) Überprüfen anhand einer Kontur des erfassten Körperteils (22), ob eine vorbestimmte Bediengeste durch das erfasste Körperteil ausgeführt wird (S3),- falls die vorbestimmte Bediengeste ausgeführt wird, Erfassen einer Position des Körperteils (22) in einem Innenraum des Kraftfahrzeugs (10) durch die Sensoreinrichtung (12, S4),- in Abhängigkeit von der erfassten Position Festlegen eines Suchradius (S7),- durch die Fokussierungseinrichtung (16) Festlegen einer zu referenzierenden Umgebung, die den festgelegten Suchradius um die ermittelte Position des Kraftfahrzeugs (10) aufweist (S8), und- Anzeigen der zu referenzierenden Umgebung durch eine Anzeigeeinrichtung (17) des Navigationssystems (S9), wobei die Gestenerkennungseinrichtung (14) an mindestens zwei konvexen Gliedmaßen (26) des Körperteils (22), jeweils mindestens einem Gelenk der jeweiligen Gliedmaße (26) und anhand eines Abstands der mindestens zwei Gelenke ein Spreizen der Gliedmaßen ermittelt, weiterhin wobei die Gestenerkennungseinrichtung (14) an mindestens zwei Fingern einer Hand als konvexe Gliedmaßen (26) des Körperteils (22) das Spreizen der Gliedmaßen und anhand eines Algorithmus zum Ermitteln von Defekten einer Konvexität einer Gliedmaße (26) des Körperteils (22) die Bediengeste ermittelt.Method for operating a navigation system of a motor vehicle (10), the navigation system comprising a sensor device (12), a gesture recognition device (14) and a focusing device (16), comprising the steps of: - determining a geographic position of the motor vehicle (10) using the focusing device (16, S6),- detection of a body part (22) of a user by the sensor device (12, S1) and by the gesture recognition device (14) using a contour of the detected body part (22) to check whether a predetermined operating gesture is executed by the detected body part is (S3), - if the predetermined operating gesture is executed, detecting a position of the body part (22) in an interior of the motor vehicle (10) by the sensor device (12, S4), - depending on the detected position determining a search radius (S7 ), - by the focusing device (16) specifying an environment to be referenced, the specified Su ch radius around the determined position of the motor vehicle (10) (S8), and displaying the environment to be referenced by a display device (17) of the navigation system (S9), the gesture recognition device (14) on at least two convex limbs (26) of the body part (22), in each case at least one joint of the respective limbs (26) and based on a distance between the at least two joints, a spreading of the limbs is determined, further wherein the gesture recognition device (14) on at least two fingers of one hand as convex limbs (26) of the body part ( 22) the spreading of the limbs and the operating gesture is determined using an algorithm for determining defects in a convexity of a limb (26) of the body part (22).

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs, wobei eine geographische Position des Kraftfahrzeugs durch die Fokussierungseinrichtung ermittelt und eine vorbestimmte Bediengeste eines Benutzers durch eine Sensoreinrichtung erfasst sowie durch eine Gestenerkennungseinrichtung erkannt wird.The invention relates to a method for operating a navigation system of a motor vehicle, with a geographic position of the motor vehicle being determined by the focusing device and a predetermined operating gesture by a user being detected by a sensor device and recognized by a gesture recognition device.

Mit zunehmender Entwicklung von Komfortsystemen stellt insbesondere die Infotainmenttechnologie einem Kraftfahrzeugfahrer ein immer breiteres Angebot an unterstützenden Funktionen bereit. Dabei stellt sich die besondere Herausforderung, für immer mehr Funktionen eines Infotainmentsystem eine möglichst wenig komplizierte Bedienweise zu ermöglichen. Anhand von Zeigegesten, beispielsweise in Form eines ausgestreckten Arms, kann ein Benutzer auf ein Objekt, beispielsweise auf ein Haus, eine Straße, einen Parkplatz, eine Kirche oder in eine Himmelsrichtung zeigen und es damit referenzieren, das heißt er setzt das Objekt in Beziehung mit einer Information zu dem Objekt, die durch das Infotainmentsystem ermittelt und angezeigt wird. Damit kann auch eine Suchbereich für die Objekte in Form eines Kegels oder einer Parabel, also eine Suchrichtung, eingeschränkt werden.With the increasing development of comfort systems, infotainment technology in particular provides a motor vehicle driver with an ever-widening range of supporting functions. This poses the particular challenge of enabling the least complicated way of operating an increasing number of infotainment system functions. Using pointing gestures, for example in the form of an outstretched arm, a user can point to an object, for example a house, a street, a parking lot, a church or in a compass point and thus reference it, i.e. he relates the object to it information about the object that is determined and displayed by the infotainment system. A search area for the objects in the form of a cone or a parabola, i.e. a search direction, can also be restricted in this way.

Aus der EP 2 441 635 A1 ist hierzu eine Fahrzeug-Benutzerschnittstelle bekannt, die eine Bediengeste eines Benutzers zum Bedienen eines Navigationsgeräts erfasst. Eine so erfasste Bediengeste kann, wie beispielsweise von der DE 20 2006 008 254 U1 und der DE 10 2013 201 746 A1 beschrieben, eine Zoom-Funktion oder ein Fahrzeug-Menü steuern.From the EP 2 441 635 A1 a vehicle user interface is known for this purpose, which detects an operating gesture by a user to operate a navigation device. An operating gesture detected in this way can, for example by the DE 20 2006 008 254 U1 and the DE 10 2013 201 746 A1 described, control a zoom function or a vehicle menu.

Nachteilig ist hierbei jedoch, dass nur Objekte in einer bestimmten Richtung referenziert werden können.The disadvantage here, however, is that only objects can be referenced in a specific direction.

Eine der Erfindung zugrunde liegende Aufgabe ist das Vereinfachen einer Umkreissuche eines Navigationssystems.An object underlying the invention is to simplify a proximity search of a navigation system.

Die oben stehende Aufgabe wird durch das erfindungsgemäße Verfahren und die erfindungsgemäßen Vorrichtungen der nebengeordneten Ansprüche gelöst. Weitere vorteilhafte Weiterbildungen sind durch die Unteransprüche gegeben.The above object is achieved by the method according to the invention and the devices according to the invention of the independent claims. Further advantageous developments are given by the dependent claims.

Die Erfindung basiert auf der Idee, in Abhängigkeit einer Gestenerkennung eine Position eines Körperteils eines Benutzers, beispielsweise einen Abstand des Körperteils zu einem Referenzobjekt in einem Innenraum des Kraftfahrzeugs, beispielsweise einer Mittelkonsole, durch eine Sensoreinrichtung zu erfassen und anhand der erfassten Position einen Suchradius für eine Umkreissuche von geographischen Punkten von Interesse festzulegen. Dadurch kann eine Umkreissuche von beispielsweise sogenannten „Point of Interests“ in der Umgebung des Fahrzeugs durch eine einfache Geste erfolgen und intuitiv verändert werden.The invention is based on the idea of detecting a position of a body part of a user, for example a distance of the body part from a reference object in an interior of the motor vehicle, for example a center console, by a sensor device as a function of gesture recognition, and using the detected position to create a search radius for a Define proximity search of geographic points of interest. As a result, a radius search of, for example, so-called "points of interest" in the vicinity of the vehicle can be carried out with a simple gesture and changed intuitively.

Das erfindungsgemäße Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs wird mithilfe eines Navigationssystems, das eine Sensoreinrichtung, eine Gestenerkennungseinrichtung und eine Fokussierungseinrichtung umfasst, durchgeführt. Die Fokussierungseinrichtung ermittelt eine geographische Position des Kraftfahrzeugs, vorzugsweise eine aktuelle geographische Position des Kraftfahrzeugs. Die Sensoreinrichtung, vorzugsweise eine Sensoreinrichtung, die einen Sensor des Kraftfahrzeugs umfasst, beispielsweise eine Kamera, erfasst ein Körperteil des Benutzers und durch die Gestenerkennungseinrichtung wird anhand einer Kontur des erfassten Körperteils überprüft, ob eine vorbestimmte Bediengeste durch das erfasste Körperteil ausgeführt wird. Die Bediengeste ist dabei eine statische Geste, das heißt eine Haltung des Körperteils, die nicht verändert wird.The method according to the invention for operating a navigation system of a motor vehicle is carried out using a navigation system which includes a sensor device, a gesture recognition device and a focusing device. The focusing device determines a geographic position of the motor vehicle, preferably a current geographic position of the motor vehicle. The sensor device, preferably a sensor device that includes a sensor of the motor vehicle, for example a camera, detects a body part of the user and the gesture recognition device uses a contour of the detected body part to check whether a predetermined operating gesture is executed by the detected body part. The operating gesture is a static gesture, ie a posture of the body part that is not changed.

Falls die vorbestimmte Bediengeste ausgeführt wird, erfasst die Sensoreinrichtung durch beispielsweise eine Lichtschranke oder einen Abstandssensor der Sensoreinrichtung die Position des Körperteils in einem Innenraum des Kraftfahrzeugs. Dazu kann beispielsweise ein Abstand von einem vorgegebenen Körperteilpunkt oder Körperteilbereich zu einem vorgegebenen Punkt oder Bereich des Referenzobjekts erfasst werden, zum Beispiel ein Abstand einer Fingerspitze oder einer Handinnenfläche zu einem vorgegebenen Bereich einer Mittelkonsole.If the predetermined operating gesture is carried out, the sensor device detects the position of the body part in an interior of the motor vehicle, for example by means of a light barrier or a distance sensor of the sensor device. For this purpose, for example, a distance from a specified body part point or body part area to a specified point or area of the reference object can be recorded, for example a distance between a fingertip or a palm of the hand and a specified area of a center console.

In Abhängigkeit von der erfassten Position erfolgt ein Festlegen eines Suchradius einer zu referenzierenden Umgebung der ermittelten Position des Kraftfahrzeugs durch die Fokussierungseinrichtung. Die Fokussierungseinrichtung ist dabei eine Steuereinrichtung zum Verarbeiten geographischer Standortdaten. Die Fokussierungseinrichtung legt eine zu referenzierenden Umgebung des Kraftfahrzeugs fest, die den festgelegten Suchradius um die ermittelte Position des Kraftfahrzeugs aufweist. Die so festgelegte zu referenzierende Umgebung wird dann von einer Anzeigeeinrichtung des Navigationssystems, beispielsweise einem Bildschirm, angezeigt, vorzugsweise in einer digitalen Straßenkarte des Navigationssystems.Depending on the detected position, a search radius of an area surrounding the determined position of the motor vehicle that is to be referenced is determined by the focusing device. The focusing device is a control device for processing geographic location data. The focusing device defines an environment of the motor vehicle that is to be referenced and has the defined search radius around the determined position of the motor vehicle. The environment to be referenced that is defined in this way is then displayed by a display device of the navigation system, for example a screen, preferably in a digital road map of the navigation system.

Hierdurch ergibt sich in vorteilhafter Weise eine Umkreissuche in der vom Benutzer vorgegebenen Umgebung des Fahrzeugs in alle Richtungen durch eine einfache Geste. Der Suchradius kann dabei von dem Benutzer durch Blindbedienung intuitiv vorgegeben werden, sodass er weiterhin möglichst viel Aufmerksamkeit dem Verkehrsgeschehen widmen kann.This advantageously results in a radius search in the surroundings of the vehicle specified by the user in all directions with a simple gesture. The search radius can be intuitively adjusted by the user through blind operation tively, so that he can continue to devote as much attention as possible to what is happening on the road.

Die Gestenerkennungseinrichtung ermittelt an mindestens zwei konvexen Gliedmaßen des Körperteils - an mindestens zwei Fingern einer Hand - jeweils ein oder jeweils mindestens ein Gelenk der Gliedmaße. Dies stellt eine besonders effiziente Maßnahme zum Erkennen einer gespreizten Hand als beispielhafte Bediengeste dar. Die Gestenerkennungseinrichtung ermittelt zudem anhand eines Abstands der mindestens zwei Gelenke ein Spreizen der Gliedmaßen. Der Abstand der mindestens zwei Gelenke kann beispielsweise durch die Sensoreinrichtung ermittelt werden.The gesture recognition device determines at least two convex limbs of the body part—on at least two fingers of one hand—one or at least one joint of each limb. This represents a particularly efficient measure for recognizing a spread hand as an exemplary operating gesture. The gesture recognition device also uses a distance between the at least two joints to determine if the limbs are spread. The distance between the at least two joints can be determined, for example, by the sensor device.

Das Verfahren wird genauer und zuverlässiger dadurch, dass die Gestenerkennungseinrichtung anhand eines Algorithmus zum Ermitteln von Defekten einer Konvexität einer Gliedmaße des Körperteils, also durch Ermitteln sogenannter „convexity defects“, die Bediengeste ermittelt.The method becomes more accurate and reliable in that the gesture recognition device determines the operating gesture using an algorithm for determining defects in a convexity of a limb of the body part, ie by determining so-called “convexity defects”.

Die zu referenzierende Umgebung kann durch die Anzeigeeinrichtung graphisch hervorgehoben wird, beispielsweise durch Aufhellen oder Markieren des der Umgebung entsprechenden Bereichs auf einer digitalen Straßenkarte des Navigationssystems. Der Benutzer erkennt dadurch in einfacher Art und Weise, ob er einen zu kleinen oder einen zu großen Suchradius vorgegeben hat.The environment to be referenced can be graphically highlighted by the display device, for example by brightening or marking the area corresponding to the environment on a digital road map of the navigation system. The user thus recognizes in a simple manner whether he has specified a search radius that is too small or too large.

Ein Referenzieren der Umgebung, die den festgelegten Suchradius aufweist, kann gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens durch Ermitteln mindestens eines geographischen Punkts, eines sogenannten „Point of Interest“ wie zum Beispiel ein Restaurant, innerhalb der zu referenzierenden Umgebung und durch Ermitteln einer Information zu dem geographischen Punkt erfolgen. Mit anderen Worten kann ein in Bezug setzen des mindestens einen geographischen Punkts mit einer Information, beispielsweise einer Reiseinformation, der innerhalb des festgelegten Suchradius liegt, erfolgen. Dadurch wird die Umgebung mit der Information in Bezug gesetzt. Der mindestens eine geographische Punkts und/oder die ermittelten Information des mindestens einen geographischen Punkts, beispielsweise eine Standortinformation oder eine Bezeichnung des mindestens einen geographischen Punkts, kann dann durch die Anzeigeeinrichtung des Navigationssystems angezeigt werden.According to a further embodiment of the method according to the invention, referencing of the environment that has the specified search radius can be carried out by determining at least one geographic point, a so-called “point of interest” such as a restaurant, within the environment to be referenced and by determining information the geographic point. In other words, the at least one geographic point can be related to information, for example travel information, that lies within the specified search radius. In this way, the environment is related to the information. The at least one geographic point and/or the determined information of the at least one geographic point, for example location information or a designation of the at least one geographic point, can then be displayed by the display device of the navigation system.

Die Fokussierungseinrichtung kann dabei gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens eine Kategorie des geographischen Punkts ermitteln, beispielsweise durch Vorgeben der Kategorie durch eine Bedienhandlung des Benutzers. Hierdurch kann eine selektive Umkreissuche erfolgen.According to a further embodiment of the method according to the invention, the focusing device can determine a category of the geographic point, for example by specifying the category through an operator action by the user. This allows a selective area search to be carried out.

Die Gestenerkennungseinrichtung kann gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens die vorbestimmte Bediengeste erkennen, falls die Bediengeste in einem vorbestimmten Bedienbereich des Innenraums ausgeführt wird. Mit anderen Worten kann die Gestenerkennungseinrichtung die vorbestimmte Bediengeste erkennen, falls die Sensoreinrichtung die Bediengeste in einem vorbestimmten Bedienbereich des Innenraums erfasst. Hierdurch kann einer Fehlbedienung durch versehentliches Ausüben der Bediengeste vorgebeugt werden.According to a further embodiment of the method according to the invention, the gesture recognition device can recognize the predetermined operating gesture if the operating gesture is executed in a predetermined operating area of the interior. In other words, the gesture recognition device can recognize the predetermined operating gesture if the sensor device detects the operating gesture in a predetermined operating area of the interior. In this way, incorrect operation due to accidental execution of the operating gesture can be prevented.

Gemäß einer weiteren, besonders vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens kann die Sensoreinrichtung eine Änderung der Position des Körperteils, vorzugsweise eine Änderung des Abstandes des Körperteils zu dem Referenzobjekt, durch Bewegen des Körperteils auf einer Fokussierungsstrecke erfassen. Die Fokussierungseinrichtung kann dabei eine Länge des festgelegten Suchradius an die Positionsänderung anpassen. In einer Weiterbildung des erfindungsgemäßen Verfahrens kann in Abhängigkeit einer Bewegungsrichtung der Bewegung auf der Fokussierungsstrecke eine Art der Längenänderung des Suchradius vorbestimmt werden, vorzugsweise ein Erhöhen des Suchradius bei einem Erhöhen des Abstands des Körperteils zu dem Referenzobjekt und/oder ein Verringern des Suchradius bei Verringern des Abstands. Dies ermöglicht ein intuitives Anpassen des Suchradius.According to a further, particularly advantageous embodiment of the method according to the invention, the sensor device can detect a change in the position of the body part, preferably a change in the distance of the body part from the reference object, by moving the body part over a focusing path. The focusing device can adapt a length of the fixed search radius to the change in position. In a further development of the method according to the invention, a type of change in length of the search radius can be predetermined depending on the direction of movement of the movement on the focusing path, preferably an increase in the search radius when the distance of the body part from the reference object increases and/or a reduction in the search radius when the distance between the body part and the reference object decreases distance. This allows intuitive adjustment of the search radius.

Falls die durchgeführte, vorbestimmte Bediengeste nicht mehr erkannt wird, also beispielsweise der Benutzer das Körperteil so formt, dass die neue Haltung des Körperteils nicht mehr mit der vorbestimmten Bediengeste übereinstimmt, kann gemäß einer weiteren besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens der zuletzt festgelegte Suchradius beibehalten werden. Dazu kann die Sensoreinrichtung beispielsweise in zyklischen Abständen oder dauerhaft einen Erfassungsbereich überwachen. Dadurch ist ein einmaliges Bedienen ausreichend, um eine zu referenzierende Umgebung dauerhaft festzulegen.If the performed, predetermined operating gesture is no longer recognized, e.g. the user shapes the body part in such a way that the new posture of the body part no longer corresponds to the predetermined operating gesture, according to a further particularly preferred embodiment of the method according to the invention, the last defined search radius can be retained . For this purpose, the sensor device can, for example, monitor a detection area at cyclical intervals or continuously. As a result, a one-time operation is sufficient to permanently define an environment to be referenced.

Die oben gestellte Aufgabe wird ebenfalls gelöst durch ein Navigationssystem, beispielsweise ein Navigationsgerät, das dazu ausgelegt ist, ein Verfahren gemäß einer der oben angeführten Ausführungsformen durchzuführen. Das Navigationssystem kann dabei eine Sensoreinrichtung, eine Gestenerkennungseinrichtung und eine Fokussierungseinrichtung umfassen. Es ergeben sich die oben genannten Vorteile.The object stated above is also achieved by a navigation system, for example a navigation device, which is designed to carry out a method according to one of the above-mentioned embodiments. The navigation system can include a sensor device, a gesture recognition device and a focusing device. The advantages mentioned above result.

Die oben gestellte Aufgabe wird ebenfalls gelöst durch ein Kraftfahrzeug, vorzugsweise einen Kraftwagen wie beispielsweise einen Personenkraftwagen, umfassend eine Ausführungsform des oben beschriebenen Navigationssystems.The object set above is also achieved by a motor vehicle, preferably a motor vehicle such as a passenger car, comprising an embodiment of the navigation system described above.

Die Erfindung wird anhand der beigefügten Zeichnungen noch einmal durch konkrete Ausführungsbeispiele näher erläutert. Die gezeigten Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar. Funktionsgleiche Elemente weisen in den Figuren dieselben Bezugszeichen auf. Es zeigt:

  • 1 eine schematische Skizze zu einer Ausführungsform des erfindungsgemäßen Verfahrens, und
  • 2 in den Figuren 2a, 2b, 2c und 2c eine schematische Skizze zu einer Gestenerkennungsmethode.
The invention is explained in more detail once again with reference to the accompanying drawings using specific exemplary embodiments. The examples shown represent preferred embodiments of the invention. Elements with the same function have the same reference symbols in the figures. It shows:
  • 1 a schematic sketch of an embodiment of the method according to the invention, and
  • 2 in the figures 2a , 2 B , 2c and 2c a schematic sketch of a gesture recognition method.

In der 1 ist das dem erfindungsgemäßen Verfahren zugrunde liegende Prinzip dargestellt. Gezeigt ist ein Innenraum eines Kraftfahrzeugs 10, vorzugsweise eines Kraftwagens wie beispielsweise eines Personenkraftwagens. Ein Benutzer des Kraftfahrzeugs 10 ist beispielsweise auf einer Fahrt von München nach Ingolstadt und benutzt hierzu ein Navigationssystem des Kraftfahrzeugs 10, beispielsweise ein Navigationsgerät. Das Kraftfahrzeug 10 ist mit einem Navigationssystem ausgestattet, das eine Sensoreinrichtung 12, eine Gestenerkennungseinrichtung 14 und eine Fokussierungseinrichtung 16 umfasst. Das Navigationssystem umfasst weiterhin eine Anzeigeeinrichtung 17, die beispielsweise einen Bildschirm umfasst und die beispielsweise eine digitale Straßenkarte einer aktuellen Fahrtroute, auf der sich das Kraftfahrzeug 10 befindet, anzeigt.In the 1 the principle on which the method according to the invention is based is shown. Shown is an interior of a motor vehicle 10, preferably a motor vehicle such as a passenger car. A user of the motor vehicle 10 is, for example, on a journey from Munich to Ingolstadt and uses a navigation system of the motor vehicle 10 for this purpose, for example a navigation device. Motor vehicle 10 is equipped with a navigation system that includes a sensor device 12 , a gesture recognition device 14 and a focusing device 16 . The navigation system also includes a display device 17, which includes a screen, for example, and which displays, for example, a digital road map of a current route on which motor vehicle 10 is located.

Der Benutzer möchte beispielsweise auf seiner Fahrt ein Restaurant aufsuchen. Da er sich nicht auskennt und nicht weiß, in welcher Richtung sich das nächste Restaurant befindet, möchte er sich durch sein Navigationsgerät zum Beispiel ein Restaurant vorschlagen lassen. Er möchte die Suche jedoch auf einen Umkreis von beispielsweise fünf Kilometer beschränken, da er zum Beispiel nicht durch einem langen Umweg aufgehalten werden möchte. Ein Restaurant ist folglich ein geographischer Punkt innerhalb einer Umgebung des Kraftfahrzeugs 10 mit einem Suchradius von beispielsweise fünf Kilometern, wobei der Benutzer den geographischen Punkt auf seinem Bildschirm angezeigt haben möchte. Das Markieren des geographischen Punkts als Standortinformation und/oder das Anzeigen einer zusätzlichen Information, wie beispielsweise einem Restaurantnamen, wird im Folgenden als Referenzieren der Umgebung bezeichnet, da die Umgebung des Kraftfahrzeugs mit der entsprechenden Information in Bezug gesetzt wird.For example, the user would like to visit a restaurant on his journey. Since he doesn't know his way around and doesn't know in which direction the nearest restaurant is, he would like his navigation device to suggest a restaurant, for example. However, he would like to limit the search to a radius of five kilometers, for example, because he does not want to be held up by a long detour, for example. A restaurant is consequently a geographic point within an area surrounding motor vehicle 10 with a search radius of five kilometers, for example, and the user would like the geographic point to be displayed on his screen. The marking of the geographic point as location information and/or the display of additional information, such as a restaurant name, is referred to below as referencing the environment, since the environment of the motor vehicle is related to the corresponding information.

Zunächst kann er dazu beispielsweise die Kategorie „Restaurant“ durch beispielsweise ein klassisches Menü des Navigationsgeräts, beispielsweise über einen Touchscreen oder mittels einem Sprachmenü, auswählen.For example, he can first select the “Restaurant” category, for example, using a classic menu of the navigation device, for example using a touchscreen or using a voice menu.

Im Beispiel der 1 führt der Benutzer mit seiner Hand als Körperteil 22 eine Bediengeste aus, die beispielsweise dadurch gekennzeichnet ist, dass alle Finger gespreizt sind.In the example of 1 the user performs an operating gesture with his hand as body part 22, which is characterized, for example, in that all fingers are spread.

Die Sensoreinrichtung 10 umfasst im Beispiel der 1 beispielsweise einen optischen Sensor, beispielsweise eine Time-of-flight-Kamera („PMD-Kamera“). Die Sensoreinrichtung 10 kann alternativ oder zusätzlich eine Lichtschranke, eine 2D-Kamera, z.B. eine Infrarotkamera, oder eine andere 3D-Kamera, wie z.B. eine Stereokamera, umfassen, und ist bevorzugt am Dachhimmel des Kraftwagens angebracht.The sensor device 10 includes in the example 1 for example an optical sensor, for example a time-of-flight camera (“PMD camera”). Alternatively or additionally, the sensor device 10 can comprise a light barrier, a 2D camera, eg an infrared camera, or another 3D camera, eg a stereo camera, and is preferably attached to the roof liner of the motor vehicle.

Die Sensoreinrichtung 10 kann in an sich bekannter Weise ausgestaltet sein, z.B. mit einer Leuchtquelle 16, z.B. einer Infrarotleuchte, die einen Erfassungsbereich E beleuchtet. Befindet sich darin beispielsweise das Körperteil 22, kann die von der Leuchtquelle 16 ausgestrahlte elektromagnetische Strahlung beispielsweise zu einem Sensorarray 18 zurückgeworfen werden. Mittels des Sensorarrays 20 können dann beispielsweise 3D-Bilddaten erzeugt werden, welche 3D-Koordinaten zu einzelnen Flächenelementen der Hand 22 angeben. Die Sensoreinrichtung 12 erfasst so das Körperteil 22 des Benutzers, vorzugsweise eine Kontur des Körperteils 22 (Verfahrensschritt S1). Die beispielhaften 3D-Bilddaten können von der Sensoreinrichtung 10 an die Gestenerkennungseinrichtung 12 übertragen werden (S2).The sensor device 10 can be designed in a manner known per se, e.g. with a light source 16, e.g. If the body part 22 is located therein, for example, the electromagnetic radiation emitted by the light source 16 can be thrown back to a sensor array 18, for example. The sensor array 20 can then be used to generate 3D image data, for example, which indicate 3D coordinates for individual surface elements of the hand 22 . The sensor device 12 thus detects the body part 22 of the user, preferably a contour of the body part 22 (method step S1). The exemplary 3D image data can be transmitted from the sensor device 10 to the gesture recognition device 12 (S2).

In der Gestenerkennungseinrichtung 12, die auch als Berechnungseinheit bezeichnet werden kann, werden die Signale der Sensoreinrichtung 10 empfangen und ausgewertet, und eine Bediengeste als Bedienhandlung ermittelt. Das Erkennen der Bediengeste kann beispielsweise nur dann erfolgen, falls die Bediengeste des Körperteil 22 in einem vorbestimmten Bedienbereich B durchgeführt wird, beispielsweise in einem vorbestimmten Bedienbereich über einer Mittelkonsole als Referenzobjekt 24 und eine Kontur des Körperteils 22 der vorbestimmten Bediengeste entspricht.In the gesture recognition device 12, which can also be referred to as a calculation unit, the signals from the sensor device 10 are received and evaluated, and an operating gesture is determined as an operating action. The operating gesture can only be recognized, for example, if the operating gesture of body part 22 is performed in a predetermined operating area B, for example in a predetermined operating area above a center console as reference object 24 and a contour of body part 22 corresponds to the predetermined operating gesture.

Durch die Gestenerkennungseinrichtung 12 können beispielsweise Gliedmaßen aus den 3D-Bilddaten segmentiert werden, wodurch beispielsweise die Position einer Fingerspitze und/oder eines Handschwerpunkts in dem Bedienbereich B ermittelt werden kann. Hier können an sich bekannte Segmentierungsalgorithmen genutzt werden. Eine nicht sichtbare Seite eines Körperteils 22, z.B. einer Hand, kann mittels z.B. eines Handmodells oder eines Skelettmodells modelliert werden. Eine weitere alternative oder zusätzliche Methode zum Ermitteln der Bediengeste anhand der Kontur des erfassten Körperteils 22 ist weiter unten zur 2 beschrieben. Die Gestenerkennungseinrichtung 12 kann die ermittelte Bediengeste mit vorgegebenen, z.B. in der Gestenerkennungseinrichtung 12 oder einer Gestendatenbank gespeicherten Bediengesten, insbesondere mit vorbestimmten Bediengesten, vergleichen, und damit überprüfen, ob die vorbestimmte Bediengeste ausgeführt wird (S3).For example, limbs can be segmented from the 3D image data by the gesture recognition device 12, as a result of which the position of a fingertip and/or the center of the hand in the operating area B can be determined, for example. Known segmentation algorithms can be used here. A non-visible side of a body part 22, such as a Hand can be modeled using a hand model or a skeleton model, for example. A further alternative or additional method for determining the operating gesture based on the contour of the detected body part 22 is described further below 2 described. The gesture recognition device 12 can compare the determined operating gesture with predetermined operating gestures, eg stored in the gesture recognition device 12 or a gesture database, in particular with predetermined operating gestures, and thus check whether the predetermined operating gesture is executed (S3).

Im vorliegenden Beispiel erkennt die Gestenerkennungseinrichtung 12 die vorbestimmte Bediengeste, die ein Vorbestimmen eines Suchradius der zu referenzierenden Umgebung bewirkt. Mit anderen Worten erfolgt eine erste Klassifizierung der Bediengeste, in der die Bediengeste dem Vorbestimmen des Suchradius zugeordnet wird. Falls die vorbestimmte Bediengeste ausgeführt, erfasst die Sensoreinrichtung 12 eine Position des Körperteils 22 (S4). Dabei kann beispielsweise, wie in der 1 gezeigt, ein Abstand Z einer Fingerspitze oder einer Handinnenfläche zu einem vorgegebenen Bereich einer Mittelkonsole erfasst werden. Dies kann beispielsweise durch den beispielhaften optischen Sensor der Sensoreinrichtung 12 und/oder durch einen separaten Abstandssensor der Sensoreinrichtung 12, beispielsweise einem kapazitiven Näherungsschalter an der Oberfläche des Referenzobjekts 24, erfolgen. Mit anderen Worten gibt beispielsweise die Z-Position des Körperteils 22, also die räumliche Lage des Körperteils 22 in Bezug zu dem Referenzobjekt 24, den Abstand oder die Position vor. Eine Abstandsmessung mit der beispielhaften Kamera kann beispielsweise erfolgen, in dem der Abstand des Körperteils 22 anhand einer Pixelanzahl in dem Kamerabild, die sich zwischen dem erkannten Körperteil 22 und dem erkannten Referenzobjekt 24 befinden, ermittelt wird. Alternativ kann die Position des Körperteils 22 beispielsweise durch eine Lichtschranke in einer vorgegebenen Höhe erfasst werden. Die Sensoreinrichtung 12 kann ein Signal erzeugen, das den erfassten Abstand Z beschreibt und dieses an die Fokussierungseinrichtung 14 übertragen (S5), beispielsweise über eine drahtgebundene Kommunikationsverbindung oder eine drahtlose drahtgebundene Kommunikationsverbindung. Das bedeutet, dass eine Position der Hand 22 im Innenraum ermittelt wird.In the present example, the gesture recognition device 12 recognizes the predetermined operating gesture, which causes a search radius of the environment to be referenced to be predetermined. In other words, the operating gesture is first classified, in which the operating gesture is assigned to the predetermination of the search radius. If the predetermined operating gesture is executed, the sensor device 12 detects a position of the body part 22 (S4). For example, as in the 1 shown, a distance Z of a fingertip or a palm of the hand to a predetermined area of a center console can be detected. This can be done, for example, by the exemplary optical sensor of sensor device 12 and/or by a separate distance sensor of sensor device 12, for example a capacitive proximity switch on the surface of reference object 24. In other words, for example, the Z position of the body part 22, ie the spatial position of the body part 22 in relation to the reference object 24, specifies the distance or the position. A distance measurement with the exemplary camera can be carried out, for example, in which the distance of the body part 22 is determined using a number of pixels in the camera image that are located between the recognized body part 22 and the recognized reference object 24 . Alternatively, the position of the body part 22 can be detected, for example, by a light barrier at a predetermined height. The sensor device 12 can generate a signal that describes the detected distance Z and transmit this to the focusing device 14 (S5), for example via a wired communication link or a wireless wired communication link. This means that a position of the hand 22 in the interior is determined.

Die Fokussierungseinrichtung 16 legt daraufhin in Abhängigkeit von dem erfassten Abstand Z den Suchradius der zur referenzierenden Umgebung zu einer aktuellen Position des Kraftfahrzeugs 10 (S7) fest. Es erfolgt also eine weitere Klassifizierung, bei der die Position des Körperteils 22 einem Umkreisradius zugeordnet wird. Ein beispielhafter absoluter Wert eines erfassten Abstands Z von beispielsweise fünf Zentimetern kann dabei beispielsweise einen Suchradius von fünf Kilometern festlegen. Werte für Suchradien in Abhängigkeit von dem Abstand Z können beispielsweise als digitale Liste in der Fokussierungseinrichtung hinterlegt sein oder durch eine mathematische Formel berechnet werden.Depending on the detected distance Z, the focusing device 16 then defines the search radius of the environment to be referenced in relation to a current position of the motor vehicle 10 (S7). A further classification therefore takes place, in which the position of the body part 22 is assigned to a radius. An exemplary absolute value of a detected distance Z of five centimeters, for example, can define a search radius of five kilometers, for example. Values for search radii depending on the distance Z can, for example, be stored as a digital list in the focusing device or can be calculated using a mathematical formula.

Die Fokussierungseinrichtung 16, die beispielsweise einen GPS-Empfänger umfassen kann, ist dazu ausgelegt, die aktuelle geographische Position des Kraftfahrzeugs 10 beispielsweise anhand eines GPS-Signals zu ermitteln (S6). Anhand der ermittelten geographischen Position des Kraftfahrzeugs 10 legt die Fokussierungseinrichtung 16 die zu referenzierende Umgebung (S9) fest, die den festgelegten Suchradius aufweist. Dies kann beispielsweise durch ein Berechnen anhand geographischer Standortdaten erfolgen. In einem Ausführungsbeispiel kann die Fokussierungseinrichtung 16 zusätzlich mindestens einen geographischen Punkt, beispielsweise ein oder mehrere Restaurants in dem beispielhaften Umkreis von fünf Kilometern und/oder eine Information ermitteln, beispielsweise eine Standortinformation und/oder eine Bezeichnung des jeweiligen Restaurants. Dazu kann die Fokussierungseinrichtung 16 beispielsweise über eine Internetverbindung ein Anfragesignal an einen kraftfahrzeugexternen Datenserver 19 übertragen und die zu dieser Suchanfrage gehörige Information über die beispielhafte Internetverbindung empfangen (S11). Alternativ kann der Ermittlungsvorgang auch offline erfolgen, also ohne Kommunikationsverbindung zu einem kraftfahrzeugexternen System, indem der mindestens eine geographische Punkt und/oder die Information mittels einer Datenbank des Navigationssystems ermittelt wird (S11).The focusing device 16, which can include a GPS receiver, for example, is designed to determine the current geographic position of the motor vehicle 10, for example using a GPS signal (S6). Based on the ascertained geographic position of motor vehicle 10, focusing device 16 defines the environment to be referenced (S9), which has the defined search radius. This can be done, for example, by calculating using geographic location data. In one embodiment, the focusing device 16 can also determine at least one geographic point, for example one or more restaurants within the exemplary radius of five kilometers and/or information, for example location information and/or a designation of the respective restaurant. For this purpose, the focusing device 16 can transmit a request signal to a data server 19 external to the motor vehicle via an Internet connection, for example, and can receive the information associated with this search request via the exemplary Internet connection (S11). Alternatively, the determination process can also take place offline, ie without a communication connection to a vehicle-external system, by determining the at least one geographic point and/or the information using a database of the navigation system (S11).

Bei der Gestenerkennungseinrichtung 12 und/oder der Fokussierungseinrichtung 14 kann es sich beispielsweise um eine Teilkomponente des Navigationssystems, beispielsweise einem Mikrochip, handeln. Die Gestenerkennungseinrichtung 12 und/oder die Fokussierungseinrichtung 14 können zusammen oder einzeln auch als ein Computerprogramm mit einem entsprechenden Programmcode zur Durchführung einer Ausführungsform des erfindungsgemäßen Verfahrens realisiert sein.The gesture recognition device 12 and/or the focusing device 14 can, for example, be a subcomponent of the navigation system, for example a microchip. The gesture recognition device 12 and/or the focusing device 14 can also be implemented together or individually as a computer program with a corresponding program code for carrying out an embodiment of the method according to the invention.

Die Anzeigeeinrichtung 14 des Navigationssystems, die beispielsweise eine digitale Straßenkarte anzeigt, kann die zu referenzierende Umgebung und/oder den mindestens einen geographischen Punkt und/oder die ermittelte Information auf der digitalen Straßenkarte anzeigen (S9). Dabei kann beispielsweise die Fokussierungseinrichtung 16 ein Fokussierungssignal erzeugen, dass die zu referenzierende Umgebung beschreibt und das Fokussierungssignal an die Anzeigeeinrichtung 17 übertragen (S12). Die Anzeigeeinrichtung 17 kann dann beispielsweise eine entsprechende Markierung oder Maske mit der digitalen Straßenkarte überlagern. Alternativ kann die zu referenzierende Umgebung beispielsweise aufgehellt dargestellt werden (S13, in der 1 als kreisförmig dargestellte zu referenzierende Umgebung gezeigt).The display device 14 of the navigation system, which displays a digital road map, for example, can display the environment to be referenced and/or the at least one geographic point and/or the determined information on the digital road map (S9). In this case, for example, the focusing device 16 can generate a focusing signal that describes the environment to be referenced and transmit the focusing signal to the display device 17 (S12). The display device 17 can then, for example, overlay a corresponding marking or mask with the digital road map. Alternatively, the environment to be referenced can, for example, be brightened (S13, in which 1 shown as a circular environment to be referenced).

Die Sensoreinrichtung 12 kann beispielsweise dauerhaft oder in zyklischen Abständen den Erfassungsbereich E in dem Innenraum des Kraftfahrzeugs überwachen. Besonders bevorzugt ist dabei, wenn in dem Fall, dass die durchgeführte, vorbestimmte Bediengeste nicht mehr durch die Gestenerkennungseinrichtung 14 erkannt wird, der zuletzt festgelegte Suchradius beibehalten wird. Ändert also der Benutzer beispielsweise die Haltung seiner Hand 22, bleibt der Suchradius auf fünf Kilometer festgelegt.The sensor device 12 can, for example, monitor the detection area E in the interior of the motor vehicle permanently or at cyclical intervals. It is particularly preferred if, in the event that the performed, predetermined operating gesture is no longer recognized by the gesture recognition device 14, the last specified search radius is retained. For example, if the user changes the position of his hand 22, the search radius remains fixed at five kilometers.

Durch die beispielhaften 3D-Bilddaten der Sensoreinrichtung 10 kann auch eine Sequenz von aufeinander folgenden 3D-Bildern repräsentiert sein, das heißt die Sensoreinrichtung 12 kann mit dem beispielhaften optischen Sensor 18 auch eine Bewegung der Hand 22 erfassen. Durch Verfolgen einer Trajektorie (T), beispielsweise der Fingerspitze in dieser 3D-Bildsequenz, insbesondere durch Verfolgen der Position und der Geschwindigkeit der Fingerspitze, kann so eine mit der Fingerspitze angedeutete Bewegungsgeste aus der Trajektorie extrapoliert werden. Damit kann auch ein Bewegen des Körperteils 22, das die Bediengeste ausführt, als Positionsänderung auf einer Fokussierungsstrecke F von der Sensoreinrichtung 12 erfasst werden. Alternativ kann die Sensoreinrichtung 12 zu einem ersten und einem weiteren Zeitpunkt die Position, also beispielsweise den Abstand, erfassen, sodass sich die Positionsänderung (also die beispielhafte Abstandsänderung) aus einer Differenz beider erfassten Werte ergibt.A sequence of consecutive 3D images can also be represented by the exemplary 3D image data of the sensor device 10 , that is to say the sensor device 12 can also detect a movement of the hand 22 with the exemplary optical sensor 18 . By following a trajectory (T), for example the fingertip in this 3D image sequence, in particular by following the position and the speed of the fingertip, a movement gesture indicated with the fingertip can be extrapolated from the trajectory. A movement of the body part 22 that executes the operating gesture can thus also be detected by the sensor device 12 as a change in position on a focusing distance F. Alternatively, the sensor device 12 can record the position, ie the distance, for example, at a first and a further point in time, so that the change in position (ie the exemplary change in distance) results from a difference between the two recorded values.

Die Fokussierungseinrichtung 16 passt in diesem Fall eine Länge des festgelegten Suchradius an die Positionsänderung an. Bewegt der Benutzer zum Beispiel sein in der Bediengeste verharrendes Körperteil 22 von der Ausgangsposition in eine Position, die beispielsweise zehn Zentimeter über dem beispielhaften Referenzobjekt liegt, passt die Fokussierungseinrichtung 16 den zuvor auf fünf Kilometer festgelegten Suchradius auf zehn Kilometer an. Beispielsweise kann also ein Erhöhen des Abstands des Körperteils 22 zu dem Referenzobjekt 24 in dem Innenraum des Kraftfahrzeugs 10 ein entsprechend proportionales Erhöhen des Suchradius und/oder beispielsweise ein Verringern des Suchradius bei einem Verringern des Abstands des Körperteils 22 zu einem Referenzobjekt 24 in einem Innenraum des Kraftfahrzeugs 10 führen.In this case, the focusing device 16 adapts a length of the specified search radius to the change in position. For example, if the user moves his body part 22 that is still in the operating gesture from the starting position to a position that is, for example, ten centimeters above the exemplary reference object, the focusing device 16 adjusts the search radius previously set at five kilometers to ten kilometers. For example, increasing the distance between body part 22 and reference object 24 in the interior of motor vehicle 10 can result in a correspondingly proportional increase in the search radius and/or, for example, reducing the search radius when the distance between body part 22 and a reference object 24 in an interior of motor vehicle 10 is reduced Motor vehicle 10 lead.

Die 2 zeigt eine Methode zum Extrahieren einer Gliedmaße 26 bei der Gestenerkennung durch die Gestenerkennungseinrichtung 14 anhand einer Kontur K des erfassten Körperteils 22 durch beispielsweise einen Algorithmus zum Bestimmen sogenannter „convexity defects“, also zum Bestimmen von Punkten der Körperteilkontur K des Körperteils 22, die in einer vorbestimmten Entfernung oder in einer vorbestimmten Mindestentfernung von einem Scheitelpunkt 28 des Körperteils 22 liegen.the 2 shows a method for extracting a limb 26 during gesture recognition by the gesture recognition device 14 based on a contour K of the detected body part 22, for example by an algorithm for determining so-called "convexity defects", i.e. for determining points of the body part contour K of the body part 22, which are in a a predetermined distance or at a predetermined minimum distance from an apex 28 of the body part 22.

Die Hand 22 mit der Kontur K weist mehrere Finger als konvexe Gliedmaßen 26 auf (2a). Wie in der 2b gezeigt, kann mindestens ein konvexer Scheitelpunkt 28 der Kontur K ermittelt und eine Ausdehnung A des Körperteils 22, beispielsweise einer Ausdehnung A der Fingerspitzen 26, als äußere Hülle des Körperteils 22 bestimmt werden, beispielsweise durch Verbinden der Scheitelpunkte 28. Dadurch kann in einem nachfolgenden Schritt derjenige Punkt oder diejenigen Punkte des Körperteils 22 bestimmt werden, die von den ermittelten Scheitelpunkten 28 am weitesten entfernt liegen ( 2c). Zum Erkennen der Fingerzwischenräume können die maximalen Abstände der Kontur K ermittelt werden.The hand 22 with the contour K has several fingers as convex limbs 26 ( 2a) . Like in the 2 B shown, at least one convex vertex 28 of the contour K can be determined and an extent A of the body part 22, for example an extent A of the fingertips 26, can be determined as the outer shell of the body part 22, for example by connecting the vertices 28. This allows in a subsequent step that point or those points of the body part 22 are determined which are furthest away from the ascertained vertices 28 ( 2c ). The maximum distances of the contour K can be determined in order to identify the spaces between the fingers.

Dabei können nicht relevante „convexity defects“ durch den Algorithmus ausgefiltert werden (2d), beispielsweise durch Vorgeben eines Mindestabstands des „convexity defects“ zu einem Scheitelpunkt 28. Eine Krümmung und/oder eine Länge einer Gliedmaße 26 ist vorzugsweise nicht entscheidend für ein Erkennen der Bediengeste.The algorithm can filter out non-relevant "convexity defects" ( 2d ), for example by specifying a minimum distance between the “convexity defect” and a vertex 28. A curvature and/or a length of a limb 26 is preferably not decisive for recognizing the operating gesture.

Optional kann eine maximale Krümmung vorgegeben werden. Alternativ oder zusätzlich kann ein Winkel zwischen zwei Gliedmaßen 26 und/oder eine Krümmung einer Gliedmaße 26 ermittelt werden. Alternativ kann die Gestenerkennungseinrichtung 14 mindestens zwei Gelenkpunkte an jeweils einer konvexen Gliedmaße des Körperteils ermitteln, und/oder ein Spreizen der Gliedmaßen 26 anhand eines Abstands der mindestens zwei Gelenkpunkte ermitteln.Optionally, a maximum curvature can be specified. Alternatively or additionally, an angle between two limbs 26 and/or a curvature of a limb 26 can be determined. Alternatively, the gesture recognition device 14 can determine at least two joint points on a convex limb of the body part, and/or determine a spreading of the limbs 26 based on a distance between the at least two joint points.

In den oben aufgeführten Ausführungsbeispielen wird das Prinzip des erfindungsgemäßen Verfahrens verdeutlicht, mithilfe einer physikalisch einwandfreie Ortbarkeit des Insassen (zum Beispiel durch eine Sensoreinrichtung 12, die zum Beispiel eine Time-of-Flight-Kamera umfasst, und/oder einer Gestenerkennungseinrichtung 14), oder von einem Körperteil 22 des Insassen beispielsweise eine Handpose zu erkennen. Zur Suche von einem oder mehreren geographischen Punkten, beispielsweise Objekten, im Umkreis kann dafür beispielsweise die flache Hand mit abgespreizten Fingern verwendet werden (vgl. 1). Die Z-Position der Hand 22 kann als Radius für den Umkreis verwendet werden, beispielsweise je höher die Hand desto größer der Radius und je niedriger, desto kleiner der Radius. In 1 wird der Umkreis in der Navigationskarte direkt angezeigt. Um den Radius bei Ein- oder Austritt nicht zu verändern kann sich der Radius erst bei gespreizter Hand verändert. Sobald die Finger nicht korrekt abstehen bleibt der Radius fix. Es wird immer in der aktuellen Zoomstufe des Karte gesucht, will man weiter suchen, so kann beispielsweise durch einen Drehdrücksteller der Maßstab der Karte verändert werden.In the exemplary embodiments listed above, the principle of the method according to the invention is illustrated with the aid of a physically correct location of the occupant (e.g. by a sensor device 12, which includes a time-of-flight camera, for example, and/or a gesture recognition device 14), or recognizing a hand pose of a body part 22 of the occupant, for example. To search for one or more geographical points, for example objects, in the vicinity, the flat hand with spread fingers can be used (cf. 1 ). The Z position of the hand 22 can be used as the radius for the perimeter, for example, the higher the hand the larger the radius and the lower the hand the smaller the radius. In 1 the radius is displayed directly on the navigation map. In order not to change the radius when entering or exiting, the radius can only be changed when the hand is spread. As soon as the fingers do not protrude correctly, the radius remains fixed. It is always searched in the current zoom level of the map, if you want to continue searching, the scale of the map can be changed, for example, with a rotary pushbutton.

Es ergibt sich der Vorteil einer Umkreissuche in der Umgebung des Fahrzeugs 10 durch eine einfache Geste. Die 1 zeigt Umkreis-Kartendaten bei abgespreizter Hand als Bediengeste. In der 1 dargestellt ist eine der möglichen Realisierungen des Verfahrens. Ein beispielsweise optischer Sensor vermisst den Innenraum inklusive Insassen und Innenraum. In der Fokussierungseinrichtung 16, beispielsweise einer Berechnungseinheit, werden die Signale ausgewertet und dem Fahrzeug zur Reaktion zur Verfügung gestellt. Die 2 zeigt eine beispielhafte Extraktion der Finger als beispielhafte Gliedmaßen des Körperteils 22. Die beispielhafte Hand 22 selbst kann aus den Bilddaten durch einfache Algorithmen wie beispielsweise „Convexity defects“ erkannt werden. (siehe 2)This results in the advantage of a perimeter search in the vicinity of vehicle 10 using a simple gesture. the 1 shows radius map data with spread hand as operating gesture. In the 1 one of the possible implementations of the method is shown. An optical sensor, for example, measures the interior including the occupants and the interior. In the focusing device 16, for example a calculation unit, the signals are evaluated and made available to the vehicle for reaction. the 2 12 shows an exemplary extraction of the fingers as exemplary limbs of the body part 22. The exemplary hand 22 itself can be recognized from the image data using simple algorithms such as “convexity defects”. (please refer 2 )

Claims (8)

Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs (10), wobei das Navigationssystem eine Sensoreinrichtung (12), eine Gestenerkennungseinrichtung (14) und eine Fokussierungseinrichtung (16) umfasst, umfassend die Schritte: - Ermitteln einer geographischen Position des Kraftfahrzeugs (10) durch die Fokussierungseinrichtung (16, S6), - Erfassen eines Körperteils (22) eines Benutzers durch die Sensoreinrichtung (12, S1) und durch die Gestenerkennungseinrichtung (14) Überprüfen anhand einer Kontur des erfassten Körperteils (22), ob eine vorbestimmte Bediengeste durch das erfasste Körperteil ausgeführt wird (S3), - falls die vorbestimmte Bediengeste ausgeführt wird, Erfassen einer Position des Körperteils (22) in einem Innenraum des Kraftfahrzeugs (10) durch die Sensoreinrichtung (12, S4), - in Abhängigkeit von der erfassten Position Festlegen eines Suchradius (S7), - durch die Fokussierungseinrichtung (16) Festlegen einer zu referenzierenden Umgebung, die den festgelegten Suchradius um die ermittelte Position des Kraftfahrzeugs (10) aufweist (S8), und - Anzeigen der zu referenzierenden Umgebung durch eine Anzeigeeinrichtung (17) des Navigationssystems (S9), wobei die Gestenerkennungseinrichtung (14) an mindestens zwei konvexen Gliedmaßen (26) des Körperteils (22), jeweils mindestens einem Gelenk der jeweiligen Gliedmaße (26) und anhand eines Abstands der mindestens zwei Gelenke ein Spreizen der Gliedmaßen ermittelt, weiterhin wobei die Gestenerkennungseinrichtung (14) an mindestens zwei Fingern einer Hand als konvexe Gliedmaßen (26) des Körperteils (22) das Spreizen der Gliedmaßen und anhand eines Algorithmus zum Ermitteln von Defekten einer Konvexität einer Gliedmaße (26) des Körperteils (22) die Bediengeste ermittelt.Method for operating a navigation system of a motor vehicle (10), the navigation system comprising a sensor device (12), a gesture recognition device (14) and a focusing device (16), comprising the steps: - Determining a geographic position of the motor vehicle (10) by the focusing device (16, S6), - detection of a body part (22) of a user by the sensor device (12, S1) and by the gesture recognition device (14) checking, based on a contour of the detected body part (22), whether a predetermined operating gesture is performed by the detected body part (S3), - if the predetermined operating gesture is executed, detecting a position of the body part (22) in an interior of the motor vehicle (10) by the sensor device (12, S4), - Determination of a search radius (S7) depending on the recorded position, - by the focusing device (16) specifying an environment to be referenced, which has the specified search radius around the determined position of the motor vehicle (10) (S8), and - Displaying the environment to be referenced by a display device (17) of the navigation system (S9), the gesture recognition device (14) on at least two convex limbs (26) of the body part (22), at least one joint of the respective limb (26) and based on a distance between the at least two joints determines a spreading of the limbs, further wherein the gesture recognition device (14) on at least two fingers of one hand as convex limbs (26) of the body part (22) the spreading of the limbs and using an algorithm for determining defects of a convexity a limb (26) of the body part (22) determines the operating gesture. Verfahren nach Anspruch 1, umfassend die Schritte: - durch die Fokussierungseinrichtung (16) Referenzieren der Umgebung (S10) durch Ermitteln mindestens eines geographischen Punkts innerhalb der zu referenzierenden Umgebung und durch Ermitteln einer Information zu dem geographischen Punkt (S11), - Anzeigen des mindestens einen geographischen Punkts und/oder der ermittelten Information des mindestens einen geographischen Punkts durch die Anzeigeeinrichtung (17) des Navigationssystems (S9).procedure after claim 1 , comprising the steps: - by the focusing device (16) referencing the environment (S10) by determining at least one geographical point within the environment to be referenced and by determining information about the geographical point (S11), - displaying the at least one geographical point and /or the determined information of the at least one geographic point by the display device (17) of the navigation system (S9). Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gestenerkennungseinrichtung (14) die vorbestimmte Bediengeste erkennt, falls die Bediengeste in einem vorbestimmten Bedienbereich (B) des Innenraums ausgeführt wird.Method according to one of the preceding claims, wherein the gesture recognition device (14) recognizes the predetermined operating gesture if the operating gesture is carried out in a predetermined operating area (B) of the interior. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensoreinrichtung eine Änderung der Position des Körperteils, vorzugsweise eine Abstandsänderung des Körperteils (22) zu einem Referenzobjekt (24) in einem Innenraum des Kraftfahrzeugs (10), durch Bewegen des Körperteils auf einer Fokussierungsstrecke erfasst und wobei die Fokussierungseinrichtung eine Länge des festgelegten Suchradius an die Positionsänderung anpasst.Method according to one of the preceding claims, wherein the sensor device detects a change in the position of the body part, preferably a change in distance of the body part (22) to a reference object (24) in an interior of the motor vehicle (10), by moving the body part on a focusing path and wherein the focusing device adapts a length of the specified search radius to the change in position. Verfahren nach Anspruch 4, wobei in Abhängigkeit einer Bewegungsrichtung der Bewegung auf der Fokussierungsstrecke eine Art der Längenänderung des festgelegten Suchradius vorbestimmt wird, vorzugsweise ein Erhöhen des Suchradius bei einem Erhöhen eines Abstands des Körperteils (22) zu einem Referenzobjekt (24) in einem Innenraum des Kraftfahrzeugs (10) und/oder ein Verringern des Suchradius bei Verringern des Abstands des Körperteils (22) zu einem Referenzobjekt (24) in einem Innenraum des Kraftfahrzeugs (10).procedure after claim 4 , a type of change in length of the specified search radius being predetermined as a function of a direction of movement of the movement on the focusing path, preferably an increase in the search radius when the distance between the body part (22) and a reference object (24) in an interior of the motor vehicle (10) increases and/or reducing the search radius when reducing the distance between the body part (22) and a reference object (24) in an interior of the motor vehicle (10). Verfahren nach einem der vorhergehenden Ansprüche, wobei, falls die durchgeführte, vorbestimmte Bediengeste nicht mehr erkannt wird, der zuletzt festgelegte Suchradius beibehalten wird.Method according to one of the preceding claims, wherein if the performed, predetermined operating gesture is no longer recognized, the last specified search radius is retained. Navigationssystem, das dazu ausgelegt ist, ein Verfahren gemäß einem der Ansprüche 1 bis 6 durchzuführen.Navigation system designed to use a method according to one of Claims 1 until 6 to perform. Kraftfahrzeug (10), umfassend ein Navigationssystem nach Anspruch 7.Motor vehicle (10), comprising a navigation system claim 7 .
DE102014017179.5A 2014-11-20 2014-11-20 Method for operating a navigation system of a motor vehicle using an operating gesture Active DE102014017179B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102014017179.5A DE102014017179B4 (en) 2014-11-20 2014-11-20 Method for operating a navigation system of a motor vehicle using an operating gesture
PCT/EP2015/002156 WO2016078742A1 (en) 2014-11-20 2015-10-29 Method for operating a navigation system of a motor vehicle by means of a user gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014017179.5A DE102014017179B4 (en) 2014-11-20 2014-11-20 Method for operating a navigation system of a motor vehicle using an operating gesture

Publications (2)

Publication Number Publication Date
DE102014017179A1 DE102014017179A1 (en) 2016-05-25
DE102014017179B4 true DE102014017179B4 (en) 2022-10-06

Family

ID=54361045

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014017179.5A Active DE102014017179B4 (en) 2014-11-20 2014-11-20 Method for operating a navigation system of a motor vehicle using an operating gesture

Country Status (2)

Country Link
DE (1) DE102014017179B4 (en)
WO (1) WO2016078742A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444843B (en) * 2016-12-07 2019-02-15 北京奇虎科技有限公司 Unmanned plane relative bearing control method and device
DE102017214012A1 (en) 2017-08-10 2019-02-14 Volkswagen Aktiengesellschaft Method and device for operating a navigation system of a motor vehicle

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040243306A1 (en) 2003-06-02 2004-12-02 Han Maung W. Display method and apparatus for navigation system
DE202006008254U1 (en) 2006-05-23 2006-08-03 Ident Technology Ag Steering system for vehicle cockpit has steering wheel on which finger movements are detectable and evaluating signal generating switch
DE102006037154A1 (en) 2006-03-27 2007-10-18 Volkswagen Ag Navigation device and method for operating a navigation device
WO2008001202A2 (en) 2006-06-28 2008-01-03 Nokia Corporation Touchless gesture based input
DE102008051756A1 (en) 2007-11-12 2009-05-14 Volkswagen Ag Multimodal user interface of a driver assistance system for entering and presenting information
WO2009155465A1 (en) 2008-06-18 2009-12-23 Oblong Industries, Inc. Gesture-based control system for vehicle interfaces
WO2010008835A1 (en) 2008-06-23 2010-01-21 Gesturetek, Inc. Enhanced character input using recognized gestures
EP2367095A2 (en) 2010-03-19 2011-09-21 Navigon AG Portable electronic navigation device
EP2441635A1 (en) 2010-10-06 2012-04-18 Harman Becker Automotive Systems GmbH Vehicle User Interface System
US20120133580A1 (en) 2010-11-30 2012-05-31 Cisco Technology, Inc. System and method for gesture interface control
DE102013201746A1 (en) 2012-02-06 2013-08-08 Ford Global Technologies, Llc INTERACTION WITH VEHICLE CONTROL ELEMENTS BY GESTURE DETECTION
DE102013000066A1 (en) 2013-01-08 2014-07-10 Audi Ag Zooming and moving an image content of a display device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720844B2 (en) * 2007-07-03 2010-05-18 Vulcan, Inc. Method and system for continuous, dynamic, adaptive searching based on a continuously evolving personal region of interest
US9239624B2 (en) * 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040243306A1 (en) 2003-06-02 2004-12-02 Han Maung W. Display method and apparatus for navigation system
DE102006037154A1 (en) 2006-03-27 2007-10-18 Volkswagen Ag Navigation device and method for operating a navigation device
DE202006008254U1 (en) 2006-05-23 2006-08-03 Ident Technology Ag Steering system for vehicle cockpit has steering wheel on which finger movements are detectable and evaluating signal generating switch
WO2008001202A2 (en) 2006-06-28 2008-01-03 Nokia Corporation Touchless gesture based input
DE102008051756A1 (en) 2007-11-12 2009-05-14 Volkswagen Ag Multimodal user interface of a driver assistance system for entering and presenting information
WO2009155465A1 (en) 2008-06-18 2009-12-23 Oblong Industries, Inc. Gesture-based control system for vehicle interfaces
WO2010008835A1 (en) 2008-06-23 2010-01-21 Gesturetek, Inc. Enhanced character input using recognized gestures
EP2367095A2 (en) 2010-03-19 2011-09-21 Navigon AG Portable electronic navigation device
EP2441635A1 (en) 2010-10-06 2012-04-18 Harman Becker Automotive Systems GmbH Vehicle User Interface System
US20120133580A1 (en) 2010-11-30 2012-05-31 Cisco Technology, Inc. System and method for gesture interface control
DE102013201746A1 (en) 2012-02-06 2013-08-08 Ford Global Technologies, Llc INTERACTION WITH VEHICLE CONTROL ELEMENTS BY GESTURE DETECTION
DE102013000066A1 (en) 2013-01-08 2014-07-10 Audi Ag Zooming and moving an image content of a display device

Also Published As

Publication number Publication date
DE102014017179A1 (en) 2016-05-25
WO2016078742A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
JP6842574B2 (en) Systems and methods for obtaining passenger feedback in response to autonomous vehicle driving events
DE102017116088B4 (en) Device and method for estimating a position of a vehicle
WO2015155029A1 (en) Locating a head-mounted display (hmd) in a vehicle
DE102011053449A1 (en) Man-machine interface on finger-pointer and gesture-based for vehicles
DE102017115318A1 (en) Heads-up display for monitoring vehicle perception activity
DE102014204820A1 (en) Three-dimensional fingertip tracking
DE102015214338A1 (en) Determining an arrangement information for a vehicle
DE102014204320A1 (en) Information query by pointing
DE102013101175A1 (en) System and method for detecting traffic signals
DE102016114754A1 (en) Focusing system for improving vehicle vision performance
DE102019122266A1 (en) Park management systems and procedures
DE102008011876A1 (en) display device
DE102010060225A1 (en) Vehicle information offering device
WO2016035281A1 (en) Vehicle-mounted system, information processing method, and computer program
DE102019128691A1 (en) METHOD AND DEVICES FOR EASIER NAVIGATION USING A WINDSHIELD DISPLAY
DE102019208788A1 (en) Motor vehicle
DE102016201932A1 (en) Method for assisting a parking operation and parking assist device
DE102017215161A1 (en) Method and device for selecting an environment object in the environment of a vehicle
CN111989915A (en) Dynamic image region selection for visual inference
DE112018003180T5 (en) RISK INFORMATION COLLECTOR
DE112016005798T5 (en) VEHICLE INTERNAL SYSTEM AND METHOD FOR PROVIDING INFORMATION RELATING TO POINTS OF INTEREST
DE102017208854A1 (en) A method, apparatus and computer readable storage medium having instructions for determining applicable traffic rules for a motor vehicle
DE102012208733A1 (en) Method for determining location of object e.g. shop by user of vehicle, involves determining direction vector and object position data with respect to predetermined reference point and absolute position in geographic coordinate system
DE102014017179B4 (en) Method for operating a navigation system of a motor vehicle using an operating gesture
DE102017217747A1 (en) Method for operating a navigation system

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final