DE102014017179B4 - Method for operating a navigation system of a motor vehicle using an operating gesture - Google Patents
Method for operating a navigation system of a motor vehicle using an operating gesture Download PDFInfo
- Publication number
- DE102014017179B4 DE102014017179B4 DE102014017179.5A DE102014017179A DE102014017179B4 DE 102014017179 B4 DE102014017179 B4 DE 102014017179B4 DE 102014017179 A DE102014017179 A DE 102014017179A DE 102014017179 B4 DE102014017179 B4 DE 102014017179B4
- Authority
- DE
- Germany
- Prior art keywords
- body part
- motor vehicle
- gesture
- navigation system
- focusing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs (10), wobei das Navigationssystem eine Sensoreinrichtung (12), eine Gestenerkennungseinrichtung (14) und eine Fokussierungseinrichtung (16) umfasst, umfassend die Schritte:- Ermitteln einer geographischen Position des Kraftfahrzeugs (10) durch die Fokussierungseinrichtung (16, S6),- Erfassen eines Körperteils (22) eines Benutzers durch die Sensoreinrichtung (12, S1) und durch die Gestenerkennungseinrichtung (14) Überprüfen anhand einer Kontur des erfassten Körperteils (22), ob eine vorbestimmte Bediengeste durch das erfasste Körperteil ausgeführt wird (S3),- falls die vorbestimmte Bediengeste ausgeführt wird, Erfassen einer Position des Körperteils (22) in einem Innenraum des Kraftfahrzeugs (10) durch die Sensoreinrichtung (12, S4),- in Abhängigkeit von der erfassten Position Festlegen eines Suchradius (S7),- durch die Fokussierungseinrichtung (16) Festlegen einer zu referenzierenden Umgebung, die den festgelegten Suchradius um die ermittelte Position des Kraftfahrzeugs (10) aufweist (S8), und- Anzeigen der zu referenzierenden Umgebung durch eine Anzeigeeinrichtung (17) des Navigationssystems (S9), wobei die Gestenerkennungseinrichtung (14) an mindestens zwei konvexen Gliedmaßen (26) des Körperteils (22), jeweils mindestens einem Gelenk der jeweiligen Gliedmaße (26) und anhand eines Abstands der mindestens zwei Gelenke ein Spreizen der Gliedmaßen ermittelt, weiterhin wobei die Gestenerkennungseinrichtung (14) an mindestens zwei Fingern einer Hand als konvexe Gliedmaßen (26) des Körperteils (22) das Spreizen der Gliedmaßen und anhand eines Algorithmus zum Ermitteln von Defekten einer Konvexität einer Gliedmaße (26) des Körperteils (22) die Bediengeste ermittelt.Method for operating a navigation system of a motor vehicle (10), the navigation system comprising a sensor device (12), a gesture recognition device (14) and a focusing device (16), comprising the steps of: - determining a geographic position of the motor vehicle (10) using the focusing device (16, S6),- detection of a body part (22) of a user by the sensor device (12, S1) and by the gesture recognition device (14) using a contour of the detected body part (22) to check whether a predetermined operating gesture is executed by the detected body part is (S3), - if the predetermined operating gesture is executed, detecting a position of the body part (22) in an interior of the motor vehicle (10) by the sensor device (12, S4), - depending on the detected position determining a search radius (S7 ), - by the focusing device (16) specifying an environment to be referenced, the specified Su ch radius around the determined position of the motor vehicle (10) (S8), and displaying the environment to be referenced by a display device (17) of the navigation system (S9), the gesture recognition device (14) on at least two convex limbs (26) of the body part (22), in each case at least one joint of the respective limbs (26) and based on a distance between the at least two joints, a spreading of the limbs is determined, further wherein the gesture recognition device (14) on at least two fingers of one hand as convex limbs (26) of the body part ( 22) the spreading of the limbs and the operating gesture is determined using an algorithm for determining defects in a convexity of a limb (26) of the body part (22).
Description
Die Erfindung betrifft ein Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs, wobei eine geographische Position des Kraftfahrzeugs durch die Fokussierungseinrichtung ermittelt und eine vorbestimmte Bediengeste eines Benutzers durch eine Sensoreinrichtung erfasst sowie durch eine Gestenerkennungseinrichtung erkannt wird.The invention relates to a method for operating a navigation system of a motor vehicle, with a geographic position of the motor vehicle being determined by the focusing device and a predetermined operating gesture by a user being detected by a sensor device and recognized by a gesture recognition device.
Mit zunehmender Entwicklung von Komfortsystemen stellt insbesondere die Infotainmenttechnologie einem Kraftfahrzeugfahrer ein immer breiteres Angebot an unterstützenden Funktionen bereit. Dabei stellt sich die besondere Herausforderung, für immer mehr Funktionen eines Infotainmentsystem eine möglichst wenig komplizierte Bedienweise zu ermöglichen. Anhand von Zeigegesten, beispielsweise in Form eines ausgestreckten Arms, kann ein Benutzer auf ein Objekt, beispielsweise auf ein Haus, eine Straße, einen Parkplatz, eine Kirche oder in eine Himmelsrichtung zeigen und es damit referenzieren, das heißt er setzt das Objekt in Beziehung mit einer Information zu dem Objekt, die durch das Infotainmentsystem ermittelt und angezeigt wird. Damit kann auch eine Suchbereich für die Objekte in Form eines Kegels oder einer Parabel, also eine Suchrichtung, eingeschränkt werden.With the increasing development of comfort systems, infotainment technology in particular provides a motor vehicle driver with an ever-widening range of supporting functions. This poses the particular challenge of enabling the least complicated way of operating an increasing number of infotainment system functions. Using pointing gestures, for example in the form of an outstretched arm, a user can point to an object, for example a house, a street, a parking lot, a church or in a compass point and thus reference it, i.e. he relates the object to it information about the object that is determined and displayed by the infotainment system. A search area for the objects in the form of a cone or a parabola, i.e. a search direction, can also be restricted in this way.
Aus der
Nachteilig ist hierbei jedoch, dass nur Objekte in einer bestimmten Richtung referenziert werden können.The disadvantage here, however, is that only objects can be referenced in a specific direction.
Eine der Erfindung zugrunde liegende Aufgabe ist das Vereinfachen einer Umkreissuche eines Navigationssystems.An object underlying the invention is to simplify a proximity search of a navigation system.
Die oben stehende Aufgabe wird durch das erfindungsgemäße Verfahren und die erfindungsgemäßen Vorrichtungen der nebengeordneten Ansprüche gelöst. Weitere vorteilhafte Weiterbildungen sind durch die Unteransprüche gegeben.The above object is achieved by the method according to the invention and the devices according to the invention of the independent claims. Further advantageous developments are given by the dependent claims.
Die Erfindung basiert auf der Idee, in Abhängigkeit einer Gestenerkennung eine Position eines Körperteils eines Benutzers, beispielsweise einen Abstand des Körperteils zu einem Referenzobjekt in einem Innenraum des Kraftfahrzeugs, beispielsweise einer Mittelkonsole, durch eine Sensoreinrichtung zu erfassen und anhand der erfassten Position einen Suchradius für eine Umkreissuche von geographischen Punkten von Interesse festzulegen. Dadurch kann eine Umkreissuche von beispielsweise sogenannten „Point of Interests“ in der Umgebung des Fahrzeugs durch eine einfache Geste erfolgen und intuitiv verändert werden.The invention is based on the idea of detecting a position of a body part of a user, for example a distance of the body part from a reference object in an interior of the motor vehicle, for example a center console, by a sensor device as a function of gesture recognition, and using the detected position to create a search radius for a Define proximity search of geographic points of interest. As a result, a radius search of, for example, so-called "points of interest" in the vicinity of the vehicle can be carried out with a simple gesture and changed intuitively.
Das erfindungsgemäße Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs wird mithilfe eines Navigationssystems, das eine Sensoreinrichtung, eine Gestenerkennungseinrichtung und eine Fokussierungseinrichtung umfasst, durchgeführt. Die Fokussierungseinrichtung ermittelt eine geographische Position des Kraftfahrzeugs, vorzugsweise eine aktuelle geographische Position des Kraftfahrzeugs. Die Sensoreinrichtung, vorzugsweise eine Sensoreinrichtung, die einen Sensor des Kraftfahrzeugs umfasst, beispielsweise eine Kamera, erfasst ein Körperteil des Benutzers und durch die Gestenerkennungseinrichtung wird anhand einer Kontur des erfassten Körperteils überprüft, ob eine vorbestimmte Bediengeste durch das erfasste Körperteil ausgeführt wird. Die Bediengeste ist dabei eine statische Geste, das heißt eine Haltung des Körperteils, die nicht verändert wird.The method according to the invention for operating a navigation system of a motor vehicle is carried out using a navigation system which includes a sensor device, a gesture recognition device and a focusing device. The focusing device determines a geographic position of the motor vehicle, preferably a current geographic position of the motor vehicle. The sensor device, preferably a sensor device that includes a sensor of the motor vehicle, for example a camera, detects a body part of the user and the gesture recognition device uses a contour of the detected body part to check whether a predetermined operating gesture is executed by the detected body part. The operating gesture is a static gesture, ie a posture of the body part that is not changed.
Falls die vorbestimmte Bediengeste ausgeführt wird, erfasst die Sensoreinrichtung durch beispielsweise eine Lichtschranke oder einen Abstandssensor der Sensoreinrichtung die Position des Körperteils in einem Innenraum des Kraftfahrzeugs. Dazu kann beispielsweise ein Abstand von einem vorgegebenen Körperteilpunkt oder Körperteilbereich zu einem vorgegebenen Punkt oder Bereich des Referenzobjekts erfasst werden, zum Beispiel ein Abstand einer Fingerspitze oder einer Handinnenfläche zu einem vorgegebenen Bereich einer Mittelkonsole.If the predetermined operating gesture is carried out, the sensor device detects the position of the body part in an interior of the motor vehicle, for example by means of a light barrier or a distance sensor of the sensor device. For this purpose, for example, a distance from a specified body part point or body part area to a specified point or area of the reference object can be recorded, for example a distance between a fingertip or a palm of the hand and a specified area of a center console.
In Abhängigkeit von der erfassten Position erfolgt ein Festlegen eines Suchradius einer zu referenzierenden Umgebung der ermittelten Position des Kraftfahrzeugs durch die Fokussierungseinrichtung. Die Fokussierungseinrichtung ist dabei eine Steuereinrichtung zum Verarbeiten geographischer Standortdaten. Die Fokussierungseinrichtung legt eine zu referenzierenden Umgebung des Kraftfahrzeugs fest, die den festgelegten Suchradius um die ermittelte Position des Kraftfahrzeugs aufweist. Die so festgelegte zu referenzierende Umgebung wird dann von einer Anzeigeeinrichtung des Navigationssystems, beispielsweise einem Bildschirm, angezeigt, vorzugsweise in einer digitalen Straßenkarte des Navigationssystems.Depending on the detected position, a search radius of an area surrounding the determined position of the motor vehicle that is to be referenced is determined by the focusing device. The focusing device is a control device for processing geographic location data. The focusing device defines an environment of the motor vehicle that is to be referenced and has the defined search radius around the determined position of the motor vehicle. The environment to be referenced that is defined in this way is then displayed by a display device of the navigation system, for example a screen, preferably in a digital road map of the navigation system.
Hierdurch ergibt sich in vorteilhafter Weise eine Umkreissuche in der vom Benutzer vorgegebenen Umgebung des Fahrzeugs in alle Richtungen durch eine einfache Geste. Der Suchradius kann dabei von dem Benutzer durch Blindbedienung intuitiv vorgegeben werden, sodass er weiterhin möglichst viel Aufmerksamkeit dem Verkehrsgeschehen widmen kann.This advantageously results in a radius search in the surroundings of the vehicle specified by the user in all directions with a simple gesture. The search radius can be intuitively adjusted by the user through blind operation tively, so that he can continue to devote as much attention as possible to what is happening on the road.
Die Gestenerkennungseinrichtung ermittelt an mindestens zwei konvexen Gliedmaßen des Körperteils - an mindestens zwei Fingern einer Hand - jeweils ein oder jeweils mindestens ein Gelenk der Gliedmaße. Dies stellt eine besonders effiziente Maßnahme zum Erkennen einer gespreizten Hand als beispielhafte Bediengeste dar. Die Gestenerkennungseinrichtung ermittelt zudem anhand eines Abstands der mindestens zwei Gelenke ein Spreizen der Gliedmaßen. Der Abstand der mindestens zwei Gelenke kann beispielsweise durch die Sensoreinrichtung ermittelt werden.The gesture recognition device determines at least two convex limbs of the body part—on at least two fingers of one hand—one or at least one joint of each limb. This represents a particularly efficient measure for recognizing a spread hand as an exemplary operating gesture. The gesture recognition device also uses a distance between the at least two joints to determine if the limbs are spread. The distance between the at least two joints can be determined, for example, by the sensor device.
Das Verfahren wird genauer und zuverlässiger dadurch, dass die Gestenerkennungseinrichtung anhand eines Algorithmus zum Ermitteln von Defekten einer Konvexität einer Gliedmaße des Körperteils, also durch Ermitteln sogenannter „convexity defects“, die Bediengeste ermittelt.The method becomes more accurate and reliable in that the gesture recognition device determines the operating gesture using an algorithm for determining defects in a convexity of a limb of the body part, ie by determining so-called “convexity defects”.
Die zu referenzierende Umgebung kann durch die Anzeigeeinrichtung graphisch hervorgehoben wird, beispielsweise durch Aufhellen oder Markieren des der Umgebung entsprechenden Bereichs auf einer digitalen Straßenkarte des Navigationssystems. Der Benutzer erkennt dadurch in einfacher Art und Weise, ob er einen zu kleinen oder einen zu großen Suchradius vorgegeben hat.The environment to be referenced can be graphically highlighted by the display device, for example by brightening or marking the area corresponding to the environment on a digital road map of the navigation system. The user thus recognizes in a simple manner whether he has specified a search radius that is too small or too large.
Ein Referenzieren der Umgebung, die den festgelegten Suchradius aufweist, kann gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens durch Ermitteln mindestens eines geographischen Punkts, eines sogenannten „Point of Interest“ wie zum Beispiel ein Restaurant, innerhalb der zu referenzierenden Umgebung und durch Ermitteln einer Information zu dem geographischen Punkt erfolgen. Mit anderen Worten kann ein in Bezug setzen des mindestens einen geographischen Punkts mit einer Information, beispielsweise einer Reiseinformation, der innerhalb des festgelegten Suchradius liegt, erfolgen. Dadurch wird die Umgebung mit der Information in Bezug gesetzt. Der mindestens eine geographische Punkts und/oder die ermittelten Information des mindestens einen geographischen Punkts, beispielsweise eine Standortinformation oder eine Bezeichnung des mindestens einen geographischen Punkts, kann dann durch die Anzeigeeinrichtung des Navigationssystems angezeigt werden.According to a further embodiment of the method according to the invention, referencing of the environment that has the specified search radius can be carried out by determining at least one geographic point, a so-called “point of interest” such as a restaurant, within the environment to be referenced and by determining information the geographic point. In other words, the at least one geographic point can be related to information, for example travel information, that lies within the specified search radius. In this way, the environment is related to the information. The at least one geographic point and/or the determined information of the at least one geographic point, for example location information or a designation of the at least one geographic point, can then be displayed by the display device of the navigation system.
Die Fokussierungseinrichtung kann dabei gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens eine Kategorie des geographischen Punkts ermitteln, beispielsweise durch Vorgeben der Kategorie durch eine Bedienhandlung des Benutzers. Hierdurch kann eine selektive Umkreissuche erfolgen.According to a further embodiment of the method according to the invention, the focusing device can determine a category of the geographic point, for example by specifying the category through an operator action by the user. This allows a selective area search to be carried out.
Die Gestenerkennungseinrichtung kann gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens die vorbestimmte Bediengeste erkennen, falls die Bediengeste in einem vorbestimmten Bedienbereich des Innenraums ausgeführt wird. Mit anderen Worten kann die Gestenerkennungseinrichtung die vorbestimmte Bediengeste erkennen, falls die Sensoreinrichtung die Bediengeste in einem vorbestimmten Bedienbereich des Innenraums erfasst. Hierdurch kann einer Fehlbedienung durch versehentliches Ausüben der Bediengeste vorgebeugt werden.According to a further embodiment of the method according to the invention, the gesture recognition device can recognize the predetermined operating gesture if the operating gesture is executed in a predetermined operating area of the interior. In other words, the gesture recognition device can recognize the predetermined operating gesture if the sensor device detects the operating gesture in a predetermined operating area of the interior. In this way, incorrect operation due to accidental execution of the operating gesture can be prevented.
Gemäß einer weiteren, besonders vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens kann die Sensoreinrichtung eine Änderung der Position des Körperteils, vorzugsweise eine Änderung des Abstandes des Körperteils zu dem Referenzobjekt, durch Bewegen des Körperteils auf einer Fokussierungsstrecke erfassen. Die Fokussierungseinrichtung kann dabei eine Länge des festgelegten Suchradius an die Positionsänderung anpassen. In einer Weiterbildung des erfindungsgemäßen Verfahrens kann in Abhängigkeit einer Bewegungsrichtung der Bewegung auf der Fokussierungsstrecke eine Art der Längenänderung des Suchradius vorbestimmt werden, vorzugsweise ein Erhöhen des Suchradius bei einem Erhöhen des Abstands des Körperteils zu dem Referenzobjekt und/oder ein Verringern des Suchradius bei Verringern des Abstands. Dies ermöglicht ein intuitives Anpassen des Suchradius.According to a further, particularly advantageous embodiment of the method according to the invention, the sensor device can detect a change in the position of the body part, preferably a change in the distance of the body part from the reference object, by moving the body part over a focusing path. The focusing device can adapt a length of the fixed search radius to the change in position. In a further development of the method according to the invention, a type of change in length of the search radius can be predetermined depending on the direction of movement of the movement on the focusing path, preferably an increase in the search radius when the distance of the body part from the reference object increases and/or a reduction in the search radius when the distance between the body part and the reference object decreases distance. This allows intuitive adjustment of the search radius.
Falls die durchgeführte, vorbestimmte Bediengeste nicht mehr erkannt wird, also beispielsweise der Benutzer das Körperteil so formt, dass die neue Haltung des Körperteils nicht mehr mit der vorbestimmten Bediengeste übereinstimmt, kann gemäß einer weiteren besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens der zuletzt festgelegte Suchradius beibehalten werden. Dazu kann die Sensoreinrichtung beispielsweise in zyklischen Abständen oder dauerhaft einen Erfassungsbereich überwachen. Dadurch ist ein einmaliges Bedienen ausreichend, um eine zu referenzierende Umgebung dauerhaft festzulegen.If the performed, predetermined operating gesture is no longer recognized, e.g. the user shapes the body part in such a way that the new posture of the body part no longer corresponds to the predetermined operating gesture, according to a further particularly preferred embodiment of the method according to the invention, the last defined search radius can be retained . For this purpose, the sensor device can, for example, monitor a detection area at cyclical intervals or continuously. As a result, a one-time operation is sufficient to permanently define an environment to be referenced.
Die oben gestellte Aufgabe wird ebenfalls gelöst durch ein Navigationssystem, beispielsweise ein Navigationsgerät, das dazu ausgelegt ist, ein Verfahren gemäß einer der oben angeführten Ausführungsformen durchzuführen. Das Navigationssystem kann dabei eine Sensoreinrichtung, eine Gestenerkennungseinrichtung und eine Fokussierungseinrichtung umfassen. Es ergeben sich die oben genannten Vorteile.The object stated above is also achieved by a navigation system, for example a navigation device, which is designed to carry out a method according to one of the above-mentioned embodiments. The navigation system can include a sensor device, a gesture recognition device and a focusing device. The advantages mentioned above result.
Die oben gestellte Aufgabe wird ebenfalls gelöst durch ein Kraftfahrzeug, vorzugsweise einen Kraftwagen wie beispielsweise einen Personenkraftwagen, umfassend eine Ausführungsform des oben beschriebenen Navigationssystems.The object set above is also achieved by a motor vehicle, preferably a motor vehicle such as a passenger car, comprising an embodiment of the navigation system described above.
Die Erfindung wird anhand der beigefügten Zeichnungen noch einmal durch konkrete Ausführungsbeispiele näher erläutert. Die gezeigten Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar. Funktionsgleiche Elemente weisen in den Figuren dieselben Bezugszeichen auf. Es zeigt:
-
1 eine schematische Skizze zu einer Ausführungsform des erfindungsgemäßen Verfahrens, und -
2 in den Figuren2a ,2b ,2c und2c eine schematische Skizze zu einer Gestenerkennungsmethode.
-
1 a schematic sketch of an embodiment of the method according to the invention, and -
2 in the figures2a ,2 B ,2c and2c a schematic sketch of a gesture recognition method.
In der
Der Benutzer möchte beispielsweise auf seiner Fahrt ein Restaurant aufsuchen. Da er sich nicht auskennt und nicht weiß, in welcher Richtung sich das nächste Restaurant befindet, möchte er sich durch sein Navigationsgerät zum Beispiel ein Restaurant vorschlagen lassen. Er möchte die Suche jedoch auf einen Umkreis von beispielsweise fünf Kilometer beschränken, da er zum Beispiel nicht durch einem langen Umweg aufgehalten werden möchte. Ein Restaurant ist folglich ein geographischer Punkt innerhalb einer Umgebung des Kraftfahrzeugs 10 mit einem Suchradius von beispielsweise fünf Kilometern, wobei der Benutzer den geographischen Punkt auf seinem Bildschirm angezeigt haben möchte. Das Markieren des geographischen Punkts als Standortinformation und/oder das Anzeigen einer zusätzlichen Information, wie beispielsweise einem Restaurantnamen, wird im Folgenden als Referenzieren der Umgebung bezeichnet, da die Umgebung des Kraftfahrzeugs mit der entsprechenden Information in Bezug gesetzt wird.For example, the user would like to visit a restaurant on his journey. Since he doesn't know his way around and doesn't know in which direction the nearest restaurant is, he would like his navigation device to suggest a restaurant, for example. However, he would like to limit the search to a radius of five kilometers, for example, because he does not want to be held up by a long detour, for example. A restaurant is consequently a geographic point within an area surrounding
Zunächst kann er dazu beispielsweise die Kategorie „Restaurant“ durch beispielsweise ein klassisches Menü des Navigationsgeräts, beispielsweise über einen Touchscreen oder mittels einem Sprachmenü, auswählen.For example, he can first select the “Restaurant” category, for example, using a classic menu of the navigation device, for example using a touchscreen or using a voice menu.
Im Beispiel der
Die Sensoreinrichtung 10 umfasst im Beispiel der
Die Sensoreinrichtung 10 kann in an sich bekannter Weise ausgestaltet sein, z.B. mit einer Leuchtquelle 16, z.B. einer Infrarotleuchte, die einen Erfassungsbereich E beleuchtet. Befindet sich darin beispielsweise das Körperteil 22, kann die von der Leuchtquelle 16 ausgestrahlte elektromagnetische Strahlung beispielsweise zu einem Sensorarray 18 zurückgeworfen werden. Mittels des Sensorarrays 20 können dann beispielsweise 3D-Bilddaten erzeugt werden, welche 3D-Koordinaten zu einzelnen Flächenelementen der Hand 22 angeben. Die Sensoreinrichtung 12 erfasst so das Körperteil 22 des Benutzers, vorzugsweise eine Kontur des Körperteils 22 (Verfahrensschritt S1). Die beispielhaften 3D-Bilddaten können von der Sensoreinrichtung 10 an die Gestenerkennungseinrichtung 12 übertragen werden (S2).The
In der Gestenerkennungseinrichtung 12, die auch als Berechnungseinheit bezeichnet werden kann, werden die Signale der Sensoreinrichtung 10 empfangen und ausgewertet, und eine Bediengeste als Bedienhandlung ermittelt. Das Erkennen der Bediengeste kann beispielsweise nur dann erfolgen, falls die Bediengeste des Körperteil 22 in einem vorbestimmten Bedienbereich B durchgeführt wird, beispielsweise in einem vorbestimmten Bedienbereich über einer Mittelkonsole als Referenzobjekt 24 und eine Kontur des Körperteils 22 der vorbestimmten Bediengeste entspricht.In the
Durch die Gestenerkennungseinrichtung 12 können beispielsweise Gliedmaßen aus den 3D-Bilddaten segmentiert werden, wodurch beispielsweise die Position einer Fingerspitze und/oder eines Handschwerpunkts in dem Bedienbereich B ermittelt werden kann. Hier können an sich bekannte Segmentierungsalgorithmen genutzt werden. Eine nicht sichtbare Seite eines Körperteils 22, z.B. einer Hand, kann mittels z.B. eines Handmodells oder eines Skelettmodells modelliert werden. Eine weitere alternative oder zusätzliche Methode zum Ermitteln der Bediengeste anhand der Kontur des erfassten Körperteils 22 ist weiter unten zur
Im vorliegenden Beispiel erkennt die Gestenerkennungseinrichtung 12 die vorbestimmte Bediengeste, die ein Vorbestimmen eines Suchradius der zu referenzierenden Umgebung bewirkt. Mit anderen Worten erfolgt eine erste Klassifizierung der Bediengeste, in der die Bediengeste dem Vorbestimmen des Suchradius zugeordnet wird. Falls die vorbestimmte Bediengeste ausgeführt, erfasst die Sensoreinrichtung 12 eine Position des Körperteils 22 (S4). Dabei kann beispielsweise, wie in der
Die Fokussierungseinrichtung 16 legt daraufhin in Abhängigkeit von dem erfassten Abstand Z den Suchradius der zur referenzierenden Umgebung zu einer aktuellen Position des Kraftfahrzeugs 10 (S7) fest. Es erfolgt also eine weitere Klassifizierung, bei der die Position des Körperteils 22 einem Umkreisradius zugeordnet wird. Ein beispielhafter absoluter Wert eines erfassten Abstands Z von beispielsweise fünf Zentimetern kann dabei beispielsweise einen Suchradius von fünf Kilometern festlegen. Werte für Suchradien in Abhängigkeit von dem Abstand Z können beispielsweise als digitale Liste in der Fokussierungseinrichtung hinterlegt sein oder durch eine mathematische Formel berechnet werden.Depending on the detected distance Z, the focusing
Die Fokussierungseinrichtung 16, die beispielsweise einen GPS-Empfänger umfassen kann, ist dazu ausgelegt, die aktuelle geographische Position des Kraftfahrzeugs 10 beispielsweise anhand eines GPS-Signals zu ermitteln (S6). Anhand der ermittelten geographischen Position des Kraftfahrzeugs 10 legt die Fokussierungseinrichtung 16 die zu referenzierende Umgebung (S9) fest, die den festgelegten Suchradius aufweist. Dies kann beispielsweise durch ein Berechnen anhand geographischer Standortdaten erfolgen. In einem Ausführungsbeispiel kann die Fokussierungseinrichtung 16 zusätzlich mindestens einen geographischen Punkt, beispielsweise ein oder mehrere Restaurants in dem beispielhaften Umkreis von fünf Kilometern und/oder eine Information ermitteln, beispielsweise eine Standortinformation und/oder eine Bezeichnung des jeweiligen Restaurants. Dazu kann die Fokussierungseinrichtung 16 beispielsweise über eine Internetverbindung ein Anfragesignal an einen kraftfahrzeugexternen Datenserver 19 übertragen und die zu dieser Suchanfrage gehörige Information über die beispielhafte Internetverbindung empfangen (S11). Alternativ kann der Ermittlungsvorgang auch offline erfolgen, also ohne Kommunikationsverbindung zu einem kraftfahrzeugexternen System, indem der mindestens eine geographische Punkt und/oder die Information mittels einer Datenbank des Navigationssystems ermittelt wird (S11).The focusing
Bei der Gestenerkennungseinrichtung 12 und/oder der Fokussierungseinrichtung 14 kann es sich beispielsweise um eine Teilkomponente des Navigationssystems, beispielsweise einem Mikrochip, handeln. Die Gestenerkennungseinrichtung 12 und/oder die Fokussierungseinrichtung 14 können zusammen oder einzeln auch als ein Computerprogramm mit einem entsprechenden Programmcode zur Durchführung einer Ausführungsform des erfindungsgemäßen Verfahrens realisiert sein.The
Die Anzeigeeinrichtung 14 des Navigationssystems, die beispielsweise eine digitale Straßenkarte anzeigt, kann die zu referenzierende Umgebung und/oder den mindestens einen geographischen Punkt und/oder die ermittelte Information auf der digitalen Straßenkarte anzeigen (S9). Dabei kann beispielsweise die Fokussierungseinrichtung 16 ein Fokussierungssignal erzeugen, dass die zu referenzierende Umgebung beschreibt und das Fokussierungssignal an die Anzeigeeinrichtung 17 übertragen (S12). Die Anzeigeeinrichtung 17 kann dann beispielsweise eine entsprechende Markierung oder Maske mit der digitalen Straßenkarte überlagern. Alternativ kann die zu referenzierende Umgebung beispielsweise aufgehellt dargestellt werden (S13, in der
Die Sensoreinrichtung 12 kann beispielsweise dauerhaft oder in zyklischen Abständen den Erfassungsbereich E in dem Innenraum des Kraftfahrzeugs überwachen. Besonders bevorzugt ist dabei, wenn in dem Fall, dass die durchgeführte, vorbestimmte Bediengeste nicht mehr durch die Gestenerkennungseinrichtung 14 erkannt wird, der zuletzt festgelegte Suchradius beibehalten wird. Ändert also der Benutzer beispielsweise die Haltung seiner Hand 22, bleibt der Suchradius auf fünf Kilometer festgelegt.The
Durch die beispielhaften 3D-Bilddaten der Sensoreinrichtung 10 kann auch eine Sequenz von aufeinander folgenden 3D-Bildern repräsentiert sein, das heißt die Sensoreinrichtung 12 kann mit dem beispielhaften optischen Sensor 18 auch eine Bewegung der Hand 22 erfassen. Durch Verfolgen einer Trajektorie (T), beispielsweise der Fingerspitze in dieser 3D-Bildsequenz, insbesondere durch Verfolgen der Position und der Geschwindigkeit der Fingerspitze, kann so eine mit der Fingerspitze angedeutete Bewegungsgeste aus der Trajektorie extrapoliert werden. Damit kann auch ein Bewegen des Körperteils 22, das die Bediengeste ausführt, als Positionsänderung auf einer Fokussierungsstrecke F von der Sensoreinrichtung 12 erfasst werden. Alternativ kann die Sensoreinrichtung 12 zu einem ersten und einem weiteren Zeitpunkt die Position, also beispielsweise den Abstand, erfassen, sodass sich die Positionsänderung (also die beispielhafte Abstandsänderung) aus einer Differenz beider erfassten Werte ergibt.A sequence of consecutive 3D images can also be represented by the exemplary 3D image data of the
Die Fokussierungseinrichtung 16 passt in diesem Fall eine Länge des festgelegten Suchradius an die Positionsänderung an. Bewegt der Benutzer zum Beispiel sein in der Bediengeste verharrendes Körperteil 22 von der Ausgangsposition in eine Position, die beispielsweise zehn Zentimeter über dem beispielhaften Referenzobjekt liegt, passt die Fokussierungseinrichtung 16 den zuvor auf fünf Kilometer festgelegten Suchradius auf zehn Kilometer an. Beispielsweise kann also ein Erhöhen des Abstands des Körperteils 22 zu dem Referenzobjekt 24 in dem Innenraum des Kraftfahrzeugs 10 ein entsprechend proportionales Erhöhen des Suchradius und/oder beispielsweise ein Verringern des Suchradius bei einem Verringern des Abstands des Körperteils 22 zu einem Referenzobjekt 24 in einem Innenraum des Kraftfahrzeugs 10 führen.In this case, the focusing
Die
Die Hand 22 mit der Kontur K weist mehrere Finger als konvexe Gliedmaßen 26 auf (
Dabei können nicht relevante „convexity defects“ durch den Algorithmus ausgefiltert werden (
Optional kann eine maximale Krümmung vorgegeben werden. Alternativ oder zusätzlich kann ein Winkel zwischen zwei Gliedmaßen 26 und/oder eine Krümmung einer Gliedmaße 26 ermittelt werden. Alternativ kann die Gestenerkennungseinrichtung 14 mindestens zwei Gelenkpunkte an jeweils einer konvexen Gliedmaße des Körperteils ermitteln, und/oder ein Spreizen der Gliedmaßen 26 anhand eines Abstands der mindestens zwei Gelenkpunkte ermitteln.Optionally, a maximum curvature can be specified. Alternatively or additionally, an angle between two
In den oben aufgeführten Ausführungsbeispielen wird das Prinzip des erfindungsgemäßen Verfahrens verdeutlicht, mithilfe einer physikalisch einwandfreie Ortbarkeit des Insassen (zum Beispiel durch eine Sensoreinrichtung 12, die zum Beispiel eine Time-of-Flight-Kamera umfasst, und/oder einer Gestenerkennungseinrichtung 14), oder von einem Körperteil 22 des Insassen beispielsweise eine Handpose zu erkennen. Zur Suche von einem oder mehreren geographischen Punkten, beispielsweise Objekten, im Umkreis kann dafür beispielsweise die flache Hand mit abgespreizten Fingern verwendet werden (vgl.
Es ergibt sich der Vorteil einer Umkreissuche in der Umgebung des Fahrzeugs 10 durch eine einfache Geste. Die
Claims (8)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014017179.5A DE102014017179B4 (en) | 2014-11-20 | 2014-11-20 | Method for operating a navigation system of a motor vehicle using an operating gesture |
PCT/EP2015/002156 WO2016078742A1 (en) | 2014-11-20 | 2015-10-29 | Method for operating a navigation system of a motor vehicle by means of a user gesture |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014017179.5A DE102014017179B4 (en) | 2014-11-20 | 2014-11-20 | Method for operating a navigation system of a motor vehicle using an operating gesture |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102014017179A1 DE102014017179A1 (en) | 2016-05-25 |
DE102014017179B4 true DE102014017179B4 (en) | 2022-10-06 |
Family
ID=54361045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102014017179.5A Active DE102014017179B4 (en) | 2014-11-20 | 2014-11-20 | Method for operating a navigation system of a motor vehicle using an operating gesture |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102014017179B4 (en) |
WO (1) | WO2016078742A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106444843B (en) * | 2016-12-07 | 2019-02-15 | 北京奇虎科技有限公司 | Unmanned plane relative bearing control method and device |
DE102017214012A1 (en) | 2017-08-10 | 2019-02-14 | Volkswagen Aktiengesellschaft | Method and device for operating a navigation system of a motor vehicle |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040243306A1 (en) | 2003-06-02 | 2004-12-02 | Han Maung W. | Display method and apparatus for navigation system |
DE202006008254U1 (en) | 2006-05-23 | 2006-08-03 | Ident Technology Ag | Steering system for vehicle cockpit has steering wheel on which finger movements are detectable and evaluating signal generating switch |
DE102006037154A1 (en) | 2006-03-27 | 2007-10-18 | Volkswagen Ag | Navigation device and method for operating a navigation device |
WO2008001202A2 (en) | 2006-06-28 | 2008-01-03 | Nokia Corporation | Touchless gesture based input |
DE102008051756A1 (en) | 2007-11-12 | 2009-05-14 | Volkswagen Ag | Multimodal user interface of a driver assistance system for entering and presenting information |
WO2009155465A1 (en) | 2008-06-18 | 2009-12-23 | Oblong Industries, Inc. | Gesture-based control system for vehicle interfaces |
WO2010008835A1 (en) | 2008-06-23 | 2010-01-21 | Gesturetek, Inc. | Enhanced character input using recognized gestures |
EP2367095A2 (en) | 2010-03-19 | 2011-09-21 | Navigon AG | Portable electronic navigation device |
EP2441635A1 (en) | 2010-10-06 | 2012-04-18 | Harman Becker Automotive Systems GmbH | Vehicle User Interface System |
US20120133580A1 (en) | 2010-11-30 | 2012-05-31 | Cisco Technology, Inc. | System and method for gesture interface control |
DE102013201746A1 (en) | 2012-02-06 | 2013-08-08 | Ford Global Technologies, Llc | INTERACTION WITH VEHICLE CONTROL ELEMENTS BY GESTURE DETECTION |
DE102013000066A1 (en) | 2013-01-08 | 2014-07-10 | Audi Ag | Zooming and moving an image content of a display device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7720844B2 (en) * | 2007-07-03 | 2010-05-18 | Vulcan, Inc. | Method and system for continuous, dynamic, adaptive searching based on a continuously evolving personal region of interest |
US9239624B2 (en) * | 2012-04-13 | 2016-01-19 | Nokia Technologies Oy | Free hand gesture control of automotive user interface |
-
2014
- 2014-11-20 DE DE102014017179.5A patent/DE102014017179B4/en active Active
-
2015
- 2015-10-29 WO PCT/EP2015/002156 patent/WO2016078742A1/en active Application Filing
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040243306A1 (en) | 2003-06-02 | 2004-12-02 | Han Maung W. | Display method and apparatus for navigation system |
DE102006037154A1 (en) | 2006-03-27 | 2007-10-18 | Volkswagen Ag | Navigation device and method for operating a navigation device |
DE202006008254U1 (en) | 2006-05-23 | 2006-08-03 | Ident Technology Ag | Steering system for vehicle cockpit has steering wheel on which finger movements are detectable and evaluating signal generating switch |
WO2008001202A2 (en) | 2006-06-28 | 2008-01-03 | Nokia Corporation | Touchless gesture based input |
DE102008051756A1 (en) | 2007-11-12 | 2009-05-14 | Volkswagen Ag | Multimodal user interface of a driver assistance system for entering and presenting information |
WO2009155465A1 (en) | 2008-06-18 | 2009-12-23 | Oblong Industries, Inc. | Gesture-based control system for vehicle interfaces |
WO2010008835A1 (en) | 2008-06-23 | 2010-01-21 | Gesturetek, Inc. | Enhanced character input using recognized gestures |
EP2367095A2 (en) | 2010-03-19 | 2011-09-21 | Navigon AG | Portable electronic navigation device |
EP2441635A1 (en) | 2010-10-06 | 2012-04-18 | Harman Becker Automotive Systems GmbH | Vehicle User Interface System |
US20120133580A1 (en) | 2010-11-30 | 2012-05-31 | Cisco Technology, Inc. | System and method for gesture interface control |
DE102013201746A1 (en) | 2012-02-06 | 2013-08-08 | Ford Global Technologies, Llc | INTERACTION WITH VEHICLE CONTROL ELEMENTS BY GESTURE DETECTION |
DE102013000066A1 (en) | 2013-01-08 | 2014-07-10 | Audi Ag | Zooming and moving an image content of a display device |
Also Published As
Publication number | Publication date |
---|---|
DE102014017179A1 (en) | 2016-05-25 |
WO2016078742A1 (en) | 2016-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6842574B2 (en) | Systems and methods for obtaining passenger feedback in response to autonomous vehicle driving events | |
DE102017116088B4 (en) | Device and method for estimating a position of a vehicle | |
WO2015155029A1 (en) | Locating a head-mounted display (hmd) in a vehicle | |
DE102011053449A1 (en) | Man-machine interface on finger-pointer and gesture-based for vehicles | |
DE102017115318A1 (en) | Heads-up display for monitoring vehicle perception activity | |
DE102014204820A1 (en) | Three-dimensional fingertip tracking | |
DE102015214338A1 (en) | Determining an arrangement information for a vehicle | |
DE102014204320A1 (en) | Information query by pointing | |
DE102013101175A1 (en) | System and method for detecting traffic signals | |
DE102016114754A1 (en) | Focusing system for improving vehicle vision performance | |
DE102019122266A1 (en) | Park management systems and procedures | |
DE102008011876A1 (en) | display device | |
DE102010060225A1 (en) | Vehicle information offering device | |
WO2016035281A1 (en) | Vehicle-mounted system, information processing method, and computer program | |
DE102019128691A1 (en) | METHOD AND DEVICES FOR EASIER NAVIGATION USING A WINDSHIELD DISPLAY | |
DE102019208788A1 (en) | Motor vehicle | |
DE102016201932A1 (en) | Method for assisting a parking operation and parking assist device | |
DE102017215161A1 (en) | Method and device for selecting an environment object in the environment of a vehicle | |
CN111989915A (en) | Dynamic image region selection for visual inference | |
DE112018003180T5 (en) | RISK INFORMATION COLLECTOR | |
DE112016005798T5 (en) | VEHICLE INTERNAL SYSTEM AND METHOD FOR PROVIDING INFORMATION RELATING TO POINTS OF INTEREST | |
DE102017208854A1 (en) | A method, apparatus and computer readable storage medium having instructions for determining applicable traffic rules for a motor vehicle | |
DE102012208733A1 (en) | Method for determining location of object e.g. shop by user of vehicle, involves determining direction vector and object position data with respect to predetermined reference point and absolute position in geographic coordinate system | |
DE102014017179B4 (en) | Method for operating a navigation system of a motor vehicle using an operating gesture | |
DE102017217747A1 (en) | Method for operating a navigation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |