EP3465389A1 - Method for an interaction between an operator and a technical object - Google Patents

Method for an interaction between an operator and a technical object

Info

Publication number
EP3465389A1
EP3465389A1 EP17735087.3A EP17735087A EP3465389A1 EP 3465389 A1 EP3465389 A1 EP 3465389A1 EP 17735087 A EP17735087 A EP 17735087A EP 3465389 A1 EP3465389 A1 EP 3465389A1
Authority
EP
European Patent Office
Prior art keywords
gesture
operator
selection
interaction
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17735087.3A
Other languages
German (de)
French (fr)
Inventor
Asa Macwilliams
Joseph Newman
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP3465389A1 publication Critical patent/EP3465389A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Definitions

  • the invention relates to a method for the interaction of an operator with a technical object.
  • Such a method is used, for example, in the field of building automation and industrial automation technology, in production or machine tools, in diagnostic or service support systems and in the operation and maintenance of complex components, devices and systems, especially industrial or medical equipment.
  • control by voice input is known, which, for example, permits a spoken selection of a room, followed by a setting of the room temperature.
  • voice control in anticipation of the problem underlying the invention already has the advantage of a hands-free interaction with technical objects, the operation is not very intuitive due to the voice commands to be learned.
  • the object of the present invention is to provide an interaction system with an intuitive and open-handed selection of a technical object as well as an interaction with the technical object.
  • the object is achieved by a method having the features of patent claim 1.
  • the inventive method for interaction of an operator with a technical object provides to detect an associated at least one arm of the operator plurality of local Para ⁇ meter of a gesture capture unit of an interaction ⁇ system.
  • the plurality of local parameters is evaluated by a control unit of the interaction system as a per ⁇ stays awhile gesture, wherein a selection and interaction with the selected object is controlled by a sequence of gestures.
  • Rei ⁇ hen describe the following sequence mentioned:
  • step d) If the detection of the selection gesture in step b) results in no ⁇ to arrangement of a plurality, but only one identified by retrievable location coordinates of the object, step d) is skipped.
  • the invention provides an activation of the system, an off ⁇ optionally, selection, control and release of an object by forming gestures by means of a movement of the arms of the operator.
  • a gesture detection is preferably carried out with provided in the Un ⁇ terarm Scheme of the operator inertial sensors or with an optical detection of the arm gestures.
  • Selecting (ger .: to choose) is to be understood as a Grobaus ⁇ either a first amount of identified objects using a selection gesture (ger .: choice gesture).
  • the mentioned »first set of identified objects « closes Of course, it does not mean that the quantity identified by means of the selection gesture exactly corresponds to one identified object.
  • to select is to be understood as a fine selection among the first quantity by means of a selection gesture with the aim of selecting exactly one identified object from the preceding rough selection.
  • a particular advantage of the invention arises from the possibility of individual gestures such as the selection gesture, the selection gesture, the confirmation gesture, etc. to assign a intuiti ⁇ ven and well-known sequence of movements, that is examples game, known from an operator of a lasso.
  • the operation of the interaction system according to the invention is non-contact, so that an operator in an industrial or medical environment has no operation to perform input devices with contaminating effect.
  • a further advantage of the invention is that the operator does not have to look at an output device such as a screen during the operating operations. Instead, he can take the technical objects to be operated directly into his field of vision. In fact, the operation beyond even done without consideration in the event that the operator is sufficiently familiar with the environment, the technical objects to be operated and their location.
  • An additional providence of a haptic feedback according to an embodiment mentioned further enhances this effect of the viewing-free operation.
  • Voice control or a selection of an object using a portable terminal - the interaction method of the invention provides a faster and more accurate selection of technical objects.
  • the inventive method is less susceptible to unwanted Fehlbedie ⁇ calculations.
  • a selection of distinct gestures according to the exemplary embodiments mentioned below leads to a further reduction in the susceptibility to errors.
  • Two-step process that is a combination of an off ⁇ optionally gesture and a selection gesture, according to the method MAESSEN erfindungsge ⁇ a much more accurate selection and interaction. Compared to a screen-based interaction method of the invention allows a more intuitive In ⁇ ter syndrome with technical objects.
  • a special advantage is also the feedback means according to the invention for confirming a selection of objects to the operator.
  • this measure according to the invention it is possible for an operator to visually recognize an identified object, but not necessarily to touch this object in the context of the interaction according to the invention - for example by a usual actuation of actuation units - or to approach it - for example to detect an object assigned barcodes.
  • Further embodiments of the invention are the subject of the dependent claims.
  • Fig. 1 is a schematic structural diagram of a Bedie ⁇ listeners in a rear view in an embodiment of a first gesture
  • FIG. 2 shows a schematic structural representation of the operator in the rear view in an embodiment of a second gesture
  • 3 shows a schematic structural representation of the operator in the rear view in an embodiment of a third gesture
  • 4 shows a schematic structural representation of the operator in the rear view in an embodiment of a fourth gesture
  • Fig. 5 a schematic structural representation of the operator in a front view.
  • Fig. 5 shows an operator in a front view when executing a gesture.
  • the operator is assigned a gesture detection unit, which is worn in the embodiment on the right wrist.
  • the gesture detection unit is worn on the left or both wrists.
  • the gesture detection unit comprises a plurality of inertial sensors for detecting a plurality of local parameters associated with the posture of the operator, in particular local parameters which are formed by a movement, rotation and / or position of the arms of the operator.
  • the majority of local parameters are determined by a control unit (not shown). unit of the interaction system evaluated as a respective gesture ⁇ .
  • the gesture control is intuitive with a movement and / or rotation of the body, especially one or both forearms. An input device which is often inappropriate in an industrial environment is therefore not required.
  • a commercially available smartwatch as the gesture detection unit.
  • a particular advantage of this embodiment of the Gestenerfas- sungsaku is that commercially available are usable with Träg ⁇ integrated sensors equipped Smart Watches.
  • Un ⁇ ter application of such a portable gesture capture unit can have many according to the invention or further development, used according to functional units advertising reused to, integral sensors, for example, a gesture detection based on Träg ⁇ an example, Bluetooth beacons ba ⁇ sierende locating unit, as well as haptic remindmel ⁇ dung medium, such as an unbalance motor to output a Vibra ⁇ tion feedback to the wrist of the operator.
  • alternative gesture detection units provide an optical detection of gestures, for example using one or more optical detection devices, which detect a posture of the operator three-dimensionally, for example using time of flight or structured-light topometry.
  • the procedure referred also have the advantage of hands-free operation of the operator, but erfor ⁇ countries a use of optical Er chargedseinrichtun- gen in the working environment of the operator.
  • a plurality of local parameters associated with at least one arm of the operator are detected by the gesture detection unit and evaluated by the control unit as a respective gesture, wherein a selection and interaction with the selected object is controlled by a sequence of gestures.
  • FIG. 1 shows a schematic structural representation of a Be ⁇ servant in a rear view in an embodiment of an initiation tion gesture.
  • the initiation gesture involves lifting an arm of the operator.
  • the initiation gesture comprises a rotation of a palm towards a body center of the operator.
  • the initiation gesture is detected by the interaction ⁇ system and enabled this for the following Interak ⁇ tion between the operator and the technical object.
  • a haptic feedback issued to the operator to signal the readiness of the interaction system.
  • Fig. 2 shows the user in continuing the initiation gesture comprising a circular movement around a forearm ⁇ main axis of the operator.
  • the palm continues to be directed towards the center of the body of the operator.
  • a preferred embodiment of the selection gesture provides a swirling movement of the wrist, ie a nikförmi ⁇ ge movement, for example, the right wrist, along an imaginary circular line, with a raised hand of the operator.
  • This selection gesture corresponds to an imaginary actuation of a virtual Lasso before it is dropped. Is optionally by the wrist-worn Gestenerfas ⁇ sungshim a haptic feedback to the operator ⁇ given to signal the readiness of the interaction system for a subsequent selection of an object.
  • Fig. 3 shows the operator during a selection gesture.
  • the selection gesture for example, a throwing motion in a direction to be selected and by the technical Inter reliessys ⁇ system object to be identified.
  • this selection gesture corresponds to an imaginary throw of the virtual lasso in the direction of the object to be selected.
  • a virtual throwing motion triggers a selection on a previously raised hand, the gesture of which corresponds approximately to the operation of a virtual harpoon.
  • the motion sequence substantially corresponding to that of the above beschrie ⁇ surrounded lasso movement with the exception that the initial circular movement is not executed.
  • the selection gesture is therefore less distinctive than the lasso movement and possibly leads to an increased number of unwanted activations of initiation or selection.
  • the selection gesture leads to a plurality of identified objects which, refined by a selection gesture, finally lead to a single identified object, namely the object which is actually to be controlled by the operator.
  • This object to be controlled is, under the three illumination sources shown in FIG. 3, the illumination source located on the far left.
  • a determination of first target coordinates takes place from the the selection gesture associated plurality of local parameters.
  • the plurality of local parameters assigned to the selection gesture comprises in particular the position of the operator and the direction of the throw movement.
  • These first destination coordinates are assigned to one or more objects identified by retrievable location coordinates, in the example the three illumination sources.
  • the location coordinates of these three illumination sources are held or retrievable, for example, in an arbitrarily configurable data source, which is accessed by the interaction system. If the first target coordinates can be uniquely assigned to an identified object, the subsequent selection gesture is superfluous.
  • the feedback means are inherent in the respective Be ⁇ leuchtungs provoken, to confirm these flashing briefly.
  • embodiments may also include separate feedback means, et ⁇ wa if no suitable self feedback means are included in the technical objects associated feedback means. This applies, for example, to a selected pump in a production environment, which does not comprise any acoustic or optical signal transmitters. For feedback for a warning or indicator to select the pump on a display panel of Indust ⁇ riestrom would appear here, so this display panel in the above embodiment as a the identified objects feedback means is assigned to understand.
  • FIG. 4 shows the operator during a selection gesture which, in the case of several identified objects, is to be prompted to refine the selection.
  • the operator performs a rotational movement of his arm - for example a pronation or supination - or a translation movement - for example a movement of an arm in a horizontal or vertical direction - or an internal or external rotation of the shoulder.
  • a rotational movement of his arm for example a pronation or supination - or a translation movement - for example a movement of an arm in a horizontal or vertical direction - or an internal or external rotation of the shoulder.
  • an activation of the feedback means which are associated with the identified objects.
  • a Rotationsbewe ⁇ tion up to a left stop position brings here, for example, the leftmost illumination source to
  • Such a rotational movement for example a pronation or supination of the forearm, is substantially easier with the inertial sensors provided in the forearm region of the operator or also with an optical detection of an arm rotation gesture than the detection of a finger gesture.
  • the selection gesture is detected by determining second target coordinates from the plurality of local parameters assigned to the selection gesture and assigning the second target coordinates to the object identified by retrievable location coordinates.
  • this selection ⁇ step is skipped in an advantageous manner.
  • An exemplary confirmation gesture includes a forward arm that is retracted toward the operator and / or pulled up. This gesture would - in continuation of the intuitive semiotics of a Lassobedienung - correspond to a tightening of a Lasso.
  • the interaction system acquires this confirmation gesture, optionally returns a feedback message to the operator and assigns the identified object to a subsequent interaction mode.
  • a controller of the assigned in a mode of interaction object by means of a plurality of Inter forcingges ⁇ th which can be carried out in conventional manner times.
  • a rotational movement leads to a closing ei ⁇ nes valve, a lifting movement to an opening of shading devices, an upward movement to an increase in the light intensity of a room, a rotational movement to a change in light color, etc.
  • Completion of the interaction is triggered by the operator through a release gesture.
  • This release gesture results in the release of the object associated with the interaction mode by the interaction system.
  • Release release is signaled in an advantageous manner by a feedback ⁇ tion to the operator.
  • An exemplary release rack comprises a forwardly directed arm with a rotary motion of its hand, for example in a counterclockwise direction. This gesture would - in continuation of the intuitive semiotics of a lasso operation - correspond to a rotary movement of a loosely lying lasso, in which the lasso end is to be lifted off an object.
  • the inventive control of technical objects in particular for on and Switch off light sources or to open or close blinds or other shading devices are used.
  • the method according to the invention also finds application for the selection of a particular one of a plurality of display means, for example in appropriately equipped command-and-control centers or in medical operation rooms.
  • the method according to the invention finds use in the selection and activation of pumps, valves or the like.
  • use in the production and logistics environment is possible, in which a specific package or production part is selected in order to obtain more detailed information about this or to assign a specific production step to it.
  • the method according to the invention particularly meets the need for a hands-free interaction, which is freed in particular from the hitherto customary need to operate an actuating or handling unit for an interaction.
  • a hands-free operation is particularly advantageous in an environment which is either contaminated or subjected to increased purity requirements, or if the working environment necessitates the wearing of gloves.
  • An advantageous embodiment of the invention enables a multiple selection of identified objects, which are to be transferred into the interaction mode.
  • This configuration enables it ⁇ example, a multiple choice trenchpad lamps.
  • a multiple selection is ensured by an alternati ve ⁇ confirmation gesture which adds one or more previously identified with a selection and / or selection gesture subject by more identified objects.
  • the alternate acknowledgment gesture results in an association of another identified object without a change takes place in a mode of interaction due to the alternative Affirmation ⁇ supply gesture.
  • An exemplary alternative Affirmation ⁇ supply gesture comprises a forward arm which is pushed in the opposite direction to the operator to the front and / or pulled up. This alternative confirmation gesture is carried out in each case after a selection of an object to be added, until the plurality of identified objects is complete from the operator's point of view. With the last identi fied ⁇ object then the operator performs the usual confirmation gesture - thus a Retired ⁇ ner toward the operator arm - and confirms its selection as the extended ⁇ selected plurality of identified objects.
  • an analogy to a known drag-and-drop mouse operation is provided.
  • a further gesture detecting a gesture training optionally - in particular throwing motion - are available, can be selected with the other objects, and selected.
  • An alternative acknowledgment gesture is performed after a Hinzu Stahl ⁇ supply of the last operator of view objects to be added, which indicates that the plurality of fully identified ed objects from the perspective of the operator.
  • the exemplary alternative confirmation gesture again comprises a pushed in the opposite direction to the operator to the front and / or pulled-up arm at ⁇ play.
  • An application example of such a multiple selection encompasses a surveillance space with a plurality of display devices.
  • the operator would like to transfer the contents of three smaller display devices to a large area display for a better overview.
  • a gesture sequence he would select the lasso selection gesture to select the three display contents and then use a harpoon throw to select the large-scale display Apply ge Rhein.
  • the control system of the interaction system then adjusts the display content accordingly.
  • the plurality of objects identified with the selection gesture is reduced to a selection to a specific object type.
  • a selection on Be ⁇ lighting means makes sense in certain cases. This selection can be transmitted to the interaction system before, during or even after the acquisition of the selection gesture, for example by means of a voice command "select only illumination means".
  • a combination with a visualization means for example a virtual reality head-mounted display, is conceivable. This allows one

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The method according to the invention provides an activation of an interaction system, a choosing process, a selection, a control, and a release of a technical object by performing gestures by means of an arm movement of the operator. The gestures can be detected preferably using inertial sensors provided in the lower arm region of the operator or also by optically detecting the arm gestures. In comparison to known choosing methods which likewise provide pointing gestures for aiming a technical object or also analyze a position or orientation of the operator in order to choose technical objects, a two-step process, i.e. a combination of a choosing gesture and a selecting gesture, allows a substantially more precise choosing process and interaction in the method according to the invention. In comparison to a screen-based interaction, the method according to the invention allows a more intuitive interaction with technical objects.

Description

Beschreibung description
Verfahren zur Interaktion eines Bedieners mit einem technischen Objekt Method for the interaction of an operator with a technical object
Die Erfindung betrifft ein Verfahren zur Interaktion eines Bedieners mit einem technischen Objekt. The invention relates to a method for the interaction of an operator with a technical object.
Ein derartiges Verfahren kommt beispielsweise im Bereich der Gebäudeautomatisierung sowie der industriellen Automatisierungstechnik, bei Produktions- oder Werkzeugmaschinen, bei Diagnose- oder Serviceunterstützungssystemen sowie bei einer Bedienung und Wartung komplexer Komponenten, Geräte und Systeme, insbesondere industrieller oder medizinischer Anlagen zum Einsatz. Such a method is used, for example, in the field of building automation and industrial automation technology, in production or machine tools, in diagnostic or service support systems and in the operation and maintenance of complex components, devices and systems, especially industrial or medical equipment.
Im Stand der Technik sind Verfahren bekannt, welche eine Aus¬ wahl eines zu steuernden Objekts, gefolgt von einer Bedienoperation oder Interaktion mit dem technischen Objekt bewerk- stelligen. Bekannt sind beispielsweise Gebäudeautomatisie¬ rungssysteme, welche von einer zentralen Eingabestelle aus eine Auswahl und eine Interaktion - in der einfachsten Variante ein Ein- und Ausschalten - mit verschiedenem technischen Objekten wie z.B. Beleuchtungseinrichtungen, Jalousien ermög- liehen. In the prior art methods are known which digit from a selection of a ¬ object to be controlled followed by a control operation or interaction with the technical object bewerk-. Are known for example Gebäudeautomatisie ¬ insurance systems, which from a central entry point of a selection and an interaction - turning on and off in the simplest variant - with various technical objects such as lighting equipment, blinds enable loan.
Weiterhin ist, ebenfalls in Gebäudeautomatisierungssystemen, eine Steuerung per Spracheingabe bekannt, welche beispiels¬ weise eine gesprochene Auswahl eines Raumes, gefolgt von ei- ner Einstellung der Raumtemperatur ermöglicht. Eine Sprachsteuerung bietet in Vorgriff auf die der Erfindung zugrundeliegende Aufgabe zwar bereits den Vorteil einer freihändigen (hands-free) Interaktion mit technischen Objekten, allerdings ist die Bedienung aufgrund zu erlernender Sprachbefehle wenig intuitiv. Furthermore, also in building automation systems, control by voice input is known, which, for example, permits a spoken selection of a room, followed by a setting of the room temperature. Although voice control in anticipation of the problem underlying the invention already has the advantage of a hands-free interaction with technical objects, the operation is not very intuitive due to the voice commands to be learned.
Eine weitere Interaktion mit technischen Objekten bietet ein Einsatz von mobilen Endgeräten als Zeigereinrichtung. Eine Anvisierung eines Objekts wird aufgrund von Lagesensoren im mobilen Endgerät erkannt. Eine Interaktion erfolgt dann mit Eingabemitteln des mobilen Endgeräts. Eine Auswahl eines Objekts innerhalb einer Mehrzahl von Objekten unter Anwendung dieses Verfahrens erfolgt indes nur solange mit hinreichender Präzision, sofern die Mehrzahl an Objekten ausreichend separiert ist. Weiterhin hat auch dieses Interaktionsverfahren den Nachteil, dass eine freihändige Bedienung nicht unter¬ stützt wird: der Bediener muss ein mobiles Endgerät handha- ben. Bekannte Infrarotfernbedienungen haben ebenfalls den Nachteil einer nicht-freihändigen Bedienung. Another interaction with technical objects offers the use of mobile devices as a pointing device. A Anvisierung an object is detected due to position sensors in the mobile device. An interaction then takes place with input means of the mobile terminal. A selection of an object within a plurality of objects using this method, however, takes place only with sufficient precision, as long as the plurality of objects is sufficiently separated. Furthermore, even this interaction method has the disadvantage that a hands-free operation is not supported under ¬: the operator has a mobile terminal ben han-. Known infrared remote controls also have the disadvantage of non-hands-free operation.
Zusammenfassend erfolgen heute bekannte Maßnahmen zur Inter¬ aktion nicht berührungslos, unsicher oder mit einem arbeits- situativ unpassenden Einsatz von Eingabegeräten. Known measures for inter ¬ action carried out summary not today without contact, unsafe or with a labor situationally inappropriate use of input devices.
Die vorliegende Erfindung ist demgegenüber vor die Aufgabe gestellt, ein Interaktionssystem mit einer intuitiven und freihändigen Auswahl eines technischen Objekts sowie einer Interaktion mit dem technischen Objekt bereitzustellen. In contrast, the object of the present invention is to provide an interaction system with an intuitive and open-handed selection of a technical object as well as an interaction with the technical object.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Das erfindungsgemäße Verfahren zur Interaktion eines Bedie- ners mit einem technischen Objekt sieht vor, eine mindestens einem Arm des Bedieners zugeordnete Mehrzahl örtlicher Para¬ meter von einer Gestenerfassungseinheit eines Interaktions¬ systems zu erfassen. Die Mehrzahl örtlicher Parameter wird von einer Steuereinheit des Interaktionssystems als eine je¬ weilige Geste ausgewertet, wobei durch eine Sequenz an Gesten eine Auswahl und Interaktion mit dem ausgewählten Objekt gesteuert wird. Dabei wird in der im Folgenden genannten Rei¬ henfolge folgende Sequenz durchgeführt: The object is achieved by a method having the features of patent claim 1. The inventive method for interaction of an operator with a technical object provides to detect an associated at least one arm of the operator plurality of local Para ¬ meter of a gesture capture unit of an interaction ¬ system. The plurality of local parameters is evaluated by a control unit of the interaction system as a per ¬ stays awhile gesture, wherein a selection and interaction with the selected object is controlled by a sequence of gestures. Here is carried out in the below Rei ¬ henfolge following sequence mentioned:
a) Erfassung einer Initiierungsgeste zur Aktivierung des InteraktionsSystems ; a) detecting an initiation gesture to activate the interaction system;
b) Erfassung einer Auswahlgeste, Ermittlung erster Zielkoordinaten aus der der Auswahlgeste zugeordneten Mehrzahl örtlicher Parameter und Zuordnung der ersten Zielkoordinaten zu einem oder mehreren durch abrufbare Ortskoordinaten identifizierten Objekten; b) detecting a selection gesture, determining first destination coordinates from the plurality associated with the selection gesture local parameter and assignment of the first destination coordinates to one or more objects identified by retrievable location coordinates;
c) Aktivierung von den einem oder mehreren identifizierten Objekten zugeordneten Rückmeldungsmittel zur Bestätigung einer Auswahl eines oder mehrerer identifizierten Objekte an den Bediener; c) activating feedback means associated with the one or more identified objects to confirm selection of one or more identified objects to the operator;
d) im Fall mehrerer identifizierter Objekte, Erfassung einer Selektionsgeste, Ermittlung zweiter Zielkoordinaten aus der der Selektionsgeste zugeordneten Mehrzahl örtlicher Parameter und Zuordnung der zweiten Zielkoordinaten zu einem durch abrufbare Ortskoordinaten identifizierten Objekt; d) in the case of a plurality of identified objects, detection of a selection gesture, determination of second destination coordinates from the plurality of local parameters assigned to the selection gesture, and assignment of the second destination coordinates to an object identified by retrievable location coordinates;
e) Erfassung einer Bestätigungsgeste und Zuordnung des identifizierten Objekts in einen Interaktionsmodus aufgrund der Bestätigungsgeste; e) detecting a confirmation gesture and associating the identified object with an interaction mode based on the confirmation gesture;
f) Steuerung des in einem Interaktionsmodus zugeordneten Objekts mit einer Mehrzahl von Interaktionsgesten; f) controlling the object associated with an interaction mode with a plurality of interaction gestures;
g) Erfassung einer Freigabegeste zur Freigabe des einem g) recording a release certificate to release the one
Interaktionsmodus zugeordneten Objekts.  Interaction mode associated with the object.
Falls die Erfassung der Auswahlgeste in Schritt b) keine Zu¬ ordnung einer Mehrzahl, sondern lediglich eines durch abrufbare Ortskoordinaten identifiziertes Objekt ergibt, wird Schritt d) übersprungen. If the detection of the selection gesture in step b) results in no ¬ to arrangement of a plurality, but only one identified by retrievable location coordinates of the object, step d) is skipped.
Die Erfindung sieht eine Aktivierung des Systems, eine Aus¬ wahl, Selektion, Steuerung und Freigabe eines Objekts durch Bildung von Gesten mit Hilfe einer Bewegung der Arme des Bedieners vor. Eine Gestenerfassung ist vorzugsweise mit im Un¬ terarmbereich des Bedieners vorgesehenen Trägheitssensoren oder auch mit einer optischen Erfassung der Armgesten durchführbar . The invention provides an activation of the system, an off ¬ optionally, selection, control and release of an object by forming gestures by means of a movement of the arms of the operator. A gesture detection is preferably carried out with provided in the Un ¬ terarmbereich of the operator inertial sensors or with an optical detection of the arm gestures.
Ein Auswählen (engl.: to choose) ist dabei als eine Grobaus¬ wahl einer ersten Menge an identifizierten Objekten mit Hilfe einer Auswahlgeste (engl.: choice gesture) zu verstehen. Die genannte »erste Menge an identifizierten Objekten« schließt selbstverständlich nicht aus, dass die mit Hilfe der Auswahlgeste identifizierte Menge genau einem identifizierten Objekt entspricht. Demgegenüber ist ein Selektieren (engl.: to se- lect) als eine Feinauswahl unter der ersten Menge mit Hilfe einer Selektionsgeste (engl.: selection gesture) zu verstehen mit dem Ziel, aus der vorausgehenden Grobauswahl genau ein identifiziertes Objekt zu selektieren. Selecting (ger .: to choose) is to be understood as a Grobaus ¬ either a first amount of identified objects using a selection gesture (ger .: choice gesture). The mentioned »first set of identified objects« closes Of course, it does not mean that the quantity identified by means of the selection gesture exactly corresponds to one identified object. On the other hand, to select is to be understood as a fine selection among the first quantity by means of a selection gesture with the aim of selecting exactly one identified object from the preceding rough selection.
Bereits bekannte Interaktionssysteme versuchen eine Auswahl technischer Objekte durch eine Zeigeoperation zu lösen. Allerdings scheitert die Umsetzung der Auswahloperation oftmals an einer unfreiwilligen Aktivierung und an einer ungenauen Auswahl der technischen Objekte, insbesondere dann, wenn diese eng benachbart sind. Dem gegenüber sieht das erfindungsge- mäße Verfahren vor, eine Sequenz an Gesten zur Auswahl und Interaktion mit technischen Objekten vorzusehen, welche untereinander distinkt sind und durch die Vorsehung einer auf eine Auswahlgeste folgende Selektionsgeste eine fortschrei¬ tend genauere Auswahl ermöglichen. Already known interaction systems try to solve a selection of technical objects by a pointing operation. However, the implementation of the selection operation often fails due to an involuntary activation and an inaccurate selection of the technical objects, especially if they are closely adjacent. On the other hand sees the erfindungsge- Permitted proceedings to provide a sequence of gestures to select and interact with technical objects, which are mutually distinct and possible by the provision of a following to a selection gesture selection gesture an advancing ¬ tend more accurate selection.
Ein besonderer Vorteil der Erfindung ergibt sich durch die Möglichkeit, einzelnen Gesten wie z.B. der Auswahlgeste, der Selektionsgeste, der Bestätigungsgeste, usw., einen intuiti¬ ven und wohlbekannten Bewegungsablauf zuzuordnen, welche bei- spielsweise aus einer Bedienung eines Lassos bekannt ist. A particular advantage of the invention arises from the possibility of individual gestures such as the selection gesture, the selection gesture, the confirmation gesture, etc. to assign a intuiti ¬ ven and well-known sequence of movements, that is examples game, known from an operator of a lasso.
Im Gegensatz zu herkömmlichen Interaktionssystemen ist die Bedienung des erfindungsgemäßen Interaktionssystems berührungslos, so dass ein Bediener in einem industriellen oder medizinischen Umfeld keine Bedienung von Eingabegeräten mit kontaminierender Wirkung durchzuführen hat. In contrast to conventional interaction systems, the operation of the interaction system according to the invention is non-contact, so that an operator in an industrial or medical environment has no operation to perform input devices with contaminating effect.
Ein weiterer Vorteil der Erfindung besteht darin, dass der Bediener während der Bedienoperationen kein Ausgabegerät wie beispielsweise einen Bildschirm betrachten muss. Stattdessen kann er die zu bedienenden technischen Objekte direkt in sein Blickfeld nehmen. Tatsächlich kann die Bedienung darüber hinausgehend sogar betrachtungsfrei erfolgen für den Fall, dass der Bediener mit der Umgebung sowie den zu bedienenden technischen Objekten und deren Lokalisation hinreichend vertraut ist. Eine zusätzliche Vorsehung eines haptischen Feedbacks gemäß einer im Weiteren genannten Ausführungsformen verstärkt diesen Effekt der betrachtungsfreien Bedienung. A further advantage of the invention is that the operator does not have to look at an output device such as a screen during the operating operations. Instead, he can take the technical objects to be operated directly into his field of vision. In fact, the operation beyond even done without consideration in the event that the operator is sufficiently familiar with the environment, the technical objects to be operated and their location. An additional providence of a haptic feedback according to an embodiment mentioned further enhances this effect of the viewing-free operation.
Im Vergleich zu herkömmlichen Ansätzen - wie z.B. einer Compared to conventional approaches - such as e.g. one
Sprachsteuerung oder einer Auswahl eines Objektes mit Hilfe eines portablen Endgerätes - bietet das erfindungsgemäße Interaktionsverfahren eine schnellere und genauere Auswahl von technischen Objekten. Darüber hinaus ist das erfindungsgemäße Verfahren weniger anfällig für ungewollte Fehlbedie¬ nungen. Eine Auswahl distinkter Gesten gemäß den im Folgenden genannten Ausführungsbeispielen führt zu einer weiteren Ver- minderung der Fehleranfälligkeit. Voice control or a selection of an object using a portable terminal - the interaction method of the invention provides a faster and more accurate selection of technical objects. In addition, the inventive method is less susceptible to unwanted Fehlbedie ¬ calculations. A selection of distinct gestures according to the exemplary embodiments mentioned below leads to a further reduction in the susceptibility to errors.
Im Vergleich zu bekannten Auswahlverfahren, welche ebenfalls Zeigegesten zur Anvisierung eines technischen Objekts vorsehen, oder auch eine Position oder Orientierung des Bedieners zur Auswahl technischer Objekte auswerten, gestattet einIn comparison to known selection methods, which also provide pointer gestures for the sighting of a technical object, or also evaluate a position or orientation of the operator for the selection of technical objects, permits
Zwei-Schritte-Prozess , also einer Kombination aus einer Aus¬ wahlgeste und einer Selektionsgeste, gemäß dem erfindungsge¬ mäßen Verfahren eine wesentlich genauere Auswahl und Interaktion. Im Vergleich zu einer bildschirmbasierten Interaktion gestattet das erfindungsgemäße Verfahren eine intuitivere In¬ teraktion mit technischen Objekten. Two-step process, that is a combination of an off ¬ optionally gesture and a selection gesture, according to the method MAESSEN erfindungsge ¬ a much more accurate selection and interaction. Compared to a screen-based interaction method of the invention allows a more intuitive In ¬ teraktion with technical objects.
Einen besonderen Vorteil bilden auch die erfindungsgemäßen Rückmeldungsmittel zur Bestätigung einer Auswahl der Objekte an den Bediener. Mit dieser erfindungsgemäßen Maßnahme ist es einem Bediener möglich, ein identifiziertes Objekt visuell zu erkennen, dieses Objekt im Rahmen der erfindungsgemäßen Interaktion jedoch nicht notwendigerweise zu berühren - etwa durch eine übliche Betätigung von Betätigungseinheiten - oder sich diesen zu nähern - etwa zur Erfassung eines dem Objekt zugeordneten Barcodes. Weitere Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche. A special advantage is also the feedback means according to the invention for confirming a selection of objects to the operator. With this measure according to the invention, it is possible for an operator to visually recognize an identified object, but not necessarily to touch this object in the context of the interaction according to the invention - for example by a usual actuation of actuation units - or to approach it - for example to detect an object assigned barcodes. Further embodiments of the invention are the subject of the dependent claims.
Im Folgenden werden weitere Ausführungsbeispiele und Vorteile der Erfindung anhand der Zeichnung näher erläutert. Dabei zeigen : In the following, further embodiments and advantages of the invention will be explained in more detail with reference to the drawing. Showing:
Fig. 1: eine schematische Strukturdarstellung eines Bedie¬ ners in einer Rückansicht bei einer Ausführung ei- ner ersten Geste; Fig. 1 is a schematic structural diagram of a Bedie ¬ listeners in a rear view in an embodiment of a first gesture;
Fig. 2: eine schematische Strukturdarstellung des Bedieners in der Rückansicht bei einer Ausführung einer zweiten Geste; 2 shows a schematic structural representation of the operator in the rear view in an embodiment of a second gesture;
Fig. 3: eine schematische Strukturdarstellung des Bedieners in der Rückansicht bei einer Ausführung einer dritten Geste; Fig. 4: eine schematische Strukturdarstellung des Bedieners in der Rückansicht bei einer Ausführung einer vierten Geste; und; 3 shows a schematic structural representation of the operator in the rear view in an embodiment of a third gesture; 4 shows a schematic structural representation of the operator in the rear view in an embodiment of a fourth gesture; and;
Fig. 5: eine schematische Strukturdarstellung des Bedieners in einer Vorderansicht. Fig. 5: a schematic structural representation of the operator in a front view.
Fig. 5 zeigt einen Bediener in einer Vorderansicht bei einer Ausführung einer Geste. Dem Bediener ist eine Gestenerfassungseinheit zugeordnet, welche im Ausführungsbeispiel am rechten Handgelenk getragen wird. In alternativen Ausführungsformen ist ein Tragen der Gestenerfassungseinheit am linken oder an beiden Handgelenken vorgesehen. Die Gestenerfassungseinheit umfasst eine Mehrzahl von Trägheitssensoren zur Erfassung einer Körperhaltung des Bedieners zugeordneten Mehrzahl örtlicher Parameter, insbesondere örtlicher Parameter, welche von einer Bewegung, Drehung und/oder Stellung der Arme des Bedieners gebildet werden. Die Mehrzahl örtlicher Parameter wird von einer - nicht dargestellten - Steuerein- heit des Interaktionssystems als eine jeweilige Geste ausge¬ wertet. Die Gestensteuerung erfolgt intuitiv mit einer Bewegung und/oder Drehung des Körpers, vor allem eines oder beider Vorderarme. Ein in einem industriellen Umfeld oftmals un- passendes Eingabegerät ist somit nicht erforderlich. Fig. 5 shows an operator in a front view when executing a gesture. The operator is assigned a gesture detection unit, which is worn in the embodiment on the right wrist. In alternative embodiments, the gesture detection unit is worn on the left or both wrists. The gesture detection unit comprises a plurality of inertial sensors for detecting a plurality of local parameters associated with the posture of the operator, in particular local parameters which are formed by a movement, rotation and / or position of the arms of the operator. The majority of local parameters are determined by a control unit (not shown). unit of the interaction system evaluated as a respective gesture ¬ . The gesture control is intuitive with a movement and / or rotation of the body, especially one or both forearms. An input device which is often inappropriate in an industrial environment is therefore not required.
Gemäß einer Ausführungsform ist vorgesehen, als Gestenerfassungseinheit eine handelsübliche Smartwatch zu verwenden. Ein besonderer Vorteil dieser Ausführungsform der Gestenerfas- sungseinheit besteht darin, dass handelsübliche mit Träg¬ heitssensoren ausgestatte Smart Watches verwendbar sind. Un¬ ter Anwendung einer derartigen tragbaren Gestenerfassungseinheit können viele erfindungsgemäß oder weiterbildungsgemäß zum Einsatz kommende Funktionseinheiten wiederverwendet wer- den, beispielsweise eine Gestenerfassung auf Basis von Träg¬ heitssensoren, eine beispielsweise auf Bluetooth-Beacons ba¬ sierende Lokalisierungseinheit, sowie haptischen Rückmel¬ dungsmittel, etwa einem Unwuchtmotor zur Ausgabe einer Vibra¬ tionsrückmeldung an das Handgelenk des Bedieners . According to one embodiment, it is provided to use a commercially available smartwatch as the gesture detection unit. A particular advantage of this embodiment of the Gestenerfas- sungseinheit is that commercially available are usable with Träg ¬ integrated sensors equipped Smart Watches. Un ¬ ter application of such a portable gesture capture unit can have many according to the invention or further development, used according to functional units advertising reused to, integral sensors, for example, a gesture detection based on Träg ¬ an example, Bluetooth beacons ba ¬ sierende locating unit, as well as haptic Rückmel ¬ dung medium, such as an unbalance motor to output a Vibra ¬ tion feedback to the wrist of the operator.
Alternative Gestenerfassungseinheiten sehen beispielsweise eine optische Detektion von Gesten beispielsweise unter Verwendung von einer oder mehrerer optischen Erfassungseinrichtungen vor, welche eine Körperhaltung des Bediener dreidimen- sional, beispielsweise unter Anwendung von Laufzeitverfahren (Time of Flight) oder Streifenlichttopometrie (Structured- light) erfassen. Die genannten Verfahren haben ebenfalls den Vorteil einer freihändigen Arbeitsweise des Bedieners, erfor¬ dern jedoch einen Einsatz von optischen Erfassungseinrichtun- gen in der Arbeitsumgebung des Bedieners. For example, alternative gesture detection units provide an optical detection of gestures, for example using one or more optical detection devices, which detect a posture of the operator three-dimensionally, for example using time of flight or structured-light topometry. The procedure referred also have the advantage of hands-free operation of the operator, but erfor ¬ countries a use of optical Erfassungseinrichtun- gen in the working environment of the operator.
Ein weiterer Bestandteil des Interaktionssystems ist mindes¬ tens die Steuereinheit zum Erkennen der von der Gestenerfas¬ sungseinheit erfassten Gesten und zur Verarbeitung der durch die Gesten des Bedieners auszulösenden Interaktion des Bedieners mit dem mindestens einen technischen Objekt. Durch das Interaktionssystem wird eine mindestens einem Arm des Bedieners zugeordnete Mehrzahl örtlicher Parameter von der Gestenerfassungseinheit erfasst und von der Steuereinheit als eine jeweilige Geste ausgewertet, wobei durch eine Se- quenz an Gesten eine Auswahl und Interaktion mit dem ausgewählten Objekt gesteuert wird. Is another component of the interaction system Minim ¬ least the control unit for detecting the information detected by the Gestenerfas ¬ sungseinheit gestures and for processing to be triggered by the gestures of the operator interaction between the operator and the at least one technical object. Through the interaction system, a plurality of local parameters associated with at least one arm of the operator are detected by the gesture detection unit and evaluated by the control unit as a respective gesture, wherein a selection and interaction with the selected object is controlled by a sequence of gestures.
Im Folgenden wird eine Interaktion mit einer auszuwählenden und zu aktivierenden Beleuchtungseinrichtung als Beispiel für ein technisches Objekt erläutert. Nach einer Initiierung des Interaktionssystems wird eine bestimmte Beleuchtungseinrich¬ tung aus einer Mehrzahl von Beleuchtungseinrichtungen ausgewählt und diese eingeschaltet. Fig. 1 zeigt eine schematische Strukturdarstellung eines Be¬ dieners in einer Rückansicht bei einer Ausführung einer Ini- tiierungsgeste . Die Initiierungsgeste umfasst ein Heben eines Arms des Bedieners. Optional umfasst die Initiierungsgeste eine Drehung einer Handfläche in Richtung einer Körpermitte des Bedieners. Die Initiierungsgeste wird vom Interaktions¬ system erfasst und aktiviert dieses für die folgende Interak¬ tion des Bedieners mit dem technischen Objekt. Optional wird, z.B. durch die am Armgelenk getragene Gestenerfassungseinheit, eine haptische Rückmeldung an den Bediener ausgegeben, um die Bereitschaft des Interaktionssystems zu signalisieren. In the following, an interaction with a lighting device to be selected and activated is explained as an example of a technical object. After initiation of the interaction system in a specific Beleuchtungseinrich ¬ tung is selected from a plurality of lighting devices and switched them. 1 shows a schematic structural representation of a Be ¬ servant in a rear view in an embodiment of an initiation tion gesture. The initiation gesture involves lifting an arm of the operator. Optionally, the initiation gesture comprises a rotation of a palm towards a body center of the operator. The initiation gesture is detected by the interaction ¬ system and enabled this for the following Interak ¬ tion between the operator and the technical object. Optionally, for example, by the worn on the wrist gesture detection unit, a haptic feedback issued to the operator to signal the readiness of the interaction system.
Fig. 2 zeigt den Bediener bei der Fortsetzung der Initiierungsgeste, welche eine Kreisbewegung um eine Unterarmhaupt¬ achse des Bedieners umfasst. Die Handfläche bleibt dabei wei- terhin in Richtung der Körpermitte des Bedieners gerichtet. Eine bevorzugte Ausgestaltung der Auswahlgeste sieht eine wirbelnde Bewegung des Handgelenks vor, also eine kreisförmi¬ ge Bewegung, beispielsweise des rechten Handgelenks, entlang einer gedachten kreisförmigen Linie, bei einer erhobenen Hand des Bedieners. Diese Auswahlgeste entspricht einer gedachten Betätigung eines virtuellen Lassos vor dessen Abwurf. Optional wird durch die am Armgelenk getragene Gestenerfas¬ sungseinheit eine haptische Rückmeldung an den Bediener aus¬ gegeben, um die Bereitschaft des Interaktionssystems für eine folgende Auswahl eines Objekts zu signalisieren. Fig. 2 shows the user in continuing the initiation gesture comprising a circular movement around a forearm ¬ main axis of the operator. The palm continues to be directed towards the center of the body of the operator. A preferred embodiment of the selection gesture provides a swirling movement of the wrist, ie a kreisförmi ¬ ge movement, for example, the right wrist, along an imaginary circular line, with a raised hand of the operator. This selection gesture corresponds to an imaginary actuation of a virtual Lasso before it is dropped. Is optionally by the wrist-worn Gestenerfas ¬ sungseinheit a haptic feedback to the operator ¬ given to signal the readiness of the interaction system for a subsequent selection of an object.
Fig. 3 zeigt den Bediener während einer Auswahlgeste. Die Auswahlgeste umfasst beispielsweise eine Wurfbewegung in Richtung eines auszuwählenden und durch das Interaktionssys¬ tem zu identifizierenden technischen Objekts. In Fortsetzung der Bewegungsabläufe der Initiierungsgeste entspricht diese Auswahlgeste einem gedachten Wurf des virtuellen Lassos in Richtung des auszuwählenden Objekts. Fig. 3 shows the operator during a selection gesture. The selection gesture for example, a throwing motion in a direction to be selected and by the technical Interaktionssys ¬ system object to be identified. In continuation of the movement sequences of the initiation gesture, this selection gesture corresponds to an imaginary throw of the virtual lasso in the direction of the object to be selected.
In einer alternativen Ausgestaltung der Initiierungsgeste und der Auswahlgeste löst eine virtuelle Wurfbewegung bei einer zuvor erhobenen Hand eine Auswahl aus, deren Gestik in etwa der Betätigung einer virtuellen Harpune entspricht. Der Bewegungsablauf entspricht im Wesentlichen der der oben beschrie¬ benen Lassobewegung mit der Ausnahme, dass die einleitende kreisförmige Bewegung nicht ausgeführt wird. Gemäß dieserIn an alternative embodiment of the initiation gesture and the selection gesture, a virtual throwing motion triggers a selection on a previously raised hand, the gesture of which corresponds approximately to the operation of a virtual harpoon. The motion sequence substantially corresponding to that of the above beschrie ¬ surrounded lasso movement with the exception that the initial circular movement is not executed. According to this
Ausführungsform ist die Auswahlgeste daher weniger distinkt als die Lassobewegung und führt eventuell zu einer erhöhten Anzahl an ungewollten Aktivierungen der Initiierung oder Auswahl . Embodiment, the selection gesture is therefore less distinctive than the lasso movement and possibly leads to an increased number of unwanted activations of initiation or selection.
In der Situation der Fig. 3 sind drei Beleuchtungsquellen gezeigt, welche derart nah beabstandet sind, dass eine Auswahl in mehreren Schritten vorteilhaft ist. Die Auswahlgeste führt dabei, wie im Folgenden gezeigt, zu einer Mehrzahl identifi- zierte Objekte, welche durch eine Selektionsgeste verfeinert schließlich zu einem einzigen identifizierten Objekt führt, nämlich dem Objekt, welches durch den Bediener tatsächlich gesteuert werden soll. Dieses zu steuernde Objekt sei unter den in Fig. 3 dargestellten drei Beleuchtungsquellen die ganz links angeordnete Beleuchtungsquelle. In the situation of FIG. 3, three illumination sources are shown, which are so closely spaced that selection in several steps is advantageous. As shown in the following, the selection gesture leads to a plurality of identified objects which, refined by a selection gesture, finally lead to a single identified object, namely the object which is actually to be controlled by the operator. This object to be controlled is, under the three illumination sources shown in FIG. 3, the illumination source located on the far left.
Auf eine vom Interaktionssystem als gültig erkannte Auswahlgeste erfolgt eine Ermittlung erster Zielkoordinaten aus der der Auswahlgeste zugeordneten Mehrzahl örtlicher Parameter. Die der Auswahlgeste zugeordneten Mehrzahl örtlicher Parameter umfasst insbesondere die Position des Bedieners und die Richtung der Wurfbewegung . On a selection gesture recognized as valid by the interaction system, a determination of first target coordinates takes place from the the selection gesture associated plurality of local parameters. The plurality of local parameters assigned to the selection gesture comprises in particular the position of the operator and the direction of the throw movement.
Diese ersten Zielkoordinaten werden einem oder mehreren durch abrufbare Ortskoordinaten identifizierten Objekten zugeordnet, im Beispiel den drei Beleuchtungsquellen. Die Ortskoordinaten dieser drei Beleuchtungsquellen sind beispielsweise in einer beliebig gestaltbaren Datenquelle vorgehalten oder abrufbar, auf die das Interaktionssystem zugreift. Sollten die ersten Zielkoordinaten einem identifizierten Objekt eindeutig zugeordnet werden können, erübrigt sich die darauf folgende Selektionsgeste. These first destination coordinates are assigned to one or more objects identified by retrievable location coordinates, in the example the three illumination sources. The location coordinates of these three illumination sources are held or retrievable, for example, in an arbitrarily configurable data source, which is accessed by the interaction system. If the first target coordinates can be uniquely assigned to an identified object, the subsequent selection gesture is superfluous.
Zur Bestätigung einer Auswahl eines oder mehrerer identifizierten Objekte an den Bediener erfolgt eine Aktivierung von Rückmeldungsmittel, welche den identifizierten Objekten je¬ weils oder insgesamt zugeordnet sind. Im vorliegenden Ausfüh- rungsbeispiel sind die Rückmeldungsmittel den jeweiligen Be¬ leuchtungsquellen immanent, zur Bestätigung blinken diese kurz auf. To confirm a selection of one or more identified objects to the operator an activation of feedback means, which are each associated with the identified objects ¬ weils or a total of effected. In the present exemplary embodiment, the feedback means are inherent in the respective Be ¬ leuchtungsquellen, to confirm these flashing briefly.
Gemäß alternativen Ausführungsformen können zugeordnete Rück- meldungsmittel auch separate Rückmeldungsmittel umfassen, et¬ wa wenn in den technischen Objekten selbst keine geeigneten Rückmeldungsmittel enthalten sind. Dies trifft beispielsweise für eine ausgewählte Pumpe in einem Fertigungsumfeld zu, wel¬ che keine akustischen oder optischen Signalgeber umfasst. Zur Rückmeldung würde hier ein entsprechender Hinweis oder Anzeige zur Auswahl der Pumpe auf einem Anzeigetableau der Indust¬ rieanlage erscheinen, so dass dieses Anzeigetableau in der genannten Ausführungsform als ein dem identifizierten Objekten zugeordnetes Rückmeldungsmittel zu verstehen ist. According to alternative embodiments may also include separate feedback means, et ¬ wa if no suitable self feedback means are included in the technical objects associated feedback means. This applies, for example, to a selected pump in a production environment, which does not comprise any acoustic or optical signal transmitters. For feedback for a warning or indicator to select the pump on a display panel of Indust ¬ rieanlage would appear here, so this display panel in the above embodiment as a the identified objects feedback means is assigned to understand.
Fig. 4 zeigt den Bediener während einer Selektionsgeste, wel¬ che im Fall mehrerer identifizierter Objekte zur Verfeinerung der Auswahl zu veranlassen ist. Mit einem immer noch ein Richtung des auszuwählenden Objekts gerichteten Arm führt der Bediener eine Rotationsbewegung seines Arms - beispielsweise eine Pronation oder Supination - oder eine Translationsbewegung - beispielsweise eine Bewegung eines Arms in horizonta- 1er oder vertikaler Richtung - oder eine Innen- oder Außenrotation der Schulter - durch. Zur Abstimmung einer Selektion erfolgt eine Aktivierung der Rückmeldungsmittel, welche den identifizierten Objekten zugeordnet sind. Eine Rotationsbewe¬ gung bis zu einer linken Anschlagsposition bringt hierbei beispielsweise die äußerste linke Beleuchtungsquelle zumFIG. 4 shows the operator during a selection gesture which, in the case of several identified objects, is to be prompted to refine the selection. With one still one In the direction of the object to be selected, the operator performs a rotational movement of his arm - for example a pronation or supination - or a translation movement - for example a movement of an arm in a horizontal or vertical direction - or an internal or external rotation of the shoulder. To vote a selection, an activation of the feedback means, which are associated with the identified objects. A Rotationsbewe ¬ tion up to a left stop position brings here, for example, the leftmost illumination source to
Leuchten. Durch eine stetige Rotation nach rechts leuchtet eine nach der anderen Beleuchtungsquelle in rechter Richtung auf, um eine Selektion der auszuwählenden Beleuchtungsquelle zu visualisieren . To shine. By a continuous rotation to the right one after the other illumination source lights up in the right direction to visualize a selection of the selected illumination source.
Eine solche Rotationsbewegung, beispielsweise eine Pronation oder Supination des Unterarms, ist mit den im Unterarmbereich des Bedieners vorgesehenen Trägheitssensoren oder auch mit einer optischen Erfassung einer Armrotationsgeste wesentlich einfacher als eine Erfassung einer Fingergeste. Such a rotational movement, for example a pronation or supination of the forearm, is substantially easier with the inertial sensors provided in the forearm region of the operator or also with an optical detection of an arm rotation gesture than the detection of a finger gesture.
Die Erfassung der Selektionsgeste erfolgt durch Ermittlung zweiter Zielkoordinaten aus der der Selektionsgeste zugeordneten Mehrzahl örtlicher Parameter und Zuordnung der zweiten Zielkoordinaten zu dem durch abrufbare Ortskoordinaten identifizierten Objekt. The selection gesture is detected by determining second target coordinates from the plurality of local parameters assigned to the selection gesture and assigning the second target coordinates to the object identified by retrievable location coordinates.
Falls die Erfassung der Auswahlgeste keine Zuordnung einer Mehrzahl, sondern lediglich eines durch abrufbare Ortskoordi- naten identifiziertes Objekt ergibt, wird dieser Selektions¬ schritt in vorteilhafter Weise übersprungen. If the detection of the selection gesture results in no assignment of a plurality, but only one object identified by retrievable Ortskoordi-, this selection ¬ step is skipped in an advantageous manner.
Nachdem das gewünschte Objekt unter Zuhilfenahme der akti¬ vierten Rückmeldungsmittel ausgewählt bzw. identifiziert wur- de, kann der Bediener nunmehr eine Bestätigungsgeste veranlassen . Eine beispielhafte Bestätigungsgeste umfasst einen vorwärts gerichteten Arm, welcher in Richtung des Bedieners zurückgezogen und/oder nach oben gezogen wird. Diese Geste würde - in Fortsetzung der intuitiven Semiotik einer Lassobedienung - einem Strammziehen eines Lassos entsprechen. After the desired object is selected or with the aid of acti ¬ fourth feedback means identifies wur- de, the operator can now cause a confirmation gesture. An exemplary confirmation gesture includes a forward arm that is retracted toward the operator and / or pulled up. This gesture would - in continuation of the intuitive semiotics of a Lassobedienung - correspond to a tightening of a Lasso.
Das Interaktionssystem erfasst diese Bestätigungsgeste, gibt optional eine Rückmeldung an den Bediener aus und ordnet das identifizierte Objekt einem darauf folgenden Interaktionsmo- dus zu. The interaction system acquires this confirmation gesture, optionally returns a feedback message to the operator and assigns the identified object to a subsequent interaction mode.
Eine Steuerung des in einem Interaktionsmodus zugeordneten Objekts erfolgt mittels einer Mehrzahl von Interaktionsges¬ ten, welche in fachüblicher Weise durchgeführt werden können. Beispielsweise führt eine Drehbewegung zu einem Schließen ei¬ nes Ventils, eine Hebebewegung zu einem Öffnen von Beschattungseinrichtungen, eine Aufwärtsbewegung zu einer Erhöhung der Lichtintensität eines Raumes, eine Drehbewegung zu einer Änderung der Lichtfarbe, usw. A controller of the assigned in a mode of interaction object by means of a plurality of Interaktionsges ¬ th, which can be carried out in conventional manner times. For example, a rotational movement leads to a closing ei ¬ nes valve, a lifting movement to an opening of shading devices, an upward movement to an increase in the light intensity of a room, a rotational movement to a change in light color, etc.
Ein Abschluss der Interaktion wird durch den Bediener durch eine Freigabegeste ausgelöst. Diese Freigabegeste führt zu einer Freigabe des dem Interaktionsmodus zugeordneten Objekts seitens des Interaktionssystems. Eine Freigabe des vormalig einem Interaktionsmodus zugeordneten Objekts aufgrund derCompletion of the interaction is triggered by the operator through a release gesture. This release gesture results in the release of the object associated with the interaction mode by the interaction system. A release of the object previously assigned to an interaction mode due to the
Freigabegeste wird in vorteilhafter Weise durch eine Rückmel¬ dung an den Bediener signalisiert. Release release is signaled in an advantageous manner by a feedback ¬ tion to the operator.
Eine beispielhafte Freigabegeste umfasst einen vorwärts ge- richteten Arm mit einer Drehbewegung seiner Hand, beispielsweise in einem Gegenuhrzeigersinn. Diese Geste würde - in Fortsetzung der intuitiven Semiotik einer Lassobedienung - einer Drehbewegung eines lose am Boden liegenden Lassos entsprechen, bei der das Lassoende von einem Gegenstand abgeho- ben werden soll. An exemplary release rack comprises a forwardly directed arm with a rotary motion of its hand, for example in a counterclockwise direction. This gesture would - in continuation of the intuitive semiotics of a lasso operation - correspond to a rotary movement of a loosely lying lasso, in which the lasso end is to be lifted off an object.
Im Bereich der Gebäudeautomatisierung kann die erfindungsgemäße Steuerung technischer Objekte insbesondere zum Ein- und Ausschalten von Lichtquellen oder zum Öffnen oder Schließen von Jalousien oder anderen Beschattungseinrichtungen verwendet werden. Das erfindungsgemäße Verfahren findet weiterhin Anwendung zur Auswahl eines bestimmten unter mehreren Anzeigemitteln, etwa in entsprechend ausgestatteten Command-and-Control-Centers oder in medizinischen Operationsräumen. Im industriellen Umfeld findet das erfindungsgemäße Verfahren Verwendung bei einer Auswahl und Aktivierung von Pumpen, Ventilen oder ähnlichem. Weiterhin ist ein Einsatz im Produktions- und Logistikumfeld möglich, bei dem ein bestimmtes Paket oder Fertigungsteil ausgewählt wird, um hierüber nähere In- formationen zu erhalten oder diesem einen bestimmten Fertigungsschritt zuzuordnen. In the field of building automation, the inventive control of technical objects in particular for on and Switch off light sources or to open or close blinds or other shading devices are used. The method according to the invention also finds application for the selection of a particular one of a plurality of display means, for example in appropriately equipped command-and-control centers or in medical operation rooms. In the industrial environment, the method according to the invention finds use in the selection and activation of pumps, valves or the like. Furthermore, use in the production and logistics environment is possible, in which a specific package or production part is selected in order to obtain more detailed information about this or to assign a specific production step to it.
In dem oben genannten Beispielen kommt das erfindungsgemäße Verfahren im Besonderen dem Bedürfnis einer freihändigen In- teraktion entgegen, welche insbesondere von der bislang üblichen Notwendigkeit befreit ist, für eine Interaktion eine Be- tätigungs- oder Handhabungseinheit zu bedienen. Eine solche freihändige Bedienung ist insbesondere von Vorteil in einem Umfeld, welches entweder kontaminiert oder mit erhöhtem Rein- heitsanforderungen beaufschlagt ist, oder wenn das Arbeitsumfeld das Tragen von Handschuhen notwendig macht. In the above-mentioned examples, the method according to the invention particularly meets the need for a hands-free interaction, which is freed in particular from the hitherto customary need to operate an actuating or handling unit for an interaction. Such a hands-free operation is particularly advantageous in an environment which is either contaminated or subjected to increased purity requirements, or if the working environment necessitates the wearing of gloves.
Eine vorteilhafte Ausgestaltung der Erfindung ermöglicht eine Mehrfachselektion identifizierter Objekte, welche in den Interaktionsmodus zu überführen sind. Diese Ausgestaltung er¬ möglicht beispielsweise eine Mehrfachauswahl auszuschaltender Leuchtmittel. Eine Mehrfachauswahl wird durch eine alternati¬ ve Bestätigungsgeste gewährleistet, welche ein oder mehrere zuvor mit einer Auswahl-und/oder Selektionsgeste identifi- zierte Objekte durch weitere identifizierte Objekte ergänzt. An advantageous embodiment of the invention enables a multiple selection of identified objects, which are to be transferred into the interaction mode. This configuration enables it ¬ example, a multiple choice auszuschaltender lamps. A multiple selection is ensured by an alternati ve ¬ confirmation gesture which adds one or more previously identified with a selection and / or selection gesture subject by more identified objects.
Die alternative Bestätigungsgeste führt zu einer Zuordnung eines weiteren identifizierten Objekts, ohne dass ein Wechsel in einen Interaktionsmodus aufgrund der alternativen Bestäti¬ gungsgeste erfolgt. Eine beispielhafte alternative Bestäti¬ gungsgeste umfasst einen vorwärts gerichteten Arm, welcher in Gegenrichtung zum Bediener nach vorne geschoben und/oder nach oben gezogen wird. Diese alternative Bestätigungsgeste wird jeweils nach einer Selektion eines hinzuzufügenden Objekts durchgeführt, bis die Mehrzahl an identifizierten Objekten aus Sicht des Bedieners komplett ist. Mit dem letzten identi¬ fizierten Objekt führt dann der Bediener die übliche Bestäti- gungsgeste - also ein in Richtung des Bedieners zurückgezoge¬ ner Arm - durch und bestätigt seine Auswahl, als der ausge¬ wählten Mehrzahl an identifizierten Objekten. The alternate acknowledgment gesture results in an association of another identified object without a change takes place in a mode of interaction due to the alternative Affirmation ¬ supply gesture. An exemplary alternative Affirmation ¬ supply gesture comprises a forward arm which is pushed in the opposite direction to the operator to the front and / or pulled up. This alternative confirmation gesture is carried out in each case after a selection of an object to be added, until the plurality of identified objects is complete from the operator's point of view. With the last identi fied ¬ object then the operator performs the usual confirmation gesture - thus a Retired ¬ ner toward the operator arm - and confirms its selection as the extended ¬ selected plurality of identified objects.
Gemäß einer weiteren vorteilhaften Ausgestaltung zur Mehr- fachselektion identifizierter Objekte ist eine Analogie zu einer bekannten Drag-and-Drop-Mausbedienung vorgesehen. Hierbei steht nach Erfassung der Bestätigungsgeste und Zuordnung des identifizierten Objekts in einen Interaktionsmodus auf¬ grund der Bestätigungsgeste eine weitere Erfassung einer Aus- wahlgeste - insbesondere Wurfbewegung - zur Verfügung, mit der weitere Objekte ausgewählt und selektiert werden können. Eine alternative Bestätigungsgeste wird nach einer Hinzufü¬ gung des aus Bedienersicht letzten hinzuzufügenden Objekts durchgeführt, welche anzeigt, dass die Mehrzahl an identifi- zierten Objekten aus Sicht des Bedieners komplett ist. Die beispielhafte alternative Bestätigungsgeste umfasst bei¬ spielsweise wieder einen in Gegenrichtung zum Bediener nach vorne geschobenen und/oder nach oben gezogenen Arm. Ein Anwendungsbeispiel für eine derartige Mehrfachauswahl um¬ fasst einen Überwachungsraum mit einer Mehrzahl an Anzeigevorrichtungen. Der Bediener möchte dabei den Inhalt von drei kleineren Anzeigevorrichtungen auf eine großflächige Anzeigeeinrichtung übertragen, um einen besseren Überblick zu erhal- ten. Mit einer Gestensequenz würde er die Lasso-Auswahlgestik zur Auswahl der besagten drei Anzeigeinhalte auswählen und dann einen Harpunen-Wurf zur Auswahl der großflächigen Anzei- geeinrichtung anwenden. Das Steuersystem des Interaktionssystems stellt dann die Anzeigeninhalte entsprechend um. According to a further advantageous embodiment for the multiple selection of identified objects, an analogy to a known drag-and-drop mouse operation is provided. Here is after detection of the gesture and assignment confirmation of the identified object in an interaction mode on the basis of the confirmation ¬ a further gesture detecting a gesture training optionally - in particular throwing motion - are available, can be selected with the other objects, and selected. An alternative acknowledgment gesture is performed after a Hinzufü ¬ supply of the last operator of view objects to be added, which indicates that the plurality of fully identified ed objects from the perspective of the operator. The exemplary alternative confirmation gesture again comprises a pushed in the opposite direction to the operator to the front and / or pulled-up arm at ¬ play. An application example of such a multiple selection encompasses a surveillance space with a plurality of display devices. The operator would like to transfer the contents of three smaller display devices to a large area display for a better overview. With a gesture sequence, he would select the lasso selection gesture to select the three display contents and then use a harpoon throw to select the large-scale display Apply geeinrichtung. The control system of the interaction system then adjusts the display content accordingly.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird die mit der Auswahlgeste identifizierte Mehrzahl an Objekten auf eine Auswahl auf einen bestimmten Objekttyp reduziert. Beispielsweise ist in bestimmten Fällen eine Auswahl auf Be¬ leuchtungsmittel sinnvoll. Diese Auswahl kann vor, während, oder auch nach der Erfassung der Auswahlgeste, etwa durch ein Sprachkommando »Wähle nur Beleuchtungsmittel aus« an das Interaktionssystem übermittelt werden. According to an advantageous embodiment of the invention, the plurality of objects identified with the selection gesture is reduced to a selection to a specific object type. For example, a selection on Be ¬ lighting means makes sense in certain cases. This selection can be transmitted to the interaction system before, during or even after the acquisition of the selection gesture, for example by means of a voice command "select only illumination means".
Gemäß einer Ausgestaltung der Erfindung ist eine Kombination mit einem Visualisierungsmittel, beispielsweise einem Virtual Reality Head-Mounted Display, denkbar. Dies gestattet eineAccording to one embodiment of the invention, a combination with a visualization means, for example a virtual reality head-mounted display, is conceivable. This allows one
Ausführung des erfindungsgemäßen Verfahrens in einem virtuellen Umfeld statt in einer realen Umgebung zur Bedienung realer technischer Objekte. Execution of the method according to the invention in a virtual environment instead of in a real environment for the operation of real technical objects.

Claims

Patentansprüche claims
1. Verfahren zur Interaktion eines Bedieners mit einem technischen Objekt, bei dem eine mindestens einem Arm des Bedie¬ ners zugeordnete Mehrzahl örtlicher Parameter von einer 1. A process for the interaction of an operator with a technical object, in which at least one arm of the associated Bedie ¬ ners plurality of local parameters of a
Gestenerfassungseinheit eines Interaktionssystem erfasst und von einer Steuereinheit des Interaktionssystems als eine je¬ weilige Geste ausgewertet wird, wobei durch eine Sequenz an Gesten eine Auswahl und Interaktion mit dem ausgewählten Objekt gesteuert wird, das Verfahren umfassend folgende Schrit¬ te : Is detected gesture capture unit of an interaction system and evaluated by a control unit of the interaction system as a per ¬ stays awhile gesture, wherein a selection and interaction with the selected object is controlled by a sequence of gestures, the method comprising the following Schrit ¬ te:
a) Erfassung einer Initiierungsgeste zur Aktivierung des a) detecting an initiation gesture to activate the
InteraktionsSystems ;  Interaction system;
b) Erfassung einer Auswahlgeste, Ermittlung erster Zielkoordinaten aus der der Auswahlgeste zugeordneten Mehrzahl örtlicher Parameter und Zuordnung der ersten Zielkoordinaten zu einem oder mehreren durch abrufbare Ortskoordinaten identifizierten Objekten; b) detecting a selection gesture, determining first destination coordinates from the plurality of local parameters assigned to the selection gesture, and assigning the first destination coordinates to one or more objects identified by retrievable location coordinates;
c) Aktivierung von den einem oder mehreren identifizierten Objekten zugeordneten Rückmeldungsmittel zur Bestätigung einer Auswahl eines oder mehrerer identifizierten Objekte an den Bediener; c) activating feedback means associated with the one or more identified objects to confirm selection of one or more identified objects to the operator;
d) im Fall mehrerer identifizierter Objekte, Erfassung einer Selektionsgeste, Ermittlung zweiter Zielkoordinaten aus der der Selektionsgeste zugeordneten Mehrzahl örtlicher Parameter und Zuordnung der zweiten Zielkoordinaten zu einem durch abrufbare Ortskoordinaten identifizierten Objekt; d) in the case of a plurality of identified objects, detection of a selection gesture, determination of second destination coordinates from the plurality of local parameters assigned to the selection gesture, and assignment of the second destination coordinates to an object identified by retrievable location coordinates;
e) Erfassung einer Bestätigungsgeste und Zuordnung des identifizierten Objekts in einen Interaktionsmodus aufgrund der Bestätigungsgeste; e) detecting a confirmation gesture and associating the identified object with an interaction mode based on the confirmation gesture;
f) Steuerung des in einem Interaktionsmodus zugeordneten Objekts mit einer Mehrzahl von Interaktionsgesten; f) controlling the object associated with an interaction mode with a plurality of interaction gestures;
g) Erfassung einer Freigabegeste zur Freigabe des einem g) recording a release certificate to release the one
Interaktionsmodus zugeordneten Objekts. Interaction mode associated with the object.
2. Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass die Initiierungsgeste ein Heben eines Arms des Bedieners umfasst . 2. The method according to claim 1, characterized in that the initiation gesture comprises a lifting of an arm of the operator.
3. Verfahren nach einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass die Initiierungsgeste eine Drehung einer Handfläche in Richtung einer Körpermitte des Bedieners umfasst . 3. The method according to any one of the preceding claims, characterized in that the initiation gesture comprises a rotation of a palm in the direction of a body center of the operator.
4. Verfahren nach einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass die Initiierungsgeste eine Kreis¬ bewegung um eine Unterarmhauptachse des Bedieners umfasst. 4. The method according to any one of the preceding claims, characterized in that the initiation gesture comprises a circle ¬ movement about a lower arm main axis of the operator.
5. Verfahren nach einem der vorgenannten Patentansprüche, da- durch gekennzeichnet, dass nach mindestens einer jeweiligen5. The method according to any one of the preceding claims, character- ized in that after at least one respective
Bewegung des Bedieners zur Bildung der Initiierungsgeste eine Rückmeldung an den Bediener ausgegeben wird. Operator's motion to form the initiation gesture a feedback is issued to the operator.
6. Verfahren nach einem der vorgenannten Patentansprüche, da- durch gekennzeichnet, dass die Auswahlgeste eine Wurfbewegung in Richtung mindestens eines identifizierten Objekten umfasst . 6. The method according to any one of the preceding claims, character- ized in that the selection gesture comprises a throwing motion in the direction of at least one identified objects.
7. Verfahren nach einem der vorgenannten Patentansprüche, da- durch gekennzeichnet, dass die Selektionsgeste eine Pronation oder Supination und/oder eine Bewegung eines Unterarms des Bedieners in horizontaler oder vertikaler Richtung und/oder eine Rotation des Schultergelenks umfasst. 7. The method according to any one of the preceding claims, character- ized in that the selection gesture comprises a pronation or supination and / or movement of a forearm of the operator in the horizontal or vertical direction and / or rotation of the shoulder joint.
8. Verfahren nach einem der vorgenannten Patentansprüche, gekennzeichnet durch den nach Schritt d) auszuführenden 8. The method according to any one of the preceding claims, characterized by the executed after step d)
Schritt : Step:
dl) Aktivierung von einem oder mehreren durch die zweiten Zielkoordinaten identifizierten Objekten zugeordneten Rück- meldungsmittel zur Bestätigung einer Selektion mindestens ei¬ nes identifizierten Objekts an den Bediener. dl) activation of one or more objects identified by the second target coordinates associated feedback means for confirming a selection of at least ei ¬ nes identified object to the operator.
9. Verfahren nach einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass nach Zuordnung des identifizierten Objekts in einen Interaktionsmodus aufgrund der Bestätigungs¬ geste eine Rückmeldung an den Bediener ausgegeben wird. 9. The method according to any one of the preceding claims, characterized in that after assignment of the identified object in an interaction mode due to the confirmation ¬ gesture feedback to the operator is issued.
10. Verfahren nach einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass nach Freigabe des dem Interakti¬ onsmodus zugeordneten Objekts aufgrund der Freigabegeste eine Rückmeldung an den Bediener ausgegeben wird. 10. The method according to any one of the preceding claims, characterized in that after release of the Interakti ¬ onsmodus associated object due to the release gesture feedback to the operator is issued.
11. Verfahren nach einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass die Zuordnung zu einem oder meh- reren identifizierten Objekten auf einen einstellbaren Ob- jekttyp beschränkt wird. 11. The method according to any one of the preceding claims, characterized in that the assignment to one or more identified objects is limited to an adjustable object type.
12. Verwendung eines Verfahrens gemäß einem der vorgenannten Patentansprüche zur Maschinenbedienung in einem industriellen oder medizinischen Prozess. 12. Use of a method according to one of the preceding claims for machine operation in an industrial or medical process.
13. Verwendung eines Verfahrens gemäß einem der vorgenannten Patentansprüche 1 bis 12 zur Bedienung technischer Einheiten in einem Gebäudeautomatisierungssystem. 13. Use of a method according to any one of the preceding claims 1 to 12 for the operation of technical units in a building automation system.
14. Verwendung eines Verfahrens gemäß einem der vorgenannten Patentansprüche 1 bis 12 zur Bedienung technischer Einheiten in einem Virtual-Reality-System. 14. Use of a method according to any one of the preceding claims 1 to 12 for the operation of technical units in a virtual reality system.
EP17735087.3A 2016-07-05 2017-06-30 Method for an interaction between an operator and a technical object Withdrawn EP3465389A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016212234.7A DE102016212234A1 (en) 2016-07-05 2016-07-05 Method for the interaction of an operator with a technical object
PCT/EP2017/066238 WO2018007247A1 (en) 2016-07-05 2017-06-30 Method for an interaction between an operator and a technical object

Publications (1)

Publication Number Publication Date
EP3465389A1 true EP3465389A1 (en) 2019-04-10

Family

ID=59276741

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17735087.3A Withdrawn EP3465389A1 (en) 2016-07-05 2017-06-30 Method for an interaction between an operator and a technical object

Country Status (5)

Country Link
US (1) US20190163285A1 (en)
EP (1) EP3465389A1 (en)
CN (1) CN109416588A (en)
DE (1) DE102016212234A1 (en)
WO (1) WO2018007247A1 (en)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073198B2 (en) * 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
US8614663B2 (en) * 2010-03-15 2013-12-24 Empire Technology Development, Llc Selective motor control classification
WO2012178202A1 (en) * 2011-06-23 2012-12-27 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9164589B2 (en) * 2011-11-01 2015-10-20 Intel Corporation Dynamic gesture based short-range human-machine interaction
US9301372B2 (en) * 2011-11-11 2016-03-29 Osram Sylvania Inc. Light control method and lighting device using the same
DE202012005255U1 (en) * 2012-05-29 2012-06-26 Youse Gmbh Operating device with a gesture monitoring unit
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US20140240215A1 (en) * 2013-02-26 2014-08-28 Corel Corporation System and method for controlling a user interface utility using a vision system
WO2015062751A1 (en) * 2013-10-28 2015-05-07 Johnson Controls Gmbh Method for operating a device for the contactless detection of objects and/or persons and their gestures and/or of control operations in a vehicle interior
JP6445025B2 (en) * 2014-01-30 2018-12-26 フィリップス ライティング ホールディング ビー ヴィ Gesture control
US9535495B2 (en) * 2014-09-26 2017-01-03 International Business Machines Corporation Interacting with a display positioning system

Also Published As

Publication number Publication date
WO2018007247A1 (en) 2018-01-11
DE102016212234A1 (en) 2018-01-11
US20190163285A1 (en) 2019-05-30
CN109416588A (en) 2019-03-01

Similar Documents

Publication Publication Date Title
DE102018109463C5 (en) Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user using a mobile display device
DE102013019869B4 (en) Robot arm with input module
DE102016208811B3 (en) Mobile security basic control device with a coding device for a mobile terminal with multi-touch screen
DE112018002565B4 (en) System and method for direct training of a robot
DE102016113060A1 (en) Method for controlling an object
EP3458939B1 (en) Interaction system and method
DE102017202439B4 (en) Input device, method for providing motion commands to an actuator and actuator system
DE102015011830C5 (en) Robot system for setting a motion surveillance area of a robot
EP3518055A1 (en) Monitoring and control system for a production workspace and method for producing a product or partial product
EP3374135B1 (en) Method for the simplified modification of application programs for controlling an industrial plant
DE102016118486A1 (en) LIGHTING CONTROL DEVICE, LIGHTING SYSTEM AND METHOD FOR CONTROLLING A LIGHTING DEVICE
EP3990231B1 (en) System for performing an input on a robotic manipulator
WO2018007247A1 (en) Method for an interaction between an operator and a technical object
DE102014106680B4 (en) Switch operating device, mobile device and method for operating a switch by a non-tactile "push" gesture
DE102016214391B4 (en) Method for controlling an operation of a coordinate measuring machine and coordinate measuring machine with control
DE102017118982A1 (en) Robot and method for operating a robot
EP3970454B1 (en) Detecting the spatial arrangement of components of a lighting system and assigning a respective operating address
EP3465385A1 (en) Method for the interaction of an operator with a model of a technical system
DE102019207594A1 (en) Device for controlling and / or configuring a system
EP3120672B1 (en) System for actuating loads of a domestic control apparatus by means of muscle impulses of at least one user and corresponding method
DE102019117219A1 (en) System for operating a graphical user interface
EP4189500A1 (en) Method for extending the operating functionality of a field device in the field of automation technology from one operating device to at least one other operating device
DE102016204137A1 (en) Programmable manipulator system with a function switch device
DE102015211521A1 (en) Method for operating an input device, input device
EP1510893A1 (en) Process and device for the determination of the movement path in a handling system

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190102

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: A61B 5/11 20060101ALI20191210BHEP

Ipc: G06F 1/16 20060101ALI20191210BHEP

Ipc: G06F 3/01 20060101AFI20191210BHEP

Ipc: A61B 5/00 20060101ALI20191210BHEP

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200116

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200603