DE102013201527A1 - Method for retrieving and controlling data and/or archiving images in sterile environment by target system involves recognizing gesture command is recognized for scaling operating mode due to gesture command - Google Patents

Method for retrieving and controlling data and/or archiving images in sterile environment by target system involves recognizing gesture command is recognized for scaling operating mode due to gesture command Download PDF

Info

Publication number
DE102013201527A1
DE102013201527A1 DE201310201527 DE102013201527A DE102013201527A1 DE 102013201527 A1 DE102013201527 A1 DE 102013201527A1 DE 201310201527 DE201310201527 DE 201310201527 DE 102013201527 A DE102013201527 A DE 102013201527A DE 102013201527 A1 DE102013201527 A1 DE 102013201527A1
Authority
DE
Germany
Prior art keywords
command
operating mode
gesture
voice command
target system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE201310201527
Other languages
German (de)
Inventor
Robert Kagermeier
Peter Greif
Anja Jäger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE201310201527 priority Critical patent/DE102013201527A1/en
Publication of DE102013201527A1 publication Critical patent/DE102013201527A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A voice command is entered (100) for selecting a mode of operation. The voice command is recognized (101). An operating mode is selected (102) according to the voice command. The selected operating mode is switched ON (103). The gesture command is input (104) to scale the selected operating mode. The gesture command is recognized (105) for scaling (106) the operating mode due to the gesture command. An independent claim is included for target system.

Description

Gebiet der Erfindung Field of the invention

Die Erfindung betrifft ein Verfahren zum Abruf und zur Steuerung von Daten und/oder Archivbildern in einer sterilen Umgebung durch ein Zielsystem sowie ein Zielsystem zum Abruf und zur Steuerung von Daten und/oder Archivbildern. The invention relates to a method for retrieving and controlling data and / or archive images in a sterile environment by a target system and a target system for retrieving and controlling data and / or archive images.

Hintergrund der Erfindung Background of the invention

In der interventionellen Medizin kommt es häufig vor, dass ein Arzt während einer Operation Informationen aus Patientendokumenten oder Archivbilder abrufen möchte. Derartige Aktionen können im sterilen OP-Bereich nur mit Bedienelementen erfolgen, die vorher aufwändig mit Folien abgedeckt wurden. Diese Vorgehensweise kostet viel Zeit, die der Patient länger in Narkose verbringen muss, und birgt eine erhöhte Gefahr, Keime von den berührten Flächen zu übertragen. In interventional medicine, it often happens that a doctor wants to retrieve information from patient documents or archive images during an operation. Such actions can be carried out in the sterile surgical area only with controls that have previously been consuming covered with slides. This procedure takes a long time to spend in anesthesia, and increases the risk of transmitting germs from the touched areas.

Es ist bekannt, Systemfunktionen mit Joysticks, Tastern und Touchscreens zu bedienen, wobei die Bedienfelder aufwendig abgedeckt werden müssen, um die Sterilität im OP-Saal sicherzustellen. Aus der Patentschrift US 6 118 888 A sind eine Vielzahl von Eingabemöglichkeiten bei einer Gerätebedienung durch einen Nutzer bekannt. Unter anderem werden auch gestik- oder sprachbasierte Bedienkonzepte offenbart. It is known to operate system functions with joysticks, push buttons and touch screens, whereby the control panels must be elaborately covered to ensure sterility in the operating room. From the patent US Pat. No. 6,118,888 are known a variety of input options in a device operation by a user. Among other things, gesture or language-based operating concepts are also disclosed.

Nachteilig bei einer auf Gestik basierten Anwendung ist, dass für eine Vielzahl von Bedienfunktionen auch viele differenzierte Gesten erforderlich sind, die von einem Anwender zunächst erlernt werden müssen. Außerdem ist zu manchen Vorgängen eine Zweihandgestik notwendig, was im interventionellen Umfeld nicht immer möglich ist. Bei Abläufen, die beispielsweise ein wiederholtes Ausführen einer Wischgestik verlangen, wie beim Blättern um 100 Seiten, ist eine Gestikbedienung ebenfalls nicht zumutbar. A disadvantage of a gestures based application is that many different gestures are required for a variety of control functions that must be learned by a user first. In addition, some procedures require a two-handed gesture, which is not always possible in the interventional environment. For processes that require, for example, a repeated execution of a wiping gesture, such as when leafing through 100 pages, a Gestikbedienung is also unreasonable.

Im Gegensatz dazu ist in Fällen bei denen Parameter kontinuierlich verändert werden müssen, wie beispielsweise ein Zoomfaktor oder eine Helligkeit eines Bildes, eine Sprachsteuerung wenig intuitiv. In der Offenlegungsschrift DE 10 2007 044 792 A1 wird eine Sprachsteuerung offenbart, wobei zur Steuerung oder Bedienung einer Mehrzahl von Zielsystemen über gesprochene Befehle jedem Zielsystem eine für dieses Zielsystem spezifische Schnittstelleninformation zugeordnet ist. Die Schnittstelleninformation wird zur Anmeldung des Zielsystems an ein Spracherkennungssystem vom Zielsystem auf das Spracherkennungssystem übertragen, sofern sie noch nicht auf diesem Spracherkennungssystem gespeichert ist. Das Spracherkennungssystem wertet bei der Steuerung oder Bedienung eines Zielsystems die für dieses Zielsystem spezifische Schnittstelleninformation aus, um gesprochene Befehle zu erkennen, die zur Steuerung oder Bedienung dieses Zielsystems gesprochen werden. In contrast, in cases where parameters need to be changed continuously, such as a zoom factor or a brightness of an image, voice control is less intuitive. In the published patent application DE 10 2007 044 792 A1 a voice control is disclosed, wherein for controlling or operating a plurality of target systems via spoken commands each target system associated with this target system specific interface information. The interface information is transmitted to the registration system of the target system to a speech recognition system from the target system to the speech recognition system, if it is not yet stored on this speech recognition system. When controlling or operating a target system, the speech recognition system evaluates the interface information specific to that target system in order to recognize spoken commands that are spoken for controlling or operating this target system.

Zusammenfassung der Erfindung Summary of the invention

Es ist Aufgabe der Erfindung, ein Verfahren und ein System für eine vereinfachte Bedienung von medizintechnischen Geräten in einem sterilen Umfeld anzugeben. It is an object of the invention to provide a method and system for simplified operation of medical devices in a sterile environment.

Gemäß der Erfindung wird die gestellte Aufgabe mit dem Verfahren und dem Zielsystem der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben. According to the invention, the stated object is achieved with the method and the target system of the independent claims. Advantageous developments are specified in the dependent claims.

Die grundlegende Idee der Erfindung besteht darin, ein Zielsystem mit Hilfe eines Sprachbefehls in einen gewünschten Betriebsmodus zu schalten und anschließend mit Hilfe eines Gestenbefehls zu skalieren, oder ein Zielsystem mit Hilfe eines Gestenbefehls in einen gewünschten Betriebsmodus zu schalten und anschließend mit Hilfe eines Sprachbefehls zu skalieren. The basic idea of the invention is to switch a target system to a desired operating mode by means of a voice command and then to scale it with the aid of a gesture command, or to switch a target system to a desired operating mode by means of a gesture command and then to scale it with the aid of a voice command ,

Die Erfindung beansprucht ein Verfahren zum Abruf und zur Steuerung von Daten und/oder Archivbildern in einer sterilen Umgebung durch ein Zielsystem, wobei ein Sprachbefehl zur Auswahl eines Betriebsmodus eingeben wird, der Sprachbefehl erkannt wird, ein Betriebsmodus entsprechend dem Sprachbefehl ausgewählt wird, der ausgewählte Betriebsmodus eingeschalten wird, ein Gestenbefehl zur Skalierung des ausgewählten Betriebsmodus eingegeben wird, der Gestenbefehl erkannt wird und der Betriebsmodus aufgrund des Gestenbefehls skaliert wird. Die Erfindung bietet den Vorteil, dass durch das enge Zusammenwirken von Gestik und Sprache ein neues, flexibles Bedienkonzept geschafften wird, sodass die Arbeit im Operationssaal deutlich vereinfacht wird. Vorteilhaft ist auch, dass nur eine begrenzte Anzahl an Gesten erlernt werden muss, um die Vorgänge, die allein mit Sprache schwierig zu steuern sind (z.B. Zoomen, Drehen), zu spezifizieren. Alle Vorgänge finden berührungslos statt, auch die Sprachsteuerung kann mit einem Raummikrofon arbeiten, damit ein Operateur keine zusätzlichen Kabel mit sich führen muss, die ihn in seiner Bewegungsfreiheit einschränken. The invention claims a method for retrieving and controlling data and / or archive images in a sterile environment by a target system, wherein a voice command is input for selecting an operating mode, the voice command is recognized, an operating mode corresponding to the voice command is selected, the selected operating mode is turned on, a gesture command for scaling the selected operating mode is input, the gesture command is detected and the operating mode is scaled based on the gesture command. The invention has the advantage that a new, flexible operating concept is created by the close interaction of gestures and language, so that the work in the operating room is significantly simplified. It is also advantageous that only a limited number of gestures have to be learned in order to specify the operations that are difficult to control with speech alone (e.g., zooming, rotating). All operations take place without contact, and the voice control can work with a room microphone, so that an operator does not have to carry additional cables with him, which restrict his freedom of movement.

In einer Weiterbildung kann der Sprachbefehl „Zoom“ lauten und der Gestenbefehl eine Wisch-Geste sein, wobei die Länge der Wisch-Geste den Zoomfaktor angibt. In a further development, the voice command can be "zoom" and the gesture command a swipe gesture, wherein the length of the swipe gesture indicates the zoom factor.

In einer weiteren Ausführungsform kann der Sprachbefehl „Blättern“ lauten und eine Richtung des Blätterns durch den Gestenbefehl skaliert werden. In another embodiment, the voice command may be "scrolling" and a direction of scrolling scaled by the gesture command.

Die Erfindung beansprucht auch ein Verfahren zum Abruf und zur Steuerung von Daten und/oder Archivbildern in einer sterilen Umgebung durch ein Zielsystem, mit den Schritten:

  • – Eingabe eines Gestenbefehls zur Auswahl eines Betriebsmodus,
  • – Erkennen des Gestenbefehls,
  • – Auswahl des Betriebsmodus entsprechend dem Gestenbefehl,
  • – Einschalten des ausgewählten Betriebsmodus,
  • – Eingabe eines Sprachbefehls zur Skalierung des ausgewählten Betriebsmodus,
  • – Erkennen des Sprachbefehls und
  • – Skalieren des Betriebsmodus aufgrund des Sprachbefehls.
The invention also claims a method for retrieving and controlling data and / or archive images in a sterile environment by a target system, comprising the steps of:
  • Input of a gesture command for selecting an operation mode,
  • - recognizing the gesture command,
  • Selection of the operating mode according to the gesture command,
  • - switching on the selected operating mode,
  • Inputting a voice command for scaling the selected operating mode,
  • - recognizing the voice command and
  • - Scaling of the operating mode due to the voice command.

Vorteilhaft kann das Verfahren auch eine Eingabe mindestens eines weiteren Sprachbefehls und/oder mindestens eines weiteren Gestenbefehls umfassen, die den skalierten Betriebsmodus steuern. Advantageously, the method can also include an input of at least one further voice command and / or at least one further gesture command, which control the scaled operating mode.

Die Erfindung beansprucht auch ein Zielsystem zum Abruf und zur Steuerung von Daten und/oder Archivbildern in einer sterilen Umgebung. Das Zielsystem umfasst:

  • – eine Spracherkennungseinheit, die ausgebildet ist, einen Sprachbefehl zu erkennen, einen Betriebsmodus entsprechend dem Sprachbefehl auszuwählen und den ausgewählten Betriebsmodus einzuschalten, und
  • – eine Gestenerkennungseinheit, die ausgebildet ist, einen Gestenbefehl zu erkennen und den Betriebsmodus aufgrund des Gestenbefehls zu skalieren.
The invention also claims a target system for retrieving and controlling data and / or archive images in a sterile environment. The target system includes:
  • A voice recognition unit configured to recognize a voice command, to select an operation mode corresponding to the voice command and to turn on the selected operation mode, and
  • A gesture recognition unit configured to recognize a gesture command and to scale the operation mode based on the gesture command.

Die Erfindung beansprucht auch ein Zielsystem zum Abruf und zur Steuerung von Daten und/oder Archivbildern in einer sterilen Umgebung, mit:

  • – einer Gestenerkennungseinheit, die ausgebildet ist, einen Gestenbefehl zu erkennen, einen Betriebsmodus entsprechend dem Gestenbefehl auszuwählen und den ausgewählten Betriebsmodus einzuschalten, und
  • – einer Spracherkennungseinheit, die ausgebildet ist, einen Sprachbefehl zu erkennen und den Betriebsmodus aufgrund des Sprachbefehls zu skalieren.
The invention also claims a target system for retrieving and controlling data and / or archive images in a sterile environment, comprising:
  • A gesture recognition unit configured to recognize a gesture command, to select an operation mode corresponding to the gesture command and to turn on the selected operation mode, and
  • A voice recognition unit configured to recognize a voice command and to scale the operation mode based on the voice command.

In einer Weiterbildung ist das Zielsystem geeignet, die erfindungsgemäßen Verfahren auszuführen. In a further development, the target system is suitable for carrying out the methods according to the invention.

Weitere Besonderheiten und Vorteile der Erfindung werden aus den nachfolgenden Erläuterungen mehrerer Ausführungsbeispiele anhand von schematischen Zeichnungen ersichtlich. Other features and advantages of the invention will become apparent from the following explanations of several embodiments with reference to schematic drawings.

Es zeigen: Show it:

1: ein Ablaufdiagramm eines Verfahrens zum Abruf von Daten und Archivbildern, 1 : a flow diagram of a method for retrieving data and archive images,

2: ein Ablaufdiagramm eines weiteren Verfahrens zum Abruf von Daten und Archivbildern, 2 : a flow chart of another method for retrieving data and archive images,

3: ein Schaubild einer Skalierung einer Zoom-Anwendung und 3 : a diagram of scaling a zoom application and

4: ein Blockschaltbild eines Zielsystems. 4 : a block diagram of a target system.

Detaillierte Beschreibung eines Ausführungsbeispiels Detailed description of an embodiment

Um den Arbeitsablauf in einem Operationssaal maßgeblich zu vereinfachen, muss es möglich sein, Daten und Archivbilder direkt vor Ort am Patiententisch abzurufen und zu bearbeiten, ohne dabei die Sterilität zu gefährden. Dies lässt sch durch die erfindungsgemäße Kombination aus Sprach- und Gestikbedienung erreichen. Mit dem Sprachbefehl wird ein Betriebsmodus vorgewählt und mit der Geste dann genauer skaliert. Auf diese Weise kann mit einer geringen Anzahl intuitiver Gesten ein breites Spektrum an Befehlen ausgeführt werden. In order to significantly simplify the workflow in an operating room, it must be possible to retrieve and edit data and archive images directly on-site at the patient table without endangering sterility. This can be achieved by the inventive combination of voice and gesture control. With the voice command, an operating mode is preselected and then scaled more accurately with the gesture. In this way, a wide range of commands can be executed with a small number of intuitive gestures.

1 zeigt ein Ablaufdiagramm eines Verfahrens zum Abruf und zur Steuerung von Daten und Archivbildern in einer sterilen Umgebung. In einem Operationssaal wird in einem ersten Schritt 100 an einem Zielsystem ein Sprachbefehl zur Auswahl eines Betriebsmodus durch einen Nutzer eingegeben. Im Schritt 101 erkennt das Zielsystem den Sprachbefehl und wählt im Schritt 102 den zum Sprachbefehl gehörenden Betriebsmodus aus. Im folgenden Schritt 103 wird der ausgewählte Betriebsmodus eingeschalten. 1 shows a flowchart of a method for retrieving and controlling data and archive images in a sterile environment. In an operating room is in a first step 100 at a target system, a voice command for selecting an operating mode entered by a user. In step 101 the target system recognizes the voice command and dials in the step 102 the operating mode associated with the voice command. In the following step 103 the selected operating mode is switched on.

Im Schritt 104 gibt der Nutzer einen Gestenbefehl zur Skalierung des ausgewählten Betriebsmodus ein, indem er beispielsweise mit einer Hand eine vorgegebene Bewegung ausführt. Das Zielsystem erkennt im Schritt 105 den Gestenbefehl und skaliert im Schritt 106 den Betriebsmodus anhand des Gestenbefehls. Weitere Sprachbefehle oder Gestenbefehle können folgen. In step 104 The user inputs a gesture command to scale the selected mode of operation by, for example, performing a given movement with one hand. The target system recognizes in step 105 the gesture command and scales in step 106 the operating mode based on the gesture command. Other voice commands or gesture commands may follow.

Zum Beispiel wird mit dem Sprachbefehl „Zoom“ ein Zoommodus zum Zoomen von Bildern auf einem Bildschirm eingeschaltet und durch eine Wischgeste skaliert, wobei die Richtung und Länge der Wischgeste die Zoomrichtung und den Zoomfaktor angibt. In 3 ist dieses Beispiel näher erläutert. For example, with the voice command "Zoom", a zoom mode for zooming images on a screen is turned on and scaled by a swipe gesture, with the direction and length of the swipe gesture indicating the zoom direction and zoom factor. In 3 this example is explained in more detail.

In einem anderen Beispiel wird durch den Sprachbefehl „Blättern“ in einen Blättermodus zum Blättern durch eine Vielzahl von Bildern auf einem Bildschirm geschaltet. Eine Geste gibt die Blätterrichtung „vorwärts“ oder „rückwärts“ an. Mit einem weiteren Sprachbefehl wird die Anzahl der Bilder angegeben, um die geblättert werden soll. Eine Wischgeste von links nach rechts zusammen mit dem Kommando „fünf“ bewirkt so ein Rückwärtsblättern um fünf Bilder. Ebenfalls ist der umgekehrte Ansatz möglich, bei dem die Anzahl der Bilder mit der Hand angezeigt wird und die Blätterrichtung mit einem Sprachbefehl („Vorwärts“/ „Rückwärts“) angegeben wird. In another example, the voice command "scrolling" switches to a scroll mode for scrolling through a plurality of images on a screen. A gesture indicates the direction of the page "forward" or "backward". With a Another voice command specifies the number of pictures to scroll through. A swipe gesture from left to right together with the command "five" causes a backward scrolling by five pictures. Also, the reverse approach is possible, in which the number of pictures is displayed by hand and the page direction is indicated with a voice command ("forward" / "backward").

Es ist auch möglich, eine Bildaufnahme zu verschieben, um andere Teile sichtbar zu machen. Mit dem Sprachbefehl „Panning“ kann dieser Betriebsmodus aktiviert werden, um dann mit der entsprechenden Gestik die Richtung und Distanz, in die verschoben werden soll, anzugeben. It is also possible to move an image capture to make other parts visible. With the voice command "Panning", this operating mode can be activated, and then with the appropriate gesture, the direction and distance to be moved to specify.

Bei aufwendigeren 3D-Rekonstruktionen kann mit der Kombination aus Gestik- und Sprachsteuerung das gesamte Volumen gedreht werden. Als Anweisungen wären „3D“, „Rotate“ oder „Volume Move“ denkbar, die Skalierung erfolgt erneut durch die Verfolgung einer Handgestik. For more complex 3D reconstructions, the entire volume can be rotated using the combination of gesture and voice control. The instructions would be "3D", "Rotate" or "Volume Move" conceivable, the scaling is done again by following a hand gesture.

2 zeigt ein Ablaufdiagramm eines weiteren Verfahrens zum Abruf und zur Steuerung von Daten und Archivbildern in einer sterilen Umgebung. In einem Operationssaal wird in einem ersten Schritt 200 an einem Zielsystem ein Gestenbefehl zur Auswahl eines Betriebsmodus durch einen Nutzer ausgeführt. Im Schritt 201 erkennt das Zielsystem den Gestenbefehl und wählt im Schritt 202 den zum Gestenbefehl gehörenden Betriebsmodus aus. Im folgenden Schritt 203 wird der ausgewählte Betriebsmodus eingeschalten. 2 shows a flowchart of another method for retrieving and controlling data and archive images in a sterile environment. In an operating room is in a first step 200 at a target system, a gesture command for selecting an operation mode by a user executed. In step 201 the target system recognizes the gesture command and dials in the step 202 the operating mode associated with the gesture command. In the following step 203 the selected operating mode is switched on.

Im Schritt 204 gibt der Nutzer einen Sprachbefehl zur Skalierung des ausgewählten Betriebsmodus ein, indem er beispielsweise eine Zahl spricht. Das Zielsystem erkennt im Schritt 205 den Sprachbefehl und skaliert im Schritt 206 den Betriebsmodus anhand des Sprachbefehls. Weitere Sprachbefehle oder Gestenbefehle können folgen. In step 204 the user inputs a voice command to scale the selected operating mode, for example by speaking a number. The target system recognizes in step 205 the voice command and scales in step 206 the operating mode based on the voice command. Other voice commands or gesture commands may follow.

3 zeigt schematisch eine Zoom-Anwendung. Mit dem Sprachbefehl „Zoom“, angedeutet durch die Sprechblase, wird der Zoom-Betriebsmodus eingestellt. Mittels einer Wischgestik (= Wisch-Geste), angedeutet durch eine Hand in zwei Positionen, wird die Zoom-Richtung und der Zoomfaktor festgelegt. In der oberen der beiden Darstellungen erfolgt eine Bewegung nach oben, gleichbedeutend mit „Zoom-in“. Die Länge der Handbewegung gibt den Zoomfaktor an. In der unteren Darstellung erfolgt eine Bewegung nach unten, was ein „Zoom-out“ bedeutet. Die Länge der Handbewegung gibt wiederum den Zoomfaktor an. 3 schematically shows a zoom application. The voice command "Zoom", indicated by the speech bubble, sets the zoom operation mode. By means of a swipe gesture (= swipe gesture), indicated by a hand in two positions, the zoom direction and the zoom factor is set. In the upper of the two representations there is an upward movement, equivalent to "Zoom-in". The length of the hand movement indicates the zoom factor. In the lower illustration, there is a downward movement, which means a "zoom out". The length of the hand movement in turn indicates the zoom factor.

4 zeigt ein Blockschaltbild eines Zielsystems mit einer zentralen Recheneinheit 1, an die eine Spracherkennungseinheit 2, eine Gestenerkennungseinheit 3 und ein Bildschirm 4 angeschlossen sind. Die Spracherkennungseinheit 2 ist ausgebildet, einen Sprachbefehl zu erkennen, einen Betriebsmodus in der Recheneinheit 1 entsprechend des Sprachbefehls auszuwählen und den ausgewählten Betriebsmodus einzuschalten. Die Spracherkennungseinheit 2 weist ein Mikrofon zur Spracheingabe auf. Mittels einer Spracherkennungssoftware können gesprochene Befehle erkannt und in Maschinenbefehle übersetzt werden. 4 shows a block diagram of a target system with a central processing unit 1 to which a speech recognition unit 2 , a gesture recognition unit 3 and a screen 4 are connected. The speech recognition unit 2 is configured to recognize a voice command, an operating mode in the arithmetic unit 1 select according to the voice command and turn on the selected operating mode. The speech recognition unit 2 has a microphone for voice input. Using speech recognition software, spoken commands can be recognized and translated into machine instructions.

Die Gestenerkennungseinheit 3 ist ausgebildet, einen Gestenbefehl zu erkennen und den Betriebsmodus aufgrund des Gestenbefehls zu skalieren. Zur Erkennung von beispielsweise Handgesten weist die Gestenerkennungseinheit 3 eine Kamera und eine Bildverarbeitungssoftware auf. The gesture recognition unit 3 is configured to detect a gesture command and to scale the operating mode based on the gesture command. For detecting, for example, hand gestures, the gesture recognition unit 3 a camera and image processing software.

In einer weiteren Ausführungsform kann die Gestenerkennungseinheit 3 den Betriebsmodus auswählen und die Spracherkennungseinheit 2 den Betriebsmodus skalieren. In a further embodiment, the gesture recognition unit 3 select the operating mode and the voice recognition unit 2 scale the operating mode.

Alle beschriebenen Einheiten können auch in einer einzigen Einheit integriert sein. All described units can also be integrated in a single unit.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1
Recheneinheit computer unit
2 2
Spracherkennungseinheit Voice recognition unit
3 3
Gestenerkennungseinheit Gesture recognition unit
4 4
Bildschirm screen
100 100
Eingabe eines Sprachbefehls Entering a voice command
101 101
Erkennen des Sprachbefehls Recognition of the voice command
102 102
Auswahl des Betriebsmodus Selection of the operating mode
103 103
Einschalten des Betriebsmodus Switching on the operating mode
104 104
Eingabe eines Gestenbefehls Entering a gesture command
105 105
Erkennen des Gestenbefehls Recognition of the gesture command
106 106
Skalieren des Betriebsmodus Scaling the operating mode
200 200
Eingabe eines Gestenbefehls Entering a gesture command
201 201
Erkennen des Gestenbefehls Recognition of the gesture command
202 202
Auswahl des Betriebsmodus Selection of the operating mode
203 203
Einschalten des Betriebsmodus Switching on the operating mode
204 204
Eingabe eines Sprachbefehls Entering a voice command
205 205
Erkennen des Sprachbefehls Recognition of the voice command
206 206
Skalieren des Betriebsmodus Scaling the operating mode

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 6118888 A [0003] US 6118888 A [0003]
  • DE 102007044792 A1 [0005] DE 102007044792 A1 [0005]

Claims (9)

Verfahren zum Abruf und zur Steuerung von Daten und/oder Archivbildern in einer sterilen Umgebung durch ein Zielsystem, gekennzeichnet durch: – Eingabe (100) eines Sprachbefehls zur Auswahl eines Betriebsmodus, – Erkennen (101) des Sprachbefehls, – Auswahl (102) eines Betriebsmodus entsprechend dem Sprachbefehl, – Einschalten (103) des ausgewählten Betriebsmodus, – Eingabe (104) eines Gestenbefehls zur Skalierung des ausgewählten Betriebsmodus, – Erkennen (105) des Gestenbefehls und – Skalieren (106) des Betriebsmodus aufgrund des Gestenbefehls. Method for retrieving and controlling data and / or archive images in a sterile environment by a target system, characterized by: - input ( 100 ) of a voice command for selecting an operating mode, - detecting ( 101 ) of the voice command, - selection ( 102 ) an operating mode according to the voice command, - switching on ( 103 ) of the selected operating mode, - input ( 104 ) of a gesture command for scaling the selected operating mode, - detecting ( 105 ) of the gesture command and - scaling ( 106 ) of the operating mode due to the gesture command. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Sprachbefehl „Zoom“ lautet und der Gestenbefehl eine Wisch-Geste ist, wobei die Länge der Wisch-Geste den Zoomfaktor angibt. A method according to claim 1, characterized in that the voice command is "zoom" and the gesture command is a swipe gesture, the length of the swipe gesture indicating the zoom factor. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Sprachbefehl „Blättern“ lautet und eine Richtung des Blätterns durch den Gestenbefehl skaliert wird. A method according to claim 1, characterized in that the voice command is "scrolling" and a direction of scrolling is scaled by the gesture command. Verfahren zum Abruf und zur Steuerung von Daten und/oder Archivbildern in einer sterilen Umgebung durch ein Zielsystem, gekennzeichnet durch: – Eingabe (200) eines Gestenbefehls zur Auswahl eines Betriebsmodus, – Erkennen (201) des Gestenbefehls, – Auswahl (202) des Betriebsmodus entsprechend dem Gestenbefehl, – Einschalten (203) des ausgewählten Betriebsmodus, – Eingabe (204) eines Sprachbefehls zur Skalierung des ausgewählten Betriebsmodus, – Erkennen (205) des Sprachbefehls und – Skalieren (206) des Betriebsmodus aufgrund des Sprachbefehls. Method for retrieving and controlling data and / or archive images in a sterile environment by a target system, characterized by: - input ( 200 ) of a gesture command for selecting an operating mode, - detecting ( 201 ) of the gesture command, - selection ( 202 ) of the operating mode according to the gesture command, - switching on ( 203 ) of the selected operating mode, - input ( 204 ) of a voice command for scaling the selected operating mode, - detecting ( 205 ) of the voice command and - scaling ( 206 ) of the operating mode due to the voice command. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch: – Eingabe eines weiteren Sprachbefehls oder eines weiteren Gestenbefehls, die den skalierten Betriebsmodus steuern. Method according to one of the preceding claims, marked by: - Entering another voice command or another gesture command that controls the scaled operating mode. Zielsystem zum Abruf und zur Steuerung von Daten und/oder Archivbildern in einer sterilen Umgebung, gekennzeichnet durch: – eine Spracherkennungseinheit (2), die ausgebildet ist, einen Sprachbefehl zu erkennen, einen Betriebsmodus entsprechend dem Sprachbefehl auszuwählen und den ausgewählten Betriebsmodus einzuschalten, und – eine Gestenerkennungseinheit (3), die ausgebildet ist, einen Gestenbefehl zu erkennen und den Betriebsmodus aufgrund des Gestenbefehls zu skalieren. Target system for retrieving and controlling data and / or archive images in a sterile environment, characterized by: - a speech recognition unit ( 2 ) configured to recognize a voice command, to select an operation mode corresponding to the voice command and to turn on the selected operation mode, and - a gesture recognition unit ( 3 ) configured to recognize a gesture command and to scale the operation mode based on the gesture command. Zielsystem nach Anspruch 6 zur Durchführung eines Verfahrens nach Anspruch 2 oder 3. Target system according to claim 6 for carrying out a method according to claim 2 or 3. Zielsystem zum Abruf und zur Steuerung von Daten und/oder Archivbildern in einer sterilen Umgebung, gekennzeichnet durch: – eine Gestenerkennungseinheit (3), die ausgebildet ist, einen Gestenbefehl zu erkennen, einen Betriebsmodus entsprechend dem Gestenbefehl auszuwählen und den ausgewählten Betriebsmodus einzuschalten, und – eine Spracherkennungseinheit (2), die ausgebildet ist, einen Sprachbefehl zu erkennen und den Betriebsmodus aufgrund des Sprachbefehls zu skalieren. Target system for retrieving and controlling data and / or archive images in a sterile environment, characterized by: - a gesture recognition unit ( 3 ) configured to detect a gesture command, to select an operation mode corresponding to the gesture command and to turn on the selected operation mode, and a voice recognition unit ( 2 ) configured to recognize a voice command and scale the operating mode based on the voice command. Zielsystem nach Anspruch 9 zur Durchführung eines Verfahrens nach Anspruch 5. Target system according to claim 9 for carrying out a method according to claim 5.
DE201310201527 2013-01-30 2013-01-30 Method for retrieving and controlling data and/or archiving images in sterile environment by target system involves recognizing gesture command is recognized for scaling operating mode due to gesture command Ceased DE102013201527A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201310201527 DE102013201527A1 (en) 2013-01-30 2013-01-30 Method for retrieving and controlling data and/or archiving images in sterile environment by target system involves recognizing gesture command is recognized for scaling operating mode due to gesture command

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310201527 DE102013201527A1 (en) 2013-01-30 2013-01-30 Method for retrieving and controlling data and/or archiving images in sterile environment by target system involves recognizing gesture command is recognized for scaling operating mode due to gesture command

Publications (1)

Publication Number Publication Date
DE102013201527A1 true DE102013201527A1 (en) 2013-12-24

Family

ID=49713837

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310201527 Ceased DE102013201527A1 (en) 2013-01-30 2013-01-30 Method for retrieving and controlling data and/or archiving images in sterile environment by target system involves recognizing gesture command is recognized for scaling operating mode due to gesture command

Country Status (1)

Country Link
DE (1) DE102013201527A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013206553A1 (en) 2013-04-12 2014-10-16 Siemens Aktiengesellschaft A method of operating a device in a sterile environment
DE102014107966A1 (en) * 2014-06-05 2015-12-17 Atlas Elektronik Gmbh Screen, sonar and watercraft
CN109917553A (en) * 2019-04-19 2019-06-21 张三妹 A kind of intelligence diagosis machine

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US20060082542A1 (en) * 2004-10-01 2006-04-20 Morita Mark M Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
DE102007044792A1 (en) 2007-09-19 2009-04-02 Siemens Ag Method, control unit and system for control or operation
US20100231509A1 (en) * 2009-03-12 2010-09-16 Marc Boillot Sterile Networked Interface for Medical Systems
US20110288850A1 (en) * 2010-05-21 2011-11-24 Delta Electronics, Inc. Electronic apparatus with multi-mode interactive operation method
US20120030637A1 (en) * 2009-06-19 2012-02-02 Prasenjit Dey Qualified command

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US20060082542A1 (en) * 2004-10-01 2006-04-20 Morita Mark M Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
DE102007044792A1 (en) 2007-09-19 2009-04-02 Siemens Ag Method, control unit and system for control or operation
US20100231509A1 (en) * 2009-03-12 2010-09-16 Marc Boillot Sterile Networked Interface for Medical Systems
US20120030637A1 (en) * 2009-06-19 2012-02-02 Prasenjit Dey Qualified command
US20110288850A1 (en) * 2010-05-21 2011-11-24 Delta Electronics, Inc. Electronic apparatus with multi-mode interactive operation method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BIGDELOU, A. [et al.]: An Adaptive Solution for Intra-Operative Gesture-based Human-Machine Interaction. Proceedings of the 2012 ACM International Conference on Intelligent User Interfaces, 2012, S. 75-84. *
CHERNAKOVA, S. [et al.]: Assistive Multimodal Interfaces for Medical Applications. Proceedings of the 11th International Conference on Speech and Computer, St. Petersburg, Russia, 2006, S. 199-203. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013206553A1 (en) 2013-04-12 2014-10-16 Siemens Aktiengesellschaft A method of operating a device in a sterile environment
DE102014107966A1 (en) * 2014-06-05 2015-12-17 Atlas Elektronik Gmbh Screen, sonar and watercraft
CN109917553A (en) * 2019-04-19 2019-06-21 张三妹 A kind of intelligence diagosis machine

Similar Documents

Publication Publication Date Title
WO2013056902A1 (en) Display and operating device
EP2822814B1 (en) Motor vehicle with an electronic rear view mirror
DE102012004793A1 (en) Motor vehicle with an electronic rearview mirror
DE102014225161A1 (en) Multi-operating system and method using a touchpad of an operating system of a vehicle
DE102013206553A1 (en) A method of operating a device in a sterile environment
DE102010025354B4 (en) Driver assistance system for a motor vehicle
WO2006066742A1 (en) Control system for a vehicle
EP2924551B1 (en) Method and device for providing a graphical user interface in a vehicle
EP3508968A1 (en) Human-machine interface and method for operating a human-machine interface
DE102013203918A1 (en) A method of operating a device in a sterile environment
DE102012009429A1 (en) Method for remote configuration of electric car, involves displaying visually perceptible connection between two graphic elements of two display modes, where one of modes corresponds to actual control arrangement in vehicle
DE102012020607A1 (en) Method for controlling selection element e.g. cursor, on monitor of e.g. navigation device, of motor vehicle i.e. passenger car, involves activating function of electronic device by control device based on relative position of finger
DE102013201527A1 (en) Method for retrieving and controlling data and/or archiving images in sterile environment by target system involves recognizing gesture command is recognized for scaling operating mode due to gesture command
DE102016006762A1 (en) INFORMATION PROCESSING DEVICE FOR EDITING ELECTRONIC DATA BY TOUCHING
EP3077892B1 (en) Motor vehicle control apparatus with touch-sensitive input panel
DE102019108689A1 (en) Method and device for controlling a material handling and / or construction machine
DE102013219194B4 (en) medicine system
DE102016208575A1 (en) Touchpad with gesture control for wallscreen
EP2555097A1 (en) Method and device for determining a section of an image and triggering imaging using a single touch-based gesture
DE102014205671A1 (en) Device for shutter control
DE102014210892A1 (en) A method of operating an input device and input device controllable by gestures performed with at least one body part of the human body
DE102013214326A1 (en) Method for operating an input device, input device
EP3523714A1 (en) Method for adapting the presentation and use of a graphical user interface
DE102012021627A1 (en) Method for displaying information in a vehicle and device for controlling the display
EP2724220A1 (en) Methods and products for influencing the representation of pictorial information by a display device of an information technology apparatus

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0003160000

Ipc: G06F0019000000

R230 Request for early publication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final

Effective date: 20140219