DE102018209717A1 - Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier - Google Patents
Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier Download PDFInfo
- Publication number
- DE102018209717A1 DE102018209717A1 DE102018209717.8A DE102018209717A DE102018209717A1 DE 102018209717 A1 DE102018209717 A1 DE 102018209717A1 DE 102018209717 A DE102018209717 A DE 102018209717A DE 102018209717 A1 DE102018209717 A1 DE 102018209717A1
- Authority
- DE
- Germany
- Prior art keywords
- user
- user interface
- data
- medical technology
- additional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004590 computer program Methods 0.000 title claims description 9
- 230000008569 process Effects 0.000 title description 3
- 238000005516 engineering process Methods 0.000 claims abstract description 51
- 230000000694 effects Effects 0.000 claims abstract description 18
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000008921 facial expression Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 description 14
- 230000002996 emotional effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
Abstract
Verfahren zur Steuerung des Betriebs einer Medizintechnikeinrichtung (21), welche wenigstens eine zur Ausgabe einer Benutzeroberfläche genutzte Ausgabevorrichtung mit zugeordneter und/oder integrierter Eingabevorrichtung umfasst, wobei aus einer mittels der Benutzeroberfläche erfolgten Benutzereingabe zur Steuerung der Medizintechnikeinrichtung (21) verwendete Einstellungsinformationen ermittelt werden, wobei die Benutzeroberfläche unter Verwendung von Ausgangsdaten wenigstens eines Analysealgorithmus (18) der künstlichen Intelligenz aktualisiert wird, wobei als Eingangsdaten (14) für den Analysealgorithmus (18) wenigstens eine den Zustand und/oder die Handlungen des Benutzers (1) neben der Eingabetätigkeit beschreibende Zusatzinformation (17) ermittelt und verwendet wird.Method for controlling the operation of a medical technology device (21), which comprises at least one output device used for outputting a user interface with an assigned and / or integrated input device, wherein setting information used to control the medical technology device (21) by means of the user interface is determined, whereby the user interface is updated using output data from at least one analysis algorithm (18) of artificial intelligence, with at least one additional information describing the state and / or the actions of the user (1) in addition to the input activity () as input data (14) for the analysis algorithm (18) 17) is determined and used.
Description
Die Erfindung betrifft ein Verfahren zur Steuerung des Betriebs einer Medizintechnikeinrichtung, welche wenigstens eine zur Ausgabe einer Benutzeroberfläche genutzte Ausgabevorrichtung mit zugeordneter und/oder integrierter Eingabevorrichtung umfasst, wobei aus einer mittels der Benutzeroberfläche erfolgten Benutzereingabe zur Steuerung der Medizintechnikeinrichtung verwendete Einstellungsinformationen ermittelt werden. Daneben betrifft die Erfindung eine Medizintechnikeinrichtung, ein Computerprogramm und einen elektronisch lesbaren Datenträger.The invention relates to a method for controlling the operation of a medical technology device, which comprises at least one output device used for outputting a user interface with an assigned and / or integrated input device, setting information used to control the medical technology device being determined by means of the user interface. In addition, the invention relates to a medical technology device, a computer program and an electronically readable data carrier.
Moderne Medizintechnikeinrichtungen, also insbesondere größere medizintechnische Anlagen, zur Untersuchung und/oder Behandlung von Patienten nehmen in ihrer Ausstattung und Bedienung an Komplexität zu. Mithin stellt die Bedienung eines medizinischen Diagnostik-/Therapiesystems hinsichtlich der Usability und der Ergonomie eine Herausforderung in der Realisierung dar. Dabei ist eine einfache und intuitive Bedienung wünschenswert, aber bei bisher bekannten Medizintechnikeinrichtungen häufig nur unzureichend umgesetzt. Beispielsweise sind medizinische Untersuchungseinrichtungen, insbesondere Röntgeneinrichtungen, bekannt, die für die Bedienung eine Vielzahl von Bedienorten mit unterschiedlichen Bedieneinrichtungen aufweisen. Beispielsweise kann eine Bildschirmkonsole mit Tastatur und Maus in einem Vorraum des Raumes, in dem die Medizintechnikeinrichtung angeordnet ist, vorgesehen sein, wobei des Weiteren als Ausgabe- und Eingabevorrichtung ein Touchscreen, beispielsweise an einem deckengehängten Röntgenstrahler, und/oder eine oder mehrere Nahbedieneinheiten (kabelgebunden oder kabellos) vorgesehen sein können.Modern medical technology facilities, in particular larger medical technology systems, for examining and / or treating patients are becoming more complex in terms of their equipment and operation. The operation of a medical diagnostic / therapy system therefore presents a challenge in terms of usability and ergonomics in implementation. Simple and intuitive operation is desirable, but is often insufficiently implemented in previously known medical technology facilities. For example, medical examination devices, in particular x-ray devices, are known which have a large number of operating locations with different operating devices for the operation. For example, a screen console with keyboard and mouse can be provided in an anteroom of the room in which the medical technology device is arranged, a touch screen, for example on a ceiling-mounted X-ray emitter, and / or one or more local control units (wired) as an output and input device or wireless) can be provided.
Die meisten derartigen, aus einer Anzeigevorrichtung und einer zugeordneten und/oder integrierten Eingabevorrichtung gebildeten Bedieneinrichtungen nutzen hierbei Benutzeroberflächen (Benutzerinterfaces) unterschiedlicher Art, vorwiegend graphische Benutzeroberflächen (graphical user interface - GUI). Mit den meisten dieser Benutzeroberflächen interagiert der Benutzer touch-basiert und/oder über eine Maus. Im Stand der Technik wurde im Übrigen auch bereits vorgeschlagen, mobile Bediengeräte als Bedieneinrichtungen zu verwenden, beispielsweise Smart Devices.Most of such operating devices, formed from a display device and an associated and / or integrated input device, use different types of user interfaces, predominantly graphical user interfaces (GUI). The user interacts with most of these user interfaces based on touch and / or using a mouse. Incidentally, the prior art has also already proposed using mobile operating devices as operating devices, for example smart devices.
Benutzeroberflächen werden so programmiert, dass zum einen eine Bedienung durch alle denkbaren Benutzer erfolgen kann, zum anderen aber auch alle denkbaren Funktionalitäten durch die Benutzeroberflächen steuerbar sind. Dies resultiert in komplexen Bedieneinrichtungen, für die Benutzer speziell geschult werden müssen und/oder auf Hilfefunktionen/Bedienungsanleitungen zurückgreifen müssen, insbesondere dann, wenn selten durchgeführte Aufgaben bewältigt werden sollen. Zwar wurde inzwischen ebenso vorgeschlagen, Benutzeroberflächen durch Benutzer selbst anpassbar zu gestalten und diese Anpassungen in einem Benutzerprofil abzuspeichern, jedoch vereinfacht dies die Bedienung der Medizintechnikeinrichtung nur in einem beschränkten Rahmen.User interfaces are programmed so that, on the one hand, they can be operated by all conceivable users, and on the other hand, all conceivable functionalities can also be controlled by the user interfaces. This results in complex operating devices for which users have to be specially trained and / or have to use help functions / operating instructions, especially when tasks that are seldom carried out are to be mastered. Although it has also been proposed in the meantime to make user interfaces adaptable by users themselves and to store these adaptations in a user profile, this simplifies the operation of the medical technology device only to a limited extent.
Der Erfindung liegt daher die Aufgabe zugrunde, eine die Bedienung einer Medizintechnikeinrichtung vereinfachende und insbesondere auch die Nutzbarkeit der Medizintechnikeinrichtung verbessernde Ausgestaltung einer Bedieneinrichtung anzugeben.The invention is therefore based on the object of specifying a configuration of an operating device which simplifies the operation of a medical technology device and in particular also improves the usability of the medical technology device.
Diese Aufgabe wird gelöst durch ein Verfahren, eine Medizintechnikeinrichtung, ein Computerprogramm und einen elektronisch lesbaren Datenträger gemäß den unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.This object is achieved by a method, a medical device, a computer program and an electronically readable data carrier in accordance with the independent claims. Advantageous configurations result from the subclaims.
Ein erfindungsgemäßes Verfahren der eingangs genannten Art sieht vor, dass die Benutzeroberfläche unter Verwendung von Ausgangsdaten wenigstens eines Analysealgorithmus der künstlichen Intelligenz aktualisiert wird, wobei als Eingangsdaten für den Analysealgorithmus wenigstens eine den Zustand und/oder die Handlungen des Benutzers neben der Eingabetätigkeit beschreibende Zusatzinformation ermittelt und verwendet wird.A method according to the invention of the type mentioned at the outset provides for the user interface to be updated using output data from at least one analysis algorithm of artificial intelligence, the input data for the analysis algorithm being determined and at least additional information describing the condition and / or the actions of the user in addition to the input activity is used.
Durch die Verwendung von Zusatzinformation über den Benutzer, die nicht per se dessen Eingabetätigkeit beschreibt und ohnehin benötigt wird, damit die aus der Ausgabevorrichtung und der Eingabevorrichtung gebildete Bedieneinrichtung ihre Aufgabe erfüllen kann, wird es ermöglicht, nochmals deutlich besser auf den Benutzer einzugehen und somit eine insbesondere auf den Benutzerzustand abgestellte, adaptive und intelligente Benutzeroberfläche zu schaffen, die die Bedienung der Medizintechnikeinrichtung deutlich intuitiver gestaltet, somit vereinfacht, und den Benutzer gezielt auf seine Bedürfnisse abgestellt unterstützen kann. Dabei ist es im Übrigen besonders bevorzugt, wenn als Eingangsdaten für den Analysealgorithmus auch die Eingabetätigkeit des Benutzers beschreibende Bediendaten und/oder den Betriebszustand der Medizintechnikeinrichtung und/oder den Ablaufzustand eines durchzuführenden Workflows beschreibende Systemdaten verwendet werden. Damit existiert eine umfassende Datenbasis, auf deren Grundlage es, wie sich gezeigt hat, hervorragend möglich ist, eine entsprechende adaptive und intelligente Benutzeroberfläche zu realisieren, die in der aktuellen Betriebssituation der Medizintechnikeinrichtung geeignete Informationen und/oder Eingabemöglichkeiten bereitstellt. Dabei können einen durchzuführenden Workflow beschreibende Systemdaten selbstverständlich auch eine aktuell mit der Medizintechnikeinrichtung durchzuführende Aufgabe beschreiben, beispielsweise eine Untersuchungsaufgabe und/oder eine Behandlungsaufgabe bezüglich eines aktuellen Patienten.The use of additional information about the user, which does not describe his input activity per se and is required anyway so that the operating device formed from the output device and the input device can fulfill its task, makes it possible to respond much better to the user and thus one in particular to create an adaptive and intelligent user interface based on the user state, which makes the operation of the medical technology device significantly more intuitive, thus simplified, and can support the user in a targeted manner according to his needs. In addition, it is particularly preferred if operating data describing the input activity of the user and / or the operating state of the medical technology device and / or system data describing the run state of a workflow to be carried out are also used as input data for the analysis algorithm. A comprehensive database thus exists, on the basis of which, as has been shown, it is excellently possible to implement a corresponding adaptive and intelligent user interface which provides suitable information and / or input options in the current operating situation of the medical technology device. there system data describing a workflow to be carried out can of course also describe a task currently to be carried out with the medical technology device, for example an examination task and / or a treatment task relating to a current patient.
Basierend auf solchen Eingangsdaten, insbesondere also Systemdaten, Bediendaten (die letztlich Interaktionsinformationen darstellen) und der Zusatzinformation in Kombination mit künstlicher Intelligenz können nützliche Ausgangsdaten erzeugt werden, die eine hervorragende, jeweils aktuelle Anpassung der Benutzeroberfläche erlauben. So ist es beispielsweise möglich, die Rolle des Benutzers, sein Skill-Level, möglicherweise vorliegende Probleme und voraussichtlich folgende nächste Schritte im Workflow vorherzusagen. Aufgrund solcher und weiterer Informationen kann die intelligente und adaptive Benutzeroberfläche rollen-, aufgaben-, betriebs-, und benutzerzustandsspezifische Informationen und/oder Eingabemöglichkeiten und/oder Hilfe/Führung bereitstellen, die bevorzugt ebenso auf der spezifischen Befähigung des Benutzers, die Medizintechnikeinrichtung zu bedienen, basieren kann. Insgesamt wird die Bedienung der Medizintechnikeinrichtung somit vereinfacht und insbesondere auch beschleunigt. Der Benutzer kann mittels der intelligenten und adaptiven Benutzeroberfläche zu optimaleren Ergebnissen in speziellen Aufgabenbereichen geführt werden.Based on such input data, in particular system data, operating data (which ultimately represent interaction information) and the additional information in combination with artificial intelligence, useful output data can be generated which allow an excellent, current adaptation of the user interface. For example, it is possible to predict the role of the user, his skill level, any problems that may exist and the next steps that are likely to follow in the workflow. On the basis of such and other information, the intelligent and adaptive user interface can provide role, task, operating and user status-specific information and / or input options and / or help / guidance, which preferably also depends on the specific ability of the user to operate the medical technology device, can be based. Overall, the operation of the medical technology device is thus simplified and in particular also accelerated. Using the intelligent and adaptive user interface, the user can be guided to more optimal results in special task areas.
Zusammenfassend nutzt die vorliegende Erfindung also unterschiedliche Eingangsdaten, umfassend insbesondere die benutzerbezogene Zusatzinformation, um eine adaptive, intelligente Benutzeroberfläche bereitzustellen. Die Vorteile liegen insbesondere darin, dass mit einer intelligenten, adaptiven Benutzeroberfläche (Intelligent Adaptive User Interface - IAUI) einfacher gearbeitet werden kann, da es aufgrund der Zusatzinformation insbesondere auch rollen-, skilllevel- und benutzerzustandsbasierte Benutzeroberflächenelemente, Unterstützung und Führung bereitstellen kann. Beispielsweise können Benutzungsneulinge die Bedienung der Medizintechnikeinrichtung nach und nach lernen und das Niveau der Unterstützung, Führung und Hilfe kann reduziert werden, während die Befähigung des Benutzers zur Bedienung des Systems ansteigt. Hieraus resultieren Wettbewerbsvorteile für Hersteller, die mithin Medizintechnikeinrichtungen anbieten können, welche Benutzeroberflächen bereitstellen, die eine einfachere, schnellere und sicherere Steuerung der Medizintechnikeinrichtung erlauben.In summary, the present invention thus uses different input data, including in particular the user-related additional information, in order to provide an adaptive, intelligent user interface. The advantages are in particular that it is easier to work with an intelligent, adaptive user interface (Intelligent Adaptive User Interface - IAUI), since it can also provide role, skill level and user status based user interface elements, support and guidance due to the additional information. For example, novice users can gradually learn to operate the medical technology device and the level of support, guidance and help can be reduced while the user's ability to operate the system increases. This results in competitive advantages for manufacturers who can therefore offer medical technology devices which provide user interfaces which allow easier, faster and safer control of the medical technology device.
Mit besonderem Vorteil kann die Zusatzinformation aus Sensordaten eines wenigstens einen Teil des Benutzers erfassenden Sensors ermittelt werden. Dabei können sowohl zusätzliche als auch ohnehin vorhandene Sensoren verwendet werden, die Teil der Medizintechnikeinrichtung oder dieser zugeordnet sind.The additional information can be determined with particular advantage from sensor data of a sensor that detects at least part of the user. Both additional and already existing sensors can be used, which are part of the medical device or assigned to it.
In einer besonders bevorzugten Ausgestaltung der vorliegenden Erfindung ist vorgesehen, dass als Sensor ein die Blickrichtung des Benutzers auf die dargestellte Benutzeroberfläche nachverfolgender optischer Sensor, insbesondere eine Kamera, verwendet wird. Weist die Benutzeroberfläche mithin einen insbesondere unter Nutzung eines Displays als Ausgabevorrichtung dargestellten, graphischen Anteil (GUI) auf, kann nachverfolgt werden, welchen Anteil der Benutzeroberfläche der Benutzer gerade bzw. auch im zeitlichen Verlauf betrachtet. Dabei kann es sich bei dem optischen Sensor um eine zweidimensionale Bilddaten oder bevorzugt eine dreidimensionale Bilddaten liefernde Kamera (2D-Kamera oder 3D-Kamera) handeln. Derartige Sensoriken zum Nachverfolgen der Blickrichtung von Personen wurden im Stand der Technik bereits vorgeschlagen („Gaze Recognition“), stellen im Rahmen der vorliegenden Erfindung jedoch eine besonders zweckmäßige Umsetzung zur Ermittlung der Zusatzinformation dar. Eine entsprechend hergeleitete Zusatzinformation kann auch als Blickrichtungsinformation bezeichnet werden.In a particularly preferred embodiment of the present invention, it is provided that an optical sensor, in particular a camera, is used as the sensor to track the user's direction of view of the user interface shown. If the user interface therefore has a graphical portion (GUI), which is shown in particular using a display as an output device, it can be tracked which portion of the user interface the user is currently viewing or also over time. The optical sensor can be a two-dimensional image data or preferably a three-dimensional image data camera (2D camera or 3D camera). Such sensors for tracking the gaze direction of people have already been proposed in the prior art (“gauze recognition”), but within the scope of the present invention represent a particularly expedient implementation for determining the additional information. A correspondingly derived additional information can also be referred to as gaze direction information.
Konkret kann vorgesehen sein, dass als Zusatzinformation ein aufgrund der Blickrichtung ermittelter, von dem Benutzer betrachteter Anteil der Benutzeroberfläche verwendet wird. Insbesondere kann der Blick des Benutzers auch einem oder mehreren auf der aktuell dargestellten Benutzeroberfläche gezeigten Benutzeroberflächenelementen zugeordnet werden, beispielsweise Fenstern, dargestellten Informationen und/oder Bedienmöglichkeiten. Dies ermöglicht es nicht nur, beispielsweise durch Analyse des zeitlichen Verlaufs festzustellen, wie lange ein Benutzer bestimmte Elemente der Benutzeroberfläche sucht bzw. für deren Verständnis benötigt, sondern auch, ob dem Benutzer gegebenenfalls wichtige Informationen eines Benutzeroberflächenelements entgehen. Während erstere Information beispielsweise im Hinblick auf eine Befähigung des Benutzers (Skilllevel) bzw. einen Gefühlszustand des Benutzers ausgewertet werden können, kann letztere Information, also ein nicht wahrgenommenes, aber als wichtig bewertetes Benutzeroberflächenelement auf ein bestehendes Problem hindeuten.Specifically, it can be provided that a portion of the user interface determined by the user and determined on the basis of the viewing direction is used as additional information. In particular, the user's gaze can also be assigned to one or more user interface elements shown on the currently displayed user interface, for example windows, displayed information and / or operating options. This makes it possible not only to determine, for example by analyzing the time course, how long a user is looking for certain elements of the user interface or to understand them, but also to determine whether the user is missing important information about a user interface element. While the former information can be evaluated, for example with regard to a user's ability (skill level) or a feeling state of the user, the latter information, that is to say a user interface element which is not perceived but is rated as important, can indicate an existing problem.
Entsprechend sieht eine besonders vorteilhafte Weiterbildung der vorliegenden Erfindung vor, dass bei einer als wichtig bewerteten, aufgrund des betrachteten Anteils übersehenen Information der Analysealgorithmus die Benutzeroberfläche zur besseren Wahrnehmung der Information und/oder zum Hinweis auf die Information aktualisiert. Durch die Identifikation von Benutzeroberflächenelementen, die vom Benutzer übersehen wurden, beispielsweise von Warnungen, die ignoriert werden, kann seitens des Analysealgorithmus entschieden werden, auf diese Benutzeroberflächenelemente nachdrücklicher hinzuweisen, was im Übrigen auch über graphische Ausgaben hinausgehen kann, beispielsweise durch akustische Warnsignale gemeinsam mit graphischen Hervorhebungen oder dergleichen. Auf diese Weise wird die Gesamtsicherheit der Medizintechnikeinrichtung erhöht, da ein dauerhaftes Übersehen wichtiger Informationen verlässlicher vermieden werden kann.Accordingly, a particularly advantageous development of the present invention provides that when the information is assessed as important and is overlooked on the basis of the portion considered, the analysis algorithm updates the user interface for better perception of the information and / or for reference to the information. By identifying user interface elements that have been overlooked by the user, For example, warnings that are ignored can be decided on the part of the analysis algorithm to emphasize these user interface elements, which can also go beyond graphic output, for example by acoustic warning signals together with graphic highlights or the like. In this way, the overall security of the medical technology device is increased, since a permanent oversight of important information can be avoided more reliably.
In einer besonders vorteilhaften Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass, insbesondere bei auch das Gesicht des Benutzers erfassendem optischen Sensor, durch eine Bildverarbeitung von Sensordaten des optischen Sensors eine den Gesichtsausdruck, insbesondere einen Gefühlszustand des Benutzers und/oder das Alter des Benutzers, beschreibende Zusatzinformation ermittelt wird. Basierend auf den von dem insbesondere als Kamera ausgebildeten optischen Sensor gelieferten Bilddaten kann auch eine Erweiterung hinsichtlich der Erkennung von Gesichtsausdrücken, Gefühlszuständen und Alter vorgenommen werden, um die Zusatzinformation entsprechend zu erweitern und weitere nützliche Informationen für den Analysealgorithmus bereitzustellen. Insbesondere kann diesem Kontext, wie im Stand der Technik bereits grundsätzlich vorgeschlagen, auch vorgesehen sein, dass zur Bildverarbeitung ein Bildverarbeitungsalgorithmus der künstlichen Intelligenz verwendet wird, der solche Zusatzinformationen besonders verlässlich und robust bestimmen kann. Beispielsweise können Bilddaten des optischen Sensors kontinuierlich zur Klassifikation von Gefühlszuständen, Alter, Gesichtsausdrücken und dergleichen verarbeitet werden. Solche Zusatzinformationen können mit besonderem Vorteil hinsichtlich der Befähigung des aktuellen Benutzers und/oder des Vorliegens aktueller Probleme ausgewertet werden. Beispielsweise kann ein verwirrter Gesichtsausdruck eines Benutzers darauf hinweisen, dass er mit der aktuellen Situation überfordert ist und eine spezifische Hilfestellung benötigt, die insbesondere bei Verwendung von Systemdaten als Eingangsdaten aufgrund der aktuellen Aufgabe bzw. des aktuellen Ablaufzustands eines Workflows noch genauer spezifiziert werden kann. Auch hinsichtlich der Vorhersage möglicher zukünftiger Schritte können Informationen über den Gefühlszustand und/oder Gesichtsausdrücke des Benutzers deutliche Hinweise geben, die der Analysealgorithmus, welcher im Übrigen selbstverständlich unter Verwendung geeigneter Trainingsdaten trainiert wurde, entsprechend zu erkennen vermag. Hinsichtlich einer Erkennung des Alters des Benutzers können möglicherweise bestehende Probleme in ihrer Auftretenswahrscheinlichkeit unterschiedlich gewichtet werden und/oder eine Anpassung auf eine abgeschätzte vorliegende Reaktionsgeschwindigkeit des Benutzers vorgenommen werden.In a particularly advantageous further development of the present invention, it can be provided that, in particular in the case of an optical sensor which also detects the face of the user, an image expression of the facial expression, in particular a feeling state of the user and / or the age of the user, by image processing of sensor data of the optical sensor, descriptive additional information is determined. Based on the image data supplied by the optical sensor, which is designed in particular as a camera, an expansion can also be carried out with regard to the recognition of facial expressions, emotional states and age in order to expand the additional information accordingly and to provide further useful information for the analysis algorithm. In particular, as already fundamentally suggested in the prior art, this context can also provide that an image processing algorithm of artificial intelligence is used for image processing, which can determine such additional information in a particularly reliable and robust manner. For example, image data of the optical sensor can be processed continuously for the classification of emotional states, age, facial expressions and the like. Such additional information can be evaluated with particular advantage with regard to the ability of the current user and / or the presence of current problems. For example, a confused facial expression of a user can indicate that he is overwhelmed by the current situation and needs specific help, which can be specified even more precisely, especially when using system data as input data, based on the current task or the current execution status of a workflow. With regard to the prediction of possible future steps, information about the emotional state and / or facial expressions of the user can give clear indications which the analysis algorithm, which, of course, was also trained using suitable training data, can recognize accordingly. With regard to the detection of the age of the user, existing problems can possibly be weighted differently in terms of their probability of occurrence and / or an adjustment can be made to an estimated existing reaction speed of the user.
Im Rahmen der vorliegenden Erfindung ist es ferner denkbar, wenn als Sensor ein insbesondere auch zur Erfassung von Eingabetätigkeiten dienender, Gesten des Benutzers erfassender Gestensensor verwendet wird. Hierbei kann es sich insbesondere um einen kapazitiv messenden Eingabesensor eines Touchscreens als kombinierte Ausgabevorrichtung/Eingabevorrichtung handeln. Entsprechende Sensoren sind heute beispielsweise auch in der Lage, insbesondere in einer Ausbildung als räumlicher 3D-Kapazitätssensor, Hand- und Armbewegungen oberhalb der Darstellungsfläche zu erfassen, woraus wiederum Gesten des Benutzers schlussgefolgert werden können. Dabei sei darauf hingewiesen, dass entsprechende Gesten gegebenenfalls nicht nur als Zusatzinformation aufzufassen sind, sondern auch durchaus bei entsprechend vorgesehener Eingabemöglichkeit zumindest teilweise als Eingabedaten dienen können, was beispielsweise bei bestimmten Aufgaben, insbesondere der Bildverarbeitung bei Bildaufnahmeeinrichtungen, ein schnelleres Arbeiten ermöglichen kann. Ferner sei in diesem Kontext darauf hingewiesen, dass eine Gestenerkennung auch über einen optischen Sensor, der die entsprechenden Bereiche des Benutzers wahrnimmt, erfolgen kann, insbesondere bei Verwendung einer 3D-Kamera. In konkreten Ausgestaltungen können beispielsweise Gesten der Hilflosigkeit oder dergleichen klassifiziert und detektiert werden und einer entsprechenden Auswertung durch den Analysealgorithmus zugeführt werden.In the context of the present invention, it is also conceivable if a gesture sensor, which is also used to record input activities and which detects gestures of the user, is used as the sensor. In particular, this can be a capacitively measuring input sensor of a touch screen as a combined output device / input device. Corresponding sensors are now also able, for example, to detect hand and arm movements above the display area, in particular in the form of a spatial 3D capacitance sensor, from which gestures of the user can in turn be concluded. It should be noted that appropriate gestures may not only be interpreted as additional information, but may also at least partially serve as input data if the corresponding input option is provided, which may enable faster work, for example, for certain tasks, in particular image processing in image recording devices. In this context, it should also be pointed out that gesture recognition can also take place via an optical sensor, which perceives the corresponding areas of the user, in particular when using a 3D camera. In specific configurations, gestures of helplessness or the like can be classified and detected, for example, and can be sent to a corresponding evaluation by the analysis algorithm.
Als besonders zweckmäßig im Rahmen der vorliegenden Erfindung hat es sich erwiesen, wenn eine Identifizierung eines aktuellen Benutzers erfolgt. Dies ermöglicht es, Zusatzinformationen einem bestimmten Benutzer zuzuordnen bzw. einem Benutzer klar zugeordnete zeitliche Verläufe von Zusatzinformationen (sowie weiteren Eingangsdaten) zu betrachten, was beispielsweise dann, wenn ein Skilllevel des Benutzers ermittelt werden soll, eine nützliche Handhabe darstellt. Dabei ist unter einer Identifikation eines Benutzers bereits die Erkennung eines Benutzerwechsels an der Bedieneinrichtung zu verstehen, da dann deutlich wird, dass sich die Zusatzdaten von nun an auf einen anderen Benutzer beziehen. Bevorzugt ist jedoch die Verwendung von automatisch und/oder aufgrund benutzerseitiger Eingaben erstellen Benutzerprofilen und/oder Benutzeraccounts, um die Eingabedaten einem definierten Benutzer zuordnen zu können.It has proven to be particularly expedient in the context of the present invention if an identification of a current user takes place. This makes it possible to assign additional information to a specific user, or to view a time course of additional information (and further input data) that is clearly assigned to a user, which is useful, for example, when a skill level of the user is to be determined. An identification of a user is to be understood as the detection of a user change on the operating device, since it then becomes clear that the additional data relate to another user from now on. However, it is preferred to use user profiles and / or user accounts that are created automatically and / or on the basis of user-side inputs in order to be able to assign the input data to a defined user.
Die Identifizierung des Benutzers kann aufgrund einer Benutzereingabe, insbesondere eines Einlogvorgangs, und/oder aufgrund von biometrischen Daten des Benutzers, insbesondere durch Auswertung von Bilddaten des optischen Sensors, erfolgen. Bei einem Einlogvorgang kann beispielsweise ein datenverarbeitungstechnisch fest vorgesehenes Benutzerprofil genutzt werden, indem ein Benutzername und ein Passwort abgefragt werden. Besonders vorteilhaft ist es jedoch, den Benutzer automatisch zu identifizieren und insbesondere wiederzuerkennen, wofür sich der bereits erwähnte optische Sensor, insbesondere die Kamera, der ja Bilddaten des Gesichts des Benutzers liefert, besonders eignet, um beispielsweise mit grundsätzlich bekannten Algorithmen eine Gesichtserkennung durchzuführen.The identification of the user can be based on a user input, in particular a login process, and / or on the basis of biometric data of the user, in particular by evaluating image data of the optical sensor, respectively. When logging in, for example, a user profile that is permanently provided in terms of data processing technology can be used by querying a user name and a password. However, it is particularly advantageous to automatically identify and, in particular, to recognize the user again, for which the aforementioned optical sensor, in particular the camera, which provides image data of the user's face, is particularly suitable, for example in order to carry out facial recognition using generally known algorithms.
Bevorzugt ist es ferner, wie bereits angedeutet, wenn für jeden identifizierten Benutzer ein Benutzerprofil verwendet wird, in dem wenigstens eine aus den Eingangsdaten ausgewählte und/oder bei der Ausführung des Analysealgorithmus ermittelte Benutzerinformation gespeichert wird. Dabei muss es sich nicht um eine dauerhafte Speicherung handeln, sondern es ist durchaus denkbar, ein Benutzerprofil auch dynamisch für einen aktuellen Benutzer anzulegen. Bevorzugt ist es jedoch, Benutzerprofile, insbesondere bei automatischer Erkennung, beispielsweise mittels Gesichtserkennung, dauerhaft vorzuhalten, um eine „Wiedererkennung“ eines Benutzers zu erlauben und die Entwicklung eines Benutzers, insbesondere hinsichtlich der Befähigung zur Bedienung der Medizintechnikeinrichtung, über mehrere Bedienzyklen nachzuverfolgen und auch dahingehend eine adaptive und intelligente Anpassung der Benutzeroberfläche zu erlauben.It is also preferred, as already indicated, if a user profile is used for each identified user in which at least one user information selected from the input data and / or ascertained when the analysis algorithm is executed is stored. This does not have to be permanent storage, but it is quite conceivable to also create a user profile dynamically for a current user. However, it is preferred to permanently hold user profiles, in particular in the case of automatic recognition, for example by means of face recognition, in order to allow “recognition” of a user and to track the development of a user, in particular with regard to the ability to operate the medical technology device, over several operating cycles and also to that effect to allow adaptive and intelligent adaptation of the user interface.
Vorzugsweise kann unter Verwendung eines zeitlichen Verlaufs von Zusatzinformationen und/oder aufgrund der Identifikation eine Rolle des Benutzers ermittelt werden und bei der Aktualisierung der Benutzeroberfläche verwendet werden, insbesondere durch Verwendung von rollenspezifischen Benutzeroberflächen. Während sich eine Rolle eines Benutzers, wobei die verwendeten Rollen bevorzugt Arzt und/oder technischer Assistent und/oder medizinischer Assistent umfassen, häufig bereits aus einer Identifikation des Benutzers ableiten lassen, ist es auch denkbar, eine Rolle aus dem durch die Zusatzinformation gegebenen Benutzerverhalten zu folgern, wobei hier bevorzugt zusätzlich auch weitere Eingabedaten, insbesondere Systemdaten und/oder Eingabedaten, herangezogen werden können. Ist die Rolle des Benutzers erst bekannt, können insbesondere rollenspezifisch ausgestaltete Benutzeroberflächen durch die entsprechende Aktualisierung erzeugt werden, beispielsweise für einen Arzt eine andere Darstellung bzw. allgemein Ausgabe erfolgen, wie für einen medizinischen und/oder technischen Assistenten. Mithin kann auch diesbezüglich eine optimale Anpassung auf den aktuellen Benutzer erfolgen.A role of the user can preferably be determined using a temporal course of additional information and / or on the basis of the identification and can be used when updating the user interface, in particular by using role-specific user interfaces. While a role of a user, the roles used preferably comprising a doctor and / or technical assistant and / or medical assistant, can often already be derived from an identification of the user, it is also conceivable to assign a role to the user behavior given by the additional information conclude, in which case additional input data, in particular system data and / or input data, can preferably also be used here. If the role of the user is only known, in particular role-specific user interfaces can be generated by the corresponding update, for example a different representation or general output for a doctor, such as for a medical and / or technical assistant. Therefore, an optimal adaptation to the current user can also take place in this regard.
In einer besonders bevorzugten Weiterbildung kann vorgesehen sein, dass aus einer Analyse des zeitlichen Verlaufs wenigstens der Zusatzinformation, insbesondere auch der Bediendaten, ein die Befähigung des Benutzers zur Bedienung der Medizintechnikeinrichtung beschreibendes Skilllevel ermittelt und bei der Aktualisierung der Benutzeroberfläche verwendet wird. Durch Beobachtung der Bedientätigkeit und des sonstigen Verhaltens des Benutzers kann mithin auf ein Skilllevel, also einen Fähigkeitswert, des Benutzers hinsichtlich der Medizintechnikeinrichtung geschlossen werden. Beispielsweise können Anfänger anhand langen Suchens, verwirrten Gefühlszuständen/Gesichtsausdrücken, häufigen Bedienfehlern und dergleichen als solche erkannt werden, wobei die Versiertheit im Umgang mit der die Benutzeroberfläche einsetzenden Bedieneinrichtung entsprechend durch eine erhöhte Sicherheit während der Bedientätigkeit erkannt werden kann. Konkret kann beispielsweise vorgesehen sein, dass das Skilllevel in vorgegebenen Stufen bestimmt wird, insbesondere umfassend Anfänger, erfahrener Benutzer und Experte.In a particularly preferred development, it can be provided that an analysis of the time course of at least the additional information, in particular also the operating data, determines a skill level describing the user's ability to operate the medical technology device and is used when updating the user interface. By observing the operating activity and the other behavior of the user, it is therefore possible to infer a skill level, that is to say an ability value, of the user with regard to the medical technology device. For example, beginners can be recognized as such on the basis of long searches, confused emotional states / facial expressions, frequent operating errors and the like, the level of sophistication in dealing with the operating device using the user interface being able to be recognized accordingly by increased security during the operating activity. Specifically, it can be provided, for example, that the skill level is determined in predetermined levels, in particular comprising beginners, experienced users and experts.
Auf diese Weise können beispielsweise Anfänger die Bedienung der Medizintechnikeinrichtung nach und nach lernen, wobei die Unterstützung, Führung und Hilfsfunktionen mit der Zeit reduziert werden können, während das Skilllevel des Benutzers ansteigt. Die Bediensicherheit wird erhöht, indem entsprechend auf das Skilllevel der Benutzer angepasste Benutzeroberflächenelemente eingesetzt werden.In this way, for example, beginners can gradually learn how to operate the medical technology device, with the support, guidance and auxiliary functions being reduced over time as the skill level of the user increases. Operator safety is increased by using user interface elements that are adapted to the skill level of the user.
Allgemein kann in einer bevorzugten Ausgestaltung der vorliegenden Erfindung vorgesehen sein, dass durch den Analysealgorithmus aufgrund der Eingangsdaten weitere Bedienschritte prädiziert werden und die Benutzeroberfläche zur Durchführung dieser Bedienschritte aktualisiert wird. Gerade der Einsatz künstlicher Intelligenz eignet sich besonders, mittels der Eingangsdaten hervorzusagen, welche zukünftigen Schritte anstehen, das bedeutet, welche Bedienhandlungen/Eingabetätigkeiten als nächstes zu erwarten sind. Die Benutzeroberfläche kann dann entsprechend so aktualisiert werden, dass diese Schritte schnell und einfach umgesetzt werden können.In general, it can be provided in a preferred embodiment of the present invention that the analysis algorithm predicts further operating steps on the basis of the input data and the user interface is updated in order to carry out these operating steps. The use of artificial intelligence is particularly suitable for using the input data to predict which future steps are pending, which means which operator actions / input activities are to be expected next. The user interface can then be updated accordingly so that these steps can be implemented quickly and easily.
Dabei sei an dieser Stelle noch angemerkt, dass selbstverständlich der Analysealgorithmus der künstlichen Intelligenz auch während des alltäglichen Betriebs weiter trainiert werden kann, was im Beispiel der Vorhersage weiterer Bedienschritte beispielsweise bedeuten kann, dass eine fehlerhafte Vorhersage erkannt wird und gleichzeitig gelernt wird, welche Bedienschritte der Benutzer statt den eigentlich vorhergesagten Bedienschritten vornimmt. Diese Lernfähigkeit lässt sich selbstverständlich auch auf andere Anwendungsmöglichkeiten übertragen, beispielsweise falsch erkannte Rollen, falsch erkannte Gefühlszustände und dergleichen.At this point, it should also be noted that, of course, the artificial intelligence analysis algorithm can also be trained during everyday operation, which in the example of predicting further operating steps can mean, for example, that an incorrect prediction is recognized and at the same time it is learned which operating steps the User instead of the actually predicted operating steps. This ability to learn can of course also be transferred to other possible applications, for example incorrectly identified roles, incorrectly identified emotional states and the like.
Zweckmäßig ist es im Rahmen der vorliegenden Erfindung ferner, wenn durch den Analysealgorithmus aufgrund der Eingangsdaten, insbesondere auch Systemdaten, vorliegende Problem- und/oder Fehlerzustände identifiziert werden und die Benutzeroberfläche zur Anzeige und/oder Beseitigung der vorliegenden Problem- und/oder Fehlerzustände durch den Benutzer angepasst wird. Diese Problem- und/oder Fehlerzustände umfassen insbesondere auch die bereits beschriebenen Fälle des Übersehens wichtiger Informationen bei einer graphischen Benutzeroberfläche, die entsprechend gehandhabt werden können. Doch auch sonstige Problem- und/oder Fehlerzustände, die insbesondere auch durch Systemdaten beschrieben werden können, können durch das vorliegende Verfahren abgedeckt werden, indem beispielsweise die Benutzeroberfläche auf den aktuellen Betriebszustand der Medizintechnikeinrichtung, also auch bei vorliegenden technischen Fehlern/Problemen, angepasst wird, um eine möglichst einfache Beseitigung des Fehlers/Problems zu erlauben. In the context of the present invention, it is also expedient if the analysis algorithm identifies existing problem and / or error states on the basis of the input data, in particular also system data, and if the user interface for displaying and / or eliminating the present problem and / or error states is identified by the User is customized. These problem and / or error states include, in particular, the cases of missing important information in a graphical user interface which have already been described and which can be handled accordingly. However, other problem and / or error states, which can also be described in particular by system data, can be covered by the present method, for example by adapting the user interface to the current operating state of the medical technology device, that is to say also in the case of existing technical errors / problems. to allow the error / problem to be eliminated as easily as possible.
Umfasst die Benutzeroberfläche eine Hilfefunktion, sieht eine zweckmäßige Weiterbildung der vorliegenden Erfindung vor, dass die Hilfefunktion ebenso in Abhängigkeit der Ausgangsdaten aktualisiert wird. Beispielsweise kann eine Hilfefunktion auf eine Rolle und/oder ein Skilllevel des Benutzers angepasst werden, jedoch ist auch eine Anpassung der Hilfefunktion auf aktuell vorliegende Probleme/Fehler und/oder vorhergesagte Bedienschritte und/oder den aktuellen Gefühlszustand des Benutzers denkbar.If the user interface includes a help function, an expedient development of the present invention provides that the help function is also updated as a function of the output data. For example, a help function can be adapted to a role and / or a skill level of the user, but an adaptation of the help function to currently existing problems / errors and / or predicted operating steps and / or the current emotional state of the user is also conceivable.
Die Ermittlung der Ausgangsdaten und/oder die Aktualisierung der Benutzeroberfläche kann ferner zur Optimierung des Ablaufs eines oder des durchzuführenden Workflows erfolgen. Liegt ein bestimmter durchzuführender Workflow vor, beispielsweise bezogen auf eine aktuelle Untersuchungs- und/oder Behandlungsaufgabe bei einem Patienten, kann dessen Ablauf optimiert, insbesondere hinsichtlich der Geschwindigkeit der Durchführung und/oder des qualitativen Ergebnisses optimiert werden, indem die Bedientätigkeit des Benutzers durch die Benutzeroberfläche gezielt auf eine schnellere und/oder hochqualitative Durchführung des Workflows gelenkt wird.The determination of the output data and / or the updating of the user interface can also be carried out in order to optimize the execution of a workflow or the workflow to be carried out. If there is a specific workflow to be carried out, for example based on a current examination and / or treatment task for a patient, its sequence can be optimized, in particular with regard to the speed of the implementation and / or the qualitative result, by the user operating activity through the user interface is directed specifically to a faster and / or high quality execution of the workflow.
Eine besonders zweckmäßige Weiterbildung der vorliegenden Erfindung sieht vor, dass die Eingabevorrichtung eine Sprachinteraktionseinrichtung mit wenigstens einem Aufnahmemittel für gesprochene Benutzereingabe umfasst. Das bedeutet, die intelligente und adaptive Benutzeroberfläche kann ferner auch über eine Spracheingabe und insbesondere auch Sprachausgabe-Funktionalität ergänzt werden, so dass vorzugsweise die Sprachinteraktionseinrichtung als Teil der Ausgabevorrichtung auch ein Sprachausgabemittel umfasst, wobei die Sprachausgabe als Teil der Benutzeroberfläche verwendet wird. Es ergibt sich dann ein sogenanntes „Natural Language UI“, welches zweckmäßigerweise einen graphischen Anteil der Benutzeroberfläche ergänzt.A particularly expedient development of the present invention provides that the input device comprises a voice interaction device with at least one recording means for spoken user input. This means that the intelligent and adaptive user interface can also be supplemented by voice input and in particular also voice output functionality, so that preferably the voice interaction device as part of the output device also includes a voice output means, the voice output being used as part of the user interface. The result is a so-called "Natural Language UI", which expediently supplements a graphic part of the user interface.
In einer diesbezüglich besonders zweckmäßigen Ausgestaltung kann vorgesehen sein, dass von dem Aufnahmemittel insbesondere auch außerhalb der Bedientätigkeit aufgenommene Sprache mittels eines Sprachanalysealgorithmus zur Ermittlung einer Zusatzinformation analysiert wird. Bei dem Sprachanalysealgorithmus kann es sich ebenfalls um einen Algorithmus der künstlichen Intelligenz handeln. Durch eine Analyse der Sprache des Benutzers ist es zum einen ebenso möglich, als Zusatzinformation Gefühlszustände, beispielsweise Unsicherheit und dergleichen, zu erkennen, woraus wiederum beispielsweise auf den Skilllevel des Benutzers zurückgeschlossen werden kann. Doch kann auch sonstige Kommunikation in dem Raum, in dem sich die Medizintechnikeinrichtung befindet, analysiert werden, so dass beispielsweise aus Rückfragen des Benutzers an weitere anwesende Personen auf die Rolle des Benutzers geschlossen werden kann und dergleichen. Auch hinsichtlich einer Sprachanalyse ergeben sich also eine Vielzahl von Möglichkeiten zur Ermittlung und Nutzung von Zusatzinformationen.In an embodiment which is particularly expedient in this regard, it can be provided that speech recorded by the recording means, in particular also outside of the operating activity, is analyzed by means of a speech analysis algorithm to determine additional information. The speech analysis algorithm can also be an artificial intelligence algorithm. By analyzing the language of the user, it is also possible, on the one hand, to recognize emotional states, for example insecurity and the like, as additional information, which in turn can be used to infer, for example, the skill level of the user. However, other communication in the room in which the medical technology device is located can also be analyzed, so that, for example, questions from the user to other persons present can be used to infer the role of the user and the like. With regard to a speech analysis, too, there are numerous possibilities for determining and using additional information.
Bei der Medizintechnikeinrichtung kann es sich insbesondere um eine Bildaufnahmeeinrichtung, beispielsweise eine Röntgeneinrichtung, handeln. Gerade bei modernen Bildaufnahmeeinrichtungen erweist sich aufgrund der steigenden Qualität und Menge der Ausstattung sowie der Vielfalt gebotener Möglichkeiten die Bedienung der Medizintechnikeinrichtung als immer schwieriger, so dass eine intelligente und adaptive Benutzeroberfläche hier eine deutliche Verbesserung mit sich bringt. Doch auch für andere Medizintechnikeinrichtungen, insbesondere Behandlungseinrichtungen, lässt sich die vorliegende Erfindung mit steigender Komplexität und parallel dazu steigendem Nutzen vorteilhaft einsetzen.The medical technology device can in particular be an image recording device, for example an X-ray device. In modern image recording devices in particular, it is becoming increasingly difficult to operate the medical technology device due to the increasing quality and quantity of the equipment and the variety of possibilities, so that an intelligent and adaptive user interface brings about a significant improvement here. However, the present invention can also be used advantageously for other medical technology devices, in particular treatment devices, with increasing complexity and, in parallel, increasing benefits.
Neben dem Verfahren betrifft die Erfindung auch eine Medizintechnikeinrichtung, insbesondere eine Bildaufnahmeeinrichtung, aufweisend wenigstens eine zur Ausgabe einer Benutzeroberfläche genutzte Ausgabevorrichtung mit zugeordneter und/oder integrierter Eingabevorrichtung und eine zur Ausführung des erfindungsgemäßen Verfahrens ausgebildete Steuereinrichtung. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Medizintechnikeinrichtung übertragen, mit welcher mithin ebenso die bereits genannten Vorteile erhalten werden können. Die Steuereinrichtung kann wenigstens einen Prozessor und/oder wenigstens ein Speichermittel umfassen. Zur Realisierung des erfindungsgemäßen Verfahrens kann die Steuereinrichtung bevorzugt wenigstens eine Ermittlungseinheit zur Ermittlung der Zusatzinformation bzw. der Eingangsdaten im Allgemeinen und eine Analyseeinheit zur Realisierung des Analysealgorithmus umfassen. Die entstehenden Ausgangsdaten können durch eine Aktualisierungseinheit zur Aktualisierung der Benutzeroberfläche eingesetzt werden. Neben ohnehin vorhandenen Funktionseinheiten, beispielsweise solchen, die aus der Eingabetätigkeit des Benutzers die zur Steuerung der Medizintechnikeinrichtung verwendeten Einstellungsinformationen ableiten, können selbstverständlich auch weitere Funktionseinheiten zur Realisierung weiterer Aspekte der vorliegenden Erfindung vorgesehen sein.In addition to the method, the invention also relates to a medical technology device, in particular an image recording device, comprising at least one output device used for outputting a user interface with an associated and / or integrated input device and a control device designed to carry out the method according to the invention. All statements relating to the method according to the invention can be transferred analogously to the medical technology device according to the invention, with which the advantages already mentioned can thus also be obtained. The control device can comprise at least one processor and / or at least one storage means. To implement the method according to the invention, the control device can preferably have at least one determination unit to determine the additional information or the input data in general and include an analysis unit to implement the analysis algorithm. The resulting output data can be used by an update unit to update the user interface. In addition to existing functional units, for example those that derive the setting information used to control the medical technology device from the user's input activity, other functional units can of course also be provided to implement further aspects of the present invention.
Ein erfindungsgemäßes Computerprogramm ist beispielsweise direkt in einen Speicher einer Steuereinrichtung einer Medizintechnikeinrichtung ladbar und weist Programmmittel auf, um die Schritte eines erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in der Steuereinrichtung der Medizintechnikeinrichtung ausgeführt wird. Das Computerprogramm kann auf einem erfindungsgemäßen elektronisch lesbaren Datenträger gespeichert sein, welcher mithin darauf gespeicherte elektronisch lesbare Steuerinformationen umfasst, welche zumindest ein erfindungsgemäßes Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Steuereinrichtung einer Medizintechnikeinrichtung ein erfindungsgemäßes Verfahren durchführen. Bei dem Datenträger kann es sich um einen nicht transienten Datenträger, insbesondere eine CD-ROM, handeln.A computer program according to the invention can, for example, be loaded directly into a memory of a control device of a medical technology device and has program means to carry out the steps of a method according to the invention when the computer program is executed in the control device of the medical technology device. The computer program can be stored on an electronically readable data carrier according to the invention, which therefore includes electronically readable control information stored thereon, which comprise at least one computer program according to the invention and is designed such that when the data carrier is used in a control device of a medical technology device, it carries out a method according to the invention. The data carrier can be a non-transient data carrier, in particular a CD-ROM.
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
-
1 eine Prinzipskizze eines an einer Bedieneinrichtung angeordneten Benutzers, -
2 ein Funktionsbild zur Erläuterung des erfindungsgemäßen Verfahrens, -
3 einen Benutzer in einer ersten Bediensituation, -
4 einen Benutzer in einer zweiten Bediensituation, und -
5 eine erfindungsgemäße Medizintechnikeinrichtung.
-
1 1 shows a basic sketch of a user arranged on an operating device, -
2 2 shows a functional diagram to explain the method according to the invention, -
3 a user in a first operating situation, -
4 a user in a second operating situation, and -
5 a medical device according to the invention.
Auf dem Touchscreen wird ein graphischer Anteil
So umfasst die Medizintechnikeinrichtung zunächst einen vorliegend als Kamera
Solche, nicht unmittelbar auf die Eingabetätigkeit des Benutzers
Bediendaten und Zusatzinformationen lassen sich ferner auch aus Informationen einer ferner vorgesehenen Sprachinteraktionseinrichtung
Schließlich ist in
Selbstverständlich können, falls zweckmäßig, auch weitere Eingabedaten
Die Eingabedaten
Einen besonderen Fall der Fehler- und/oder Problemzustände stellt das Übersehen von Informationen durch den Benutzer
Anders gestaltet sich dies in der in
Hierauf kann die adaptive und intelligente Benutzeroberfläche nun jedoch reagieren, indem auf das Benutzeroberflächenelement
Vorliegend sind zwei Bedieneinrichtungen
Die Röntgeneinrichtung
Hierzu kann die Steuereinrichtung
Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.Although the invention has been illustrated and described in detail by the preferred exemplary embodiment, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by a person skilled in the art without departing from the scope of protection of the invention.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- Benutzeruser
- 22
- Bedieneinrichtungoperating device
- 33
- Touchscreentouchscreen
- 44
- Anteilproportion of
- 55
- Kameracamera
- 66
- Sensorsensor
- 77
- Kopfhead
- 88th
- Augeeye
- 99
- Gesichtface
- 1010
- Anteilproportion of
- 1111
- Sensorsensor
- 1212
- SprachinteraktionseinrichtungVoice interaction device
- 1313
- Steuereinrichtungcontrol device
- 1414
- Eingangsdateninput data
- 1515
- Systemdatensystem data
- 1616
- Bediendatenoperating data
- 1717
- Zusatzinformationextra information
- 1818
- Analysealgorithmusanalysis algorithm
- 1919
- Schrittstep
- 2020
- Benutzeroberflächenelementuser interface element
- 2121
- MedizintechnikeinrichtungMedical technology equipment
- 2222
- RöntgenstrahlereinheitX-ray unit
- 2323
- RöntgenstrahlerX-ray
- 2424
- Patientenliegepatient support
- 2525
- RöntgendetektorX-ray detector
- 2626
- Monitormonitor
- 2727
- Tastaturkeyboard
- 2828
- Mausmouse
Claims (16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018209717.8A DE102018209717A1 (en) | 2018-06-15 | 2018-06-15 | Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018209717.8A DE102018209717A1 (en) | 2018-06-15 | 2018-06-15 | Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102018209717A1 true DE102018209717A1 (en) | 2019-12-19 |
Family
ID=68724660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102018209717.8A Pending DE102018209717A1 (en) | 2018-06-15 | 2018-06-15 | Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102018209717A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3958103A1 (en) * | 2020-08-18 | 2022-02-23 | Siemens Aktiengesellschaft | Adaptive human-machine interface based on artificial intelligence |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5204968A (en) * | 1989-03-27 | 1993-04-20 | Xerox Corporation | Automatic determination of operator training level for displaying appropriate operator prompts |
EP1799106B1 (en) * | 2004-09-13 | 2009-07-29 | Biocognisafe | Method for generating an indication of a level of vigilance of an individual |
US20160009411A1 (en) * | 2014-07-09 | 2016-01-14 | Honeywell International Inc. | Visual search assistance for an occupant of a vehicle |
-
2018
- 2018-06-15 DE DE102018209717.8A patent/DE102018209717A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5204968A (en) * | 1989-03-27 | 1993-04-20 | Xerox Corporation | Automatic determination of operator training level for displaying appropriate operator prompts |
EP1799106B1 (en) * | 2004-09-13 | 2009-07-29 | Biocognisafe | Method for generating an indication of a level of vigilance of an individual |
US20160009411A1 (en) * | 2014-07-09 | 2016-01-14 | Honeywell International Inc. | Visual search assistance for an occupant of a vehicle |
Non-Patent Citations (1)
Title |
---|
LEE, Hosub; CHOI, Young Sang; KIM, Yeo-Jin. An adaptive user interface based on spatiotemporal structure learning. IEEE Communications Magazine, 2011, 49. Jg., Nr. 6, S. 118-124. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3958103A1 (en) * | 2020-08-18 | 2022-02-23 | Siemens Aktiengesellschaft | Adaptive human-machine interface based on artificial intelligence |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102018210957B4 (en) | Machine learning device and user identification device | |
DE102012107078A1 (en) | Method and system for visualizing information about artificial respiration | |
DE102016210288A1 (en) | Eyetracker unit operating device and method for calibrating an eyetracker unit of an operating device | |
Ferrez et al. | Error-related EEG potentials in brain-computer interfaces | |
EP3123278B1 (en) | Method and system for operating a display device | |
Bruno et al. | Both vision-for-perception and vision-for-action follow Weber's law at small object sizes, but violate it at larger sizes | |
DE102015218948A1 (en) | Apparatus and method for determining a medical health parameter of a subject by means of voice analysis | |
EP3930563A1 (en) | Method for evaluating skin lesions using artificial intelligence | |
CN115191018A (en) | Evaluation of a person or system by measuring physiological data | |
EP2409874A1 (en) | Operating ability monitoring system | |
DE102018209717A1 (en) | Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier | |
WO2009121088A2 (en) | Method for checking the degree of tiredness of a person operating a device | |
DE102019118752B4 (en) | Method for adaptive functional reassignment of operating elements of an image recording system and associated image recording system | |
DE102015215044A1 (en) | Method and system for processing multimodal input signals | |
Tickle et al. | Near-optimal integration of magnitude in the human parietal cortex | |
WO2014118022A1 (en) | Device for measuring pain and/or for pain detection | |
Zhou et al. | Weighing Votes in Human–Machine Collaboration for Hazard Recognition: Inferring a Hazard-Based Perceptual Threshold and Decision Confidence from Electroencephalogram Wavelets | |
AT516020B1 (en) | Method for quantifying the perceptibility of a person | |
DE102021110674A1 (en) | MOTION EVALUATION SYSTEM, MOTION EVALUATION DEVICE AND MOTION EVALUATION METHOD | |
DE102015224889A1 (en) | Fatigue detection method | |
DE102014210892A1 (en) | A method of operating an input device and input device controllable by gestures performed with at least one body part of the human body | |
Madhavan et al. | Effects of Information Source, Pedigree, and Reliability on Operators' Utilizaton of Diagnostic Advice | |
EP3660860A1 (en) | Method and device for controlling a display unit in a medical device system | |
DE102021104127A1 (en) | Method for operating a mobile computing device, computer program and mobile computing device | |
JP6345502B2 (en) | Medical diagnostic imaging equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R081 | Change of applicant/patentee |
Owner name: SIEMENS HEALTHINEERS AG, DE Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE |