DE102018209717A1 - Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier - Google Patents

Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier Download PDF

Info

Publication number
DE102018209717A1
DE102018209717A1 DE102018209717.8A DE102018209717A DE102018209717A1 DE 102018209717 A1 DE102018209717 A1 DE 102018209717A1 DE 102018209717 A DE102018209717 A DE 102018209717A DE 102018209717 A1 DE102018209717 A1 DE 102018209717A1
Authority
DE
Germany
Prior art keywords
user
user interface
data
medical technology
additional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018209717.8A
Other languages
German (de)
Inventor
Gerben ten Cate
Robert Kagermeier
Richard Max Bögel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers Ag De
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Priority to DE102018209717.8A priority Critical patent/DE102018209717A1/en
Publication of DE102018209717A1 publication Critical patent/DE102018209717A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Abstract

Verfahren zur Steuerung des Betriebs einer Medizintechnikeinrichtung (21), welche wenigstens eine zur Ausgabe einer Benutzeroberfläche genutzte Ausgabevorrichtung mit zugeordneter und/oder integrierter Eingabevorrichtung umfasst, wobei aus einer mittels der Benutzeroberfläche erfolgten Benutzereingabe zur Steuerung der Medizintechnikeinrichtung (21) verwendete Einstellungsinformationen ermittelt werden, wobei die Benutzeroberfläche unter Verwendung von Ausgangsdaten wenigstens eines Analysealgorithmus (18) der künstlichen Intelligenz aktualisiert wird, wobei als Eingangsdaten (14) für den Analysealgorithmus (18) wenigstens eine den Zustand und/oder die Handlungen des Benutzers (1) neben der Eingabetätigkeit beschreibende Zusatzinformation (17) ermittelt und verwendet wird.Method for controlling the operation of a medical technology device (21), which comprises at least one output device used for outputting a user interface with an assigned and / or integrated input device, wherein setting information used to control the medical technology device (21) by means of the user interface is determined, whereby the user interface is updated using output data from at least one analysis algorithm (18) of artificial intelligence, with at least one additional information describing the state and / or the actions of the user (1) in addition to the input activity () as input data (14) for the analysis algorithm (18) 17) is determined and used.

Description

Die Erfindung betrifft ein Verfahren zur Steuerung des Betriebs einer Medizintechnikeinrichtung, welche wenigstens eine zur Ausgabe einer Benutzeroberfläche genutzte Ausgabevorrichtung mit zugeordneter und/oder integrierter Eingabevorrichtung umfasst, wobei aus einer mittels der Benutzeroberfläche erfolgten Benutzereingabe zur Steuerung der Medizintechnikeinrichtung verwendete Einstellungsinformationen ermittelt werden. Daneben betrifft die Erfindung eine Medizintechnikeinrichtung, ein Computerprogramm und einen elektronisch lesbaren Datenträger.The invention relates to a method for controlling the operation of a medical technology device, which comprises at least one output device used for outputting a user interface with an assigned and / or integrated input device, setting information used to control the medical technology device being determined by means of the user interface. In addition, the invention relates to a medical technology device, a computer program and an electronically readable data carrier.

Moderne Medizintechnikeinrichtungen, also insbesondere größere medizintechnische Anlagen, zur Untersuchung und/oder Behandlung von Patienten nehmen in ihrer Ausstattung und Bedienung an Komplexität zu. Mithin stellt die Bedienung eines medizinischen Diagnostik-/Therapiesystems hinsichtlich der Usability und der Ergonomie eine Herausforderung in der Realisierung dar. Dabei ist eine einfache und intuitive Bedienung wünschenswert, aber bei bisher bekannten Medizintechnikeinrichtungen häufig nur unzureichend umgesetzt. Beispielsweise sind medizinische Untersuchungseinrichtungen, insbesondere Röntgeneinrichtungen, bekannt, die für die Bedienung eine Vielzahl von Bedienorten mit unterschiedlichen Bedieneinrichtungen aufweisen. Beispielsweise kann eine Bildschirmkonsole mit Tastatur und Maus in einem Vorraum des Raumes, in dem die Medizintechnikeinrichtung angeordnet ist, vorgesehen sein, wobei des Weiteren als Ausgabe- und Eingabevorrichtung ein Touchscreen, beispielsweise an einem deckengehängten Röntgenstrahler, und/oder eine oder mehrere Nahbedieneinheiten (kabelgebunden oder kabellos) vorgesehen sein können.Modern medical technology facilities, in particular larger medical technology systems, for examining and / or treating patients are becoming more complex in terms of their equipment and operation. The operation of a medical diagnostic / therapy system therefore presents a challenge in terms of usability and ergonomics in implementation. Simple and intuitive operation is desirable, but is often insufficiently implemented in previously known medical technology facilities. For example, medical examination devices, in particular x-ray devices, are known which have a large number of operating locations with different operating devices for the operation. For example, a screen console with keyboard and mouse can be provided in an anteroom of the room in which the medical technology device is arranged, a touch screen, for example on a ceiling-mounted X-ray emitter, and / or one or more local control units (wired) as an output and input device or wireless) can be provided.

Die meisten derartigen, aus einer Anzeigevorrichtung und einer zugeordneten und/oder integrierten Eingabevorrichtung gebildeten Bedieneinrichtungen nutzen hierbei Benutzeroberflächen (Benutzerinterfaces) unterschiedlicher Art, vorwiegend graphische Benutzeroberflächen (graphical user interface - GUI). Mit den meisten dieser Benutzeroberflächen interagiert der Benutzer touch-basiert und/oder über eine Maus. Im Stand der Technik wurde im Übrigen auch bereits vorgeschlagen, mobile Bediengeräte als Bedieneinrichtungen zu verwenden, beispielsweise Smart Devices.Most of such operating devices, formed from a display device and an associated and / or integrated input device, use different types of user interfaces, predominantly graphical user interfaces (GUI). The user interacts with most of these user interfaces based on touch and / or using a mouse. Incidentally, the prior art has also already proposed using mobile operating devices as operating devices, for example smart devices.

Benutzeroberflächen werden so programmiert, dass zum einen eine Bedienung durch alle denkbaren Benutzer erfolgen kann, zum anderen aber auch alle denkbaren Funktionalitäten durch die Benutzeroberflächen steuerbar sind. Dies resultiert in komplexen Bedieneinrichtungen, für die Benutzer speziell geschult werden müssen und/oder auf Hilfefunktionen/Bedienungsanleitungen zurückgreifen müssen, insbesondere dann, wenn selten durchgeführte Aufgaben bewältigt werden sollen. Zwar wurde inzwischen ebenso vorgeschlagen, Benutzeroberflächen durch Benutzer selbst anpassbar zu gestalten und diese Anpassungen in einem Benutzerprofil abzuspeichern, jedoch vereinfacht dies die Bedienung der Medizintechnikeinrichtung nur in einem beschränkten Rahmen.User interfaces are programmed so that, on the one hand, they can be operated by all conceivable users, and on the other hand, all conceivable functionalities can also be controlled by the user interfaces. This results in complex operating devices for which users have to be specially trained and / or have to use help functions / operating instructions, especially when tasks that are seldom carried out are to be mastered. Although it has also been proposed in the meantime to make user interfaces adaptable by users themselves and to store these adaptations in a user profile, this simplifies the operation of the medical technology device only to a limited extent.

Der Erfindung liegt daher die Aufgabe zugrunde, eine die Bedienung einer Medizintechnikeinrichtung vereinfachende und insbesondere auch die Nutzbarkeit der Medizintechnikeinrichtung verbessernde Ausgestaltung einer Bedieneinrichtung anzugeben.The invention is therefore based on the object of specifying a configuration of an operating device which simplifies the operation of a medical technology device and in particular also improves the usability of the medical technology device.

Diese Aufgabe wird gelöst durch ein Verfahren, eine Medizintechnikeinrichtung, ein Computerprogramm und einen elektronisch lesbaren Datenträger gemäß den unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.This object is achieved by a method, a medical device, a computer program and an electronically readable data carrier in accordance with the independent claims. Advantageous configurations result from the subclaims.

Ein erfindungsgemäßes Verfahren der eingangs genannten Art sieht vor, dass die Benutzeroberfläche unter Verwendung von Ausgangsdaten wenigstens eines Analysealgorithmus der künstlichen Intelligenz aktualisiert wird, wobei als Eingangsdaten für den Analysealgorithmus wenigstens eine den Zustand und/oder die Handlungen des Benutzers neben der Eingabetätigkeit beschreibende Zusatzinformation ermittelt und verwendet wird.A method according to the invention of the type mentioned at the outset provides for the user interface to be updated using output data from at least one analysis algorithm of artificial intelligence, the input data for the analysis algorithm being determined and at least additional information describing the condition and / or the actions of the user in addition to the input activity is used.

Durch die Verwendung von Zusatzinformation über den Benutzer, die nicht per se dessen Eingabetätigkeit beschreibt und ohnehin benötigt wird, damit die aus der Ausgabevorrichtung und der Eingabevorrichtung gebildete Bedieneinrichtung ihre Aufgabe erfüllen kann, wird es ermöglicht, nochmals deutlich besser auf den Benutzer einzugehen und somit eine insbesondere auf den Benutzerzustand abgestellte, adaptive und intelligente Benutzeroberfläche zu schaffen, die die Bedienung der Medizintechnikeinrichtung deutlich intuitiver gestaltet, somit vereinfacht, und den Benutzer gezielt auf seine Bedürfnisse abgestellt unterstützen kann. Dabei ist es im Übrigen besonders bevorzugt, wenn als Eingangsdaten für den Analysealgorithmus auch die Eingabetätigkeit des Benutzers beschreibende Bediendaten und/oder den Betriebszustand der Medizintechnikeinrichtung und/oder den Ablaufzustand eines durchzuführenden Workflows beschreibende Systemdaten verwendet werden. Damit existiert eine umfassende Datenbasis, auf deren Grundlage es, wie sich gezeigt hat, hervorragend möglich ist, eine entsprechende adaptive und intelligente Benutzeroberfläche zu realisieren, die in der aktuellen Betriebssituation der Medizintechnikeinrichtung geeignete Informationen und/oder Eingabemöglichkeiten bereitstellt. Dabei können einen durchzuführenden Workflow beschreibende Systemdaten selbstverständlich auch eine aktuell mit der Medizintechnikeinrichtung durchzuführende Aufgabe beschreiben, beispielsweise eine Untersuchungsaufgabe und/oder eine Behandlungsaufgabe bezüglich eines aktuellen Patienten.The use of additional information about the user, which does not describe his input activity per se and is required anyway so that the operating device formed from the output device and the input device can fulfill its task, makes it possible to respond much better to the user and thus one in particular to create an adaptive and intelligent user interface based on the user state, which makes the operation of the medical technology device significantly more intuitive, thus simplified, and can support the user in a targeted manner according to his needs. In addition, it is particularly preferred if operating data describing the input activity of the user and / or the operating state of the medical technology device and / or system data describing the run state of a workflow to be carried out are also used as input data for the analysis algorithm. A comprehensive database thus exists, on the basis of which, as has been shown, it is excellently possible to implement a corresponding adaptive and intelligent user interface which provides suitable information and / or input options in the current operating situation of the medical technology device. there system data describing a workflow to be carried out can of course also describe a task currently to be carried out with the medical technology device, for example an examination task and / or a treatment task relating to a current patient.

Basierend auf solchen Eingangsdaten, insbesondere also Systemdaten, Bediendaten (die letztlich Interaktionsinformationen darstellen) und der Zusatzinformation in Kombination mit künstlicher Intelligenz können nützliche Ausgangsdaten erzeugt werden, die eine hervorragende, jeweils aktuelle Anpassung der Benutzeroberfläche erlauben. So ist es beispielsweise möglich, die Rolle des Benutzers, sein Skill-Level, möglicherweise vorliegende Probleme und voraussichtlich folgende nächste Schritte im Workflow vorherzusagen. Aufgrund solcher und weiterer Informationen kann die intelligente und adaptive Benutzeroberfläche rollen-, aufgaben-, betriebs-, und benutzerzustandsspezifische Informationen und/oder Eingabemöglichkeiten und/oder Hilfe/Führung bereitstellen, die bevorzugt ebenso auf der spezifischen Befähigung des Benutzers, die Medizintechnikeinrichtung zu bedienen, basieren kann. Insgesamt wird die Bedienung der Medizintechnikeinrichtung somit vereinfacht und insbesondere auch beschleunigt. Der Benutzer kann mittels der intelligenten und adaptiven Benutzeroberfläche zu optimaleren Ergebnissen in speziellen Aufgabenbereichen geführt werden.Based on such input data, in particular system data, operating data (which ultimately represent interaction information) and the additional information in combination with artificial intelligence, useful output data can be generated which allow an excellent, current adaptation of the user interface. For example, it is possible to predict the role of the user, his skill level, any problems that may exist and the next steps that are likely to follow in the workflow. On the basis of such and other information, the intelligent and adaptive user interface can provide role, task, operating and user status-specific information and / or input options and / or help / guidance, which preferably also depends on the specific ability of the user to operate the medical technology device, can be based. Overall, the operation of the medical technology device is thus simplified and in particular also accelerated. Using the intelligent and adaptive user interface, the user can be guided to more optimal results in special task areas.

Zusammenfassend nutzt die vorliegende Erfindung also unterschiedliche Eingangsdaten, umfassend insbesondere die benutzerbezogene Zusatzinformation, um eine adaptive, intelligente Benutzeroberfläche bereitzustellen. Die Vorteile liegen insbesondere darin, dass mit einer intelligenten, adaptiven Benutzeroberfläche (Intelligent Adaptive User Interface - IAUI) einfacher gearbeitet werden kann, da es aufgrund der Zusatzinformation insbesondere auch rollen-, skilllevel- und benutzerzustandsbasierte Benutzeroberflächenelemente, Unterstützung und Führung bereitstellen kann. Beispielsweise können Benutzungsneulinge die Bedienung der Medizintechnikeinrichtung nach und nach lernen und das Niveau der Unterstützung, Führung und Hilfe kann reduziert werden, während die Befähigung des Benutzers zur Bedienung des Systems ansteigt. Hieraus resultieren Wettbewerbsvorteile für Hersteller, die mithin Medizintechnikeinrichtungen anbieten können, welche Benutzeroberflächen bereitstellen, die eine einfachere, schnellere und sicherere Steuerung der Medizintechnikeinrichtung erlauben.In summary, the present invention thus uses different input data, including in particular the user-related additional information, in order to provide an adaptive, intelligent user interface. The advantages are in particular that it is easier to work with an intelligent, adaptive user interface (Intelligent Adaptive User Interface - IAUI), since it can also provide role, skill level and user status based user interface elements, support and guidance due to the additional information. For example, novice users can gradually learn to operate the medical technology device and the level of support, guidance and help can be reduced while the user's ability to operate the system increases. This results in competitive advantages for manufacturers who can therefore offer medical technology devices which provide user interfaces which allow easier, faster and safer control of the medical technology device.

Mit besonderem Vorteil kann die Zusatzinformation aus Sensordaten eines wenigstens einen Teil des Benutzers erfassenden Sensors ermittelt werden. Dabei können sowohl zusätzliche als auch ohnehin vorhandene Sensoren verwendet werden, die Teil der Medizintechnikeinrichtung oder dieser zugeordnet sind.The additional information can be determined with particular advantage from sensor data of a sensor that detects at least part of the user. Both additional and already existing sensors can be used, which are part of the medical device or assigned to it.

In einer besonders bevorzugten Ausgestaltung der vorliegenden Erfindung ist vorgesehen, dass als Sensor ein die Blickrichtung des Benutzers auf die dargestellte Benutzeroberfläche nachverfolgender optischer Sensor, insbesondere eine Kamera, verwendet wird. Weist die Benutzeroberfläche mithin einen insbesondere unter Nutzung eines Displays als Ausgabevorrichtung dargestellten, graphischen Anteil (GUI) auf, kann nachverfolgt werden, welchen Anteil der Benutzeroberfläche der Benutzer gerade bzw. auch im zeitlichen Verlauf betrachtet. Dabei kann es sich bei dem optischen Sensor um eine zweidimensionale Bilddaten oder bevorzugt eine dreidimensionale Bilddaten liefernde Kamera (2D-Kamera oder 3D-Kamera) handeln. Derartige Sensoriken zum Nachverfolgen der Blickrichtung von Personen wurden im Stand der Technik bereits vorgeschlagen („Gaze Recognition“), stellen im Rahmen der vorliegenden Erfindung jedoch eine besonders zweckmäßige Umsetzung zur Ermittlung der Zusatzinformation dar. Eine entsprechend hergeleitete Zusatzinformation kann auch als Blickrichtungsinformation bezeichnet werden.In a particularly preferred embodiment of the present invention, it is provided that an optical sensor, in particular a camera, is used as the sensor to track the user's direction of view of the user interface shown. If the user interface therefore has a graphical portion (GUI), which is shown in particular using a display as an output device, it can be tracked which portion of the user interface the user is currently viewing or also over time. The optical sensor can be a two-dimensional image data or preferably a three-dimensional image data camera (2D camera or 3D camera). Such sensors for tracking the gaze direction of people have already been proposed in the prior art (“gauze recognition”), but within the scope of the present invention represent a particularly expedient implementation for determining the additional information. A correspondingly derived additional information can also be referred to as gaze direction information.

Konkret kann vorgesehen sein, dass als Zusatzinformation ein aufgrund der Blickrichtung ermittelter, von dem Benutzer betrachteter Anteil der Benutzeroberfläche verwendet wird. Insbesondere kann der Blick des Benutzers auch einem oder mehreren auf der aktuell dargestellten Benutzeroberfläche gezeigten Benutzeroberflächenelementen zugeordnet werden, beispielsweise Fenstern, dargestellten Informationen und/oder Bedienmöglichkeiten. Dies ermöglicht es nicht nur, beispielsweise durch Analyse des zeitlichen Verlaufs festzustellen, wie lange ein Benutzer bestimmte Elemente der Benutzeroberfläche sucht bzw. für deren Verständnis benötigt, sondern auch, ob dem Benutzer gegebenenfalls wichtige Informationen eines Benutzeroberflächenelements entgehen. Während erstere Information beispielsweise im Hinblick auf eine Befähigung des Benutzers (Skilllevel) bzw. einen Gefühlszustand des Benutzers ausgewertet werden können, kann letztere Information, also ein nicht wahrgenommenes, aber als wichtig bewertetes Benutzeroberflächenelement auf ein bestehendes Problem hindeuten.Specifically, it can be provided that a portion of the user interface determined by the user and determined on the basis of the viewing direction is used as additional information. In particular, the user's gaze can also be assigned to one or more user interface elements shown on the currently displayed user interface, for example windows, displayed information and / or operating options. This makes it possible not only to determine, for example by analyzing the time course, how long a user is looking for certain elements of the user interface or to understand them, but also to determine whether the user is missing important information about a user interface element. While the former information can be evaluated, for example with regard to a user's ability (skill level) or a feeling state of the user, the latter information, that is to say a user interface element which is not perceived but is rated as important, can indicate an existing problem.

Entsprechend sieht eine besonders vorteilhafte Weiterbildung der vorliegenden Erfindung vor, dass bei einer als wichtig bewerteten, aufgrund des betrachteten Anteils übersehenen Information der Analysealgorithmus die Benutzeroberfläche zur besseren Wahrnehmung der Information und/oder zum Hinweis auf die Information aktualisiert. Durch die Identifikation von Benutzeroberflächenelementen, die vom Benutzer übersehen wurden, beispielsweise von Warnungen, die ignoriert werden, kann seitens des Analysealgorithmus entschieden werden, auf diese Benutzeroberflächenelemente nachdrücklicher hinzuweisen, was im Übrigen auch über graphische Ausgaben hinausgehen kann, beispielsweise durch akustische Warnsignale gemeinsam mit graphischen Hervorhebungen oder dergleichen. Auf diese Weise wird die Gesamtsicherheit der Medizintechnikeinrichtung erhöht, da ein dauerhaftes Übersehen wichtiger Informationen verlässlicher vermieden werden kann.Accordingly, a particularly advantageous development of the present invention provides that when the information is assessed as important and is overlooked on the basis of the portion considered, the analysis algorithm updates the user interface for better perception of the information and / or for reference to the information. By identifying user interface elements that have been overlooked by the user, For example, warnings that are ignored can be decided on the part of the analysis algorithm to emphasize these user interface elements, which can also go beyond graphic output, for example by acoustic warning signals together with graphic highlights or the like. In this way, the overall security of the medical technology device is increased, since a permanent oversight of important information can be avoided more reliably.

In einer besonders vorteilhaften Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass, insbesondere bei auch das Gesicht des Benutzers erfassendem optischen Sensor, durch eine Bildverarbeitung von Sensordaten des optischen Sensors eine den Gesichtsausdruck, insbesondere einen Gefühlszustand des Benutzers und/oder das Alter des Benutzers, beschreibende Zusatzinformation ermittelt wird. Basierend auf den von dem insbesondere als Kamera ausgebildeten optischen Sensor gelieferten Bilddaten kann auch eine Erweiterung hinsichtlich der Erkennung von Gesichtsausdrücken, Gefühlszuständen und Alter vorgenommen werden, um die Zusatzinformation entsprechend zu erweitern und weitere nützliche Informationen für den Analysealgorithmus bereitzustellen. Insbesondere kann diesem Kontext, wie im Stand der Technik bereits grundsätzlich vorgeschlagen, auch vorgesehen sein, dass zur Bildverarbeitung ein Bildverarbeitungsalgorithmus der künstlichen Intelligenz verwendet wird, der solche Zusatzinformationen besonders verlässlich und robust bestimmen kann. Beispielsweise können Bilddaten des optischen Sensors kontinuierlich zur Klassifikation von Gefühlszuständen, Alter, Gesichtsausdrücken und dergleichen verarbeitet werden. Solche Zusatzinformationen können mit besonderem Vorteil hinsichtlich der Befähigung des aktuellen Benutzers und/oder des Vorliegens aktueller Probleme ausgewertet werden. Beispielsweise kann ein verwirrter Gesichtsausdruck eines Benutzers darauf hinweisen, dass er mit der aktuellen Situation überfordert ist und eine spezifische Hilfestellung benötigt, die insbesondere bei Verwendung von Systemdaten als Eingangsdaten aufgrund der aktuellen Aufgabe bzw. des aktuellen Ablaufzustands eines Workflows noch genauer spezifiziert werden kann. Auch hinsichtlich der Vorhersage möglicher zukünftiger Schritte können Informationen über den Gefühlszustand und/oder Gesichtsausdrücke des Benutzers deutliche Hinweise geben, die der Analysealgorithmus, welcher im Übrigen selbstverständlich unter Verwendung geeigneter Trainingsdaten trainiert wurde, entsprechend zu erkennen vermag. Hinsichtlich einer Erkennung des Alters des Benutzers können möglicherweise bestehende Probleme in ihrer Auftretenswahrscheinlichkeit unterschiedlich gewichtet werden und/oder eine Anpassung auf eine abgeschätzte vorliegende Reaktionsgeschwindigkeit des Benutzers vorgenommen werden.In a particularly advantageous further development of the present invention, it can be provided that, in particular in the case of an optical sensor which also detects the face of the user, an image expression of the facial expression, in particular a feeling state of the user and / or the age of the user, by image processing of sensor data of the optical sensor, descriptive additional information is determined. Based on the image data supplied by the optical sensor, which is designed in particular as a camera, an expansion can also be carried out with regard to the recognition of facial expressions, emotional states and age in order to expand the additional information accordingly and to provide further useful information for the analysis algorithm. In particular, as already fundamentally suggested in the prior art, this context can also provide that an image processing algorithm of artificial intelligence is used for image processing, which can determine such additional information in a particularly reliable and robust manner. For example, image data of the optical sensor can be processed continuously for the classification of emotional states, age, facial expressions and the like. Such additional information can be evaluated with particular advantage with regard to the ability of the current user and / or the presence of current problems. For example, a confused facial expression of a user can indicate that he is overwhelmed by the current situation and needs specific help, which can be specified even more precisely, especially when using system data as input data, based on the current task or the current execution status of a workflow. With regard to the prediction of possible future steps, information about the emotional state and / or facial expressions of the user can give clear indications which the analysis algorithm, which, of course, was also trained using suitable training data, can recognize accordingly. With regard to the detection of the age of the user, existing problems can possibly be weighted differently in terms of their probability of occurrence and / or an adjustment can be made to an estimated existing reaction speed of the user.

Im Rahmen der vorliegenden Erfindung ist es ferner denkbar, wenn als Sensor ein insbesondere auch zur Erfassung von Eingabetätigkeiten dienender, Gesten des Benutzers erfassender Gestensensor verwendet wird. Hierbei kann es sich insbesondere um einen kapazitiv messenden Eingabesensor eines Touchscreens als kombinierte Ausgabevorrichtung/Eingabevorrichtung handeln. Entsprechende Sensoren sind heute beispielsweise auch in der Lage, insbesondere in einer Ausbildung als räumlicher 3D-Kapazitätssensor, Hand- und Armbewegungen oberhalb der Darstellungsfläche zu erfassen, woraus wiederum Gesten des Benutzers schlussgefolgert werden können. Dabei sei darauf hingewiesen, dass entsprechende Gesten gegebenenfalls nicht nur als Zusatzinformation aufzufassen sind, sondern auch durchaus bei entsprechend vorgesehener Eingabemöglichkeit zumindest teilweise als Eingabedaten dienen können, was beispielsweise bei bestimmten Aufgaben, insbesondere der Bildverarbeitung bei Bildaufnahmeeinrichtungen, ein schnelleres Arbeiten ermöglichen kann. Ferner sei in diesem Kontext darauf hingewiesen, dass eine Gestenerkennung auch über einen optischen Sensor, der die entsprechenden Bereiche des Benutzers wahrnimmt, erfolgen kann, insbesondere bei Verwendung einer 3D-Kamera. In konkreten Ausgestaltungen können beispielsweise Gesten der Hilflosigkeit oder dergleichen klassifiziert und detektiert werden und einer entsprechenden Auswertung durch den Analysealgorithmus zugeführt werden.In the context of the present invention, it is also conceivable if a gesture sensor, which is also used to record input activities and which detects gestures of the user, is used as the sensor. In particular, this can be a capacitively measuring input sensor of a touch screen as a combined output device / input device. Corresponding sensors are now also able, for example, to detect hand and arm movements above the display area, in particular in the form of a spatial 3D capacitance sensor, from which gestures of the user can in turn be concluded. It should be noted that appropriate gestures may not only be interpreted as additional information, but may also at least partially serve as input data if the corresponding input option is provided, which may enable faster work, for example, for certain tasks, in particular image processing in image recording devices. In this context, it should also be pointed out that gesture recognition can also take place via an optical sensor, which perceives the corresponding areas of the user, in particular when using a 3D camera. In specific configurations, gestures of helplessness or the like can be classified and detected, for example, and can be sent to a corresponding evaluation by the analysis algorithm.

Als besonders zweckmäßig im Rahmen der vorliegenden Erfindung hat es sich erwiesen, wenn eine Identifizierung eines aktuellen Benutzers erfolgt. Dies ermöglicht es, Zusatzinformationen einem bestimmten Benutzer zuzuordnen bzw. einem Benutzer klar zugeordnete zeitliche Verläufe von Zusatzinformationen (sowie weiteren Eingangsdaten) zu betrachten, was beispielsweise dann, wenn ein Skilllevel des Benutzers ermittelt werden soll, eine nützliche Handhabe darstellt. Dabei ist unter einer Identifikation eines Benutzers bereits die Erkennung eines Benutzerwechsels an der Bedieneinrichtung zu verstehen, da dann deutlich wird, dass sich die Zusatzdaten von nun an auf einen anderen Benutzer beziehen. Bevorzugt ist jedoch die Verwendung von automatisch und/oder aufgrund benutzerseitiger Eingaben erstellen Benutzerprofilen und/oder Benutzeraccounts, um die Eingabedaten einem definierten Benutzer zuordnen zu können.It has proven to be particularly expedient in the context of the present invention if an identification of a current user takes place. This makes it possible to assign additional information to a specific user, or to view a time course of additional information (and further input data) that is clearly assigned to a user, which is useful, for example, when a skill level of the user is to be determined. An identification of a user is to be understood as the detection of a user change on the operating device, since it then becomes clear that the additional data relate to another user from now on. However, it is preferred to use user profiles and / or user accounts that are created automatically and / or on the basis of user-side inputs in order to be able to assign the input data to a defined user.

Die Identifizierung des Benutzers kann aufgrund einer Benutzereingabe, insbesondere eines Einlogvorgangs, und/oder aufgrund von biometrischen Daten des Benutzers, insbesondere durch Auswertung von Bilddaten des optischen Sensors, erfolgen. Bei einem Einlogvorgang kann beispielsweise ein datenverarbeitungstechnisch fest vorgesehenes Benutzerprofil genutzt werden, indem ein Benutzername und ein Passwort abgefragt werden. Besonders vorteilhaft ist es jedoch, den Benutzer automatisch zu identifizieren und insbesondere wiederzuerkennen, wofür sich der bereits erwähnte optische Sensor, insbesondere die Kamera, der ja Bilddaten des Gesichts des Benutzers liefert, besonders eignet, um beispielsweise mit grundsätzlich bekannten Algorithmen eine Gesichtserkennung durchzuführen.The identification of the user can be based on a user input, in particular a login process, and / or on the basis of biometric data of the user, in particular by evaluating image data of the optical sensor, respectively. When logging in, for example, a user profile that is permanently provided in terms of data processing technology can be used by querying a user name and a password. However, it is particularly advantageous to automatically identify and, in particular, to recognize the user again, for which the aforementioned optical sensor, in particular the camera, which provides image data of the user's face, is particularly suitable, for example in order to carry out facial recognition using generally known algorithms.

Bevorzugt ist es ferner, wie bereits angedeutet, wenn für jeden identifizierten Benutzer ein Benutzerprofil verwendet wird, in dem wenigstens eine aus den Eingangsdaten ausgewählte und/oder bei der Ausführung des Analysealgorithmus ermittelte Benutzerinformation gespeichert wird. Dabei muss es sich nicht um eine dauerhafte Speicherung handeln, sondern es ist durchaus denkbar, ein Benutzerprofil auch dynamisch für einen aktuellen Benutzer anzulegen. Bevorzugt ist es jedoch, Benutzerprofile, insbesondere bei automatischer Erkennung, beispielsweise mittels Gesichtserkennung, dauerhaft vorzuhalten, um eine „Wiedererkennung“ eines Benutzers zu erlauben und die Entwicklung eines Benutzers, insbesondere hinsichtlich der Befähigung zur Bedienung der Medizintechnikeinrichtung, über mehrere Bedienzyklen nachzuverfolgen und auch dahingehend eine adaptive und intelligente Anpassung der Benutzeroberfläche zu erlauben.It is also preferred, as already indicated, if a user profile is used for each identified user in which at least one user information selected from the input data and / or ascertained when the analysis algorithm is executed is stored. This does not have to be permanent storage, but it is quite conceivable to also create a user profile dynamically for a current user. However, it is preferred to permanently hold user profiles, in particular in the case of automatic recognition, for example by means of face recognition, in order to allow “recognition” of a user and to track the development of a user, in particular with regard to the ability to operate the medical technology device, over several operating cycles and also to that effect to allow adaptive and intelligent adaptation of the user interface.

Vorzugsweise kann unter Verwendung eines zeitlichen Verlaufs von Zusatzinformationen und/oder aufgrund der Identifikation eine Rolle des Benutzers ermittelt werden und bei der Aktualisierung der Benutzeroberfläche verwendet werden, insbesondere durch Verwendung von rollenspezifischen Benutzeroberflächen. Während sich eine Rolle eines Benutzers, wobei die verwendeten Rollen bevorzugt Arzt und/oder technischer Assistent und/oder medizinischer Assistent umfassen, häufig bereits aus einer Identifikation des Benutzers ableiten lassen, ist es auch denkbar, eine Rolle aus dem durch die Zusatzinformation gegebenen Benutzerverhalten zu folgern, wobei hier bevorzugt zusätzlich auch weitere Eingabedaten, insbesondere Systemdaten und/oder Eingabedaten, herangezogen werden können. Ist die Rolle des Benutzers erst bekannt, können insbesondere rollenspezifisch ausgestaltete Benutzeroberflächen durch die entsprechende Aktualisierung erzeugt werden, beispielsweise für einen Arzt eine andere Darstellung bzw. allgemein Ausgabe erfolgen, wie für einen medizinischen und/oder technischen Assistenten. Mithin kann auch diesbezüglich eine optimale Anpassung auf den aktuellen Benutzer erfolgen.A role of the user can preferably be determined using a temporal course of additional information and / or on the basis of the identification and can be used when updating the user interface, in particular by using role-specific user interfaces. While a role of a user, the roles used preferably comprising a doctor and / or technical assistant and / or medical assistant, can often already be derived from an identification of the user, it is also conceivable to assign a role to the user behavior given by the additional information conclude, in which case additional input data, in particular system data and / or input data, can preferably also be used here. If the role of the user is only known, in particular role-specific user interfaces can be generated by the corresponding update, for example a different representation or general output for a doctor, such as for a medical and / or technical assistant. Therefore, an optimal adaptation to the current user can also take place in this regard.

In einer besonders bevorzugten Weiterbildung kann vorgesehen sein, dass aus einer Analyse des zeitlichen Verlaufs wenigstens der Zusatzinformation, insbesondere auch der Bediendaten, ein die Befähigung des Benutzers zur Bedienung der Medizintechnikeinrichtung beschreibendes Skilllevel ermittelt und bei der Aktualisierung der Benutzeroberfläche verwendet wird. Durch Beobachtung der Bedientätigkeit und des sonstigen Verhaltens des Benutzers kann mithin auf ein Skilllevel, also einen Fähigkeitswert, des Benutzers hinsichtlich der Medizintechnikeinrichtung geschlossen werden. Beispielsweise können Anfänger anhand langen Suchens, verwirrten Gefühlszuständen/Gesichtsausdrücken, häufigen Bedienfehlern und dergleichen als solche erkannt werden, wobei die Versiertheit im Umgang mit der die Benutzeroberfläche einsetzenden Bedieneinrichtung entsprechend durch eine erhöhte Sicherheit während der Bedientätigkeit erkannt werden kann. Konkret kann beispielsweise vorgesehen sein, dass das Skilllevel in vorgegebenen Stufen bestimmt wird, insbesondere umfassend Anfänger, erfahrener Benutzer und Experte.In a particularly preferred development, it can be provided that an analysis of the time course of at least the additional information, in particular also the operating data, determines a skill level describing the user's ability to operate the medical technology device and is used when updating the user interface. By observing the operating activity and the other behavior of the user, it is therefore possible to infer a skill level, that is to say an ability value, of the user with regard to the medical technology device. For example, beginners can be recognized as such on the basis of long searches, confused emotional states / facial expressions, frequent operating errors and the like, the level of sophistication in dealing with the operating device using the user interface being able to be recognized accordingly by increased security during the operating activity. Specifically, it can be provided, for example, that the skill level is determined in predetermined levels, in particular comprising beginners, experienced users and experts.

Auf diese Weise können beispielsweise Anfänger die Bedienung der Medizintechnikeinrichtung nach und nach lernen, wobei die Unterstützung, Führung und Hilfsfunktionen mit der Zeit reduziert werden können, während das Skilllevel des Benutzers ansteigt. Die Bediensicherheit wird erhöht, indem entsprechend auf das Skilllevel der Benutzer angepasste Benutzeroberflächenelemente eingesetzt werden.In this way, for example, beginners can gradually learn how to operate the medical technology device, with the support, guidance and auxiliary functions being reduced over time as the skill level of the user increases. Operator safety is increased by using user interface elements that are adapted to the skill level of the user.

Allgemein kann in einer bevorzugten Ausgestaltung der vorliegenden Erfindung vorgesehen sein, dass durch den Analysealgorithmus aufgrund der Eingangsdaten weitere Bedienschritte prädiziert werden und die Benutzeroberfläche zur Durchführung dieser Bedienschritte aktualisiert wird. Gerade der Einsatz künstlicher Intelligenz eignet sich besonders, mittels der Eingangsdaten hervorzusagen, welche zukünftigen Schritte anstehen, das bedeutet, welche Bedienhandlungen/Eingabetätigkeiten als nächstes zu erwarten sind. Die Benutzeroberfläche kann dann entsprechend so aktualisiert werden, dass diese Schritte schnell und einfach umgesetzt werden können.In general, it can be provided in a preferred embodiment of the present invention that the analysis algorithm predicts further operating steps on the basis of the input data and the user interface is updated in order to carry out these operating steps. The use of artificial intelligence is particularly suitable for using the input data to predict which future steps are pending, which means which operator actions / input activities are to be expected next. The user interface can then be updated accordingly so that these steps can be implemented quickly and easily.

Dabei sei an dieser Stelle noch angemerkt, dass selbstverständlich der Analysealgorithmus der künstlichen Intelligenz auch während des alltäglichen Betriebs weiter trainiert werden kann, was im Beispiel der Vorhersage weiterer Bedienschritte beispielsweise bedeuten kann, dass eine fehlerhafte Vorhersage erkannt wird und gleichzeitig gelernt wird, welche Bedienschritte der Benutzer statt den eigentlich vorhergesagten Bedienschritten vornimmt. Diese Lernfähigkeit lässt sich selbstverständlich auch auf andere Anwendungsmöglichkeiten übertragen, beispielsweise falsch erkannte Rollen, falsch erkannte Gefühlszustände und dergleichen.At this point, it should also be noted that, of course, the artificial intelligence analysis algorithm can also be trained during everyday operation, which in the example of predicting further operating steps can mean, for example, that an incorrect prediction is recognized and at the same time it is learned which operating steps the User instead of the actually predicted operating steps. This ability to learn can of course also be transferred to other possible applications, for example incorrectly identified roles, incorrectly identified emotional states and the like.

Zweckmäßig ist es im Rahmen der vorliegenden Erfindung ferner, wenn durch den Analysealgorithmus aufgrund der Eingangsdaten, insbesondere auch Systemdaten, vorliegende Problem- und/oder Fehlerzustände identifiziert werden und die Benutzeroberfläche zur Anzeige und/oder Beseitigung der vorliegenden Problem- und/oder Fehlerzustände durch den Benutzer angepasst wird. Diese Problem- und/oder Fehlerzustände umfassen insbesondere auch die bereits beschriebenen Fälle des Übersehens wichtiger Informationen bei einer graphischen Benutzeroberfläche, die entsprechend gehandhabt werden können. Doch auch sonstige Problem- und/oder Fehlerzustände, die insbesondere auch durch Systemdaten beschrieben werden können, können durch das vorliegende Verfahren abgedeckt werden, indem beispielsweise die Benutzeroberfläche auf den aktuellen Betriebszustand der Medizintechnikeinrichtung, also auch bei vorliegenden technischen Fehlern/Problemen, angepasst wird, um eine möglichst einfache Beseitigung des Fehlers/Problems zu erlauben. In the context of the present invention, it is also expedient if the analysis algorithm identifies existing problem and / or error states on the basis of the input data, in particular also system data, and if the user interface for displaying and / or eliminating the present problem and / or error states is identified by the User is customized. These problem and / or error states include, in particular, the cases of missing important information in a graphical user interface which have already been described and which can be handled accordingly. However, other problem and / or error states, which can also be described in particular by system data, can be covered by the present method, for example by adapting the user interface to the current operating state of the medical technology device, that is to say also in the case of existing technical errors / problems. to allow the error / problem to be eliminated as easily as possible.

Umfasst die Benutzeroberfläche eine Hilfefunktion, sieht eine zweckmäßige Weiterbildung der vorliegenden Erfindung vor, dass die Hilfefunktion ebenso in Abhängigkeit der Ausgangsdaten aktualisiert wird. Beispielsweise kann eine Hilfefunktion auf eine Rolle und/oder ein Skilllevel des Benutzers angepasst werden, jedoch ist auch eine Anpassung der Hilfefunktion auf aktuell vorliegende Probleme/Fehler und/oder vorhergesagte Bedienschritte und/oder den aktuellen Gefühlszustand des Benutzers denkbar.If the user interface includes a help function, an expedient development of the present invention provides that the help function is also updated as a function of the output data. For example, a help function can be adapted to a role and / or a skill level of the user, but an adaptation of the help function to currently existing problems / errors and / or predicted operating steps and / or the current emotional state of the user is also conceivable.

Die Ermittlung der Ausgangsdaten und/oder die Aktualisierung der Benutzeroberfläche kann ferner zur Optimierung des Ablaufs eines oder des durchzuführenden Workflows erfolgen. Liegt ein bestimmter durchzuführender Workflow vor, beispielsweise bezogen auf eine aktuelle Untersuchungs- und/oder Behandlungsaufgabe bei einem Patienten, kann dessen Ablauf optimiert, insbesondere hinsichtlich der Geschwindigkeit der Durchführung und/oder des qualitativen Ergebnisses optimiert werden, indem die Bedientätigkeit des Benutzers durch die Benutzeroberfläche gezielt auf eine schnellere und/oder hochqualitative Durchführung des Workflows gelenkt wird.The determination of the output data and / or the updating of the user interface can also be carried out in order to optimize the execution of a workflow or the workflow to be carried out. If there is a specific workflow to be carried out, for example based on a current examination and / or treatment task for a patient, its sequence can be optimized, in particular with regard to the speed of the implementation and / or the qualitative result, by the user operating activity through the user interface is directed specifically to a faster and / or high quality execution of the workflow.

Eine besonders zweckmäßige Weiterbildung der vorliegenden Erfindung sieht vor, dass die Eingabevorrichtung eine Sprachinteraktionseinrichtung mit wenigstens einem Aufnahmemittel für gesprochene Benutzereingabe umfasst. Das bedeutet, die intelligente und adaptive Benutzeroberfläche kann ferner auch über eine Spracheingabe und insbesondere auch Sprachausgabe-Funktionalität ergänzt werden, so dass vorzugsweise die Sprachinteraktionseinrichtung als Teil der Ausgabevorrichtung auch ein Sprachausgabemittel umfasst, wobei die Sprachausgabe als Teil der Benutzeroberfläche verwendet wird. Es ergibt sich dann ein sogenanntes „Natural Language UI“, welches zweckmäßigerweise einen graphischen Anteil der Benutzeroberfläche ergänzt.A particularly expedient development of the present invention provides that the input device comprises a voice interaction device with at least one recording means for spoken user input. This means that the intelligent and adaptive user interface can also be supplemented by voice input and in particular also voice output functionality, so that preferably the voice interaction device as part of the output device also includes a voice output means, the voice output being used as part of the user interface. The result is a so-called "Natural Language UI", which expediently supplements a graphic part of the user interface.

In einer diesbezüglich besonders zweckmäßigen Ausgestaltung kann vorgesehen sein, dass von dem Aufnahmemittel insbesondere auch außerhalb der Bedientätigkeit aufgenommene Sprache mittels eines Sprachanalysealgorithmus zur Ermittlung einer Zusatzinformation analysiert wird. Bei dem Sprachanalysealgorithmus kann es sich ebenfalls um einen Algorithmus der künstlichen Intelligenz handeln. Durch eine Analyse der Sprache des Benutzers ist es zum einen ebenso möglich, als Zusatzinformation Gefühlszustände, beispielsweise Unsicherheit und dergleichen, zu erkennen, woraus wiederum beispielsweise auf den Skilllevel des Benutzers zurückgeschlossen werden kann. Doch kann auch sonstige Kommunikation in dem Raum, in dem sich die Medizintechnikeinrichtung befindet, analysiert werden, so dass beispielsweise aus Rückfragen des Benutzers an weitere anwesende Personen auf die Rolle des Benutzers geschlossen werden kann und dergleichen. Auch hinsichtlich einer Sprachanalyse ergeben sich also eine Vielzahl von Möglichkeiten zur Ermittlung und Nutzung von Zusatzinformationen.In an embodiment which is particularly expedient in this regard, it can be provided that speech recorded by the recording means, in particular also outside of the operating activity, is analyzed by means of a speech analysis algorithm to determine additional information. The speech analysis algorithm can also be an artificial intelligence algorithm. By analyzing the language of the user, it is also possible, on the one hand, to recognize emotional states, for example insecurity and the like, as additional information, which in turn can be used to infer, for example, the skill level of the user. However, other communication in the room in which the medical technology device is located can also be analyzed, so that, for example, questions from the user to other persons present can be used to infer the role of the user and the like. With regard to a speech analysis, too, there are numerous possibilities for determining and using additional information.

Bei der Medizintechnikeinrichtung kann es sich insbesondere um eine Bildaufnahmeeinrichtung, beispielsweise eine Röntgeneinrichtung, handeln. Gerade bei modernen Bildaufnahmeeinrichtungen erweist sich aufgrund der steigenden Qualität und Menge der Ausstattung sowie der Vielfalt gebotener Möglichkeiten die Bedienung der Medizintechnikeinrichtung als immer schwieriger, so dass eine intelligente und adaptive Benutzeroberfläche hier eine deutliche Verbesserung mit sich bringt. Doch auch für andere Medizintechnikeinrichtungen, insbesondere Behandlungseinrichtungen, lässt sich die vorliegende Erfindung mit steigender Komplexität und parallel dazu steigendem Nutzen vorteilhaft einsetzen.The medical technology device can in particular be an image recording device, for example an X-ray device. In modern image recording devices in particular, it is becoming increasingly difficult to operate the medical technology device due to the increasing quality and quantity of the equipment and the variety of possibilities, so that an intelligent and adaptive user interface brings about a significant improvement here. However, the present invention can also be used advantageously for other medical technology devices, in particular treatment devices, with increasing complexity and, in parallel, increasing benefits.

Neben dem Verfahren betrifft die Erfindung auch eine Medizintechnikeinrichtung, insbesondere eine Bildaufnahmeeinrichtung, aufweisend wenigstens eine zur Ausgabe einer Benutzeroberfläche genutzte Ausgabevorrichtung mit zugeordneter und/oder integrierter Eingabevorrichtung und eine zur Ausführung des erfindungsgemäßen Verfahrens ausgebildete Steuereinrichtung. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Medizintechnikeinrichtung übertragen, mit welcher mithin ebenso die bereits genannten Vorteile erhalten werden können. Die Steuereinrichtung kann wenigstens einen Prozessor und/oder wenigstens ein Speichermittel umfassen. Zur Realisierung des erfindungsgemäßen Verfahrens kann die Steuereinrichtung bevorzugt wenigstens eine Ermittlungseinheit zur Ermittlung der Zusatzinformation bzw. der Eingangsdaten im Allgemeinen und eine Analyseeinheit zur Realisierung des Analysealgorithmus umfassen. Die entstehenden Ausgangsdaten können durch eine Aktualisierungseinheit zur Aktualisierung der Benutzeroberfläche eingesetzt werden. Neben ohnehin vorhandenen Funktionseinheiten, beispielsweise solchen, die aus der Eingabetätigkeit des Benutzers die zur Steuerung der Medizintechnikeinrichtung verwendeten Einstellungsinformationen ableiten, können selbstverständlich auch weitere Funktionseinheiten zur Realisierung weiterer Aspekte der vorliegenden Erfindung vorgesehen sein.In addition to the method, the invention also relates to a medical technology device, in particular an image recording device, comprising at least one output device used for outputting a user interface with an associated and / or integrated input device and a control device designed to carry out the method according to the invention. All statements relating to the method according to the invention can be transferred analogously to the medical technology device according to the invention, with which the advantages already mentioned can thus also be obtained. The control device can comprise at least one processor and / or at least one storage means. To implement the method according to the invention, the control device can preferably have at least one determination unit to determine the additional information or the input data in general and include an analysis unit to implement the analysis algorithm. The resulting output data can be used by an update unit to update the user interface. In addition to existing functional units, for example those that derive the setting information used to control the medical technology device from the user's input activity, other functional units can of course also be provided to implement further aspects of the present invention.

Ein erfindungsgemäßes Computerprogramm ist beispielsweise direkt in einen Speicher einer Steuereinrichtung einer Medizintechnikeinrichtung ladbar und weist Programmmittel auf, um die Schritte eines erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in der Steuereinrichtung der Medizintechnikeinrichtung ausgeführt wird. Das Computerprogramm kann auf einem erfindungsgemäßen elektronisch lesbaren Datenträger gespeichert sein, welcher mithin darauf gespeicherte elektronisch lesbare Steuerinformationen umfasst, welche zumindest ein erfindungsgemäßes Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Steuereinrichtung einer Medizintechnikeinrichtung ein erfindungsgemäßes Verfahren durchführen. Bei dem Datenträger kann es sich um einen nicht transienten Datenträger, insbesondere eine CD-ROM, handeln.A computer program according to the invention can, for example, be loaded directly into a memory of a control device of a medical technology device and has program means to carry out the steps of a method according to the invention when the computer program is executed in the control device of the medical technology device. The computer program can be stored on an electronically readable data carrier according to the invention, which therefore includes electronically readable control information stored thereon, which comprise at least one computer program according to the invention and is designed such that when the data carrier is used in a control device of a medical technology device, it carries out a method according to the invention. The data carrier can be a non-transient data carrier, in particular a CD-ROM.

Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:

  • 1 eine Prinzipskizze eines an einer Bedieneinrichtung angeordneten Benutzers,
  • 2 ein Funktionsbild zur Erläuterung des erfindungsgemäßen Verfahrens,
  • 3 einen Benutzer in einer ersten Bediensituation,
  • 4 einen Benutzer in einer zweiten Bediensituation, und
  • 5 eine erfindungsgemäße Medizintechnikeinrichtung.
Further advantages and details of the present invention result from the exemplary embodiments described below and from the drawings. Show:
  • 1 1 shows a basic sketch of a user arranged on an operating device,
  • 2 2 shows a functional diagram to explain the method according to the invention,
  • 3 a user in a first operating situation,
  • 4 a user in a second operating situation, and
  • 5 a medical device according to the invention.

1 zeigt schematisch einen Benutzer 1 an einer Bedieneinrichtung 2, die vorliegend als ein eine Ausgabevorrichtung und eine Eingabevorrichtung kombinierender Touchscreen 3 ausgebildet ist. Die Bedieneinrichtung 2 ist dabei Teil einer Medizintechnikeinrichtung, beispielsweise die Konsole eines Bildsystems einer Bildaufnahmeeinrichtung wie einer Röntgeneinrichtung. Alternativ oder zusätzlich zur Verwendung eines Touchscreens 3 kann als gegebenenfalls weitere Eingabevorrichtung auch eine Maus vorgesehen sein. 1 schematically shows a user 1 on an operating device 2 , which in the present case as a touchscreen combining an output device and an input device 3 is trained. The control device 2 is part of a medical technology device, for example the console of an image system of an image recording device such as an X-ray device. Alternatively or in addition to using a touchscreen 3 A mouse can also be provided as an optional additional input device.

Auf dem Touchscreen wird ein graphischer Anteil 4 einer Benutzeroberfläche mit verschiedenen Benutzeroberflächenelementen dargestellt. Mittels eines Analysealgorithmus der künstlichen Intelligenz soll die Benutzeroberfläche nun als eine intelligente und adaptive Benutzeroberfläche realisiert werden, so dass eine einfache, schnelle, intuitive und sichere Bedienung der Medizintechnikeinrichtung ermöglicht wird. Dieser Analysealgorithmus nutzt bestimmte Eingangsdaten, deren Quellen ebenso erläuternd in 1 bereits näher gezeigt sind.There is a graphic part on the touchscreen 4 a user interface with different user interface elements. Using an analysis algorithm of artificial intelligence, the user interface is now to be implemented as an intelligent and adaptive user interface, so that the medical technology device can be operated simply, quickly, intuitively and safely. This analysis algorithm uses certain input data, the sources of which are also explanatory in 1 are already shown in more detail.

So umfasst die Medizintechnikeinrichtung zunächst einen vorliegend als Kamera 5, insbesondere 3D-Kamera, ausgebildeten optischen Sensor 6, der vorliegend auf den Kopf 7 des Benutzers 1, insbesondere dessen Augen 8 und das Gesicht 9, gerichtet ist. Aus den Bilddaten der Kamera 5 lässt sich durch eine Blickrichtungserkennung der Anteil 10, insbesondere in Form von Benutzeroberflächenelementen, ermitteln, auf den der Blick des Benutzers 1 gerichtet ist. Ferner wird ein Bildverarbeitungsalgorithmus der künstlichen Intelligenz auf die Bilddaten der Kamera 5 angewendet, der Gesichtsausdrücke, Gefühlszustände und das Alter des Benutzers 1 erkennen kann. Auch eine Identifikation des Benutzers 1 erfolgt durch Gesichtserkennung in den Bilddaten der Kamera 5.Thus, the medical technology device initially comprises one as a camera 5 , in particular 3D camera, trained optical sensor 6 , the present upside down 7 of the user 1 , especially his eyes 8th and the face 9 , is directed. From the image data of the camera 5 the proportion can be determined by looking in the direction of view 10 , in particular in the form of user interface elements, at which the user's gaze 1 is directed. Furthermore, an image processing algorithm of artificial intelligence is applied to the image data of the camera 5 applied the facial expressions, emotional states and the age of the user 1 can recognize. Also an identification of the user 1 is done by facial recognition in the image data of the camera 5 ,

Solche, nicht unmittelbar auf die Eingabetätigkeit des Benutzers 1 bezogenen Eingangsdaten sollen im Folgenden als Zusatzinformation bezeichnet werden. Zusatzinformationen können optional neben einer Auswertung der Bilddaten der Kamera 5 auch aus Sensordaten eines kapazitiven, dem Touchscreen 3 zur Ermittlung von Eingaben zugeordneten Sensors 11 abgeleitet werden. Beispielsweise ist hier eine Gestenerkennung denkbar. In jedem Fall liefert aber der Sensor 11 als Eingangsdaten für den Analysealgorithmus Bediendaten, wie dies grundsätzlich bekannt ist; weitere Quellen für Bediendaten können von der angesprochenen Maus und/oder anderen Eingabevorrichtungen stammen.Such, not directly on the input activity of the user 1 related input data will be referred to below as additional information. Additional information can optionally be used in addition to an evaluation of the image data of the camera 5 also from sensor data of a capacitive, the touchscreen 3 for determining inputs assigned to sensors 11 be derived. For example, gesture recognition is conceivable here. In any case, the sensor delivers 11 operating data as input data for the analysis algorithm, as is known in principle; further sources of operating data can originate from the addressed mouse and / or other input devices.

Bediendaten und Zusatzinformationen lassen sich ferner auch aus Informationen einer ferner vorgesehenen Sprachinteraktionseinrichtung 12 ermitteln, die vorliegend ein Aufnahmemittel für gesprochene Benutzereingaben und ein Sprachausgabemittel umfasst, wobei die Sprachausgabe auch als ein Teil der Benutzeroberfläche verwendet wird, so dass auch ein akustischer Anteil der Benutzeroberfläche („Natural Language UI“) entsteht. Mit dem Aufnahmemittel aufgenommene Sprache kann mittels eines Sprachanalysealgorithmus, insbesondere eines Sprachanalysealgorithmus der künstlichen Intelligenz, ebenso zur Ermittlung einer Zusatzinformation ausgewertet werden.Operating data and additional information can also be obtained from information from a further provided voice interaction device 12 determine, which in the present case comprises a recording means for spoken user input and a voice output means, the voice output also being used as part of the user interface, so that an acoustic part of the user interface ("Natural Language UI") also arises. Speech recorded with the recording means can also be evaluated by means of a speech analysis algorithm, in particular a speech analysis algorithm of artificial intelligence, to determine additional information.

Schließlich ist in 1 auch eine allgemeine Steuereinrichtung 13 der Medizintechnikeinrichtung gezeigt, die die Ermittlungseinheit für die Zusatzinformation bzw. sonstige Eingangsdaten aufweisen kann, zudem aber auch selbst Eingangsdaten liefern kann, insbesondere in Form von Systemdaten, die den Betriebszustand der Medizintechnikeinrichtung und den Ablaufzustand eines durchzuführenden Workflows beschreiben. Ein Workflow kann bei einer Bildaufnahmeeinrichtung beispielsweise ein Messprotokoll oder dergleichen umfassen. Insgesamt beschreibt er den vorgesehenen Ablauf eines Untersuchungs- und/oder Behandlungsvorgangs an einem Patienten mittels der Medizintechnikeinrichtung. Finally in 1 also a general control device 13 shown of the medical device, which can have the determination unit for the additional information or other input data, but can also supply input data itself, in particular in the form of system data that describe the operating state of the medical device and the state of execution of a workflow to be carried out. A workflow can include, for example, a measurement protocol or the like in an image recording device. Overall, it describes the intended course of an examination and / or treatment process on a patient using the medical technology device.

2 erläutert den Ablauf des erfindungsgemäßen Verfahrens nochmals genauer. Links gezeigt sind zunächst die Eingangsdaten 14, die sich, wie beschrieben, zusammensetzen aus Systemdaten 15, Bediendaten 16 und Zusatzinformation 17, die sich auf den Benutzer bezieht, jedoch nicht die Eingabetätigkeit (unmittelbar) betrifft. Die Zusatzinformation, wie bereits bezüglich der 1 dargelegt, betrifft mithin den Zustand und/oder die Handlungen des Benutzers neben der Eingabetätigkeit, welche durch die Bediendaten 16 beschrieben wird. 2 explains the sequence of the method according to the invention again in more detail. The input data are shown on the left 14 which, as described, consist of system data 15 , Operating data 16 and additional information 17 which relates to the user but does not affect the input activity (directly). The additional information, as already regarding the 1 explained, therefore relates to the state and / or the actions of the user in addition to the input activity, which is caused by the operating data 16 is described.

Selbstverständlich können, falls zweckmäßig, auch weitere Eingabedaten 14 herangezogen werden.Of course, other input data can also be used, if appropriate 14 be used.

Die Eingabedaten 14 werden durch den Analysealgorithmus 18 der künstlichen Intelligenz verarbeitet, wobei als Ausgangsdaten vorliegend insbesondere ein Skilllevel des Benutzers 1, eine Rolle des Benutzers 1, ein Gefühlszustand des Benutzers 1, prädizierte nächste Bedienschritte des Benutzers 1 sowie potentiell und/oder tatsächlich vorliegende Fehler und/oder Probleme ermittelt werden. Die entstehenden Ausgangsdaten werden in einem Schritt 19 zur aktualisierenden Anpassung der Benutzeroberfläche genutzt. Dabei können Benutzeroberflächenelemente beispielsweise auf das Skilllevel des Benutzers angepasst werden, beispielsweise Anfänger bis Experte, es können spezifische Benutzeroberflächen für die Rolle des Benutzers 1 (beispielsweise Arzt/Röntgentechniker/medizinischer Assistent) erzeugt werden, es kann spezifische Führung und Workflowoptimierung stattfinden, eine Hilfefunktion kann angepasst werden und es kann auch speziell auf bestimmte Informationen und/oder Eingabemöglichkeiten hingewiesen werden. Somit wird eine adaptive und intelligente Benutzeroberfläche bereitgestellt.The input data 14 are through the analysis algorithm 18 of artificial intelligence, with a skill level of the user being present as the starting data 1 , a role of the user 1 , a feeling state of the user 1 , predicted next steps of the user 1 as well as potentially and / or actually existing errors and / or problems are determined. The resulting output data are in one step 19 used to update the user interface. User interface elements can be adapted, for example, to the skill level of the user, for example, beginners to experts, and specific user interfaces for the role of the user 1 (for example, doctor / X-ray technician / medical assistant), specific guidance and workflow optimization can take place, a help function can be adapted and specific information and / or input options can also be pointed out. This provides an adaptive and intelligent user interface.

Einen besonderen Fall der Fehler- und/oder Problemzustände stellt das Übersehen von Informationen durch den Benutzer 1 dar. Dies sei durch die in 3 und 4 angedeuteten Bedienzustände näher erläutert. In der Bediensituation der 3 wird als Benutzeroberflächenelement 20 eine als wichtig bewertete Information, beispielsweise eine Warnung, ausgegeben. Die Blickrichtungserkennung zeigt, dass der vom Benutzer wahrgenommene Anteil 10 mit dem Benutzeroberflächenelement 20 überlappt, der Benutzer 1 also die dargestellte Information wahrnimmt. In diesem Fall liegt ersichtlich kein Problem vor.A special case of error and / or problem states is the fact that information is overlooked by the user 1 This is due to the in 3 and 4 indicated operating states explained in more detail. In the operating situation of the 3 is used as a user interface element 20 an information rated as important, for example a warning, is output. The direction of view detection shows that the portion perceived by the user 10 with the UI element 20 overlaps the user 1 thus perceives the information presented. In this case there is obviously no problem.

Anders gestaltet sich dies in der in 4 dargestellten Bediensituation. Dort ist anhand des Anteils 10 zu erkennen, dass der Benutzer 1 seine Aufmerksamkeit nicht auf das Benutzeroberflächenelement 20 richtet und auch während der Zeitdauer von dessen Anzeige (aus dem Verlauf der Nutzerinformation schließbar) nicht auf dieses gerichtet hat. Das Benutzeroberflächenelement 20 wurde somit übersehen. Dies kann bei wichtiger Information ein Problem darstellen.This is different in the in 4 shown operating situation. There is based on the share 10 to recognize that the user 1 not paying attention to the user interface element 20 and has not aimed at it during the period of its display (which can be deduced from the course of the user information). The user interface element 20 was overlooked. This can be a problem with important information.

Hierauf kann die adaptive und intelligente Benutzeroberfläche nun jedoch reagieren, indem auf das Benutzeroberflächenelement 20 deutlicher hingewiesen wird, beispielsweise dieses blinkend und/oder in einer Signalfarbe dargestellt wird, und/oder das Benutzeroberflächenelement 20 in den Anteil 10 verschoben wird und/oder eine zusätzliche Hinweisgabe auf das Benutzeroberflächenelement 20 erfolgt. Dies ist nur ein nützliches, konkretes Beispiel für die Anpassungsmöglichkeiten der Benutzeroberfläche, die durch das beschriebene Vorgehen erreicht werden können.However, the adaptive and intelligent user interface can now react to this by clicking on the user interface element 20 is more clearly pointed out, for example, this is flashing and / or displayed in a signal color, and / or the user interface element 20 in the share 10 is moved and / or an additional indication of the user interface element 20 he follows. This is only a useful, concrete example of the customization options of the user interface that can be achieved through the described procedure.

4 zeigt schließlich eine Prinzipskizze einer erfindungsgemäßen Medizintechnikeinrichtung 21. Die Medizintechnikeinrichtung 21 ist als eine Röntgeneinrichtung ausgebildet, die eine deckenmontierte Röntgenstrahlereinheit 22 mit einem Röntgenstrahler 23 sowie eine Patientenliege 24 aufweist, unter der ein zugehöriger Röntgendetektor 25 angeordnet werden kann. 4 finally shows a schematic diagram of a medical technology device according to the invention 21 , The medical technology facility 21 is designed as an X-ray device, which is a ceiling-mounted X-ray unit 22 with an x-ray tube 23 as well as a patient couch 24 has an associated X-ray detector 25 can be arranged.

Vorliegend sind zwei Bedieneinrichtungen 2 der Medizintechnikeinrichtung 21 gezeigt, nämlich zum einen eine dem Bildsystem zugeordnete Arbeitsplatz-Bedieneinrichtung 2 mit einem Monitor 26 als Ausgabevorrichtung und einer Tastatur 27 sowie einer Maus 28 als Eingabevorrichtungen. Die weitere Bedieneinrichtung 2 umfasst einen Touchscreen 3 an der Röntgenstrahlereinheit 22.There are two controls 2 the medical technology facility 21 shown, namely on the one hand a workplace operating device assigned to the image system 2 with a monitor 26 as an output device and a keyboard 27 as well as a mouse 28 as input devices. The further control device 2 includes a touch screen 3 on the X-ray unit 22 ,

Die Röntgeneinrichtung 13 ist nun für beide Bedieneinrichtungen 2 dazu ausgebildet, das erfindungsgemäße Verfahren umzusetzen, mithin den Analysealgorithmus der künstlichen Intelligenz auf Zusatzinformationen umfassende Eingangsdaten anzuwenden, um Ausgangsdaten zu erhalten, anhand derer die adaptive und intelligente jeweilige Benutzeroberfläche aktualisiert werden kann.The X-ray facility 13 is now for both controls 2 trained to implement the method according to the invention, consequently to apply the analysis algorithm of artificial intelligence to input data comprising additional information in order to obtain output data by means of which the adaptive and intelligent respective user interface can be updated.

Hierzu kann die Steuereinrichtung 13 insbesondere eine Ermittlungseinheit für die Zusatzinformation und weitere Eingangsdaten, eine Analyseeinheit für die Durchführung des Analysealgorithmus und eine Aktualisierungseinheit zur entsprechenden Aktualisierung der Benutzeroberfläche aufweisen. Weitere Funktionseinheiten, insbesondere solche, die die Eingabetätigkeit des Benutzers 1 in Einstellungsinformationen für die Medizintechnikeinrichtung 21 umwandeln, können selbstverständlich ebenso vorgesehen sein.The control device can do this 13 in particular have a determination unit for the additional information and further input data, an analysis unit for carrying out the analysis algorithm and an update unit for the corresponding update of the user interface. Other functional units, especially those that control the input activity of the user 1 in setting information for the medical device 21 convert, of course, can also be provided.

Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.Although the invention has been illustrated and described in detail by the preferred exemplary embodiment, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by a person skilled in the art without departing from the scope of protection of the invention.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Benutzeruser
22
Bedieneinrichtungoperating device
33
Touchscreentouchscreen
44
Anteilproportion of
55
Kameracamera
66
Sensorsensor
77
Kopfhead
88th
Augeeye
99
Gesichtface
1010
Anteilproportion of
1111
Sensorsensor
1212
SprachinteraktionseinrichtungVoice interaction device
1313
Steuereinrichtungcontrol device
1414
Eingangsdateninput data
1515
Systemdatensystem data
1616
Bediendatenoperating data
1717
Zusatzinformationextra information
1818
Analysealgorithmusanalysis algorithm
1919
Schrittstep
2020
Benutzeroberflächenelementuser interface element
2121
MedizintechnikeinrichtungMedical technology equipment
2222
RöntgenstrahlereinheitX-ray unit
2323
RöntgenstrahlerX-ray
2424
Patientenliegepatient support
2525
RöntgendetektorX-ray detector
2626
Monitormonitor
2727
Tastaturkeyboard
2828
Mausmouse

Claims (16)

Verfahren zur Steuerung des Betriebs einer Medizintechnikeinrichtung (21), welche wenigstens eine zur Ausgabe einer Benutzeroberfläche genutzte Ausgabevorrichtung mit zugeordneter und/oder integrierter Eingabevorrichtung umfasst, wobei aus einer mittels der Benutzeroberfläche erfolgten Benutzereingabe zur Steuerung der Medizintechnikeinrichtung (21) verwendete Einstellungsinformationen ermittelt werden, dadurch gekennzeichnet, dass die Benutzeroberfläche unter Verwendung von Ausgangsdaten wenigstens eines Analysealgorithmus (18) der künstlichen Intelligenz aktualisiert wird, wobei als Eingangsdaten (14) für den Analysealgorithmus (18) wenigstens eine den Zustand und/oder die Handlungen des Benutzers (1) neben der Eingabetätigkeit beschreibende Zusatzinformation (17) ermittelt und verwendet wird.Method for controlling the operation of a medical technology device (21), which comprises at least one output device used for outputting a user interface with an associated and / or integrated input device, wherein setting information used to control the medical technology device (21) by means of the user interface is determined, thereby characterized in that the user interface is updated using output data from at least one analysis algorithm (18) of artificial intelligence, the input data (14) for the analysis algorithm (18) being at least one of the state and / or the actions of the user (1) in addition to the input activity descriptive additional information (17) is determined and used. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Eingangsdaten (14) für den Analysealgorithmus (18) auch die Eingabetätigkeit des Benutzers (1) beschreibende Bediendaten (16) und/oder den Betriebszustand der Medizintechnikeinrichtung (21) und/oder den Ablaufzustand eines durchzuführenden Workflows beschreibende Systemdaten (15) verwendet werden.Procedure according to Claim 1 , characterized in that the input data (14) for the analysis algorithm (18) also includes the operator (1) input data (16) and / or the operating status of the medical device (21) and / or the runtime status of a workflow to be performed system data ( 15) can be used. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Zusatzinformation (17) aus Sensordaten eines wenigstens einen Teil des Benutzers (1) erfassenden Sensors (6, 11) ermittelt wird.Procedure according to Claim 1 or 2 , characterized in that the additional information (17) is determined from sensor data of a sensor (6, 11) which detects at least part of the user (1). Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als Sensor (6, 11) ein die Blickrichtung des Benutzers (1) auf die dargestellte Benutzeroberfläche nachverfolgender optischer Sensor (6), insbesondere eine Kamera (5), verwendet wird.Procedure according to Claim 3 , characterized in that an optical sensor (6), in particular a camera (5), is used as the sensor (6, 11) to track the direction in which the user (1) is looking at the user interface shown. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als Zusatzinformation (17) ein aufgrund der Blickrichtung ermittelter, von dem Benutzer (1) betrachteter Anteil (10) der Benutzeroberfläche verwendet wird.Procedure according to Claim 4 , characterized in that a portion (10) of the user interface determined on the basis of the viewing direction and viewed by the user (1) is used as additional information (17). Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass bei einer als wichtig bewerteten, aufgrund des betrachteten Anteils (10) übersehenen Information der Analysealgorithmus (18) die Benutzeroberfläche zur besseren Wahrnehmung der Information und/oder zum Hinweis auf die Information aktualisiert.Procedure according to Claim 5 , characterized in that in the case of information assessed as important and overlooked on the basis of the portion (10) under consideration, the analysis algorithm (18) updates the user interface for better perception of the information and / or for reference to the information. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass, insbesondere bei auch das Gesicht (9) des Benutzers (1) erfassendem optischen Sensor (6), durch eine Bildverarbeitung von Sensordaten des optischen Sensors (6) eine den Gesichtsausdruck, insbesondere einen Gefühlszustand des Benutzers (1), und/oder das Alter des Benutzers (1) beschreibende Zusatzinformation (17) ermittelt wird. Procedure according to one of the Claims 4 to 6 , characterized in that, in particular in the case of an optical sensor (6) which also detects the face (9) of the user (1), by means of image processing of sensor data of the optical sensor (6) a facial expression, in particular a feeling state of the user (1), and / or additional information (17) describing the age of the user (1) is determined. Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass als Sensor (6, 11) ein insbesondere auch zur Erfassung von Eingabetätigkeiten dienender, Gesten des Benutzers (1) erfassender, insbesondere kapazitiver Gestensensor (11) verwendet wird.Procedure according to one of the Claims 3 to 7 , characterized in that a sensor (6, 11) is used, in particular a capacitive gesture sensor (11) which is also used to record input activities and which detects gestures of the user (1). Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Identifizierung eines aktuellen Benutzers (1) erfolgt.Method according to one of the preceding claims, characterized in that an identification of a current user (1) takes place. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass unter Verwendung eines zeitlichen Verlaufs von Zusatzinformationen (17) und/oder aufgrund der Identifikation eine Rolle des Benutzers (1) ermittelt wird und bei der Aktualisierung der Benutzeroberfläche verwendet wird, insbesondere durch Verwendung von rollenspezifischen Benutzeroberflächen.Procedure according to Claim 9 , characterized in that a role of the user (1) is determined using a temporal course of additional information (17) and / or based on the identification and is used in updating the user interface, in particular by using role-specific user interfaces. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass aus einer Analyse des zeitlichen Verlaufs wenigstens der Zusatzinformation (17), insbesondere auch der Bediendaten (16), ein die Befähigung des Benutzers (1) zur Bedienung der Medizintechnikeinrichtung (21) beschreibendes Skilllevel ermittelt und bei der Aktualisierung der Benutzeroberfläche verwendet wird.Procedure according to Claim 9 or 10 , characterized in that an analysis of the temporal course of at least the additional information (17), in particular also the operating data (16), determines a skill level describing the ability of the user (1) to operate the medical technology device (21) and when the user interface is updated is used. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass durch den Analysealgorithmus (18) aufgrund der Eingangsdaten (14) weitere Bedienschritte prädiziert werden und die Benutzeroberfläche zur Durchführung dieser Bedienschritte aktualisiert wird.Method according to one of the preceding claims, characterized in that further operating steps are predicted by the analysis algorithm (18) on the basis of the input data (14) and the user interface is updated to carry out these operating steps. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass durch den Analysealgorithmus (18) aufgrund der Eingangsdaten (14) vorliegende Problem- und/oder Fehlerzustände identifiziert werden und die Benutzeroberfläche zur Anzeige und/oder Beseitigung der vorliegenden Problem- und/oder Fehlerzustände durch den Benutzer (1) angepasst wird.Method according to one of the preceding claims, characterized in that existing problem and / or error states are identified by the analysis algorithm (18) on the basis of the input data (14) and the user interface for displaying and / or eliminating the present problem and / or error states the user (1) is adapted. Medizintechnikeinrichtung (21), aufweisend wenigstens eine zur Ausgabe einer Benutzeroberfläche genutzte Ausgabevorrichtung mit zugeordneter und/oder integrierter Eingabevorrichtung und eine zur Ausführung eines Verfahrens nach einem der vorangehenden Ansprüche ausgebildete Steuereinrichtung (13).Medical technology device (21), comprising at least one output device used for outputting a user interface with an associated and / or integrated input device and a control device (13) designed to carry out a method according to one of the preceding claims. Computerprogramm, welches die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 13 durchführt, wenn es auf einer Steuereinrichtung (13) einer Medizintechnikeinrichtung (21) ausgeführt wird.Computer program, which follows the steps of a method according to one of the Claims 1 to 13 carried out when it is executed on a control device (13) of a medical technology device (21). Elektronisch lesbarer Datenträger, auf dem ein Computerprogramm nach Anspruch 15 gespeichert ist.Electronically readable data medium on which a computer program can be found Claim 15 is saved.
DE102018209717.8A 2018-06-15 2018-06-15 Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier Pending DE102018209717A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018209717.8A DE102018209717A1 (en) 2018-06-15 2018-06-15 Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018209717.8A DE102018209717A1 (en) 2018-06-15 2018-06-15 Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier

Publications (1)

Publication Number Publication Date
DE102018209717A1 true DE102018209717A1 (en) 2019-12-19

Family

ID=68724660

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018209717.8A Pending DE102018209717A1 (en) 2018-06-15 2018-06-15 Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier

Country Status (1)

Country Link
DE (1) DE102018209717A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3958103A1 (en) * 2020-08-18 2022-02-23 Siemens Aktiengesellschaft Adaptive human-machine interface based on artificial intelligence

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204968A (en) * 1989-03-27 1993-04-20 Xerox Corporation Automatic determination of operator training level for displaying appropriate operator prompts
EP1799106B1 (en) * 2004-09-13 2009-07-29 Biocognisafe Method for generating an indication of a level of vigilance of an individual
US20160009411A1 (en) * 2014-07-09 2016-01-14 Honeywell International Inc. Visual search assistance for an occupant of a vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204968A (en) * 1989-03-27 1993-04-20 Xerox Corporation Automatic determination of operator training level for displaying appropriate operator prompts
EP1799106B1 (en) * 2004-09-13 2009-07-29 Biocognisafe Method for generating an indication of a level of vigilance of an individual
US20160009411A1 (en) * 2014-07-09 2016-01-14 Honeywell International Inc. Visual search assistance for an occupant of a vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE, Hosub; CHOI, Young Sang; KIM, Yeo-Jin. An adaptive user interface based on spatiotemporal structure learning. IEEE Communications Magazine, 2011, 49. Jg., Nr. 6, S. 118-124. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3958103A1 (en) * 2020-08-18 2022-02-23 Siemens Aktiengesellschaft Adaptive human-machine interface based on artificial intelligence

Similar Documents

Publication Publication Date Title
DE102018210957B4 (en) Machine learning device and user identification device
DE102012107078A1 (en) Method and system for visualizing information about artificial respiration
DE102016210288A1 (en) Eyetracker unit operating device and method for calibrating an eyetracker unit of an operating device
Ferrez et al. Error-related EEG potentials in brain-computer interfaces
EP3123278B1 (en) Method and system for operating a display device
Bruno et al. Both vision-for-perception and vision-for-action follow Weber's law at small object sizes, but violate it at larger sizes
DE102015218948A1 (en) Apparatus and method for determining a medical health parameter of a subject by means of voice analysis
EP3930563A1 (en) Method for evaluating skin lesions using artificial intelligence
CN115191018A (en) Evaluation of a person or system by measuring physiological data
EP2409874A1 (en) Operating ability monitoring system
DE102018209717A1 (en) Process for controlling the operation of a medical device, medical device, computer program and electronically readable data carrier
WO2009121088A2 (en) Method for checking the degree of tiredness of a person operating a device
DE102019118752B4 (en) Method for adaptive functional reassignment of operating elements of an image recording system and associated image recording system
DE102015215044A1 (en) Method and system for processing multimodal input signals
Tickle et al. Near-optimal integration of magnitude in the human parietal cortex
WO2014118022A1 (en) Device for measuring pain and/or for pain detection
Zhou et al. Weighing Votes in Human–Machine Collaboration for Hazard Recognition: Inferring a Hazard-Based Perceptual Threshold and Decision Confidence from Electroencephalogram Wavelets
AT516020B1 (en) Method for quantifying the perceptibility of a person
DE102021110674A1 (en) MOTION EVALUATION SYSTEM, MOTION EVALUATION DEVICE AND MOTION EVALUATION METHOD
DE102015224889A1 (en) Fatigue detection method
DE102014210892A1 (en) A method of operating an input device and input device controllable by gestures performed with at least one body part of the human body
Madhavan et al. Effects of Information Source, Pedigree, and Reliability on Operators' Utilizaton of Diagnostic Advice
EP3660860A1 (en) Method and device for controlling a display unit in a medical device system
DE102021104127A1 (en) Method for operating a mobile computing device, computer program and mobile computing device
JP6345502B2 (en) Medical diagnostic imaging equipment

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHINEERS AG, DE

Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE