DE102007026120B4

DE102007026120B4 - Verfahren zur selbsttätigen Steuerung eines Zeigerelements in graphischen Nutzerschnittstellen eines digitalen Bildinformationssystems

Info

Publication number: DE102007026120B4
Application number: DE102007026120.0A
Authority: DE
Inventors: Peter Huber
Original assignee: Siemens Healthcare GmbH
Current assignee: Siemens Healthineers Ag De
Priority date: 2007-06-05
Filing date: 2007-06-05
Publication date: 2021-02-18
Anticipated expiration: 2027-06-06
Also published as: DE102007026120A1

Abstract

Verfahren zum Steuern eines graphischen Zeigerelements (8) innerhalb wenigstens einer mit einer Mehrzahl Segmente versehenen graphischen Nutzerschnittstelle einer Anwendung eines digitalen Bildinformationssystems (1), bei welchem- Blickbewegungen eines Nutzers (4) der wenigstens einen graphischen Nutzerschnittstelle mittels einer Blickbewegungserfassungseinrichtung (5) erfasst werden,- die erfassten Blickbewegungen zum Ermitteln einer Blickfixation des Nutzers analysiert werden,- ein von einer ermittelten Blickfixation fixiertes Segment der wenigstens einen graphischen Nutzerschnittstelle bestimmt wird, wobei- das graphische Zeigerelement (8) innerhalb des von der Blickfixation fixierten Segments der wenigstens einen graphischen Nutzerschnittstelle platziert wird, falls sich das Zeigerelement (8) nicht in dem fixierten Segment befindet; und wobei- das graphische Zeigerelement (8) nicht versetzt wird, falls sich das Zeigerelement in dem fixierten Segment befindet wobei die Ausführung des Verfahrens durch Nutzer-Interaktion wahlfrei inaktiviert und aktiviert werden kann und wobei- nach erfolgter Platzierung des graphischen Zeigerelements (8) im fixierten Segment mittels einer Augen-Interaktion, beispielsweise ein Lidschlag oder Blinzeln, des Nutzers die Anwendung bedienbar ist.

Description

Gebiet der Erfindung
Die Erfindung liegt auf dem technischen Gebiet der digitalen Bildinformationssysteme und betrifft ein Verfahren zur selbsttätigen Steuerung eines graphischen Zeigerelements in wenigstens einer graphischen Nutzerschnittstelle eines digitalen Bildinformationssystems mittels Blickbewegungserfassung, ein zur Durchführung des Verfahrens geeignetes digitales Bildinformationssystem mit einer Blickbewegungserfassungseinrichtung, einen zur Durchführung des Verfahrens geeignet eingerichteten Bildschirmarbeitsplatz eines digitalen Bildinformationssystems, eine elektronische Datenverarbeitungseinrichtung zur Steuerung des graphischen Zeigerelements in der wenigstens einen graphischen Nutzerschnittstelle eines digitalen Bildinformationssystems, einen maschinenlesbaren Programmcode, welcher Steuerbefehle enthält, die die elektronische Datenverarbeitungseinrichtung zur Durchführung des erfindungsgemäßen Verfahren veranlassen, sowie ein Speichermedium für den Programmcode.
Stand der Technik
Heutzutage werden in Kliniken und größeren Arztpraxen zunehmend medizinische Bildinformationssysteme (PACS = Picture Archiving and Communications System) zur Bildobjektverwaltung eingesetzt.
Medizinische Bildobjekte enthalten jeweils eine Mehrzahl einen selben Patienten beziehungsweise eine selbe Untersuchung betreffende Bilder, die durch Bild gebende Modalitäten, beispielsweise Computertomographen, Kernspintomographen, Positronenemissionstomographen, Angiographen und Sonographen, erzeugt und in Form von Pixeldaten mit den zugeordneten administrativen Textdaten, wie Patientenname, Geburtsdatum usw., im medizinischen Bildinformationssystem gespeichert werden.
Eine Darstellung der pixelbasierten Bildinhalte erfolgt mittels graphischer Nutzerschnittstellen an Bildschirmarbeitsplätzen in Form von zweidimensionalen Schnittbildern oder dreidimensionalen Volumendarstellungen, wobei letztere rechnerisch aus den zweidimensionalen Schnittbildern ermittelt werden.
Jeder Bildschirmarbeitsplatz eines medizinischen Bildinformationssystems ist mit einem oder mehreren Bildschirmen (Displays) ausgerüstet. Auf jedem dieser Bildschirme wird eine graphische Nutzerschnittstelle (GUI = graphical user interface) durch die eingesetzten Anwendung bereit gestellt, wobei diese graphische Elemente enthält, die eine gezielte Nutzer-interaktion, das heißt, Bedienung der Anwendung, durch Betätigung mittels eines durch ein Zeigergerät steuerbaren graphischen Zeigerelements ermöglichen.
Eine Darstellung von Bildern in einer selben graphischen Nutzerschnittstelle (beziehungsweise auf einem selben Bildschirm) erfolgt gewöhnlich in der Weise, dass in mehreren voneinander unabhängigen, einander nicht überlappenden logischen Darstellungsbereichen der graphischen Nutzerschnittstelle, so genannten Segmenten (auch als Sektoren bezeichnet), verschiedene Bilder angezeigt werden. So wird beispielsweise in einem Segment eine Volumendarstellung eines Organs dargestellt, während in davon verschiedenen Segmenten zweidimensionale Schnittbilder dieses Organs beispielsweise in Form von sagittalen, frontalen oder transversalen Schnitten dargestellt werden.
Gewöhnlich erfolgt eine Navigation innerhalb der graphischen Nutzerschnittstelle in der Weise, dass ein mittels einer manuell bedienten Computermaus gesteuerter Mauszeiger über die graphische Nutzerschnittstelle bewegt wird. Soll in einem bestimmten Segment eine Funktion ausgelöst werden, wird der Mauszeiger in dieses Segment hinein bewegt und beispielsweise eine entsprechende Schaltfläche über eine Taste der Computermaus angeklickt. Innerhalb einer selben graphischen Nutzerschnittstelle kann der Mauszeiger von einem Segment zu einem anderen Segment frei bewegt werden. Gleichermaßen ist es heutzutage gängige Praxis, dass der Mauszeiger von einer graphischen Schnittstelle beziehungsweise Bildschirm zu einer anderen graphischen Schnittstelle beziehungsweise Bildschirm eines selben Bildschirmarbeitsplatzes bewegt werden kann, wobei der Mauszeiger einfach über den Rand des Bildschirms hinweg geführt wird und auf dem anderen Bildschirm wieder auftaucht.
Bei dieser bislang eingesetzten Praxis der Navigation innerhalb einer oder mehrerer graphischen Nutzerschnittstellen durch manuelle Bewegung eines Mauszeigers müssen, insbesondere bei einer Navigation über mehrere Bildschirme hinweg, relativ weite Strecken („Maus-Meter“) mit der steuernden Computermaus zurückgelegt werden. Die Mauszeigernavigation innerhalb einer oder mehrerer graphischen Schnittstellen ist deshalb relativ langsam, wenig effizient und trägt bei der üblichen hohen Zahl von zu bearbeitenden Bildobjekten zu einer schnellen Ermüdung der Nutzer bei. Darüber hinaus ist die Bewegung der Computermaus mit Geräuschen verbunden und kann weitere Nutzer an anderen Bildschirmarbeitsplätzen stören.
Die europäische Patentanmeldung EP 1 569 082 A2 beschreibt ein Zeigergerät zur Kommunikation mit einer Navigationssoftware auf einem Computer, durch welches ein Cursor auf einer oder mehreren Anzeigevorrichtungen in einem ersten Navigationsmodus oder einem zweiten Navigationsmodus bewegt werden kann. Das Zeigergerät kann zwei verschiedene Bedienelemente zur Steuerung des Cursors haben, denen dann jeweils der erste oder zweite Navigationsmodus zugeordnet ist. Die Bedienelemente können durch einen „Eye Tracker“ gesteuert sein.
Die europäische Patentanmeldung EP 1 679 577 A1 beschreibt ein Computersystem zum Anzeigen von Informationen, bei dem ein Umpositionierungsmittel vorgesehen ist, das dazu dient, die Positionen von Objekten in einer Anordnung manipulierbarer Objekte in Antwort auf das Datensignal eines „Eye Trackers“ zu verschieben. Zudem ist ein Vergrößerungsmittel zur vergrößerten Darstellung von Objekten vorgesehen.
Die US 2006 / 0 109 237 A1 beschreibt ein System zur Darstellung medizinischer Informationen, bei dem die Blickbewegungen von Nutzern erfasst werden, beispielsweise um einen Cursor auf einem Bildschirm zu platzieren.
Die US 5 367 315 A offenbart ein auf Infrarotlicht basiertes System, welches eine Kopf- und Augenposition in Echtzeit ermittelt, um dadurch einem Nutzer eines Computers zu ermöglichen, eine Cursorbewegung auf einem Computerdisplay durch Augen- oder Kopfbewegung zu steuern.
Zusammenfassung der Erfindung
Aufgabe der Erfindung
Demgegenüber besteht die Aufgabe der vorliegenden Erfindung darin, ein Verfahren zur Steuerung eines graphischen Zeigerelements innerhalb einer oder mehrerer graphischen Nutzerschnittstellen eines medizinischen Bildinformationssystems zur Verfügung stellen, welche eine schnellere, effizientere und weniger ermüdende Bewegung des Zeigerelements von einem Segment zu einem anderen Segment beziehungsweise von einer graphischen Schnittstelle zu einer anderen graphischen Schnittstelle ermöglicht.
Lösung der Aufgabe
Diese Aufgabe wird durch ein Verfahren zum Steuern eines graphischen Zeigerelements in einer oder mehreren graphischen Nutzerschnittstellen eines digitalen Bildinformationssystems, beispielsweise eines medizinischen Bildinformationssystems, mit den Merkmalen von Patentanspruch 1 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind durch die Merkmale der Unteransprüche angegeben.
Erfindungsgemäß ist ein Verfahren zum Steuern eines (selben) graphischen Zeigerelements in einer oder mehreren graphischen Nutzerschnittstellen eines digitalen Bildinformationssystems, beispielsweise eines medizinischen Bildinformationssystems, mittels einer Blickbewegungserfassungseinrichtung gezeigt.
Die wenigstens eine graphische Nutzerschnittstelle wird durch eine Anwendung eines digitalen Bildinformationssystems, beispielsweise ein medizinisches Bildinformationssystem, zur Verfügung gestellt, wobei die wenigstens eine graphische Nutzerschnittstelle mit einer Mehrzahl Segmenten versehen ist. Die wenigstens eine graphische Nutzerschnittstelle wird durch wenigstens einen Bildschirm (Display) dargestellt, der mit einer elektronischen Datenverarbeitungseinrichtung zum Zwecke des Datenaustausches datentechnisch verbunden ist. In der Datenverarbeitungseinrichtung wird die Anwendung ausgeführt bzw. ist dort ausführbar. Vorzugsweise ist innerhalb der Anwendung ein maschinenlesbarer Programmcode implementiert, der mit Steuerbefehlen versehen ist, welche die Datenverarbeitungseinrichtung zur Durchführung des erfindungsgemäßen Verfahrens veranlassen. Gleichermaßen ist es jedoch auch möglich, dass ein von der Anwendung verschiedener maschinenlesbarer Programmcode in der Datenverarbeitungseinrichtung ausgeführt wird bzw. dort ausführbar ist, der mit Steuerbefehlen versehen ist, welche die Datenverarbeitungseinrichtung zur Durchführung des erfindungsgemäßen Verfahrens veranlassen. Gleichwohl findet ein Datenaustausch zwischen der Anwendung und dem das erfindungsgemäße Verfahren veranlassenden maschinenlesbaren Programmcode statt. Innerhalb der wenigstens einen graphischen Nutzerschnittstelle ist ein graphisches Zeigerelement angeordnet, das mittels eines Zeigergeräts, beispielsweise eine Computermaus, innerhalb der graphischen Nutzerschnittstelle(n) frei bewegbar ist.
Die im erfindungsgemäßen Verfahren eingesetzte Blickbewegungserfassungseinrichtung ist dem Fachmann als solche wohlbekannt und wird im Handel in vielfältigen Formen angeboten. Die Blickbewegungserfassungseinrichtung dient dazu, Blickrichtungen und Blickbewegungen einer Person aufzuzeichnen. Gängig sind beispielsweise mittels eines Kopfgestells getragene Systeme, bei denen neben einer Kamera zur Erfassung der Blickbewegungen eine weitere Kamera zur Aufzeichnung des Sichtfelds der das Kopfgestell tragenden Person eingesetzt wird. Aufgrund der Beeinträchtigungen, die kopfgetragene Systeme mit sich bringen, werden zunehmend so genannte Fernsysteme eingesetzt, bei denen eine Kamera zur Erfassung von Blickrichtungen und Blickbewegungen in einem Bildschirm eines Bildschirmarbeitsplatzes an- oder eingebaut ist. In Blickbewegungserfassungseinrichtungen erfolgt eine Erfassung von Blickrichtungen und Blickbewegungen einer Person beispielsweise durch das so genannte Cornea-Reflexionsverfahren, bei dem Reflexionen von auf die Hornhaut gelenkten Infrarotstrahlen in Relation zur Position der Pupille (Pupillenmitte) mittels einer Infrarotkamera aufgezeichnet werden. In dem erfindungsgemäßen Verfahren kann jede beliebige herkömmliche Blickbewegungserfassungseinrichtung eingesetzt werden.
Mit dem Ausdruck „Blickbewegungen“ werden, in Einklang mit dem gängigen Verständnis dieses Begriffs, Bewegungen des menschlichen Auges verstanden, die einer visuellen Wahrnehmung dienen. Die Blickbewegungen lassen sich in verschiedene Formen einteilen, wobei den größten Teil der Augenbewegungen die so genannten „Blickfixationen“ und „Blicksakkaden“ ausmachen. Unter dem Begriff „Blickfixation“ wird eine Betrachtung eines Gegenstands ohne eine (makroskopische) Bewegung der Augen bezeichnet. Die Augen sind hierbei auf eine Fixationsstelle fixiert. (Gleichwohl treten während der Blickfixation leichte Zitterbewegungen der Augen auf, die unter anderem dazu dienen, die visuellen Rezeptoren der Netzhaut funktionsfähig zu erhalten). Während einer Blickfixation nehmen die Augen über die Netzhaut visuelle Informationen auf. Als „Blicksakkade“ wird eine schnelle, sprungartige Bewegung der Augen von einem Fixationspunkt zu einem nächsten Fixationspunkt bezeichnet. Im Unterschied zur Blickfixation werden während einer Blicksakkade keine visuellen Informationen über die Netzhaut aufgenommen.
Das erfindungsgemäße Verfahren zum Steuern eines (selben) graphischen Zeigerelements innerhalb einer oder mehrerer graphischer Nutzerschnittstellen eines digitalen Bildinformationssystems, beispielsweise eines medizinischen Bildinformationssystems, mittels einer Blickbewegungserfassungseinrichtung umfasst die folgenden Schritte:

Erfassen von Blickrichtungen und Blickbewegungen eines Nutzers der wenigstens einen graphischen Nutzerschnittstelle mittels der Blickbewegungserfassungseinrichtung. Durch die Blickbewegungserfassungseinrichtung können Blickrichtungen und sich zeitlich ändernde Blickrichtungen (Blickbewegungen) eines Nutzers erfasst werden. Die Blickbewegungserfassungseinrichtung ist zu diesem Zweck über eine Datenleitung mit der elektronischen Datenverarbeitungseinrichtung datentechnisch verbunden, welche mit den Erfassungsdaten der Blickbewegungserfassungseinrichtung gespeist werden kann. In der elektronischen Datenverarbeitungseinrichtung erfolgt eine Analyse der zugeführten Erfassungsdaten, wobei die Analyse einer Ermittlung von Blickfixationen des Nutzers dient. Besonders vorteilhaft erfolgt eine Analyse der Erfassungsdaten der Blickbewegungserfassungseinrichtung in Echtzeit, so dass eine momentane Blickfixation des Nutzers über eine Analyse der Erfassungsdaten erkannt werden kann.

Wurde eine Blickfixation des Nutzers auf Basis der Erfassungsdaten erkannt, erfolgt durch die Datenverarbeitungseinrichtung eine Ermittlung desjenigen Segments der graphischen Nutzerschnittstelle in welchem sich der Fixationspunkt der Blickfixation befindet. Eine Blickfixation wird beispielsweise dann als solche erkannt, wenn sich die Blickrichtung innerhalb eines wählbaren Zeitraums nicht oder lediglich innerhalb eines wählbaren Bereichs der graphischen Nutzerschnittstelle ändert.
Wurde ein von dem Nutzer durch Blickfixation fixiertes Segment der wenigstens einen graphischen Nutzerschnittstelle auf Basis der Erfassungsdaten ermittelt, erfolgt eine selbsttätige Platzierung des graphischen Zeigerelements innerhalb des ermittelten Segments, falls sich das Zeigerelement nicht in dem fixierten Segment befindet. Für den Fall, dass sich das Zeigerelement nicht in dem fixierten Segment befindet, wird es nicht versetzt. Besonders vorteilhaft erfolgt eine Platzierung des graphischen Zeigerelements innerhalb des fixierten Segments in Echtzeit, so dass entsprechend einer momentanen Blickfixation des Nutzers das graphische Zeigerelement in Echtzeit in dem fixierten Segment platziert werden kann. Das Zeigerelement wird beispielsweise in der Mitte eines fixierten Segments platziert.
Durch das erfindungsgemäße Verfahren ist es somit möglich, auf Basis der Erfassung von Blickfixationen durch eine Blickbewegungserfassungseinrichtung ein selbes graphisches Zeigerelement innerhalb einer oder mehreren graphischen Nutzerschnittstellen sprungartig zu bewegen. Wird eine Blickfixation für ein Segment erfasst, so wird das graphische Zeigerelement in das fixierte Segment versetzt. In vorteilhafter Weise ist hierdurch eine schnelle, effiziente und ermüdungsarme Bewegung des graphischen Zeigerelements von einem Segment zu einem anderen Segment innerhalb einer selben graphischen Nutzerschnittstelle oder von einem Segment einer graphischen Nutzerschnittstelle zu einem anderen Segment einer anderen graphischen Nutzerschnittstelle eines (selben) Bildschirmarbeitsplatzes ermöglicht.
Die Ausführung des erfindungsgemäßen Verfahrens kann durch beispielsweise manuelle Nutzer-Interaktion gestoppt bzw. unterbrochen werden. Auf diese Weise kann ein Nutzer die Ausführung des erfindungsgemäßen Verfahrens gezielt stoppen oder unterbrechen, falls beispielsweise lediglich eine Betrachtung von Bildern ohne Nutzer-Interaktion beabsichtigt ist.
Bei einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens können definierbare Segmente bezüglich einer Ausführung des erfindungsgemäßen Verfahrens voreingestellt inaktiviert werden. Dies ist beispielsweise dann ratsam, wenn Segmente zwar mit dem graphischen Zeigerelement betätigt werden, der Blick eines Nutzers aber auf andere Segmente gerichtet ist.
Bei einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens kann nach erfolgter Platzierung des graphischen Zeigerelements im fixierten Segment mittels einer Augen-Interaktion wie beispielsweise ein Lidschlag oder Blinzeln des Nutzers die Anwendung bedient werden. Auf diese Weise ist ohne jegliche manuelle Betätigung des Zeigerelements eine Durchführung von durch die graphische Nutzerschnittstelle bereit gestellten Funktionen ermöglicht. Gleichermaßen ist es möglich, dass nach erfolgter Platzierung des graphischen Zeigerelements im fixierten Segment mittels einer manuellen oder sprachgesteuerten Nutzer-Interaktion die Anwendung bedient wird.
Die Erfindung erstreckt sich weiterhin auf einen Bildschirmarbeitsplatz eines digitalen Bildinformationssystems, beispielsweise ein medizinisches Bildinformationssystem, welcher wenigstens einen Bildschirm zur Darstellung einer von einer Anwendung bereitgestellten graphischen Nutzerschnittstelle, eine Blickbewegungserfassungseinrichtung zur Erfassung von Blickrichtungen und Blickbewegungen eines Nutzers und eine mit der Blickbewegungserfassungseinrichtung und dem wenigstens einen Bildschirm datentechnisch verbundene, elektronische Datenverarbeitungseinrichtung umfasst. In der elektronischen Datenverarbeitungseinrichtung wird die Anwendung zur Bereitstellung der wenigstens einen graphischen Nutzerschnittstelle sowie ein maschinenlesbarer Programmcode zur Ausführung des erfindungsgemäßen Verfahrens ausgeführt. Der maschinenlesbare Programmcode zur Ausführung des erfindungsgemäßen Verfahrens kann insbesondere in der Anwendung implementiert sein.
Des Weiteren erstreckt sich die Erfindung auf eine elektronische Datenverarbeitungseinrichtung eines solchen Bildschirmarbeitsplatzes.
Ferner erstreckt sich die Erfindung auf einen maschinenlesbarer Programmcode (Computerprogramm) für eine solche elektronische Datenverarbeitungseinrichtung, sowie auf ein Speichermedium (Computerprogrammprodukt) mit einem gespeicherten derartigen maschinenlesbaren Programmcode.
Ausführungsbeispiel
Die Erfindung wird nun anhand eines Ausführungsbeispiels näher erläutert, wobei Bezug auf die beigefügten Figuren genommen wird.
Figurenliste

1 zeigt ein Ausführungsbeispiel für einen erfindungsgemäßen Bildschirmarbeitungsplatz eines erfindungsgemäßen medizinischen Bildinformationssystems;
2-5 veranschaulichen ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zur selbsttätigen Steuerung eines graphischen Zeigerelements innerhalb der graphischen Nutzerschnittstellen des Bildschirmarbeitsplatzes von 1.

Ausführliche Beschreibung der Figuren
In den Figuren ist ein insgesamt mit der Bezugszahl 1 bezeichneter Bildschirmarbeitungsplatz eines medizinischen Bildinformationssystems schematisch veranschaulicht. Der Bildschirmarbeitsplatz ist Teil eines weiter oben bereits genannten PACS-Systems, welches dem Fachmann wohlbekannt ist und deshalb hier nicht näher erläutert werden muss.
Der Bildschirmarbeitsplatz 1 umfasst drei einzelne Bildschirme (Displays), nämlich aus Sicht eines Nutzers 4 einen mittleren Bildschirm 2, einen linken Bildschirm 6 und einen rechten Bildschirm 7, von denen in 1 lediglich der mittlere Bildschirm 2 dargestellt ist. Die drei Bildschirme 2, 6, 7 sind über nicht näher dargestellte datentechnische Verbindungen mit einer elektronischen Datenverarbeitungseinrichtung 3, hier beispielsweise in Form eines PCs (PC = Personal Computer), zum Zwecke des Datenaustausches verbunden.
In der elektronischen Datenverarbeitungseinrichtung 3 ist eine Anwendung (Anwendungssoftware) zur Bildobjektverwaltung eingerichtet, die bei ihrer Ausführung insbesondere in der Lage ist, auf jedem der Bildschirme 2, 6, 7 eine graphische Nutzerschnittstelle (GUI = graphical user interface) anzuzeigen, was in 1 durch einen von der Datenverarbeitungseinrichtung 3 zum mittleren Bildschirm 2 gerichteten Pfeil angedeutet ist.
Die drei Nutzerschnittstellen enthalten jeweils verschiedene Segmente (logisch abgetrennte Bereiche der Nutzerschnittstelle). Insbesondere in 1 sind für den mittleren Bildschirm 2 sieben verschiedene, räumlich getrennt angeordnete, rechteckförmige Segmente M₂S₁ , M₂S₂ , M₂S₃ , M₂S₄ , M₂S₅ , M₂S₆ , M₂S₇ , dargestellt. Hierbei dienen die vier Segmente M₂S₁ , M₂S₂ , M₂S₄ , M₂S₅ jeweils der Darstellung von Schnittbildern, während die drei übrigen Segmente M₂S₂ , M₂S₆ , und M₂S₇ jeweils eine Mehrzahl Schaltflächen zum Auslösen von Funktionen der Anwendung bereitstellen.
Die auf den beiden anderen Bildschirmen 6, 7 angezeigten graphischen Nutzerschnittstellen sind in entsprechender Weise jeweils mit Segmenten versehen, nämlich der linke Bildschirm 6 mit sechs, in zwei Reihen angeordneten, gleichförmigen Segmenten M₆S₁ , M₆S₂ , M₆S₃ , M₆S₄ , M₆S₅ und M₆S₆ , die jeweils der Darstellung von Schnittbildern dienen, und der rechte Bildschirm 7 mit sechs, unregelmäßig angeordneten, verschieden geformten Segmenten M₇S₁ , M₇S₂ , M₇S₃ , M₇S₄ , M₇S₅ und M₇S₆ , die der Darstellung von administrativen Textdaten, Befunden, Schaltflächen zum Auslösen von Funktionen der Anwendung und dergleichen dienen.
In den drei graphischen Nutzerschnittstellen der drei Bildschirme 2, 5, 7 wird ein (einziges) graphisches Zeigerelement in Form eines Mauszeigers 8 dargestellt, das innerhalb der graphischen Nutzerschnittstellen beispielsweise mittels einer in den Figuren nicht dargestellten Computermaus frei bewegbar ist und in herkömmlicher Weise dazu dient, die Anwendung durch den Nutzer zu bedienen.
Im mittleren Bildschirm 2 ist eine Blickbewegungserfassungseinrichtung 5 („Eye-tracker“) integriert, welche geeignet ist, die Blickrichtungen und Blickbewegungen (räumliche Änderungen der Blickrichtungen) des Nutzers 4 zu erfassen. Die Blickbewegungserfassungseinrichtung 5 setzt beispielsweise das Cornea-Reflexverfahren ein, bei dem Infrarotstrahlen auf die Hornhaut der Augen des Nutzers 4 gelenkt und nach Reflexion durch eine Infrarotkamera erfasst werden. Über einen Abgleich mit der Position der Pupille (Pupillenmitte) können die Blickrichtungen und Blickbewegungen der Augen des Nutzers 4 ermittelt werden.
Die Blickbewegungserfassungseinrichtung 5 ist über eine nicht näher dargestellte datentechnische Verbindung mit der elektronischen Datenverarbeitungseinrichtung 3 zum Zwecke des Datenaustauschs verbunden. Hierdurch kann die elektronische Datenverarbeitungseinrichtung 3 mit Erfassungsdaten der Blickbewegungserfassungseinrichtung 5 gespeist werden, was in 1 durch einen von der Blickbewegungserfassungseinrichtung 5 zur Datenverarbeitungseinrichtung 3 gerichteten Pfeil angedeutet ist.
In 1 hat der Nutzer 4 seinen Blick beispielsweise auf das Segment M₂S₂ des mittleren Bildschirms 2 gerichtet, was durch die von den Augen zu den Ecken des Segments führenden Linien angedeutet ist. Die Blickbewegungserfassungseinrichtung 5 erfasst die Blickrichtungen und Blickbewegungen des Nutzers, was durch den zum Nutzer 4 gerichteten Pfeil angedeutet ist, und führt diese Daten der elektronischen Datenverarbeitungseinrichtung 3 zu.
In der elektronischen Datenverarbeitungseinrichtung analysiert die dort ausgeführte Anwendung die von der Blickbewegungserfassungseinrichtung 5 zugeführten Erfassungsdaten in Echtzeit, kombiniert die Analysedaten mit Informationen über die graphischen Nutzerschnittstellen, insbesondere Informationen über die Positionen und Größen der Segmente in den drei Bildschirmen 2, 6, 7 und ist so in der Lage, Blickfixationen des Nutzers 4 den verschiedenen Sektoren der jeweiligen Bildschirme zuzuordnen.
Falls die Anwendung bei der Analyse der Erfassungsdaten erkennt, dass der Blick des Nutzers 4 fixiert ist, d.h. wenn eine Blickfixation vorliegt, beispielsweise indem sich die Blickrichtung des Nutzers 4 innerhalb eines vorgebbaren Zeitraums beispielsweise in der Größenordnung Millisekunden innerhalb eines vorgebbaren Bereichs beispielsweise in der Größenordnung Millimeter der graphischen Nutzerschnittstelle nicht ändert, so wird der Mauszeiger 8 selbsttätig in dasjenige Segment (sprunghaft) platziert, in dem sich der Fixationspunkt befindet. Eine Platzierung des Mauszeigers 8 kann beispielsweise in die Mitte des fixierten Segments erfolgen. Falls sich das Zeigerelement bereits in dem fixierten Segment befindet, so wird das Zeigerelement nicht durch das erfindungsgemäße Verfahren selbsttätig versetzt.
Dies wird nun anhand der 2 bis 5 beispielhaft erläutert. Es wird angenommen, dass es sich bei dem Nutzer 4 um einen Radiologen handelt, der eine auf der elektronischen Datenverarbeitungseinrichtung 3 ausgeführte Anwendung zur Befundung von Bildobjekten nutzt. Vor Beginn seiner Arbeit mit der Anwendung wird eine kurze Synchronisierungsphase durchgeführt, bei der sich der Nutzer 4 vor dem mittleren Bildschirm 2 positioniert und die Blickbewegungserfassungseinrichtung 5 die Position der Augen des Nutzers 4 identifiziert. Beispielsweise kann dies bereits während einer Login-Prozedur zur Authentifizierung des Nutzers 4 erfolgen.
In 2 betrachtet der Nutzer 4 zunächst das Segment M₇S₆ der graphischen Nutzerschnittstelle des rechten Bildschirms 7 um von dort administrative Daten über den zu befundenden Patienten zu erfahren. Die in den mittleren Bildschirm 2 integrierte Blickbewegungserfassungseinrichtung 5 erfasst die Blickrichtungen und Blickbewegungen des Nutzers 4, führt diese Daten der elektronischen Datenverarbeitungseinrichtung 3 zu, wo diese durch die Anwendung einer Echtzeit-Analyse in Bezug auf Blickfixationen des Nutzers 4 unterzogen werden. Die Anwendung erkennt die Blickfixation des Nutzers 4 auf das Segment M₇S₆ der graphischen Nutzerschnittstelle des rechten Bildschirms 7, kombiniert die Analysedaten mit Informationen über die graphische Nutzerschnittstelle von Bildschirm 7, kann so die fixierte Blickrichtung des Nutzers 4 dem Segment M₇S₆ zuordnen und platziert das Zeigerelement 8 selbsttätig in der Mitte des fixierten Segments M₇S₆ der graphischen Nutzerschnittstelle des rechten Bildschirms 7.
Wie 3 entnommen werden kann, wendet der Nutzer 4 anschließend seinen Blick auf das Schnittbild in Segment M₆S₁ der graphischen Nutzerschnittstelle des linken Bildschirms 6, um sich ein Schnittbild dieses Patienten zu betrachten. Hierbei wird die Distanz zwischen dem rechten Bildschirm 7 und dem linken Bildschirm 6 sprunghaft in einer Blicksakkade zurückgelegt. Die Blickbewegungserfassungseinrichtung 5 erfasst die Änderung der Blickrichtung (Blickbewegung) des Nutzers 4 und über eine Echtzeit-Analyse der Erfassungsdaten erkennt die Anwendung die Blickfixation auf das Segment M₆S₁ der graphischen Nutzerschnittstelle des linken Bildschirms 6. In der Folge wird der Mauszeiger 8 in das fixierte Segment M₆S₁ der graphischen Nutzerschnittstelle (beispielsweise in dessen Mitte) des linken Bildschirms 6 platziert. Der Nutzer 4 kann den Mauszeiger 8 von hier aus, beispielsweise manuell mittels einer Computermaus oder durch Sprachsteuerung weiter steuern, um beispielsweise das Schnittbild des Segments M₆S₁ der graphischen Nutzerschnittstelle des linken Bildschirms 6 durch Anklicken zu markieren.
Wie 4 entnommen werden kann, wendet der Nutzer 4 seinen Blick anschließend auf das Schnittbild des Segments M₂S₂ der graphischen Nutzerschnittstelle des mittleren Bildschirms 2, um sich zum Vergleich ein weiteres Schnittbild des Patienten anzusehen. Die Distanz zwischen dem linken Bildschirm 6 und dem mittleren Bildschirm 2 wird wiederum sprunghaft in einer Blicksakkade zurückgelegt. Die Blickbewegungserfassungseinrichtung 5 erfasst die Änderung der Blickrichtung (Blickbewegung) des Nutzers 4 und über eine Echtzeit-Analyse der Erfassungsdaten erkennt die Anwendung die Blickfixation auf das Segment M₂S₂ der graphischen Nutzerschnittstelle des mittleren Bildschirms 2. In der Folge wird der Mauszeiger 8 in das fixierte Segments M₂S₂ der graphischen Nutzerschnittstelle (beispielsweise in dessen Mitte) des mittleren Bildschirms 2 platziert. Von hier aus kann der Nutzer 4, beispielsweise per manueller Steuerung durch eine Computermaus innerhalb einer kurzen Wegstrecke den Mauszeiger 8 auf die Segmente M₂S₃ , M₂S₆ , M₂S₇ der graphischen Nutzerschnittstelle des mittleren Bildschirms 2 bewegen, um beispielsweise Kontextmenüs aufzurufen oder Bildmanipulationen mit den entsprechenden Werkzeugen zu starten. Ebenso wäre es möglich, dass der Mauszeiger 8 selbsttätig durch Blickfixationen zu den entsprechenden Segmenten M₂S₃ , M₂S₆ , M₂S₇ bewegt wird.
Wie 5 entnommen werden kann, wendet der Nutzer 4 seinen Blick anschließend auf das Segment M₇S₂ der graphischen Nutzerschnittstelle des rechten Bildschirms 7, um beispielsweise einen anderen Patienten aufzurufen oder andere Schnittbilder des momentanen Patienten durch Interaktionen mit der Anwendung auf den Bildschirmen 2, 6, 7 darstellen zu lassen. Die Distanz zwischen dem mittleren Bildschirm 2 und dem rechten Bildschirm 7 wird sprunghaft in einer Blicksakkade zurückgelegt. Die Blickbewegungserfassungseinrichtung 5 erfasst die Änderung der Blickrichtung (Blickbewegung) des Nutzers 4 und über eine Echtzeit-Analyse der Erfassungsdaten erkennt die Anwendung die Blickfixation auf das Segment M₇S₂ der graphischen Nutzerschnittstelle des rechten Bildschirms 7. In der Folge wird der Mauszeiger 8 in das fixierte Segment M₇S₂ der graphischen Nutzerschnittstelle (beispielsweise in dessen Mitte) des rechten Bildschirms 7 platziert. Der Mauszeiger 8 wird im fixierten Segment angezeigt und steht für die nahtlose Fortsetzung der Arbeitsschritte zur Verfügung.
Die durch das erfindungsgemäße Verfahren realisierten Funktionen können innerhalb der Anwendung jederzeit gestoppt werden, beispielsweise durch Druck auf eine definierbare Taste einer Computertastatur, durch einen Klick auf eine definierbare Taste einer Computermaus, oder durch eine definierbare Bewegung mit der Computermaus. Gleichermaßen ist denkbar, dass die Computermaus mit einem Sensor ausgestattet wird, der die Berührung der Maus durch den Nutzer 4 erfasst und das erfindungsgemäße Verfahren solange aktiviert wie die Computermaus berührt ist. Lässt der Nutzer 4 die Computermaus los, so wird die Ausführung des erfindungsgemäßen Verfahrens solange inaktiviert bis die Computermaus wieder berührt wird. Ebenso kann es von Vorteil sein, wenn das erfindungsgemäßen Verfahren für definierbare Segmente einer graphischen Nutzerschnittstelle voreingestellt inaktiviert ist, beispielsweise für eine so genannte Bildlauf (Scroll)- Leiste, da der Nutzer bei deren Verwendung typischer Weise seinen Blick auf eine andere Stelle auf dem Bildschirm richtet.
Mithilfe des erfindungsgemäßen Verfahrens kann beispielsweise gegenüber einer ausschließlichen Steuerung des Mauszeigers über eine Computermaus oder durch Sprachbefehle ein deutlicher Geschwindigkeitsvorteil erzielt werden, der insbesondere dann zum Tragen kommt, wenn der Mauszeiger über mehrere Bildschirme hinweg bewegt wird. Während es bei der herkömmlichen Vorgehensweise erforderlich ist, dass der Nutzer zunächst mit den Augen festlegt, wohin er den Mauszeiger als nächstes bewegen will, anschließend den Mauszeiger sucht und diesen dann per Computermaus dorthin bewegt, wird der Mauszeiger bereits bei der Blickfixation auf das Zielsegment selbsttätig in diesem Segment platziert, so dass die Arbeitseffizienz des Nutzers deutlich verbessert werden kann. Wird der Mauszeiger durch das erfindungsgemäße Verfahren in einem durch Blickfixation fixierten Segment platziert, kann von dort aus eine weitere, herkömmliche Steuerung des Mauszeigers, beispielsweise mittels Computermaus, Computertastatur oder Sprachsteuerung, erfolgen, um weitere Aktionen vorzunehmen. Gleicherma-ßen ist es möglich, durch von der Blickbewegungserfassungseinrichtung erfasste Augen-Interaktionen, wie Lidschlag oder Blinzeln, die Anwendung zu bedienen.

Claims

Verfahren zum Steuern eines graphischen Zeigerelements (8) innerhalb wenigstens einer mit einer Mehrzahl Segmente versehenen graphischen Nutzerschnittstelle einer Anwendung eines digitalen Bildinformationssystems (1), bei welchem - Blickbewegungen eines Nutzers (4) der wenigstens einen graphischen Nutzerschnittstelle mittels einer Blickbewegungserfassungseinrichtung (5) erfasst werden, - die erfassten Blickbewegungen zum Ermitteln einer Blickfixation des Nutzers analysiert werden, - ein von einer ermittelten Blickfixation fixiertes Segment der wenigstens einen graphischen Nutzerschnittstelle bestimmt wird, wobei - das graphische Zeigerelement (8) innerhalb des von der Blickfixation fixierten Segments der wenigstens einen graphischen Nutzerschnittstelle platziert wird, falls sich das Zeigerelement (8) nicht in dem fixierten Segment befindet; und wobei - das graphische Zeigerelement (8) nicht versetzt wird, falls sich das Zeigerelement in dem fixierten Segment befindet wobei die Ausführung des Verfahrens durch Nutzer-Interaktion wahlfrei inaktiviert und aktiviert werden kann und wobei - nach erfolgter Platzierung des graphischen Zeigerelements (8) im fixierten Segment mittels einer Augen-Interaktion, beispielsweise ein Lidschlag oder Blinzeln, des Nutzers die Anwendung bedienbar ist.
Verfahren nach Anspruch 1, bei welchem eine Analyse der erfassten Blickbewegungen eines Nutzers in Echtzeit erfolgt.
Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass dessen Ausführung für definierbare Segmente der wenigstens einen graphischen Nutzerschnittstelle inaktivierbar ist.
Verfahren nach einem der Ansprüche 1 bis 3, bei welchem nach erfolgter Platzierung des graphischen Zeigerelements (8) im fixierten Segment mittels einer manuellen Interaktion des Nutzers (4) die Anwendung bedienbar ist.
Bildschirmarbeitsplatz (1) eines digitalen Bildinformationssystems mit wenigstens einem Bildschirm (2, 6, 7) zur Darstellung einer von einer Anwendung bereit gestellten graphischen Nutzerschnittstelle, einer Blickbewegungserfassungseinrichtung (5) zur Erfassung von Blickbewegungen eines Nutzers (4) und einer mit dem wenigstens einen Bildschirm (2, 6, 7) und der Blickbewegungserfassungseinrichtung (5) datentechnisch verbundenen, elektronischen Datenverarbeitungseinrichtung (3), wobei in der Datenverarbeitungseinrichtung ein maschinenlesbarer Programmcode ausgeführt wird, der Steuerbefehle enthält, die die Datenverarbeitungseinrichtung zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 4 veranlassen.
Elektronische Datenverarbeitungseinrichtung eines Bildschirmarbeitsplatzes nach Anspruch 5, in der ein maschinenlesbarer Programmcode ausgeführt wird, der Steuerbefehle enthält, die die Datenverarbeitungseinrichtung zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 5 veranlassen.
Maschinenlesbarer Programmcode für eine elektronische Datenverarbeitungseinrichtung nach Anspruch 6, welcher Steuerbefehle enthält, die die elektronische Datenverarbeitungseinrichtung nach Anspruch 7 zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 5 veranlassen.
Speichermedium mit einem darauf gespeicherten maschinenlesbaren Programmcode gemäß Anspruch 7.