DE102022110291B3 - Computerimplementiertes Verfahren und System zur freihändigen Auswahl eines Bedienelements auf einem Bildschirm - Google Patents

Computerimplementiertes Verfahren und System zur freihändigen Auswahl eines Bedienelements auf einem Bildschirm Download PDF

Info

Publication number
DE102022110291B3
DE102022110291B3 DE102022110291.2A DE102022110291A DE102022110291B3 DE 102022110291 B3 DE102022110291 B3 DE 102022110291B3 DE 102022110291 A DE102022110291 A DE 102022110291A DE 102022110291 B3 DE102022110291 B3 DE 102022110291B3
Authority
DE
Germany
Prior art keywords
computer
user
screen
signal
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102022110291.2A
Other languages
English (en)
Inventor
Ramin Hedeshy
Raphael Menges
Lukas Schmelzeisen
Florian Lerch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SEMANUX GMBH, DE
Original Assignee
Universitaet Stuttgart
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Stuttgart filed Critical Universitaet Stuttgart
Priority to DE102022110291.2A priority Critical patent/DE102022110291B3/de
Application granted granted Critical
Publication of DE102022110291B3 publication Critical patent/DE102022110291B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur freihändigen Auswahl eines, auf einem Bildschirm (2) angezeigten Bedienelements (21), auf Basis eines multimodalen Auswahlverfahrens mit drei berührungsfreien Auswahlmodalitäten, sowie ein System zur Datenverarbeitung, umfassend: wenigstens einen Computer (1); einen daran angeschlossenen Bildschirm (2); wenigstens eine mit dem Computer (1) verbundene Videokamera (3); wenigstens einen mit dem Computer (1) verbundenen Sensor (4) zur Detektion eines mit dem Sensor (4) berührungslos ausgetauschten Kontrollsignals (64); und wenigstens eine Speichervorrichtung, wobei die Speichervorrichtung computerlesbare Befehle speichert, die, wenn sie durch den wenigstens einen Computer (1) ausgeführt werden, bewirken, dass der wenigstens eine Computer (1) Betriebsvorgänge gemäß besagtem Verfahren durchführt. Es ermöglicht vorteilhaft, die Eingabegenauigkeit einer zunächst auf der Bestimmung einer Blickposition eines Benutzers basierenden, berührungslosen Steuerbefehlseingabe an einen Computer (1) ausschließlich über eine weitere berührungsfreie Interaktion mit dem Computer (1) zu verbessern, wobei zur technischen Ausführung lediglich handelsübliches Computerzubehör wie eine Webcam benötigt wird.

Description

  • Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur freihändigen Auswahl eines auf einem Bildschirm angezeigten Bedienelements auf Basis eines multimodalen Auswahlverfahrens.
  • Zur Steuerung von Datenverarbeitungssystemen im weitesten Sinn, bietet der Stand der Technik neben den klassischen Befehlseingabemethoden wie der Nutzung einer Tastatur oder einer Maus seit einiger Zeit alternative Möglichkeiten zur Übermittlung von Steuerbefehlen von einem Benutzer zu einem Datenverarbeitungssystem, wie beispielsweise konventionellen Desktop-Computern, Laptops, Tablet-Computern oder auch Smartphones.
  • Für Menschen mit körperlichen Beeinträchtigungen, insbesondere der Arme, Hände und/oder Finger, seien sie nur vorübergehend oder aber dauerhaft, erweisen sich taktile Computersteuerungsgeräte (klassisch: Tastatur, Maus, aber auch neuere taktile Eingabemethoden, wie berührungsempfindliche Bildschirme („Touch-Screens“)) dabei allerdings oftmals als unbrauchbar. Im Rahmen der aktuellen Corona-Pandemie hat sich zudem gezeigt, dass eine Steuerung über taktile Steuerungsmethoden von alltäglichen, im öffentlichen oder beruflichen Umfeld befindlichen Datenverarbeitungssystemen, wie beispielsweise Fahrkarten- und Bankautomaten, elektronischen Bestellsystemen oder generell Computern, die von einer Vielzahl von Benutzern verwendet werden, aus hygienischer Sicht äußerst nachteilig sein kann.
  • Zur berührungslosen Mensch-Computer-Interaktion sind in den letzten Jahren daher unter anderem Methoden zur Sprachsteuerung aber auch zur Steuerung über eine Ermittlung der Blickposition eines Benutzers („Blickverfolgung“) weiterentwickelt worden. Methoden zur Sprachsteuerung bei denen verbale Befehle eines Benutzers von einem Datenverarbeitungssystem erkannt und verarbeitet werden müssen, um entsprechende Anwendungen auszuführen, sind auf vorgegebene Begriffe beschränkt, die zudem vom Benutzer klar artikuliert werden müssen. Körperliche und ggf. auch geistige Einschränkungen des Benutzers können hier ebenso ein Hindernis für eine schnelle und eindeutige Mensch-Computer-Interaktion darstellen wie auch Störungen durch Unterhaltungen von Dritten in der näheren Umgebung. Bekannte Steuerungsmethoden, welche auf einer Blickverfolgung des Benutzers basieren, weisen dagegen andere Nachteile auf. So ist die Beschaffung von kamera- und infrarot-basierten Geräten, welche speziell für die Blickverfolgung konstruiert sind, teuer. Systeme, die handelsübliche Videokameras wie insbesondere Webcams zur Blickverfolgung nutzen, weisen nachteilig Ungenauigkeiten bei der Bestimmung der Koordinaten der Blickposition des Benutzers auf, die mehrere Grad des jeweiligen Blickwinkels betragen können. In der EP 2 476 043 B1 wird in diesem Zusammenhang zur Verbesserung der Auswahlgenauigkeit vorgeschlagen, die Bedienoberfläche mehrstufig zu vergrößern, um dadurch die Auswahlgenauigkeit von Bedienelementen auf der Bedienoberfläche zu erhöhen. Kytö et al. schlagen in Kytö, M., Ens, B., Piumsomboon, T., Lee, G. A., Billinghurst, M., Pinpointing: Precise Head- and Eye-Based Target Selection for Augmented Reality, Association for Computing Machinery, New York, NY, USA, 2018, S. 1 - 14, vor, zur Verbesserung der Genauigkeit einer mittels Eye-Tracking bestimmten Blickposition, die Daten einer Detektion der Kopfbewegung sowie ein haptisches Auswahlsignal des Benutzers zu kombinieren. Unter „Eye-Tracking“ wird in diesem Zusammenhang die Blickpunktbestimmung auf einem Bildschirm verstanden. Für Menschen mit körperlichen Beeinträchtigungen, insbesondere der Arme, Hände und/oder Finger, kann diese Art der Computersteuerung allerdings nachteilig immer noch zu anspruchsvoll sein. Aus der DE 10 2013 226 244 A1 ist zudem ein Verfahren zur Steuerung eines medizinischen Bildgebungs- bzw. Informationsanzeigegeräts bekannt, wobei besagte Steuerung auf Basis einer Kombination aus zwei berührungslosen Benutzereingaben erfolgt, von denen eine, die Detektion einer Augenposition bzw. -bewegung ist. Als mögliche zweite berührungslose Benutzereingaben wird die Detektion von Gesten oder akustischen Signalen, insbesondere von Sprachbefehlen vorgesehen.
  • Die Druckschrift US 2012/027 21 79 A1 beschreibt schließlich eine Methode bzw. ein System zur Interaktion eines Benutzers mit einem grafischen Benutzerinterface (GUI) eines Computers unter Nutzung blickgestützter Navigation. Zur Bewegung eines Cursors auf einem oder einer Reihe von Bildschirmen, werden hier zwei Auswahlmodalitäten kombiniert, nämlich einerseits die Bestimmung des Blickpunkts (point of gaze, POG) des Benutzers auf einem der besagten Bildschirme und andererseits die Registrierung einer weiteren physischen Aktion, welche insbesondere in einer Mausbewegung, im Drücken eines Knopfes, Berühren eines Touch Screens, aber auch im Ausführen einer Geste oder im Produzieren eines Sprachbefehls bestehen kann. Besagte zweite physische Aktion dient im hier beschriebenen Verfahren zur Detektion einer „Absichtserklärung“ des Benutzers. Wurde vom System besagte zweite physische Aktion registriert, bewegt das System den Cursor an den zuvor bestimmten POG, um insbesondere bei mehreren Bildschirmen schneller eine Ausführung der gewünschten Aktion zu ermöglichen und bspw. mehrfache Mausbewegungen durch den Benutzer zu vermeiden. Das beschriebene Verfahren dient dabei eher der Beschleunigung eines Auswahlprozesses als der Verbesserung der Auswahlgenauigkeit.
  • Hiervon ausgehend liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes berührungsfreies Steuerungsverfahren für Datenverarbeitungssysteme bereitzustellen, welches eine Befehlseingabe durch den Benutzer ermöglicht, die in ihrer Genauigkeit konventionellen taktilen Steuerungsverfahren entspricht und gleichzeitig möglichst geringe Anforderungen an die körperliche Verfassung der Benutzer, insbesondere an die Beweglichkeit der Arme, Hände und/oder Finger stellt. Besagtes Steuerungsverfahren soll zudem kostengünstig technisch umsatzbar sein.
  • Diese Aufgabe wird durch ein computerimplementiertes Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 bzw. durch ein System zur Datenverarbeitung mit den Merkmalen des nebengeordneten Anspruchs 5 gelöst.
  • Das erfindungsgemäße computerimplementierte Verfahren zur freihändigen Auswahl eines auf einem Bildschirm angezeigten Bedienelements zeichnet sich gegenüber Verfahren des Stands der Technik dadurch aus, dass es auf einem multimodalen Auswahlverfahren mit drei berührungsfreien Auswahlmodalitäten basiert,
    • - wobei als eine erste Auswahlmodalität eine Ist-Blickposition eines Benutzers auf einem Bildschirm verwendet wird;
    • - wobei als eine zweite Auswahlmodalität ein Justierungssignal zur Justierung der Ist-Blickposition verwendet wird, wobei das Justierungssignal über eine weitere berührungsfreie Interaktion zwischen Benutzer und Computer relativ zum Bildschirm detektiert wird; und
    • - wobei als eine dritte Auswahlmodalität ein Kontrollsignal zur Aktivierung oder Deaktivierung der ersten oder zweiten Auswahlmodalität oder einer Funktion des Bedienelements verwendet wird, wobei das Kontrollsignal über eine weitere berührungsfreie Interaktion zwischen Benutzer und Computer, nämlich als ein Tonsignal, detektiert und ausgewertet wird, wobei die Detektion des Tonsignals über einen internen Sensor der Videokamera und/oder über wenigstens einen externen Sensor erfolgt und das Tonsignal ein anhaltendes Summ-Geräusch des Benutzers ist.
  • Das erfindungsgemäße computerimplementierte Verfahren umfasst die folgenden Schritte:
    • - Bestimmen der Ist-Blickposition des Benutzers in absoluten Koordinaten auf dem Bildschirm über ein Videosignal einer Videokamera;
    • - Detektieren und Auswerten eines ersten Kontrollsignals in Form eines Einsetzens eines vom Benutzer erzeugten, anhaltenden Summ-Geräuschs;
    • - Stoppen der Blickpositionsbestimmung und Starten der Detektion und Auswertung des Justierungssignals;
    • - Veränderung der absoluten Koordinaten der im ersten Schritt bestimmten Ist-Blickposition in Abhängigkeit des Justierungssignals so lange, bis ein zweites Kontrollsignal detektiert wird, wobei das zweite Kontrollsignal ein Stoppen des anhaltenden, ersten Kontrollsignals ist;
    • - Stoppen des Justierungsprozesses;
    • - Auswählen, Aktivieren und/oder Deaktivieren des, zum Zeitpunkt des Stoppens des Justierungsprozesses, an den so bestimmten Koordinaten auf dem Bildschirm angezeigten Bedienelements.
  • Das beschriebene Verfahren ermöglicht vorteilhaft, die Eingabegenauigkeit einer zunächst auf der Bestimmung einer Blickposition eines Benutzers basierenden, berührungslosen Steuerbefehlseingabe an einen Computer ausschließlich über weitere berührungsfreie Interaktion mit dem Computer zu verbessern, wobei zur technischen Ausführung lediglich handelsübliches Computerzubehör wie eine Webcam benötigt wird. Das erfindungsgemäße Verfahren ermöglicht hierbei die Erzielung von Auswahlgenauigkeit, die denen einer Nachjustierung über taktile Eingabemethoden (Maus, Tastatur, Touch-Screen, ...) entsprechen. Die strikte Trennung von Blickpositionsbestimmung und Nachjustierung über die Detektion eines berührungslosen Justierungssignals verbessert vorteilhaft die Qualität beider Einzelsignale, da eine gegenseitige negative Einflussnahme vorteilhaft ausgeschlossen werden kann. Dies ermöglicht es vorteilhaft, insbesondere als Justierungssignal ein weiteres Videosignal über die bereits zur Bestimmung der Ist-Blickposition verwendete Videokamera zu detektieren und zu verarbeiten.
  • Darüber hinaus ermöglicht das erfindungsgemäße computerimplementierte Verfahren dem Benutzer eine intuitive Auswahl von Bedienelementen auf dem Bildschirm und somit eine einfache und als angenehm empfundene Steuerung des jeweiligen Datenverarbeitungssystems. Insbesondere ein unbeabsichtigtes Auslösen von Bedienelementen, in Fachkreisen als „Midas Touch“ bezeichnet, kann durch die vorliegende Erfindung vorteilhaft vermieden werden. Ein als Tonsignal ausgebildetes Kontrollsignal kann dabei durch den Benutzer unabhängig von einer Kopf- und/oder Augenbewegung erzeugt werden und stellt somit vorteilhaft eine weitere, unabhängige „Dimension“ der Informationsübermittlung dar. Ein nicht-verbales akustisches Tonsignal in Form eines Summ-Geräuschs ist unabhängig vom jeweiligen Sprachraum und somit vorteilhaft international verwendbar. Zudem können auch Personen mit beeinträchtigtem Sprechapparat besagte nicht-verbale akustische Signale erzeugen. Die Verwendung eines nicht-verbalen akustischen Signals in Form eines Summ-Geräuschs als Tonsignal und damit als Kontrollsignal erhöht somit vorteilhaft die Barrierefreiheit des vorliegenden computerimplementierten Verfahrens.
  • Weitere vorteilhafte Ausgestaltungen und Weiterbildungen, welche einzeln oder in Kombination miteinander einsetzbar sind, sind Gegenstand der abhängigen Ansprüche.
  • In einer ersten Ausgestaltung des erfindungsgemäßen Verfahrens hat sich bewährt, wenn als Justierungssignal eine Kopfbewegung des Benutzers über das Videosignal der Videokamera detektiert und ausgewertet wird. Die Kopfbewegung des Benutzers kann dabei vorteilhaft mit derselben Videokamera detektiert werden, wie zuvor die Blickposition. Es ist also kein weiteres Zubehör notwendig, was die Kosten zur Ausführung des Verfahrens vorteilhaft senkt. Zudem ermöglichen die Kopfgelenke oftmals selbst bei körperlich schwer beeinträchtigten Personen eine feine Abstufung der Bewegungen des Kopfes in alle drei Raumrichtungen, was die Möglichkeit einer differenzierten Informationsübermittlung an den Computer vorteilhaft gewährleistet. Alternativ oder kumulativ zur Detektion einer Kopfbewegung kann als Justierungssignal auch eine relative Zungenbewegung außerhalb des Mundes des Benutzers über das Videosignal der Videokamera detektiert und ausgewertet werden.
  • Darüber hinaus hat sich eine Ausgestaltung des Verfahrens bewährt, bei der in einem Verfahrensschritt die aktuell ermittelte, vorzugsweise die jeweils während des Justierungsprozesses in Abhängigkeit des Justierungssignals ermittelte, Ist-Blickposition in Form eines Indikatorsymbols, vorzugsweise in Form eines als Kreis oder als Pfeil ausgestalteten Indikatorsymbols, auf dem Bildschirm angezeigt wird. Die Anzeige eines Indikatorsymbols zur Visualisierung der aktuellen, während des Justierungsprozesses in Abhängigkeit des Justierungssignals ermittelten Ist-Blickposition auf dem Bildschirm hilft dem Benutzer vorteilhaft, die von ihm während des Justierungsprozesses erzeugten Justiersignale, insbesondere eine Kopfbewegung, zu präzisieren und erhöht dadurch vorteilhaft die Geschwindigkeit der Auswahl des gewünschten Bedienelements auf dem Bildschirm.
  • Die vorliegende Erfindung betrifft auch ein System zur Datenverarbeitung, umfassend: wenigstens einen Computer; einen an dem Computer angeschlossenen Bildschirm; wenigstens eine mit dem Computer verbundene Videokamera; wenigstens einen mit dem Computer verbundenen Sensor zur Detektion eines berührungslos mit dem Sensor ausgetauschten Kontrollsignals; und wenigstens eine Speichervorrichtung, wobei die Speichervorrichtung computerlesbare Befehle speichert, die, wenn sie durch den wenigstens einen Computer ausgeführt werden, bewirken, dass der wenigstens eine Computer Betriebsvorgänge wie zuvor beschrieben durchführt.
  • In einer bevorzugten Ausgestaltung des erfindungsgemäßen Systems hat sich dabei bewährt, dass die Videokamera vorzugsweise eine konventionelle Webcam ist; und/oder dass der Sensor zur Detektion eines berührungslos mit dem Sensor ausgetauschten Kontrollsignals ein Mikrofon ist, wobei der als Mikrofon ausgebildete Sensor vorzugsweise Teil der als Webcam ausgebildeten Videokamera ist. Ein derartiges System zur Datenverarbeitung, welches auf konventionellem Zubehör, insbesondere auf Zubehör eines Personal-Computers basiert, ist vorteilhaft besonders kostengünstig und leicht im Handel erhältlich.
  • Schließlich betrifft die vorliegende Erfindung auch ein Computerprogrammprodukt, umfassend Befehle, die bei Ausführung des Programms durch einen Computer diesen veranlassen ein Verfahren wie zuvor beschrieben auszuführen sowie ein computerlesbares Speichermedium, auf dem ein derartiges Computerprogrammprodukt gespeichert ist.
  • Diese sowie zusätzliche Einzelheiten und weitere Vorteile der Erfindung werden nachfolgend anhand bevorzugter Ausführungsbeispiele, auf welche die vorliegende Erfindung jedoch nicht beschränkt ist, und in Verbindung mit der beigefügten Zeichnung beschrieben.
  • Die 1 bis 5 illustrieren dabei exemplarisch den Ablauf einer freihändigen Auswahl eines, auf einem Bildschirm angezeigten Bedienelements, unter Nutzung des erfindungsgenmäßen computerimplementierten Verfahrens.
  • Es zeigen schematisch:
    • 1 eine Ausgestaltung eines erfindungsgemäßen Systems zur Datenverarbeitung sowie einen Benutzer bei der Betrachtung eines Bildschirms des Systems zu Beginn eines Auswahlverfahrens;
    • 2 die Ausgestaltung des erfindungsgemäßen Systems aus 1 sowie den Benutzer nach Bestimmung der Ist-Blickposition bei der Entsendung eines ersten Kontrollsignals zum Starten eines Justierungsprozesses;
    • 3 die Ausgestaltung des erfindungsgemäßen Systems aus den vorangegangenen Figuren sowie den Benutzer während des Justierungsprozesses;
    • 4 die Ausgestaltung des erfindungsgemäßen Systems aus den vorangegangenen Figuren sowie den Benutzer nach Beendigung des Justierungsprozesses; und
    • 5 die Ausgestaltung des erfindungsgemäßen Systems aus den vorangegangenen Figuren sowie den Benutzer nach Abgabe des Auswahl- und/oder Ausführungsbefehls durch Entsendung eines zweiten Kontrollsignals.
  • Bei der nachfolgenden Beschreibung bevorzugter Ausführungsformen der vorliegenden Erfindung bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
  • 1 zeigt eine Ausgestaltung eines erfindungsgemäßen Systems zur Datenverarbeitung sowie einen Benutzer 6 bei der Betrachtung eines Bildschirms 21 des Systems zu Beginn eines Auswahlverfahrens.
  • Ein erfindungsgemäßes System zur Datenverarbeitung umfasst wie zu sehen, wenigstens einen Computer 1; einen an dem Computer 1 angeschlossenen Bildschirm 2; wenigstens eine mit dem Computer 1 verbundene Videokamera 3; wenigstens einen mit dem Computer 1 verbundenen Sensor 4 zur Detektion eines mit dem Sensor 4 berührungslos ausgetauschten Kontrollsignals 64; und wenigstens eine Speichervorrichtung, wobei die Speichervorrichtung computerlesbare Befehle speichert, die, wenn sie durch den wenigstens einen Computer 1 ausgeführt werden, bewirken, dass der wenigstens eine Computer 1 Betriebsvorgänge gemäß dem erfindungsgemäßen computerimplementierten Verfahren durchführt. Als Computer 1 kann hierbei insbesondere ein handelsüblicher Personal-Computer (Desktop-Computer) aber auch ein handelsüblicher mobiler Computer, wie bspw. ein Laptop, ein Tablet-Computer oder ein Smartphone, Verwendung finden. Daneben ist auch die Verwendung von Computern 1 möglich, welche Teil eines elektronischen Automaten, insbesondere eines Fahrkarten- und/oder Bankautomaten, sind, wobei besagte elektronische Automaten neben dem Computer 1 vorzugsweise auch einen Bildschirm 2 umfassen können.
  • Als Videokamera 3 kann eine konventionelle externe Webcam, alternativ oder kumulativ auch eine in den Bildschirm 2 integrierte Videokamera 3 verwendet werden. Die Videokamera 3 kann dabei vorzugsweise mittig oberhalb und/oder am oberen Rand des Bildschirm 2 oder vorzugsweise mittig unterhalb und/oder am unteren Rand des Bildschirms 2 angeordnet sein. Zur Ausführung des erfindungsgemäßen Verfahrens ist die Videokamera 3 zudem vorzugsweise scharf auf das Gesicht des Benutzers 6 eingestellt. Darüber hinaus kann in einer Ausgestaltung des Systems auch eine Beleuchtungseinrichtung vorgesehen sein, welche Licht einer durch die Videokamera 3 detektierbaren Wellenlänge auf den Benutzer 6 emittiert, wodurch das von der Videokamera 3 detektierte Videosignal vorteilhaft robuster in Bezug auf die Beleuchtung der Umgebung des Benutzers 6 wird. Die Videokamera 3 kann während der Durchführung des Verfahrens bevorzugt eine durchgehende Videoaufnahme von mindestens 10 Bildern pro Sekunde, besonders bevorzugt von 30 Bildern pro Sekunde, einer Bildauflösung von mindestens 640x480 Pixeln und mindestens einem Farbkanal und/oder Grauwertkanal mit jeweils mindestens 6 Bit Informationsgehalt pro Pixel, bevorzugt 8 Bit, an den Computer 1 übermitteln.
  • Der Sensor 4 zur Detektion eines mit dem Sensor 4 berührungslos ausgetauschten Kontrollsignals 64 kann bevorzugt ein Mikrofon sein, wobei der als Mikrofon ausgebildete Sensor 4 vorzugsweise Teil der als Webcam ausgebildeten Videokamera 3 sein kann. Ein als Mikrofon ausgebildeter Sensor 4 kann dabei Tonaufnahmen vorzugsweise durchgehend mit mindestens einem Kanal und einer Abtastrate von mindestens 8 kHz und 8 Bit Informationsgehalt pro Abtastung, bevorzugt mit einer Abtastrate von 16 kHz und 16 Bit Informationsgehalt pro Abtastung, an den Computer 1 übertragen.
  • Zur freihändigen Auswahl eines, auf dem Bildschirm 2 angezeigten Bedienelements 21, mit Hilfe des erfindungsgemäßen Verfahrens kann sich ein Benutzer 6 nun vorzugsweise mit seinem Kopf vor und in Blickrichtung auf den Bildschirm 2 befinden. Der Abstand zwischen dem Kopf des Benutzers 6 und dem Bildschirm 2 kann dabei in einem Bereich von 25 cm bis 210 cm, bevorzugt in einem Bereich von 60 cm bis 150 cm, liegen. Die Größe des Bildschirms 2, ausgedrückt durch seine Bildschirmdiagonale, kann zur Durchführung des erfindungsgemäßen Auswahlverfahrens beliebig gewählt werden, liegt jedoch bevorzugt in einem Bereich von 4 bis 40 Zoll, besonders bevorzugt in einem Bereich von 10 bis 32 Zoll.
  • Auf dem Bildschirm 2 kann eine Vielzahl von Bedienelementen 21, jedoch wenigstens ein Bedienelement 21, angezeigt werden, wobei die maximal mögliche Zahl an angezeigten Bedienelementen 21 von der Größe der einzelnen Bedienelemente 21 und von der Größe des jeweiligen Bildschirms 2 bestimmt wird und sich vorzugsweise daraus ergibt, dass bevorzugt maximal ein Bedienelement 21 pro 0,5° horizontalem und 0,5° vertikalem Blickwinkel des Benutzers 6 auf dem Bildschirm 2 angezeigt wird.
  • Das computerimplementiertes Verfahren zur freihändigen Auswahl eines, auf einem Bildschirm 2 angezeigten Bedienelements 21, basiert auf einem multimodalen Auswahlverfahren mit drei berührungsfreien Auswahlmodalitäten. Als eine erste Auswahlmodalität wird eine Ist-Blickposition 62 eines Benutzers 6 auf einem Bildschirm 2 verwendet. Der Computer 1 kann dazu durch eine sofortige und diskrete Verarbeitung der einzelnen Bilder des eingehenden Videosignals der Videokamera 3 die Position und Rotation des Kopfes des Benutzers 6, die Position seiner Augen und die Position der Pupillen und/oder der Iris relativ zu den Augen des Benutzers 6 auf dem jeweiligen Videobild detektieren. Durch den computergestützten Vergleich aufeinanderfolgender Videobilder kann zudem vorteilhaft die Änderung besagter Positionen und Rotationen bestimmt werden. Dazu kann beispielsweise eine Technologie verwendet werden, welche auf einer Kombination aus Deep Regression (Jiangjing Lv, Xiaohu Shao, Junliang Xing, Cheng Cheng, Xi Zhou; „A Deep Regression Architecture with Two-Stage Re-initialization for High Performance Facial Landmark Detection“ in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 3317-3326), einem Computerprogramm („Solver“) zur numerischen Lösung für das Weighted Extended Orthogonal Procrustes (WEOP)-Problem (Devrim Akca, „Generalized Procrustes Analysis and its Applications in Photogrammetry“, ETH Zürich, 2003, https://www.research-collection.ethz.ch/handle/20.500.11850/147853) und einer Methode zur Pupillen-Verfolgung wie der „Displacement-based Pupil Blend Shape Estimation“ (Artsiom Ablavatski, Andrey Vakunov, Ivan Grishchenko, Karthik Raveendran, Matsvei Zhdanovich; „Real-time Pupil Tracking from Monocular Video for Digital Puppetry“, https://doi.org/10.48550/arXiv.2006.11341) basiert. Anhand der relativen Verhältnisse von Kopfposition, Kopfrotation, Augenposition und/oder Pupillen- oder Irisposition kann die Blickrichtung des Benutzers 6 als dreidimensionaler Vektor berechnet und bis auf die zweidimensionale Oberfläche des Bildschirms 2 extrapoliert werden. Der durch diese Berechnung bestimmte zweidimensionale Schnittpunkt auf der Oberfläche des Bildschirms 2 kann als Ist-Blickposition 62 angenommen werden. Die so bestimmte Ist-Blickposition 62 hat einen Unsicherheitsfaktor, der durch die Qualität des Videosignals, der Ausleuchtung des Benutzers 6, der Gestalt des Kopfes und der Augen des Benutzers 6, sowie der Ausrichtung, der Position und Orientierung der Videokamera 3 als extrinsische Faktoren und der Geometrie der Videokamera 3 (tangentiale und radiale Verzerrung bzw. intrinsische Faktoren) beeinflusst wird. Im besten Fall kann daher von einer erzielbaren Genauigkeit der Bestimmung der Ist-Blickposition 62 von 0,5° horizontalem und 0,5° vertikalem Blickwinkel im Radius ausgegangen werden, durchschnittlich dagegen von einer erzielbaren Genauigkeit, insbesondere bei einer Webcam-basierten Bestimmung der Ist-Blickposition 62, von bis zu 5° horizontalem und 5° vertikalem Blickwinkel im Radius. Zur geringfügigen Verbesserung der Bestimmung besagter Ist-Blickposition 62 kann beispielsweise ein Fixationsfilter auf der Basis von angenommenen Sakkadengeschwindigkeiten angewendet werden, wie in Kumar, M., Klingner, J., Puranik, R., Winograd, T., Paepcke, A., Improving the accuracy of gaze input for interaction. In Proceedings of the 2008 Symposium on Eye Tracking Research Applications (New York, NY, USA, 2008), ETRA '08, Association for Computing Machinery, S. 65 - 68, beschrieben.
  • Als eine zweite Auswahlmodalität wird im erfindungsgemäßen Verfahren ein Justierungssignal 63 zur Justierung der Ist-Blickposition 62 verwendet, wobei das Justierungssignal 63 über eine weitere berührungsfreie Interaktion zwischen Benutzer 6 und Computer 1 relativ zum Bildschirm 2 detektiert wird. Als Justierungssignal 63 kann vorzugsweise eine Kopfbewegung des Benutzers 6 über das Videosignal der Videokamera 3 detektiert und ausgewertet werden. Dazu kann die Position und Rotation des Kopfes des Benutzers 6, wie sie für die Bestimmung der Ist-Blickposition 62 ermittelt wurde, in eine Transferfunktion eingegeben werden, welche die relative Veränderung der Position bzw. die Veränderung der Rotation des Kopfes des Benutzers 6 auf ein Signal mit zweidimensionalen Werten abbildet. Je nach verwendeter Transferfunktion kann das so erhaltene Justierungssignal 63 ausschließlich anhand der Position, ausschließlich anhand der Rotation, oder anhand einer kombinierten Berücksichtigung von beidem, Position und Rotation errechnet werden. Die relative Veränderung der Position und die relative Veränderung der Rotation des Kopfes des Benutzers 6 kann in Bezug zu einer Referenz für die Position und die Rotation des Kopfes des Benutzers 6 gemessen werden, wobei als Referenz insbesondere die Position und Rotation des Kopfes des Benutzers 6 dienen kann, die zum Zeitpunkt der Detektion eines ersten Kontrollsignals 64 bestimmt wurde. Das Justierungssignal 63 kann zudem gefiltert werden, zum Beispiel mithilfe eines Kalman-Filters. Alternativ oder kumulativ zur Detektion der Kopfbewegung des Benutzers 6 über das Videosignal der Videokamera 3, kann besagte Bewegung auch über ein am Kopf des Benutzers 6 angeordnetes Gyroskop, welches die relative Rotationsgeschwindigkeit des Kopfes des Benutzers 6 an den Computer 1 überträgt, ermittelt werden.
  • Als eine dritte Auswahlmodalität wird erfindungsgemäß ein Kontrollsignal 64 zur Aktivierung oder Deaktivierung der ersten oder zweiten Auswahlmodalität oder einer Funktion des Bedienelements 21 verwendet, wobei das Kontrollsignal 64 über eine weitere berührungsfreie Interaktion zwischen Benutzer 6 und Computer 1, nämlich als ein Tonsignal detektiert und ausgewertet wird, wobei die Detektion des Tonsignals über einen internen Sensor 4 der Videokamera, insbesondere ein internes Mikrofon der Videokamera 3, und/oder über wenigstens einen externen Sensor 4, insbesondere ein externes Mikrofon, erfolgen kann. Das Mikrofon kann hierzu vorzugsweise durchgehend den vorherrschenden Schalldruck prüfen und ein entsprechendes Tonsignal an den Computer 1 übertragen. Die Detektion eines als Tonsignal ausgebildeten Kontrollsignals 64 kann alternativ oder kumulativ auch durch einen Vibrationsdetektor am Kehlkopf anstatt über die Prüfung von Schalldruck vollzogen werden. Darüber hinaus hat sich bewährt, wenn auf dem Tonsignal ein sich verschiebendes Zeitfenster genutzt wird, welches eine Sekunde des zuletzt eingegangenen Tonsignals beinhaltet. Das abgetastete Tonsignal kann dabei in einem Zwischenspeicher abgelegt werden. Dabei hat sich bewährt, den Zwischenspeicher so zu wählen, dass ein Tonsignal mit einer Länge von mindestens einer Sekunde vorgehalten wird. Das vorgehaltene Tonsignal kann je nach Einstellung und Leistung des Computers 1 alle 50 ms bis zu einer vollen Sekunde im Weiteren wie folgt verarbeitet werden. Besagtes Zeitfenster kann je nach Einstellung und Leistung des Computers 1 in Zeitintervallen von 50 ms bis zu einer Sekunde gebildet werden, wobei sich insbesondere zwei oder mehr Zeitfenster dementsprechend überlappen können. Das Kontrollsignal 64 im Zeitfenster, insbesondere das als Tonsignal ausgebildete Kontrollsignal 64, kann vorzugsweise von Hintergrundgeräuschen gereinigt und auf das Vorkommen von nicht-verbalen akustischen Signalen des Benutzers 6, insbesondere auf das Vorkommen von Summen, Klopfen, Klicken oder ähnlichen Signalen, untersucht werden. Dazu kann insbesondere das Frequenzvorkommen im Kontrollsignal 64 gemessen und als Eingabe in ein KI (Künstliche Intelligenz)-Modell übertragen werden. Exemplarisch sei hierzu auf eine von L. Wyse in Proceedings of the First International Workshop on Deep Learning and Music joint with IJCNN. Anchorage, US. 1(1). pp 37-41 (2017) beschriebene Technologie hingewiesen bei der Audio-Spektrogramme als Trainingsdaten für Convolutional Neural Networks dienen. Die Frequenzen und die Lautstärke eines nicht-verbalen akustischen Kontrollsignals 64, insbesondere die Frequenz und Lautstärke eines Summ-Geräusches, kann sich je nach Benutzer 6 unterscheiden. Das KI-Modell kann daher vorzugsweise mit vielen Aufnahmen von Summ-Geräuschen oder anderen Geräuschen unterschiedlicher Benutzer 6 trainiert werden, wobei besagte Trainingsdaten entsprechend annotiert und fortlaufend durch Alltagsgeräusche ergänzt werden können, sodass ein vorgegebenes Kontrollsignal 64, insbesondere ein Summen, von jeglichen anderen vorkommenden Geräuschen vorteilhaft unterschieden werden kann. Durch Aufzeichnung des Tonsignals kann das KI-Modell darüber hinaus auch mit benutzereigenen Datensätzen trainiert und dadurch im Laufe der Zeit vorteilhaft individuell an den jeweiligen Benutzer angepasst werden.
  • In den 2 bis 5 ist nun exemplarisch der Ablauf einer freihändigen Auswahl eines, auf einem Bildschirm 2 angezeigten Bedienelements 21, unter Nutzung des erfindungsgenmäßen computerimplementierten Verfahrens dargestellt.
  • Im hiergezeigten Beispiel werden auf dem Bildschirm 2 des Systems zur Datenverarbeitung sechs Bedienelemente 21 angezeigt. Der Benutzer 6 möchte zur Steuerung des Computers 1 das Bedienelement 21, welches links oben auf dem Bildschirm 2 angezeigt wird, auswählen und ausführen. Dazu sieht der Benutzer 6 besagtes Bedienelement 21 an (als gestrichelte Linie in 1 angedeutet), die absoluten Koordinaten dieses Bedienelements 21 stellen in diesem Beispiel demnach die Soll-Blickposition 61 des Benutzter 6 dar, die von einer Vorrichtung zur Blickverfolgung bestimmt werden müsste. Aufgrund der oben beschriebenen Ungenauigkeiten während einer realen Blickpositionsbestimmung weicht allerdings die vom Computer 1 über die Auswertung des detektierten Videosignals der Videokamera 3 bestimmte Blickposition, im Folgenden „Ist-Blickposition 62“, von der tatsächlichen bzw. gewünschten Blickposition des Benutzers 6, besagte „Soll-Blickposition 61“, ab. In 1 ist die Ist-Blickposition 62 beispielhaft als kleines Kreuz eingezeichnet.
  • In 2 ist nun die Ausgestaltung des erfindungsgemäßen Systems aus 1 sowie der Benutzer 6 nach Bestimmung der Ist-Blickposition 62 bei der Entsendung eines ersten Kontrollsignals 64 zum Starten eines Justierungsprozesses gezeigt. Nachdem in einem ersten Verfahrensschritt die Ist-Blickposition 62 des Benutzers 6 in absoluten Koordinaten auf dem Bildschirm 2 über ein Videosignal einer Videokamera 3 bestimmt wurde, kann diese Ist-Blickposition 62 dem Benutzer 6 vorteilhaft in Form eines Indikatorsymbols 5 - hier ein schraffierter Kreis - auf dem Bildschirm 2 angezeigt werden. Möchte der Benutzer 6 die durch das Indikatorsymbol 5 angezeigte Ist-Blickposition 62 nachjustieren, um das gewünschte Bedienelement 21 auswählen und anschließend ausführen zu können, erzeugt er ein erstes Kontrollsignal 64 in Form eines Summ-Geräuschs. Dieses erste Kontrollsignal 64 wird vom Sensor 4, insbesondere einem Mikrofon, detektiert und vom Computer 1 ausgewertet. Das als Summ-Geräusch ausgebildete erstes Kontrollsignal 64 ist anhaltend. Der Computer 1 stoppt daraufhin die Blickpositionsbestimmung und startet die Detektion und Auswertung des Justierungssignals 63. Das System befindet sich somit nun im Justierungsprozess. Während des Justierungsprozesses werden die absoluten Koordinaten der im ersten Schritt bestimmten Ist-Blickposition 62 in Abhängigkeit des Justierungssignals 63 so lange verändert, bis ein zweites Kontrollsignal 64 detektiert wird. Das zweite Kontrollsignal 64 ist dabei erfindungsgemäß das Stoppen des anhaltenden ersten Kontrollsignals 64.Besonders bewährt hat sich dabei, wenn stets die aktuell ermittelte, vorzugsweise die jeweils während des Justierungsprozesses in Abhängigkeit des Justierungssignals 63 ermittelte Ist-Blickposition 62, in Form des Indikatorsymbols 5, vorzugsweise in Form eines als Kreis oder als Pfeil ausgestalteten Indikatorsymbols 5, auf dem Bildschirm 2 angezeigt wird.
  • 3 zeigt die Ausgestaltung des erfindungsgemäßen Systems aus den vorangegangenen Figuren sowie den Benutzer 6 während des Justierungsprozesses.
  • Als Justierungssignal 63 hat sich insbesondere eine Kopfbewegung des Benutzers 6 bewährt, welche über das Videosignal der Videokamera 3 detektiert und mittels des Computers 1 ausgewertet werden kann. Das Indikatorsymbol 5 kann sich dabei vorzugsweise relativ zum Justierungssignal 63 bewegen. Zum Beispielkann das Justierungssignal 63 mit einer Transferfunktion, welche die relative Rotation des Kopfes als Justierungssignal 63 umsetzt, wie folgt genutzt werden: Eine Rotation des Kopfes des Benutzers 6 nach oben verschiebt das Indikatorsymbol 5 nach oben. Eine Rotation des Kopfes nach unten verschiebt das Indikatorsymbol 5 nach unten. Eine Rotation des Kopfes nach rechts verschiebt das Indikatorsymbol 5 nach rechts. Eine Rotation des Kopfes nach links verschiebt das Indikatorsymbol 5 nach links. Die Rotationen können hierbei paarweise gemischt auftreten und damit zugleich das Indikatorsymbol 5 verschieben. In 3 neigt der Benutzer 6 beispielsweise seinen Kopf ein wenig nach links, angedeutet durch den kleinen gebogenen Pfeil, um den Computer 1 dazu zu veranlassen, das Indikatorsymbol 5 auf dem Bildschirm 2 entsprechend nach links oben zum gewünschten Bedienelement 21 zu verschieben. Alternativ kann das Justierungssignal 63 als relativer Wert nicht mit den absoluten Koordinaten des Indikatorsymbols 5 auf dem Bildschirm 2 direkt verrechnet werden, sondern eine Bewegungsgeschwindigkeit des Indikatorsymbols 5 auf dem Bildschirm 2 bedeuten. Die Stärke und Richtung der Rotation im Vergleich zur Referenz kann dann insbesondere in eine Verschiebegeschwindigkeit mit jeweiliger Stärke und Richtung des Indikatorsymbols 5 übersetzt werden, wobei das Indikatorsymbol 5 ohne Rotation des Kopfes des Benutzers 6 im Vergleich zur Referenz nicht weiter verschoben werden würde.
  • Der Justierungsprozess, also die Veränderung der absoluten Koordinaten der im ersten Schritt bestimmten Ist-Blickposition 62 in Abhängigkeit des Justierungssignals 63 wird in diesem Beispiel so lange fortgesetzt, bis das dem ersten Kontrollsignal 64 entsprechende, anhaltende Summ-Geräusch des Benutzers 6 endet. Das Ende des Summ-Geräusches entspricht hier dem zweiten Kontrollsignal 64 (vgl. dazu 4 und 5).
  • In 4 ist dazu die Ausgestaltung des erfindungsgemäßen Systems aus den vorangegangenen Figuren sowie der Benutzer 6 nach Beendigung des Justierungsprozesses dargestellt.
  • Das Indikatorsymbol 5 liegt nun auf dem Bedienelement 21, welches links oben auf dem Bildschirm 2 angezeigt wird. Nachdem der Justierungsprozesses gestoppt hat, wird das zum Zeitpunkt des Stoppens des Justierungsprozesses an den so bestimmten Koordinaten auf dem Bildschirm 2 angezeigte Bedienelement 21 ausgewählt, aktiviert und/oder deaktiviert, je nachdem welche konkrete Aktion mit der Detektion des zweiten Kontrollsignals 64 verknüpft wird.
  • 5 zeigt die Ausgestaltung des erfindungsgemäßen Systems aus den vorangegangenen Figuren sowie den Benutzer 6 nach Abgabe des Auswahl- und/oder Ausführungsbefehls durch Entsendung eines zweiten Kontrollsignals 64.
  • Im hier gezeigten Beispiel wurde das gewünschte Bedienelement 21 beispielsweise lediglich ausgewählt, angedeutet durch die Schraffur in 5. Zur Ausführung der mit diesem Bedienelement 21 verknüpften Aktion, beispielsweise zum Starten eines damit verknüpften Anwendungsprogramms, kann der Benutzer 6 insbesondere ein weiteres, vorzugsweise ein sich von den vorherigen Kontrollsignalen 64 unterscheidendes Kontrollsignal 64 erzeugen. Der Benutzer 6 könnte beispielsweise ein Summ-Geräusch in einer anderen Tonhöhe produzieren.
  • Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur freihändigen Auswahl eines, auf einem Bildschirm 2 angezeigten Bedienelements 21, auf Basis eines multimodalen Auswahlverfahrens mit drei berührungsfreien Auswahlmodalitäten, sowie ein System zur Datenverarbeitung, umfassend: wenigstens einen Computer 1; einen daran angeschlossenen Bildschirm 2; wenigstens eine mit dem Computer 1 verbundene Videokamera 3; wenigstens einen mit dem Computer 1 verbundenen Sensor 4 zur Detektion eines mit dem Sensor 4 berührungslos ausgetauschten Kontrollsignals 64; und wenigstens eine Speichervorrichtung, wobei die Speichervorrichtung computerlesbare Befehle speichert, die, wenn sie durch den wenigstens einen Computer 1 ausgeführt werden, bewirken, dass der wenigstens eine Computer 1 Betriebsvorgänge gemäß besagtem Verfahren durchführt. Es ermöglicht vorteilhaft, die Eingabegenauigkeit einer zunächst auf der Bestimmung einer Blickposition eines Benutzers basierenden, berührungslosen Steuerbefehlseingabe an einen Computer 1 ausschließlich über eine weitere berührungsfreie Interaktion mit dem Computer 1 zu verbessern, wobei zur technischen Ausführung lediglich handelsübliches Computerzubehör wie eine Webcam benötigt wird.
  • Bezugszeichenliste
    • 1
    Computer
    2
    Bildschirm
    21
    Bedienelement
    3
    Videokamera
    4
    Sensor zur Detektion eines Kontrollsignals
    5
    Indikatorsymbol
    6
    Benutzer
    61
    Soll-Blickposition
    62
    Ist-Blickposition
    63
    Justierungssignal
    64
    Kontrollsignal

Claims (8)

  1. Computerimplementiertes Verfahren zur freihändigen Auswahl eines, auf einem Bildschirm (2) angezeigten Bedienelements (21), auf Basis eines multimodalen Auswahlverfahrens mit drei berührungsfreien Auswahlmodalitäten, - wobei als eine erste Auswahlmodalität eine Ist-Blickposition (62) eines Benutzers (6) auf einem Bildschirm (2) verwendet wird; - wobei als eine zweite Auswahlmodalität ein Justierungssignal (63) zur Justierung der Ist-Blickposition (62) verwendet wird, wobei das Justierungssignal (63) über eine weitere berührungsfreie Interaktion zwischen Benutzer (6) und Computer (1) relativ zum Bildschirm (2) detektiert wird; und - wobei als eine dritte Auswahlmodalität ein Kontrollsignal (64) zur Aktivierung oder Deaktivierung der ersten oder zweiten Auswahlmodalität oder einer Funktion des Bedienelements (21) verwendet wird, wobei das Kontrollsignal (64) über eine weitere berührungsfreie Interaktion zwischen Benutzer (6) und Computer (1) , als ein Tonsignal, detektiert und ausgewertet wird, wobei die Detektion des Tonsignals über einen internen Sensor (4) der Videokamera und/oder über wenigstens einen externen Sensor (4) erfolgt und das Tonsignal ein anhaltendes Summ-Geräusch des Benutzers (6) ist; umfassend die Schritte: - Bestimmen der Ist-Blickposition (62) des Benutzers (6) in absoluten Koordinaten auf dem Bildschirm (2) über ein Videosignal einer Videokamera (3); - Detektieren und Auswerten eines ersten Kontrollsignals (64) in Form eines Einsetzens eines vom Benutzer (6) erzeugten, anhaltenden Summ-Geräuschs; - Stoppen der Blickpositionsbestimmung und Starten der Detektion und Auswertung des Justierungssignals (63); - Veränderung der absoluten Koordinaten der im ersten Schritt bestimmten Ist-Blickposition (62) in Abhängigkeit des Justierungssignals (63) so lange, bis ein zweites Kontrollsignal (64) detektiert wird, wobei das zweite Kontrollsignal (64) ein Stoppen des anhaltenden, ersten Kontrollsignals (64) ist; - Stoppen des Justierungsprozesses; - Auswählen, Aktivieren und/oder Deaktivieren des, zum Zeitpunkt des Stoppens des Justierungsprozesses, an den so bestimmten Koordinaten auf dem Bildschirm (2) angezeigten Bedienelements (21).
  2. Computerimplementiertes Verfahren nach Anspruch 1, bei dem als Justierungssignal (63) eine Kopfbewegung des Benutzers (6) über das Videosignal der Videokamera (3) detektiert und ausgewertet wird.
  3. Computerimplementiertes Verfahren nach Anspruch 1 oder 2, bei dem der interne Sensor (4) der Videokamera ein internes Mikrofon der Videokamera (3) und der externe Sensor (4) ein externes Mikrofon ist.
  4. Computerimplementiertes Verfahren nach einem der vorherigen Ansprüche, bei dem die aktuell ermittelte, vorzugsweise die jeweils während des Justierungsprozesses in Abhängigkeit des Justierungssignals (63) ermittelte Ist-Blickposition (62), in Form eines Indikatorsymbols (5), vorzugsweise in Form eines als Kreis oder als Pfeil ausgestalteten Indikatorsymbols (5), auf dem Bildschirm (2) angezeigt wird.
  5. System zur Datenverarbeitung, umfassend: - wenigstens einen Computer (1); - einen an dem Computer (1) angeschlossenen Bildschirm (2); - wenigstens eine mit dem Computer (1) verbundene Videokamera (3); - wenigstens einen mit dem Computer (1) verbundenen Sensor (4) zur Detektion eines mit dem Sensor (4) berührungslos ausgetauschten Kontrollsignals (64); und - wenigstens eine Speichervorrichtung, wobei die Speichervorrichtung computerlesbare Befehle speichert, die, wenn sie durch den wenigstens einen Computer (1) ausgeführt werden, bewirken, dass der wenigstens eine Computer (1) Betriebsvorgänge gemäß einem der Ansprüche 1 bis 4 durchführt.
  6. System zur Datenverarbeitung nach Anspruch 5, dadurch gekennzeichnet, dass die Videokamera (3) eine konventionelle Webcam ist; und/oder dass der Sensor (4) zur Detektion eines mit dem Sensor (4) berührungslos ausgetauschten Kontrollsignals (64) ein Mikrofon ist, wobei der als Mikrofon ausgebildete Sensor (4) vorzugsweise Teil der als Webcam ausgebildeten Videokamera (3) ist.
  7. Computerprogrammprodukt, umfassend Befehle, die bei Ausführung des Programms durch einen Computer (1) diesen veranlassen, das Verfahren nach den Ansprüchen 1 bis 4 auszuführen.
  8. Computerlesbares Speichermedium, auf dem das Computerprogrammprodukt nach Anspruch 7 gespeichert ist.
DE102022110291.2A 2022-04-27 2022-04-27 Computerimplementiertes Verfahren und System zur freihändigen Auswahl eines Bedienelements auf einem Bildschirm Active DE102022110291B3 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022110291.2A DE102022110291B3 (de) 2022-04-27 2022-04-27 Computerimplementiertes Verfahren und System zur freihändigen Auswahl eines Bedienelements auf einem Bildschirm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022110291.2A DE102022110291B3 (de) 2022-04-27 2022-04-27 Computerimplementiertes Verfahren und System zur freihändigen Auswahl eines Bedienelements auf einem Bildschirm

Publications (1)

Publication Number Publication Date
DE102022110291B3 true DE102022110291B3 (de) 2023-11-02

Family

ID=88306933

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022110291.2A Active DE102022110291B3 (de) 2022-04-27 2022-04-27 Computerimplementiertes Verfahren und System zur freihändigen Auswahl eines Bedienelements auf einem Bildschirm

Country Status (1)

Country Link
DE (1) DE102022110291B3 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120272179A1 (en) 2011-04-21 2012-10-25 Sony Computer Entertainment Inc. Gaze-Assisted Computer Interface
DE102013226244A1 (de) 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung
EP2476043B1 (de) 2009-09-11 2017-12-06 SR Labs S.R.L. Verfahren und vorrichtung zur verwendung generischer software-anwendungen mittels augensteuerung und interaktionsverfahren dafür

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2476043B1 (de) 2009-09-11 2017-12-06 SR Labs S.R.L. Verfahren und vorrichtung zur verwendung generischer software-anwendungen mittels augensteuerung und interaktionsverfahren dafür
US20120272179A1 (en) 2011-04-21 2012-10-25 Sony Computer Entertainment Inc. Gaze-Assisted Computer Interface
DE102013226244A1 (de) 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung

Similar Documents

Publication Publication Date Title
US11366517B2 (en) Human-computer interface using high-speed and accurate tracking of user interactions
DE112006002954B4 (de) Virtuelles Schnittstellensystem
JP4869978B2 (ja) 画像記録装置、画像記録方法、および画像記録プログラム
JP2024075573A (ja) 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳－コンピュータインタフェース
DE202008000261U1 (de) Vielfach-Berührungsdatenfussionssystem
US20100211918A1 (en) Web Cam Based User Interaction
Li et al. Multimodal human attention detection for reading from facial expression, eye gaze, and mouse dynamics
EP3040818B1 (de) Programm und system zum erkennen eines objektes in einer bildschirmdarstellung
DE112016002894T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm
Meena et al. Controlling mouse motions using eye tracking using computer vision
Raheel et al. Real time text speller based on eye movement classification using wearable EEG sensors
Vasisht et al. Human computer interaction based eye controlled mouse
DE102022110291B3 (de) Computerimplementiertes Verfahren und System zur freihändigen Auswahl eines Bedienelements auf einem Bildschirm
Zhao et al. Eye moving behaviors identification for gaze tracking interaction
Liu et al. CamType: assistive text entry using gaze with an off-the-shelf webcam
Khilari Iris tracking and blink detection for human-computer interaction using a low resolution webcam
CN113128417A (zh) 一种基于头部姿态的双区域眼动跟踪方法
KR20240053070A (ko) 터치리스 이미지 기반 입력 인터페이스
Soroni et al. Hand Gesture Based Virtual Blackboard Using Webcam
van Beurdena et al. User centered design of gesture-based interaction technology
Raees et al. THE-3DI: Tracing head and eyes for 3D interactions: An interaction technique for virtual environments
Shen Natural interaction technology in virtual reality
US20220351546A1 (en) Information processing apparatus, information processing method, and storage medium
Song et al. The head-trace mouse for elderly: A human-computer interaction system based on detection of poses of head and mouth
JP7296069B2 (ja) 視線入力装置、および視線入力方法

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R081 Change of applicant/patentee

Owner name: SEMANUX GMBH, DE

Free format text: FORMER OWNER: UNIVERSITAET STUTTGART, KOERPERSCHAFT DES OEFFENTLICHEN RECHTS, 70174 STUTTGART, DE

R082 Change of representative

Representative=s name: HEILEIN, ERNST-PETER, DR. RER. POL. DIPL.-ING., DE