DE112005003221T5

DE112005003221T5 - Steuersystem und -verfahren für einen Cursor in einer Anzeigevorrichtung

Info

Publication number: DE112005003221T5
Application number: DE112005003221T
Authority: DE
Inventors: Zhongqing Haidian Li; Dongyang Haidian Wang
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2004-12-22
Filing date: 2005-07-11
Publication date: 2007-11-15
Anticipated expiration: 2025-07-12
Also published as: JP2008523517A; CN1797299A; CN100399247C; WO2006066474A1; DE112005003221B4; US20090213071A1

Abstract

Ein Steuersystem für einen Cursor in einer Anzeigevorrichtung, bei dem die Anzeigevorrichtung mit einer Datenverarbeitungsvorrichtung verbunden ist und das System folgende Merkmale aufweist:
eine Bilderfassungsvorrichtung zum Erfassen einer Benutzerbildinformation und Senden eines Signals;
eine Signalempfangseinheit zum Empfangen des Signals von der Bilderfassungsvorrichtung;
eine Signalverarbeitungseinheit zum syntaktischen Analysieren des Signals und Bestimmen, ob der Cursor und eine Zielregion, die der Cursor erreicht, verschoben werden müssen oder nicht; und
eine Cursorsteuereinheit zum Senden eines Cursorsteuersignals an die Anzeigevorrichtung basierend auf dem Bestimmungsergebnis durch die Signalverarbeitungseinheit und Verschieben des Cursors in die Zielregion.

Description

Hintergrund der Erfindung
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine elektronische Informations- und Datenverarbeitungstechnologie und im Besonderen auf ein Steuersystem und -verfahren für einen Cursor (Anzeigeeinrichtung) in einer Anzeigevorrichtung.
Beschreibung des Stands der Technik
Mit der Entwicklung der industriellen Automatisierung vergrößert sich die Reichweite von Netzen, die Datenverarbeitungsfähigkeit von Computern schreitet voran, und das Volumen an Informationen, die empfangen werden müssen, steigt rapide. Somit dient die Verwendung von einer oder mehreren großen Anzeigevorrichtungen als eine der Einrichtungen, um die Arbeitseffizienz zu erhöhen. Leider hat diese Situation zu Folge, dass sich ein Cursor über eine große Entfernung auf einem Anzeigebildschirm bewegen muss, was zu Problemen wie erschwerte Bedienbarkeit und Ermüdungsanfälligkeit des Handgelenks führt.
Derzeit kann ein Computerbetriebssystem können bis zu 8 Anzeigevorrichtungen gleichzeitig unterstützen. Und diese Anzahl erhöht sich mit dem Fortschreiten der Technologie. Viele Arbeitsplatzrechner sind mit bis zu 6 oder sogar mehr Anzeigevorrichtungen ausgestattet. In diesem Fall muss sich ein Cursor, selbst wenn diese Anzeigevorrichtungen in zwei Reihen angeordnet sind, über eine Entfernung von etwa 1m von einer linken oberen Ecke bis zu einer rechten unteren Ecke bewegen. Wird für die Steuerung einer Cursorbewegung über eine derart lange Entfernung eine herkömmliche Maus oder Tastatur verwendet, verschlimmert sich die dem Handgelenk eines Benutzers zugefügte Ermüdung, wodurch jegliche Verbesserung bei der Arbeitseffizienz nachteilig beeinflusst wird. Ähnliche Probleme bei der Bewegung eines Cursors ergeben sich bei Verwendung von Personalcomputern mit großen Bildschirmen oder Breitbild-Notebookcomputern.
Um das Manko, dass sich ein Cursor über eine zu lange Entfernung bewegen muss, zu überwinden, gehen manche Benutzer zu einem Schnelltastenschiebeverfahren über. Das Verfahren macht es jedoch nach wie vor erforderlich, dass der Benutzer auch mit dem zweiten Handgelenk steuert und erfordert manchmal die Unterstützung der Augen des Benutzers, um die Position von Schnelltasten auf einer Tastatur zu überprüfen. Dies beeinträchtigt die Arbeitseffizienz und stellt somit keine gute Lösung für die im Vorhergehenden genannten Probleme dar.
Einige technische Lösungen, bei denen ein Cursor durch die Verwendung einiger neu entwickelter Vorrichtungen gesteuert wird, sind im Stand der Technik bekannt, z. B. jene Lösungen, die in den chinesischen Patentanmeldungen mit den Nummern 02101980, 02141365 und 99800299 offenbart sind. Diese Vorrichtungen erinnern an eine Maus oder einen Spiele-Joystick und erfordern die Handhabung durch die Hände eines Benutzers, um einen Cursor basierend auf der Bewegung zu bewegen und anzuordnen. Folglich können auch diese Lösungen die im Vorhergehenden genannten Probleme nicht lösen.
Im Stand der Technik gibt es auch einige technische Lösungen, bei denen ein Cursor durch Anwenden von Bildverarbeitungstechnologie gesteuert wird, z. B. jene, die in den chinesischen Patentanmeldungen mit den Nummern 03224405, 01110375 und 99111508 veröffentlicht sind.
Die in dem Patent Nr. 03224405 beschriebene technische Lösung besteht aus einem Handhaben eines mobilen Punktlichtquellenerzeugers, um dessen optisches Signal an unterschiedlichen Positionen eines Lichtquellenausbreitungsmediums anzuordnen, einem Abbilden und Umwandeln des Signals durch einen CCD-Bildsensor und einem Analysieren und Verarbeiten, des Signals durch einen Prozessor und Steuern der Bewegung eines Cursors auf einem Anzeigebildschirm einer Ausgabevorrichtung durch einen Richtungsdetektor. Im Stand der Technik wird jedoch ebenfalls ein Benutzer dafür benötigt, den mobilen Punktlichtquellenerzeuger zu betätigen, und somit können die im Vorhergehenden genannten Probleme nicht zufriedenstellend gelöst werden.
Die in dem Patent Nummer 99111508 beschriebene technische Lösung umfasst ein Eingeben eines linearen Bilds und ein Erzeugen eines Bildsignals durch ein Bildeingabegerät, ein Umwandeln des Bildsignals in eine Positionskoordinate durch eine Bildverarbeitungsschaltung und ein Herstellen eines Cursorsteuersignals basierend auf der Positionskoordinate. Dieses Verfahren erfüllt kaum die Bedingung, einen Cursor schnell zwischen mehreren Bildschirmen oder unterschiedlichen Regionen auf einer Anzeigevorrichtung zu verschieben. Zudem kann dies ein Problem einer Belegung zu vieler Ressourcen eines Computers nach sich ziehen.
Die in dem Patent Nr. 01110375 beschriebene technische Lösung umfasst: ein Auswählen eines Bilds durch einen photoelektrischen Mechanismus zum Empfangen eines Bildsignals, ein Verarbeiten des ausgewählten Bilds und ein entsprechendes Steuern der Bewegung eines Cursors auf einem Bildschirm oder einer Anzeige durch eine Steuerung. Wie das Verfahren in dem vorangehenden Absatz kann auch dieser Ansatz die Bedingung, einen Cursor schnell zwischen mehreren Bildschirmen oder unterschiedlichen Regionen auf einer Anzeigevorrichtung zu verschieben, nicht erfüllen und zur Folge haben, dass zu viele Ressourcen eines Computers belegt sind.
Ferner kann der im Vorhergehenden genannte Stand der Technik die lediglich Bewegung einer Cursorposition steuern und nicht das Erfordernis erfüllen, dass ein Anwendungsfenster in einer Zielregion zum Zeitpunkt des Bewegens eines Cursors aktiviert wird.
Zusammenfassung der Erfindung
Es ist die Aufgabe der vorliegenden Erfindung, ein Steuersystem und -verfahren für einen Cursor in einer Anzeigevorrichtung bereitzustellen, das eine schnelle Verschiebung des Cursors ermöglichen kann, um die Arbeitseffizienz eines Benutzers wirksam zu verbessern und das Ermüden des Handgelenks des Benutzers zu lindern.
Die vorliegende Erfindung kann auch ein Anwendungsfenster in einer Zielregion aktivieren, während die Position des Cursors verschoben wird.
Demzufolge ist eine technische Lösung zum Lösen der im Vorhergehenden genannten Problematik gemäß der vorliegenden Erfindung ein Bereitstellen eines Steuersystems für einen Cursor in einer Anzeigevorrichtung, wobei die Anzeigevorrichtung mit einer Datenverarbeitungsvorrichtung verbunden ist und das System folgende Merkmale aufweist:
eine Bilderfassungsvorrichtung zum Erfassen von Benutzerbildinformationen und Senden eines Signals;
eine Signalempfangseinheit zum Empfangen des Signals von der Bilderfassungsvorrichtung;
eine Signalverarbeitungseinheit zum syntaktischen Analysieren des Signals und Bestimmen, ob der Cursor und die Ziel region, die der Cursor erreicht, verschoben werden müssen oder nicht; und
eine Cursorsteuereinheit zum Senden eines Cursorsteuersignals an die Anzeigevorrichtung basierend auf dem Beurteilungsergebnis durch die Signalverarbeitungseinheit und Verschieben des Cursors in die Zielregion.
Vorzugsweise weist das System ferner eine Fensteraktivierungseinheit zum Senden eines Fensteraktivierungssignals an die Anzeigevorrichtung, wenn ein Anwendungsfenster in der Zielregion besteht, und Aktivieren des Anwendungsfensters auf.
Vorzugsweise sind die Signalempfangseinheit, die Signalverarbeitungseinheit, die Cursorsteuereinheit und die Fensteraktivierungseinheit voneinander getrennte Elemente oder es sind zumindest zwei derselben einstückig gebildet.
Vorzugsweise sind die Signalempfangseinheit, die Signalverarbeitungseinheit, die Cursorsteuereinheit und die Fensteraktivierungseinheit innerhalb der Datenverarbeitungsvorrichtung bereitgestellt.
Vorzugsweise bilden die Signalsempfangseinheit, die Signalverarbeitungseinheit, die Cursorsteuereinheit und die Fensteraktivierungseinheit ein Steuersoftwaresystem der Datenverarbeitungsvorrichtung.
Vorzugsweise ist die Signalverarbeitungseinheit innerhalb der Bilderfassungsvorrichtung vorgesehen, wobei die Signalempfangseinheit, die Cursorsteuereinheit und die Fensteraktivierungseinheit innerhalb der Datenverarbeitungsvorrichtung bereitgestellt sind.
Vorzugsweise ist die durch die Signalverarbeitungseinheit bestimmte Zielregion eine von mehreren Anzeigevorrichtungen oder eine von mehreren Bildschirmregionen auf einer Anzeigevorrichtung.
Vorzugsweise ist die durch die Bilderfassungsvorrichtung erfasste Benutzerbildinformation ein Gesichtsmerkmal des Benutzers, und die Signalverarbeitungseinheit trifft eine Entscheidung basierend auf dem aktuellen Gesichtsmerkmal und einem voreingestellten Referenzgesichtsmerkmal.
Vorzugsweise ist die Bilderfassungsvorrichtung innerhalb der Anzeigevorrichtung oder der Datenverarbeitungsvorrichtung bereitgestellt.
Die vorliegende Erfindung stellt ferner ein Steuerverfahren für einen Cursor in einer Anzeigevorrichtung bereit, wobei die Anzeigevorrichtung mit einer Datenverarbeitungsvorrichtung verbunden ist und das Verfahren folgende Schritte aufweist:

1) Erfassen einer aktuellen Benutzerbildinformation;
2) Vergleichen und Analysieren der aktuellen Bildinformation und Bestimmen, ob der Bereich zum Verändern des Cursors erreicht ist oder nicht; wenn ja, Fortfahren zu Schritt 3); ansonsten Zurückkehren zu Schritt 1); und
3) Anzeigen des Cursors in einer Zielregion, die der aktuellen Benutzerbildinformation entspricht.

Vorzugsweise umfasst das Verfahren ferner einen Schritt eines Erfassens der Referenzbenutzerbildinformation vor Schritt 1), und das Vergleichen und Analysieren in Schritt 2) weist ein Bestimmen, ob sich die Sichtlinie des Benutzers verändert hat oder nicht, auf, basierend auf dem Unterschied zwischen der aktuellen Bildinformation und der Referenzbildinformation.
Vorzugsweise weist das Verfahren ferner einen Schritt eines Überprüfens der Anzahl von Anzeigevorrichtungen oder einen Schritt eines Einstellens der Bildschirmregion einer Anzeigevorrichtung vor dem Schritt 1) auf.
Vorzugsweise weist das Verfahren ferner ein Aktivieren eines Anwendungsfensters in der Zielregion, die der Cursor erreicht, auf.
Vorzugsweise ist die Bildinformation ein Gesichtsmerkmal des Benutzers.
Im Vergleich zum Stand der Technik ist die vorliegende Erfindung dahingehend vorteilhaft, dass der Cursor auf der Anzeigevorrichtung gesteuert wird, z. B. gesteuert wird, um sich schnell zu verschieben, basierend auf den verarbeiteten Informationen, die durch Erfassen und Verarbeiten der Benutzerbildinformationen gewonnen wurden, so dass der Benutzer den Cursor schnell zwischen mehreren Anzeigevorrichtungen verschieben kann oder die Position des Cursors auf einer Anzeigevorrichtung verändern kann. Folglich kann die Zeit, die der Benutzer zum Bewegen des Cursors über eine große Entfernung benötigt, reduziert werden, die Arbeitseffizienz kann verbessert werden, und die Ermüdung, die dem Benutzer durch Betätigen des Cursors um eine große Entfernung entsteht, kann gelindert werden.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird ferner echtzeitmäßig bestimmt, ob ein Anwendungsfenster in der Zielregion besteht oder nicht; wenn ja, kann das Anwendungsfenster aktiviert werden. Auf diese Weise kann die Arbeitseffizienz des Benutzers weitergehend verbessert werden, und das Wohlbefinden des Benutzers wird gesteigert, da der Computer die Absicht des Benutzers aus der Richtung des Gesichtsmerkmals des Benutzers, wie z. B. der Augen, erfassen kann, das das Objekt darstellt, das der Benutzer betätigen will.
Gemäß der vorliegenden Erfindung kann bei dem bestehenden Notebookcomputer mit einer eingebauten PC-Kamera ohne einen damit verbunden Anstieg der Hardwarekosten realisiert werden, dass ein Cursor um eine große Entfernung auf einem oder mehreren Bildschirmen verschoben wird und ein Anwendungsfenster in der Zielregion aktiviert wird.
Abschließend lässt sich sagen, dass die vorliegende Erfindung ein computergestütztes Werkzeug ist, das durch Verarbeiten der Orientierung des Gesichts eines Benutzers die Position eines Cursors verschiebt und ein Anwendungsfenster in der Zielregion aktiviert. Ferner zeichnet sich die vorliegende Erfindung durch hervorragende Anwendbarkeit aus und ist für Benutzer unterschiedlicher Altersgruppen geeignet.
Kurzbeschreibung der Zeichnungen
1 ist ein Blockdiagramm eines Steuersystems für die Position eines Cursors in einer Anzeigevorrichtung gemäß der vorliegenden Erfindung;
2 ist ein Blockdiagramm einer Datenverarbeitungsvorrichtung in dem Steuersystem gemäß der vorliegenden Erfindung;
3 ist ein Flussdiagramm für ein Steuerverfahren gemäß der vorliegenden Erfindung;
4 ist ein schematisches Diagramm für Komponenten in dem ersten Ausführungsbeispiel des Steuersystems gemäß der vorliegenden Erfindung;
5 ist ein schematisches Diagramm für Teile des Steuersoftwaresystems in dem in 4 gezeigten Mainframe (Zentraleinheit) des Computers;
6 ist ein schematisches Diagramm für Partitionen in der in 4 gezeigten Anzeige; und
7 ist ein schematisches Diagramm des Bildschirms und der PC-Kamera bei dem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
Ausführliche Beschreibung bevorzugter Ausführungsbeispiele
Die vorliegende Erfindung ist ein computergestütztes System, das die Schritte eines Erfassens von Benutzerbildinformationen, eines Verarbeitens der Benutzerbildinformationen und eines Steuerns der Position eines Cursors in einer Anzeigevorrichtung basierend auf den verarbeiteten Informationen ausführt. Die vorliegende Erfindung kann ferner ein Anwendungsfenster innerhalb einer Zielregion aktivieren.
Mit Bezug auf 1 ist das Steuersystem für die Position eines Cursors in einer Anzeigevorrichtung gemäß der vorliegenden Erfindung aufgebaut, um einen Cursor, der auf einer Anzeigevorrichtung 120 angezeigt ist, zu steuern und eine Datenverarbeitungsvorrichtung 110 und eine Bilderfassungsvorrichtung 130 zu umfassen. Die Datenverarbeitungsvorrichtung 110 ist mit der Anzeigevorrichtung 120 und der Bilderfassungsvorrichtung 130 verbunden und steuert dieselben.
Die Anzeigevorrichtung 120 empfängt Daten von der Datenverarbeitungsvorrichtung 110 und zeigt dieselben unter der Steuerung der Datenverarbeitungsvorrichtung 110 an.
Die Bilderfassungsvorrichtung 130 nimmt Benutzerbildinformationen auf und sendet dieselben an die Datenverarbeitungsvorrichtung 110.
Mit Bezug auf 2 umfasst die Datenverarbeitungsvorrichtung 110 eine Signalempfangseinheit 111, eine Signalverarbeitungseinheit 112 und eine Cursorsteuereinheit 113. Die Signalempfangseinheit 111 empfängt ein Signal von der Datenerfassungsvorrichtung 130 und sendet dasselbe an die Signalverarbeitungseinheit 112, welche wiederum das Signal verarbeitet, die Zielregion, in die Benutzer will, dass sich der Cursor bewegt, bestimmt und eine Nachricht an die Cursorsteuereinheit 113 sendet. Basierend auf der Nachricht sendet die Cursorsteuereinheit 113 ein Cursorsteuersignal an die Anzeigevorrichtung 120 und stellt den Cursor auf die entsprechende Region ein.
Zudem umfasst die Datenverarbeitungsvorrichtung 110 auch eine Fensteraktivierungseinheit 114 zum Zweck eines automatischen Aktivierens eines Anwendungsfensters in der Zielregion. Folgend auf die Bestimmung der Zielregion, die durch den Cursor erreicht werden soll, von der Signalverarbeitungseinheit 112 bestimmt die Fensteraktivierungseinheit 114, ob ein Anwendungsfenster in dieser Zielregion besteht oder nicht; wenn ja, sendet sie ein Fensteraktivierungssignal an die Anzeigevorrichtung 120, um das Anwendungsfenster zu aktivieren; ansonsten läuft das System normal weiter.
Es sei darauf hingewiesen, dass es eine oder mehrere Anzeigevorrichtungen 120 geben kann, und dass die Datenverarbeitungsvorrichtung 110 den in der Zielregion dieser Anzeigevorrichtungen 120 anzuzeigenden Cursor steuert. Es können auch eine oder mehrere Bilderfassungsvorrichtungen 130 verwendet werden, wobei jede derselben die Steuerung der Datenverarbeitungsvorrichtung 110 akzeptiert und mit derselben kommuniziert.
Es sei ferner darauf hingewiesen, dass die Signalempfangseinheit 111, die Signalverarbeitungseinheit 112, die Cursorsteuereinheit 113 und die Fensteraktivierungseinheit 114 in Hardware oder in Software implementiert sein können. Im letzteren Fall können ihre entsprechenden Funktionen durch Ausführen zugehöriger Software durch die Datenverarbeitungsvorrichtung 110 realisiert werden. Diese Einheiten können voneinander getrennt sein, oder es können zwei oder mehrere derselben einstückig gebildet sein.
Es ist vorstellbar, dass die Bilderfassungsvorrichtung 130 ein unabhängiges Element ist oder in die Anzeigevorrichtung 120 oder die Datenverarbeitungsvorrichtung 110 integriert ist.
Es ist vorstellbar, dass die Signalverarbeitungseinheit 112 in die Bilderfassungsvorrichtung 130 integriert ist. In diesem Fall empfängt die Signalempfangseinheit 111 Daten, die durch die Signalverarbeitungseinheit 112 verarbeitet worden sind.
Bei dem Ausführungsbeispiel der vorliegenden Erfindung ist die Datenverarbeitungsvorrichtung eine elektronische Vorrichtung, die zur Datenverarbeitung in der Lage ist, was einen Tischcomputer, einen Notebookcomputer und dergleichen umfasst, jedoch nicht auf dieselben beschränkt ist; die Anzeigevorrichtung ist eine elektronische Vorrichtung mit einer Anzeigefunktion, die eine Kathodenstrahlröhrenanzeige (Kathodenstrahlröhre = Cathode Ray Tube = CRT), eine Flüssigkristallanzeige, eine Plasmaanzeige, eine Feldeffekttransistoranzeige und dergleichen umfasst, jedoch nicht auf dieselben beschränkt ist; die Bilderfassungsvorrichtung ist eine elektronische Vorrichtung, die zum Abbilden eines Bilds in der Lage ist, was eine Digitalkamera, eine PC-Kamera, CCD usw. umfasst, jedoch nicht auf dieselben beschränkt ist.
Die Benutzerbildinformation kann die Orientierung des Gesichts des Benutzers sein, aus der die Signalverarbeitungseinheit die Zielregion für den Cursor bestimmt. Selbstverständlich kann die Bildinformation auch ein anderes Gesichtsmerkmal einschließlich des Blickwinkels des Benutzers und dergleichen sein.
Nachfolgend wird der Programmablauf des Steuerverfahrens gemäß der vorliegenden Erfindung mit Bezug auf 3 erläutert.
Bei Schritt S110 werden die Bilder des Gesichts des Benutzers von vorne und von der Seite aufgezeichnet. Dieser Schritt bestimmt die Referenz, die beim Vergleichen und Analysieren der Benutzerbildinformation in den nachfolgenden Schritten verwendet wird.
Bei Schritt S120 wird das aktuelle Gesichtsmerkmal des Benutzers erfasst.
Bei Schritt S130 wird das aktuelle Gesichtsmerkmal verglichen und analysiert.
Bei Schritt S140 wird bestimmt, ob der Bereich zum Verändern erreicht ist oder nicht; wenn ja, fährt der Programmablauf zu Schritt S150 fort; andernfalls kehrt der Programmablauf zu Schritt S120 zurück. Hier ermittelt der Schritt des Bestimmens den Unterschied zwischen dem aktuellen Gesichtsmerkmal und der in Schritt S110 aufgezeichneten Bildinformation, so dass bestimmt werden kann, dass die Position des Cursors eingestellt werden muss, wenn eine erkennbare Veränderung bei der Orientierung des Gesichts des Benutzers aufgrund z. B. einer beträchtlichen Ablenkung des Kopfes des Benutzers stattfindet.
Bei Schritt S150 wird die Position des Cursors verändert, d. h. die Position, auf der der Cursor angezeigt ist, wird entsprechend dem aktuellen Gesichtsmerkmal des Benutzers auf die Zielregion eingestellt.
Bei Schritt S160 wird bestimmt, ob der Programmablauf beendet wird oder nicht; falls nicht, kehrt der Programmablauf zu Schritt S120 zurück; andernfalls wird der Programmablauf beendet.
Zudem kann die Erfindung automatisch ein Anwendungsfenster in der Zielregion aktivieren. Die Beschreibung desselben ist hier weggelassen.
Um ein deutliches Verständnis zu erleichtern, wird die vorliegende Erfindung nachfolgend anhand von Ausführungsbeispielen veranschaulicht.
Mit Bezug auf 4 kann durch eine Verwendung der technischen Lösung der Erfindung bei dem bestehenden Breitbildcomputer eine schnelle Cursorverschiebung erzielt werden.
Das System dieses Ausführungsbeispiels weist einen Computer-Mainframe 910, eine mit dem Computer-Mainframe verbundene Anzeige 920 und eine mit dem Computer-Mainframe verbundene PC-Kamera 930 auf, wobei ein Steuersoftwaresystem (nicht gezeigt) in dem Computer-Mainframe 910 bereitgestellt ist. Die PC-Kamera 930 kann oberhalb der Anzeige 920 angeordnet sein und verwendet werden, um ein Gesichtsmerkmal des Benutzers in Echtzeit zu erfassen.
Das in dem Computer-Mainframe 910 ausgeführte Softwaresystem weist die Hauptfunktionen von Bilderfassung, Bildmustererkennung, Steuern der Position des Cursors auf der Anzeige 920 und Aktivieren eines zugeordneten Anwendungsfensters auf.
Zuerst zeichnet die PC-Kamera 930 das Gesichtsmerkmal eines Benutzers auf, wenn er oder sie direkt auf das Display blickt. Wenn der Benutzer oder die Benutzerin seinen oder ihren Kopf weitgehend ablenkt, wird das durch die PC-Kamera 930 erfasste Bild durch das Steuersoftwaresystem verarbeitet, um die Zielregion, die auf Wunsch des Benutzers durch den Cursor erreicht werden soll, zu bestimmen und anschließend den Cursor auf die entsprechende Region einzustellen. In der Zwischenzeit wird ein Anwendungsfenster aktiviert, wenn es sich innerhalb dieser Region befindet. Um eine Verschiebung des Cursors aufgrund einer geringfügigen unbeabsichtigten Drehung des Kopfes des Benutzers zu verhindern, wird eine gewisse Verzögerung an die Verschiebung des Cursors während einer tatsächlichen Implementierung angelegt, so dass die zugeordnete Reaktion nicht zu empfindlich ist, was zu unerwünschten Schwierigkeiten führen könnte.
Es wird nun Bezug genommen auf 5, die ein Blockdiagramm für Teile des Steuersoftwaresystems zeigt. Das Steuersoftwaresystem weist ein zugrundeliegendes Antriebsteil 810, ein Bilderfassungs- und -verarbeitungsteil 820 und ein Cursorsteuerteil 830 auf. Das zugrundeliegende Antriebsteil 810 enthält zwei Teile, nämlich ein PC-Kameravorrichtungsantriebsmodul und ein Anzeigeantriebsmodul, die hauptsächlich ein zugeordnetes Aufrufen einer Schnittstelle zu dem oberen Bilderfassungs- und -verarbeitungsteil 820 bereitstellen und die PC-Kamera und die Anzeige steuern.
Wenn das Steuersoftwaresystem zu arbeiten beginnt, wird als erstes ein Bild des Gesichts des Benutzers von vorne erfasst und die Anzahl der Anzeigeregionen überprüft (um die Partitionen eines Bildschirms auszuwählen, wenn lediglich eine Anzeige vorhanden ist, und zwar unter der Annahme, dass es 4 oder mehr Partitionen bei diesem Ausführungsbeispiel gibt), wie es in 6 gezeigt ist. Das Steuersoftwaresystem geht davon aus, dass der Bildschirm als Voreinstellung in 4 Regionen partitioniert ist, und die Schwierigkeit einer Bewegung über eine große Entfernung ergibt sich, wenn der Cursor von der Region 1 in die Region 4 verschoben wird. Gemäß der Erfindung kann jedoch durch Verarbeiten des durch die PC-Kamera gewonnenen Gesichtsmerkmals des Benutzers durch das Steuersoftwaresystem und, basierend auf dem verarbeiteten Signal, Verschieben der Position, auf der der Cursor liegt, die Schwierigkeit überwunden und die Arbeitseffizienz merklich gesteigert werden.
Es sei darauf hingewiesen, dass die Auflösung und der Pixelwert eines Bildschirms als die vorherrschenden Referenzfaktoren für das Einteilen des Bildschirms in 4 oder mehr Regionen dienen. Auch wenn der Bildschirm abhängig von diesen Referenzfaktoren in eine große Anzahl von Regionen eingeteilt werden kann, empfiehlt es sich, den Bildschirm in vier Regionen einzuteilen, wobei auf Präzision zu achten ist.
Das Steuersoftwaresystem zeichnet nachfolgend die Bilder des Gesichts des Benutzers auf, während der Benutzer diese Regionen jeweils frontal betrachtet, und verarbeitet diese Bilder als Referenz.
Während des Betriebs erfasst das Steuersoftwaresystem ein Echtzeitbild des Gesichts des Benutzers und vergleicht es mit der aufgezeichneten Referenz. Fällt das Vergleichsergebnis in den Bereich für eine Cursorverschiebung, wird gemäß einer vorgeschriebenen Cursorsteuerstrategie eine bestimmte Verarbeitung ausgeführt. Anschließend wird, wenn die Position des Cursors verschoben werden muss, dieser durch das Cursorsteuerteil 830 verändert. Inzwischen wird ein Anwendungsfenster aktiviert, wenn es in der Zielregion besteht. Die Cursorsteuerstrategie ist hauptverantwortlich für die Handhabung einiger Probleme, auf die in der tatsächlichen Anwendung gestoßen wird, wie z. B. jene, die sich auf eine unbeabsichtigte Bewegung oder schnelle Drehung des Kopfs des Benutzers beziehen. Was die Bildverarbeitung betrifft, dient im Allgemeinen das Merkmal, dass einem Dreipunkteteil, d. h., dem Teil zwischen den Augen und der Nase des Benutzers, zugeordnet ist, in der Regel als die Referenz.
Es sei darauf hingewiesen, dass das Vorhergehende im Rahmen eines vorgegebenen Falls beschrieben ist, bei dem lediglich eine PC-Kamera vorhanden ist und die PC-Kamera direkt vor dem Benutzer angeordnet ist. In der Praxis kann es eine Mehrzahl von PC-Kameras geben, von denen jede mit dem Computer-Mainframe verbunden ist und durch das Steuersoftwaresystem gesteuert werden kann.
Wenn sich die PC-Kamera nicht direkt vor dem Benutzer befindet oder es mehrere PC-Kameras gibt, arbeitet das Steuersoftwaresystem im Wesentlichen in der gleichen Art und Weise wie im Vorhergehenden beschrieben, außer dass die PC-Kameras in der Anfangsstufe der Software nummeriert werden. Ist der Ablenkwinkel der PC-Kamera groß, kann das Merkmal zwischen den Augen, den Ohren und der Nase des Benutzers als die Referenz bei der Bildverarbeitung verwendet werden.
Mit Bezug auf 7 kann eine schnelle Cursorverschiebung durch Übernehmen der technischen Lösung der vorliegenden Erfindung erzielt werden, wobei ein Arbeitsplatzrechner die Überwachung übernimmt.
Da es verschiedene Aufgaben gibt, die der Arbeitsplatzrechner überwachen muss, wird eine Mehrzahl von Anzeigebildschirmen verwendet, wobei jeder derselben einer unterschiedlichen Aufgabe entspricht. Als ein Beispiel sind bei diesem Ausführungsbeispiel sechs Bildschirme gleichmäßig um eine PC-Kamera herum angeordnet.
Wie in 7 gezeigt ist, beträgt die zurückzulegende Entfernung eines Cursors etwa 1m, wenn der Cursor von dem Bildschirm 1 zu dem Bildschirm 6 bewegt wird, und eine derartige weit reichende Bewegung ist problematisch für einen Benutzer. Im Gegensatz dazu kann mit der Anwendung des erfindungsgemäßen Verfahrens, bei dem das Gesichtsmerkmal des Benutzers verarbeitet und verwendet wird, der Cursor innerhalb eines kurzen Zeitraums plus einer vorbestimmten Verzögerung, die weniger als 0,5s dauert, zu seinem Ziel verschoben werden, wenn der Benutzer oder die Benutzerin sein oder ihr Gesicht von dem Bildschirm 1 zu dem Bildschirm 6 dreht. Gleichzeitig wird auch ein Anwendungsfenster in der Zielregion aktiviert.
Zusammenfassend sei gesagt, dass der Kernpunkt der vorliegenden Erfindung das Bereitstellen eines computergestützten Systems ist, das es einem Benutzer ermöglicht, entweder einen Cursor schnell zwischen mehreren Anzeigevorrichtungen zu verschieben und ein Anwendungsfenster in einer Zielregion zu aktivieren, oder die Position eines Cursors auf einer einzigen Anzeigevorrichtung schnell zu verändern und ein Anwendungsfenster in einer Zielregion zu aktivieren. Das technische Konzept der vorliegenden Erfindung gründet sich auf die Tatsache, dass die meisten der derzeit vertriebenen Notebookcomputer mit eingebauten PC-Kameras ausgestattet sind und aufgrund der verschiedenen Anforderungen durch die Benutzer, wie z. B. Video-Chatten und Abhalten von Videokonferenzen usw., auch in viele Tischcomputer PC-Kameras eingebaut sind. Wenn ein Benutzer von dem aktuellen Bildschirm auf einen anderen umschalten will, dreht der Benutzer oder die Benutzerin mit Sicherheit den Kopf zu dem Zielbildschirm, was zu einer gewissen Veränderung bei dem Gesichtsmerkmal des Benutzers führt, das durch die PC-Kamera abgebildet wird. Durch Einbeziehen des durch die PC-Kamera aufgenommenen Bilds und die derzeitige leistungsstarke Bildverarbeitungstechnologie kann das Gesichtsmerkmal des Benutzers genauestens analysiert und verglichen werden. Anschließend kann das Ziel, das der Cursor erreichen soll, basierend auf den analysierten und verarbeiteten Informationen bestimmt werden. Schließlich wird der Cursor schnell zu dem Ziel verschoben. Mit diesem Verfahren kann der Benutzer den Cursor ohne weiteres über eine große Entfernung bewegen, ohne eine Peripherievorrichtung, wie z. B. eine Maus oder eine Tastatur, mit seinen Händen handhaben zu müssen. Dies kann die Ermüdung des Handgelenks lindern und die Arbeitseffizienz verbessern.
Das Vorhergehende beschreibt lediglich bevorzugte Ausführungsbeispiele der Erfindung. Den Fachleuten ist bewusst, dass verschiedene Modifizierungen und Verbesserungen am Prinzip der vorliegenden Erfindung vorgenommen werden können und dass diese Modifizierung und Verbesserung in den Schutzbereich der vorliegenden Erfindung fallen.
Zusammenfassung
Die vorliegende Erfindung offenbart ein Steuersystem für einen Cursor in einer Anzeigevorrichtung, bei dem die Anzeigevorrichtung mit einer Datenverarbeitungsvorrichtung verbunden ist, und das System weist folgende Merkmale auf: eine Bilderfassungsvorrichtung zum Erfassen einer Benutzerbildinformation und Senden eines Signals; eine Signalempfangseinheit zum Empfangen des Signals von der Bilderfassungsvorrichtung; eine Signalverarbeitungseinheit zum syntaktischen Analysieren des Signals und Bestimmen, ob der Cursor und die Zielregion, die der Cursor erreicht, verschoben werden müssen oder nicht; und eine Cursorsteuereinheit zum Senden eines Cursorsteuersignals an die Anzeigevorrichtung, basierend auf dem Beurteilungsergebnis durch die Signalverarbeitungseinheit und Verschieben des Cursors in die Zielregion. Demgemäß offenbart die vorliegende Erfindung ferner ein Steuerverfahren für einen Cursor in einer Anzeigevorrichtung.

Claims

Ein Steuersystem für einen Cursor in einer Anzeigevorrichtung, bei dem die Anzeigevorrichtung mit einer Datenverarbeitungsvorrichtung verbunden ist und das System folgende Merkmale aufweist: eine Bilderfassungsvorrichtung zum Erfassen einer Benutzerbildinformation und Senden eines Signals; eine Signalempfangseinheit zum Empfangen des Signals von der Bilderfassungsvorrichtung; eine Signalverarbeitungseinheit zum syntaktischen Analysieren des Signals und Bestimmen, ob der Cursor und eine Zielregion, die der Cursor erreicht, verschoben werden müssen oder nicht; und eine Cursorsteuereinheit zum Senden eines Cursorsteuersignals an die Anzeigevorrichtung basierend auf dem Bestimmungsergebnis durch die Signalverarbeitungseinheit und Verschieben des Cursors in die Zielregion.
Das Steuersystem für einen Cursor in einer Anzeigevorrichtung gemäß Anspruch 1, das ferner eine Fensteraktivierungseinheit zum Senden eines Fensteraktivierungssignals an die Anzeigevorrichtung, wenn ein Anwendungsfenster in der Zielregion besteht, und Aktivieren des Anwendungsfensters aufweist.
Das Steuersystem für einen Cursor in einer Anzeigevorrichtung gemäß Anspruch 2, bei dem die Signalempfangseinheit, die Signalverarbeitungseinheit, die Cursorsteuereinheit und die Fensteraktivierungseinheit von einander getrennte Elemente sind oder zumindest zwei derselben einstückig gebildet sind.
Das Steuersystem für einen Cursor in einer Anzeigevorrichtung gemäß Anspruch 2, bei dem die Signalempfangseinheit, die Signalverarbeitungseinheit, die Cursorsteuereinheit und die Fensteraktivierungseinheit innerhalb der Datenverarbeitungsvorrichtung bereitgestellt sind.
Das Steuersystem für einen Cursor in einer Anzeigevorrichtung gemäß Anspruch 4, bei dem die Signalempfangseinheit, die Signalverarbeitungseinheit, die Cursorsteuereinheit und die Fensteraktivierungseinheit ein Steuersoftwaresystem der Datenverarbeitungsvorrichtung bilden.
Das Steuersystem für einen Cursor in einer Anzeigevorrichtung gemäß Anspruch 1, bei dem die Signalverarbeitungseinheit innerhalb der Bilderfassungsvorrichtung bereitgestellt ist und die Signalempfangseinheit, die Cursorsteuereinheit und die Fensteraktivierungseinheiten innerhalb der Datenverarbeitungsvorrichtung bereitgestellt sind.
Das Steuersystem für einen Cursor in einer Anzeigevorrichtung gemäß Anspruch 1, bei dem die Zielregion, die durch die Signalverarbeitungseinheit bestimmt ist, eine von mehreren Anzeigevorrichtungen oder eine von mehreren Bildregionen in einer Anzeigevorrichtung ist.
Das Steuersystem für einen Cursor in einer Anzeigevorrichtung gemäß einem der Ansprüche 1 bis 7, bei dem die durch die Bilderfassungsvorrichtung erfasste Benutzerbildinformation ein Gesichtsmerkmal des Benutzers ist und die Signalverarbeitungseinheit basierend auf dem aktuellen Gesichtsmerkmal und einem voreinge stellten Referenzgesichtsmerkmal eine Bestimmung vornimmt.
Das Steuersystem für einen Cursor in einer Anzeigevorrichtung gemäß Anspruch 8, bei dem die Bilderfassungsvorrichtung innerhalb der Anzeigevorrichtung oder der Datenverarbeitungsvorrichtung bereitgestellt ist.
Ein Steuerverfahren für einen Cursor in einer Anzeigvorrichtung, bei dem die Anzeigevorrichtung mit einer Datenverarbeitungsvorrichtung verbunden ist, wobei das Verfahren folgende Schritte aufweist: 1) Erfassen einer aktuellen Benutzerbildinformation; 2) Vergleichen und Analysieren der aktuellen Bildinformation und Bestimmen, ob der Bereich zum Verändern des Cursors erreicht ist oder nicht; wenn ja, Fortfahren zu Schritt 3); andernfalls Zurückkehren zu Schritt 1); und 3) Anzeigen des Cursors in einer Zielregion, die der aktuellen Benutzerbildinformation entspricht.
Das Steuerverfahren für einen Cursor in einer Anzeigvorrichtung gemäß Anspruch 10, das ferner einen Schritt eines Erfassens der Referenzbenutzerbildinformation vor Schritt 1) aufweist, und bei dem das Vergleichen und Analysieren in Schritt 2) ein Bestimmen, ob sich die Sichtlinie des Benutzers verändert hat oder nicht, basierend auf dem Unterschied zwischen der aktuellen Bildinformation und der Referenzbildinformation, aufweist.
Das Steuerverfahren für einen Cursor in einer Anzeigevorrichtung gemäß Anspruch 10, das ferner einen Schritt eines Überprüfens der Anzahl von Anzeigevorrichtungen oder einen Schritt eines Einstellens der Bildschirmregion einer Anzeigevorrichtung vor Schritt 1) aufweist.
Das Steuerverfahren für einen Cursor in einer Anzeigevorrichtung gemäß Anspruch 10 oder 11, das ferner ein Aktivieren eines Anwendungsfensters in der Zielregion, die der Cursor erreicht, aufweist.
Das Steuerverfahren für einen Cursor in einer Anzeigevorrichtung gemäß Anspruch 10 oder 11, bei dem die Bildinformation ein Gesichtsmerkmal des Benutzers ist.