DE102014114131A1

DE102014114131A1 - Verfahren zur Informationsverarbeitung und elektronisches Gerät

Info

Publication number: DE102014114131A1
Application number: DE102014114131.8A
Authority: DE
Inventors: Xiang Cao; Liuxin Zhang; Yong Duan
Original assignee: Lenovo Beijing Ltd; Beijing Lenovo Software Ltd
Current assignee: Lenovo Beijing Ltd; Beijing Lenovo Software Ltd
Priority date: 2014-03-10
Filing date: 2014-09-29
Publication date: 2015-09-10
Also published as: US20150254881A1

Abstract

Es werden Verfahren zur Informationsverarbeitung und ein elektronisches Gerät aufgezeigt. Das Verfahren weist folgenden Schritte auf: Erfassen von Parameterinformation eines Bedieners, welcher sich vor einem Spiegelbildschirm befindet, durch Einsatz einer Bilderfassungseinrichtung; Berechnen eines ersten digitalen Bildes, welches einem virtuellen Bild des Bedieners entspricht, basierend auf der Parameterinformation durch Einsatz eines vorgegebenen Algorithmus; und Bestimmen einer ersten Anweisung, welche mit einer ersten durch den Bediener ausgeführten Eingabeoperation korrespondiert.

Description

Technisches Gebiet
Die Offenbarung betrifft das Gebiet der Elektroniktechnologie und insbesondere ein Verfahren zur Informationsverarbeitung und ein elektronisches Gerät.
Hintergrund
Ein Spiegel ist einer der üblichen Gebrauchsgegenstände des Lebens. Ein Bild in dem Spiegel wird durch einen Interaktionspunkt der Verlängerungslinien von den reflektierten Lichtstrahlen gebildet und daher ist das Bild in dem Spiegel ein virtuelles Bild. Das virtuelle Bild hat die gleiche Größe wie das entsprechende Objekt und die Entfernung des virtuellen Bildes zum Spiegel ist gleich der Entfernung des entsprechenden Objekts zu dem Spiegel. Daher sind das Bild und das entsprechende Objekt symmetrisch in Bezug zum Spiegel. Der Spiegel kann ein virtuelles Bild einer Umgebung vor dem Spiegel darstellen.
Unter den elektronischen Geräten im aktuellen Leben und Arbeiten haben einige elektronischen Geräte einen Bildschirm, zum Beispiel ein Computer, ein Mobiltelefon oder eine Smartwatch. Der Bildschirm zeigt einen Inhalt, welcher für einen Nutzer angezeigt werden soll, durch ein Elektro- oder Flüssigkristallmodul an, basierend auf einer Displayansteueranweisung von dem elektronischen Gerät.
Allerdings existiert im Stand der Technik kein elektronisches Gerät, welches einen Spiegel mit einem Bildschirm miteinander kombiniert.
Zusammenfassende Darstellung
Gemäß den Ausführungsformen der vorliegenden Offenbarung werden ein Verfahren zur Informationsverarbeitung und ein elektronisches Gerät aufgezeigt, um das oben genannte Problem zu lösen.
Gemäß einem Aspekt wird ein Verfahren zur Informationsverarbeitung aufgezeigt, welches folgende Schritte aufweist:
Erfassen von Parameterinformation eines Bedieners, welcher sich vor einem Spiegelbildschirm befindet, durch Einsatz einer Bilderfassungseinrichtung;
Berechnen eines ersten digitalen Bildes, welches einem virtuellen Bild des Bedieners entspricht, basierend auf der Parameterinformation, durch Einsatz eines vorgegebenen Algorithmus; und
Bestimmen einer ersten Anweisung, welche mit einer ersten durch den Bediener ausgeführten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild.
Wobei das Verfahren nach dem Bestimmen einer ersten Anweisung, welche mit einer ersten durch den Bediener ausgeführten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, ferner folgende Schritte aufweist:
Anzeigen eines ersten Displayinhalts auf dem Bildschirm; und
Ansteuern des Bildschirms zum Anzeigen eines zweiten Displayinhalts, welcher sich von dem ersten Displayinhalt unterscheidet, als Reaktion auf die erste Anweisung und basierend auf der ersten Anweisung.
Wobei das Verfahren nach dem Bestimmen einer ersten Anweisung, welche mit einer ersten durch den Bediener ausgeführten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, ferner folgende Schritte aufweist:
Beurteilen, ob die erste Eingabeoperation eine erste voreingestellte Bedingung erfüllt, um ein erstes Beurteilungsergebnis zu erhalten; und
Ansteuern des Bildschirms zum Anzeigen eines ersten Teils des ersten digitalen Bildes, falls das erste Beurteilungsergebnis indiziert, dass die erste Eingabeoperation die erste voreingestellte Bedingung erfüllt.
Wobei das Berechnen eines ersten digitalen Bildes basierend auf der Parameterinformation durch Einsatz eines vorgegebenen Algorithmus folgende Schritte aufweist:
Erhalten von wenigstens einer ersten Koordinate eines Displayinhalts auf dem Bildschirm in einem Augen-Koordinatensystem basierend auf der Parameterinformation;
Erhalten von Information über eine erste Position der Augen basierend auf der Parameterinformation; und
Berechnen des ersten digitalen Bildes basierend auf der Information der ersten Position und der wenigstens einen ersten Koordinate.
Wobei das Berechnen des ersten digitalen Bildes basierend auf der Information der ersten Position und der wenigstens einen ersten Koordinate folgende Schritte aufweist:
Konstruieren einer Homographie eines Koordinatensystems einer Displayebene des Bildschirms, welche dem Augen-Koordinatensystem entspricht, basierend auf der Information der ersten Position;
Erhalten von wenigstens einer zweiten Koordinate des Displayinhalts in dem Koordinatensystem der Displayebene basierend auf der wenigstens einen ersten Koordinate und der Homographie; und
Erhalten des ersten digitalen Bildes basierend auf der wenigstens einen zweiten Koordinate des Displayinhalts.
Wobei das Verfahren, falls das erste virtuelle Bild wenigstens ein virtuelles Objekt enthält, welches eine eins-zu-eins Entsprechung mit wenigstens einem realen Objekt in einem Umgebungsraum (environmental space) aufweist, in welchem sich der Bediener befindet, ferner folgende Schritte aufweist:
Konstruieren von wenigstens einem Displayobjekt;
Anzeigen des Displayobjekts auf dem Bildschirm.
Wobei das Verfahren vor dem Konstruieren des wenigstens einen Displayobjekts ferner folgende Schritte aufweist:
Erfassen von wenigstens einem Parameter des Umgebungsraumes mittels der Bilderfassungseinrichtung;
Ausführen eines vorgegebenen Algorithmus auf dem wenigstens einen Parameter, um einen digitalen Raum zu erhalten, wobei der digitale Raum einem virtuellen Bildraum entspricht, welcher in Bezug zu dem Bildschirm symmetrisch zu dem Umgebungsraum ist.
Wobei das Anzeigen des Displayobjekts auf dem Bildschirm folgende Schritte aufweist:
Bestimmen des wenigstens einen Displayobjekts und wenigstens einer Position des Displayobjekts in dem digitalen Raum basierend auf dem digitalen Raum;
Bestimmen von wenigstens einer Displayposition auf dem Bildschirm, welche der wenigstens einen Position in dem digitalen Raum entspricht; und
Anzeigen des Displayobjekts an der Displayposition auf dem Bildschirm.
Das Verfahren weist ferner folgende Schritte auf:
Erfassen eines Bewegungsparameters des Bedieners mittels der Bilderfassungseinrichtung;
Bestimmen einer Bedienposition des Bedieners in dem digitalen Raum basierend auf dem digitalen Raum und dem Bewegungsparameter; und
Bestimmen einer von dem Bediener ausgeführten Eingabeoperation für das Displayobjekt basierend auf der Bedienposition.
Wobei das Verfahren nach dem Bestimmen einer von dem Bediener ausgeführten Eingabeoperation für das Displayobjekt basierend auf der Bedienposition ferner folgenden Schritt aufweist:
Anordnen des Displayobjekts an einer neuen Position basierend auf der Eingabeoperation.
Gemäß einem weiteren Aspekt wird ein elektronisches Gerät aufgezeigt mit einem Spiegelbildschirm;
einer ersten Erfassungseinheit zum Erfassen von Parameterinformation eines Bedieners, welcher sich vor dem Bildschirm befindet, durch Einsatz einer Bilderfassungseinrichtung;
einer zweiten Erfassungseinheit zum Berechnen eines ersten digitalen Bildes, welches einem virtuellen Bild des Bedieners entspricht, basierend auf der Parameterinformation, durch Einsatz eines vorgegebenen Algorithmus; und
einer Bestimmungseinheit zum Bestimmen einer ersten Anweisung, welche mit einer ersten durch den Bediener ausgeführten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild.
Das elektronisches Gerät weist ferner auf:
eine Displayeinheit zum Anzeigen eines ersten Displayinhalts und zum Anzeigen eines zweiten Inhalts, welcher sich von dem ersten Displayinhalt unterscheidet, als Reaktion auf die erste Anweisung und basierend auf der ersten Anweisung.
Das elektronisches Gerät weist ferner auf:
eine erste Beurteilungseinheit zum Beurteilen, ob die erste Eingabeoperation eine erste voreingestellte Bedingung erfüllt, um ein erstes Beurteilungsergebnis zu erhalten; und
eine Ansteuereinheit zum Ansteuern des Bildschirms zum Anzeigen eines ersten Teils des ersten digitalen Bildes, falls das erste Beurteilungsergebnis indiziert, dass die erste Eingabeoperation die erste voreingestellte Bedingung erfüllt.
Wobei die zweite Erfassungseinheit aufweist:
ein erstes Erfassungsmodul zum Erhalten von wenigstens einer ersten Koordinate eines Displayinhalts auf dem Bildschirm in einem Augen-Koordinatensystem basierend auf der Parameterinformation;
ein zweites Erfassungsmodul zum Erhalten von Information über eine erste Position der Augen basierend auf der Parameterinformation; und
ein drittes Erfassungsmodul zum Berechnen des ersten digitalen Bildes basierend auf der Information der ersten Position und der wenigstens einen ersten Koordinate.
Wobei das dritte Erfassungsmodul ausgestaltet ist zum:
Konstruieren einer Homographie eines Koordinatensystems einer Displayebene des Bildschirms, welche dem Augen-Koordinatensystem entspricht, basierend auf der Information der ersten Position;
Erhalten von wenigstens einer zweiten Koordinate des Displayinhalts in dem Koordinatensystem der Displayebene basierend auf der wenigstens einen ersten Koordinate und der Homographie; und
Erhalten des ersten digitalen Bildes basierend auf der wenigstens einen zweiten Koordinate des Displayinhalts.
Wobei, falls das erste virtuelle Bild wenigstens ein virtuelles Objekt enthält, welches eine eins-zu-eins Entsprechung mit wenigstens einem realen Objekt in einem Umgebungsraum aufweist, in welchem sich der Bediener befindet, das elektronische Gerät ferner aufweist:
einen Prozessor, welcher mit dem Bildschirm verbunden ist, zum Konstruieren von wenigstens einem Displayobjekt und zum Ansteuern des Bildschirms zum Anzeigen des Displayobjekts.
Wobei die erste Erfassungseinheit mit dem Prozessor verbunden ist, zum Erfassen von wenigstens einem Parameter des Umgebungsraumes und zum Senden des wenigstens einen Parameters des Umgebungsraumes an den Prozessor vor dem Konstruieren des Displayobjekts; der Prozessor ist ausgestaltet zum Ausführen eines vorgegebenen Algorithmus auf dem wenigstens einen Parameter, um einen digitalen Raum zu erhalten, wobei der digitale Raum einem virtuellen Bildraum entspricht, welcher in Bezug zu dem Bildschirm symmetrisch zu dem Umgebungsraum ist.
Wobei der Prozessor ferner ausgestaltet ist zum
Bestimmen des wenigstens einen Displayobjekts und wenigstens einer Position des Displayobjekts in dem digitalen Raum basierend auf dem digitalen Raum;
Bestimmen von wenigstens einer Displayposition auf dem Bildschirm, welche der wenigstens einen Position in dem digitalen Raum entspricht; und
Ansteuern des Bildschirms zum Anzeigen des Displayobjekts an der Displayposition.
Wobei der Prozessor ferner ausgestaltet ist zum
Erfassen eines Bewegungsparameters des Bedieners mittels der Bilderfassungseinrichtung;
Bestimmen einer Bedienposition des Bedieners in dem digitalen Raum basierend auf dem digitalen Raum und dem Bewegungsparameter; und
Bestimmen einer von dem Bediener ausgeführten Eingabeoperation für das Displayobjekt basierend auf der Bedienposition.
Wobei der Prozessor ausgestaltet ist zum Anordnen des Displayobjekts an einer neuen Position basierend auf der Eingabeoperation nach dem Bestimmen der von dem Bediener ausgeführten Eingabeoperation für das Displayobjekt basierend auf der Bedienposition.
Mit den aufgezeigten technischen Lösungen wird das technische Problem im Stand der Technik gelöst, dass eine Ferninteraktion (remote interaction) zwischen einem elektronischen Gerät mit einem Spiegelbildschirm und einem Nutzer nicht realisiert wird. Und der technische Effekt, dass der Nutzer eine Ferninteraktion mit dem elektronischen Gerät ausführen kann, wird realisiert durch Konstruieren des ersten digitalen Bildes zum Bestimmen der ersten Eingabeoperation des Nutzers sobald die Parameterinformation durch die Bilderfassungseinrichtung erfasst wird.
Kurze Beschreibung der Zeichnungen
1 ist ein Flussdiagramm eines Verfahrens zur Informationsverarbeitung nach einem Ausführungsbeispiel der Offenbarung;
2 ist eine schematische Darstellung eines vorgegebenen Algorithmus nach einem Ausführungsbeispiel der Offenbarung;
3 ist eine schematische Darstellung eines ersten Displayinhalts nach einem Ausführungsbeispiel der Offenbarung;
4 ist eine schematische Darstellung eines zweiten Displayinhalts nach einem Ausführungsbeispiel der Offenbarung;
5 ist eine schematische Darstellung eines ersten Teils eines ersten digitalen Bildes nach einem Ausführungsbeispiel der Offenbarung;
6 ist eine schematische Darstellung eines ersten Teils eines weiteren ersten digitalen Bildes nach einem Ausführungsbeispiel der Offenbarung;
7 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes nach einem Ausführungsbeispiel der Offenbarung;
8 ist ein schematisches Strukturdiagramm eines weiteren elektronischen Gerätes nach einem Ausführungsbeispiel der Offenbarung;
9 ist ein Flussdiagramm eines weiteren Verfahrens zur Informationsverarbeitung nach einem Ausführungsbeispiel der Offenbarung;
10 ist eine schematische Darstellung, welche einen Spiegelbildeffekt zeigt, wenn ein Betrachter von zwei Positionen aus betrachtet, nach einem Ausführungsbeispiel der Offenbarung;
11 ist eine schematische Darstellung eines dreidimensionalen Koordinatensystems einer Tiefenkamera und eines dreidimensionalen Koordinatensystems eines virtuellen Bildraumes nach einem Ausführungsbeispiel der Offenbarung;
12 ist eine schematische Darstellung eines Displayeffekts zum Anzeigen einer konstruierten Tasse auf einem Bildschirm nach einem Ausführungsbeispiel der Offenbarung;
13 ist eine schematische Darstellung eines Prinzips zum Bestimmen von N Displaypositionen nach einem Ausführungsbeispiel der Offenbarung;
14a und 14b sind schematische Darstellungen eines Displayeffekts zum Anzeigen eines konstruierten Würfels auf dem Bildschirm nach einem Ausführungsbeispiel der Offenbarung;
15 ist eine schematische Darstellung eines Displayeffekts zum Anzeigen eines konstruierten Sofas auf dem Bildschirm nach einem Ausführungsbeispiel der Offenbarung;
16 ist eine schematische Positionsdarstellung, welche zeigt, dass ein Betrachter einen Displayeffekt aus unterschiedlichen Positionen betrachtet, nach einem Ausführungsbeispiel der Offenbarung;
17a bis 17c sind schematische Darstellungen eines Displayeffekts zum Anzeigen einer konstruierten Wanduhr auf dem Bildschirm nach einem Ausführungsbeispiel der Offenbarung.
Detaillierte Beschreibung der Ausführungsbeispiele
Wenn ein Spiegelbildschirm durch einen Nutzer verwendet wird, kann der Nutzer seine Bedienaktion (operation action) sehen, wie beispielsweise Heben seines Armes oder Vornehmen eines Klicks vor dem Spiegelbildschirm durch seinen rechten Zeigefinger. Daher kann der Nutzer, wenn ein Inhalt auf dem Spiegelbildschirm angezeigt wird, sehen, dass seine Bedienaktion dem Inhalt zu entsprechen scheint. Zum Beispiel kann der Nutzer sehen, dass ein Icon ”Musik”, welches auf dem Bildschirm angezeigt wird, durch ein virtuelles Bild eines Fingers des Nutzers angeklickt wird. Hingegen kann im Stand der Technik, falls der Nutzer das Icon ”Musik” anklicken will, dies nur durch Einsatz einer Maus oder durch Berühren des Icons realisiert werden und kann nicht durch Eingeben einer entsprechenden Bedienaktion aus der Entfernung realisiert werden. Daher wird im Stand der Technik eine Interaktion aus der Entfernung (remote interaktion) zwischen dem elektronischen Gerät mit einem Spiegelbildschirm und einem Nutzer nicht realisiert.
Um das oben beschriebene technische Problem zu lösen, wird ein Verfahren zur Informationsverarbeitung in den Ausführungsbeispielen der vorliegenden Anmeldung aufgezeigt. Das Verfahren kann bei einem elektronischen Gerät mit einem Bildschirm mit einem Spiegeleffekt und einer Bilderfassungseinrichtung eingesetzt werden. Wenn ein Bediener des elektronischen Gerätes sich vor dem Bildschirm befindet, wird ein erstes virtuelles Bild symmetrisch zu dem Bediener durch den Spiegeleffekt des Bildschirms angezeigt. Das Verfahren weist die folgenden Schritte auf:
Erfassen von Parameterinformationen des Bedieners, welcher sich vor dem Bildschirm befindet, durch Einsatz der Bilderfassungseinrichtung, wobei die Parameterinformation verwendet wird, um ein erstes digitales Bild zu konstruieren, welches dem Bediener, welcher sich vor dem Bildschirm befindet, entspricht;
Ausführen einer Berechnung mit einem vorgegebenen Algorithmus auf der Parameterinformation, um ein erstes digitales Bild zu erhalten, wobei das erste digitale Bild verwendet wird, um eine Eingabeoperation des Bedieners zu bestimmen und das erste digitale Bild dem ersten virtuellen Bild entspricht; und
Bestimmen einer ersten Anweisung, welche mit einer ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, wenn der Bediener die erste Eingabeoperation ausführt und Darstellen einer Aktion des Bedieners zum Ausführen der ersten Bedienoperation durch das erste virtuelle Bild.
Gemäß der technischen Lösung der Offenbarung wird zuerst die Parameterinformation des Bedieners, welcher sich vor dem Bildschirm befindet, erfasst durch Einsatz der Bilderfassungseinrichtung. Die Parameterinformation wird verwendet, um ein erstes digitales Bild zu konstruieren, welches dem Bediener, welcher sich vor dem Bildschirm befindet, entspricht. Eine Berechnung wird auf der Parameterinformation basierend auf einem vorgegebenen Algorithmus ausgeführt, um ein erstes digitales Bild zu erhalten, wobei das erste digitale Bild verwendet wird, um die Eingabeoperation des Bedieners zu bestimmen und das erste digitale Bild entspricht dem ersten virtuellen Bild. Dann, wenn eine erste Eingabeoperation durch den Bediener ausgeführt wird, wird die erste Anweisung, welche mit der ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild bestimmt und die Aktion des Bedieners zum Ausführen der ersten Eingabeoperation wird durch das erste virtuelle Bild dargestellt. Auf diese Weise wird das technische Problem im Stand der Technik gelöst, dass eine Ferninteraktion zwischen einem elektronischen Gerät mit einem Spiegelbildschirm und einem Nutzer nicht realisiert wird. Und der technische Effekt, dass der Nutzer eine Ferninteraktion mit dem elektronischen Gerät ausführen kann, wird realisiert durch Konstruieren des ersten digitalen Bildes zum Bestimmen der ersten Eingabeoperation des Nutzers sobald die Parameterinformation durch die Bilderfassungseinrichtung erfasst wird.
Die technische Lösung der Offenbarung wird im Folgenden detailliert durch Zeichnungen und die Ausführungsbeispiele dargestellt. Es versteht sich, dass die Ausführungsbeispiele der Offenbarung und spezifische Merkmale in den Ausführungsbeispielen dazu vorgesehen sind, um die technische Lösung der Offenbarung im Detail darzustellen und nicht dazu bestimmt sind, die technische Lösung der Offenbarung zu beschränken. Die Ausführungsbeispiele der Offenbarung und die technischen Merkmale in den Ausführungsbeispielen können miteinander kombiniert werden, ohne miteinander in Konflikt zu treten.
In den Ausführungsbeispielen der Offenbarung werden ein Verfahren zur Informationsverarbeitung und ein elektronisches Gerät aufgezeigt. In einem spezifischen Ausführungsbeispiel hat das elektronische Gerät einen Spiegelbildschirm und eine Bilderfassungseinrichtung und kann ein Smartphone sein oder kann auch ein Notebookcomputer oder ein Desktopcomputer sein. In den Ausführungsbeispielen der Offenbarung ist das elektronische Gerät nicht beschränkt. In der folgenden Beschreibung werden das Verfahren zur Informationsverarbeitung und das elektronische Gerät im Detail anhand eines Notebookcomputers als Beispiel beschrieben.
Erstes Ausführungsbeispiel
Bevor ein Verfahren zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung vorgestellt wird, wird eine Basisstruktur eines elektronischen Gerätes vorgestellt, bei welchem das Verfahren gemäß dem Ausführungsbeispiel der Offenbarung eingesetzt werden kann. Das elektronische Gerät gemäß dem Ausführungsbeispiel der Offenbarung weist einen Bildschirm mit einem Spiegeleffekt auf, das heißt, ein erstes virtuelles Bild eines Bedieners kann auf dem Bildschirm durch die physikalische Eigenschaft des Bildschirms dargestellt werden, unabhängig davon, ob der Bildschirm eingeschaltet ist. Es kann von einem optischen Prinzip her bekannt sein, dass das erste virtuelle Bild in Bezug zur Oberfläche des Bildschirms symmetrisch zu dem Bediener ist. Zusätzlich weist das elektronische Gerät gemäß dem Ausführungsbeispiel der Offenbarung ferner eine Bilderfassungseinrichtung auf. Mit Bezugnahme auf 7 weist das elektronische Gerät gemäß dem Ausführungsbeispiel der Offenbarung ferner auf:
eine erste Erfassungseinheit 1 zum Erfassen von Parameterinformation des Bedieners, welcher sich vor dem Bildschirm befindet, durch Einsatz der Bilderfassungseinrichtung, wobei die Parameterinformation verwendet wird, um ein erstes digitales Bild zu konstruieren, welches dem Bediener, welcher sich vor dem Bildschirm befindet, entspricht;
eine zweite Erfassungseinheit 2 zum Ausführen einer Berechnung mit einem vorgegebenen Algorithmus auf der Parameterinformation, um ein erstes digitales Bild zu erhalten, wobei das erste digitale Bild verwendet wird, um eine Eingabeoperation des Bedieners zu bestimmen und das erste digitale Bild dem ersten virtuellen Bild entspricht; und
eine Bestimmungseinheit 3 zum Bestimmen einer ersten Anweisung, welche mit einer ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, wenn der Bediener die erste Eingabeoperation ausführt und Darstellen einer Aktion des Bedieners zum Ausführen der ersten Eingabeoperation durch das erste virtuelle Bild.
Ein Verfahren zur Informationsverarbeitung gemäß der Offenbarung wird im Folgenden im Detail unter Bezugnahme auf 1 vorgestellt. Das Verfahren weist die Schritte S101 bis S103 auf.
In Schritt S101 wird Parameterinformation eines Bedieners, welcher sich vor dem Bildschirm befindet, durch Einsatz der Bilderfassungseinrichtung erfasst.
In dem Ausführungsbeispiel der Offenbarung wird zunächst die Parameterinformation der Eingabeoperation erfasst, um eine Eingabeoperation des Bedieners zu bestimmen. Insbesondere ist der Ablauf des Erfassens der Parameterinformation in Schritt S101 wenigstens ein Einzelbild (frame image) des Bedieners, welcher sich vor dem Bildschirm befindet, durch die Bilderfassungseinrichtung zu erfassen und die erforderliche Parameterinformation in dem wenigstens einen Einzelbild zu extrahieren.
In der Praxis ändert sich das virtuelle Bild, welches von dem Nutzer in dem Spiegel gesehen wird, wenn der Körper bewegt wird oder der Kopf gedreht wird, obwohl das virtuelle Bild eines physikalischen Objekts in dem Spiegel symmetrisch zu dem physikalischen Objekt ist, da sich ein Betrachtungspunkt der Person ändert. Daher ist es, um die Eingabeoperation des Nutzers akkurat zu bestimmen, erforderlich, einen Sichtwinkel des Nutzers zu kennen. Das erste digitale Bild kann konstruiert werden, sobald Parameterinformation über den Sichtwinkel des Nutzers erfasst ist.
Insbesondere, in dem Ausführungsbeispiel der Offenbarung, wird das wenigstens eine Einzelbild durch die Bilderfassungseinrichtung erfasst. Eine Position der Augen des Nutzers wird durch die Gesichtserkennungstechnologie, Erkennungstechnologie für menschliche Augen oder dergleichen erfasst, in dem wenigstens einen Einzelbild. Eine Position des Betrachtungspunktes des menschlichen Auges wird erfasst. Speziell wird das Verfahren zum Erfassen der Position des menschlichen Auges in dem Bild im Detail im Stand der Technik vorgestellt, was deswegen hier in der Offenbarung nicht weiter beschrieben ist.
In Schritt S102 wird eine Berechnung mit einem vorgegebenen Algorithmus auf der Parameterinformation ausgeführt, um das erste digitale Bild zu erhalten.
Nachdem die Parameterinformation in Schritt 101 erfasst ist, wird das erste digitale Bild erhalten durch Ausführen des vorgegebenen Algorithmus auf der Parameterinformation. Insbesondere, in einem Ausführungsbeispiel der Offenbarung, kann Schritt S102 folgende Schritte aufweisen:
Erhalten von wenigstens einer ersten Koordinate eines Displayinhalts auf dem Bildschirm in einem Augen-Koordinatensystem basierend auf der Parameterinformation;
Erhalten von Information über eine erste Position der Augen eines Nutzers basierend auf der Parameterinformation; und
Ausführen einer ersten Berechnung basierend auf der Information der ersten Position und der wenigstens einen ersten Koordinate, um das erste digitale Bild zu erhalten.
Insbesondere, angenommen man betrachtet das menschliche Auge als eine Kamera oder eine Bilderfassungseinrichtung, ist ein Koordinatensystem, welches mit dem menschlichen Auge korrespondiert, das Augen-Koordinatensystem. Wenigstens eine erste Koordinate des Displayinhalts in dem Augen-Koordinatensystem wird erhalten, zunächst basierend auf der Parameterinformation. Das heißt, Koordinaten von jedem Punkt des Displayinhalts in dem Augen-Koordinatensystem werden zunächst erhalten. Dann wird Information über die erste Position der Augen des Nutzers aus der Parameterinformation erhalten, da die Information über die erste Position ein endgültiges Bild bestimmt, welches von dem menschlichen Auge für das gleiche Objekt gesehen wird. Schließlich wird das erste digitale Bild durch die erste Berechnung erhalten, basierend auf der Information über eine erste Position und die wenigstens eine erste Koordinate.
Außerdem weist das Ausführen der ersten Berechnung auf der Information über eine erste Position und die wenigstens eine erste Koordinate zum Erhalten des ersten digitalen Bildes folgende Schritte auf:
Konstruieren einer Homografie eines Koordinatensystems des Bildschirms, welche dem Augen-Koordinatensystem entspricht, basierend auf der Information der ersten Position;
Erhalten von wenigstens einer zweiten Koordinate des Displayinhalts in dem Koordinatensystem der Displayebene basierend auf der wenigstens einen ersten Koordinate und der Homografie; und
Erhalten des ersten digitalen Bildes basierend auf der wenigstens einen zweiten Koordinate.
Um die oben im Detail beschriebene Berechnung zu erläutern, wird ein detaillierter Ablauf nachfolgend unter Bezugnahme auf 2 erklärt und die obigen Schritte werden nicht separat dargestellt, jedoch basiert der detaillierte Berechnungsprozess auf der Idee der oben beschriebenen Schritte. In 2 werden die Augen des Nutzers als eine menschliche Augenkamera betrachtet, eine Displayebene des Bildschirms ist ABCD, ein Bild wird bei Punkt K durch die Bilderfassungseinrichtung erfasst. Es wird angenommen, dass eine Bildebene (image plane) der Bilderfassungseinrichtung und die des Bildschirms dieselbe Ebene sind. Die Information über eine erste Position wird durch die Parameterinformation erfasst, das heißt, die Position des menschlichen Auges ist Punkt E, A'B'C'D ist eine Bildebene des menschlichen Auge. Ferner ist das Koordinatensystem des Auges x_ey_ez_e, das Koordinatensystem der Bilderfassungseinrichtung ist x_cy_cz_c. Um einen Berechnungsprozess gemäß der Offenbarung verständlich zu verdeutlichen, ist der Berechnungsprozess hier durch X(x,y,z) als ein Beispiel erläutert. Jedoch, falls es mehrere Punkte in dem speziellen Implementierungsprozess gibt, ist ein Prozessverfahren für die verbleibenden Punkte ähnlich.
Angenommen, dass die Koordinaten des menschlichen Auges des Nutzers in dem dreidimensionalen physikalischen Koordinatensystem, welche durch Analysieren erhalten werden, E = (x_e, y_e, z_e) sind, sind die Koordinaten eines Zentrums der Displayebene ABCD des Bildschirms in dem dreidimensionalen Koordinatensystem O = (x_O, y_O, z_O) sind. Angenommen, dass sich das menschliche Auge in einem Bewegungsprozess befindet, wobei eine Sichtachse des Nutzers zu dem Zentrum des Bildschirms ausgerichtet ist, wird ein Vektor der z-Achse in dem Augen-Koordinatensystem x_ey_ez_e in dem dreidimensionalen physikalischen Koordinatensystem x_cy_cz_c als r_Z = EO = (x_O – x_e, y_O – y_e, z_O – z_e) dargestellt. Angenommen, dass die Displayebene ABCD des Bildschirms senkrecht zum Boden steht und eine Richtung der y_e-Achse eine Richtung der Schwerkraft ist und ein Vektor der y_e-Achse in dem dreidimensionalen Koordinatensystem durch r_y = (0, –1,0) repräsentiert wird. Dann kann aus der Rechte-Hand-Regel (right hand screw rule) bestimmt werden, dass ein Vektor von x_e in dem dreidimensionalen physikalischen System repräsentiert wird als r_x = r_y × r_z. Um zu garantieren, dass drei Achsen des dreidimensionalen physikalischen Koordinatensystems senkrecht zueinander stehen, ist es erforderlich, r_y als r'_y = r_z × r_x abzuändern.
Nachfolgend wird die Normalisierungsoperation jeweils ausgeführt für r_x, r'_y, r_z, um
zu erhalten. Daher können r₁, r₂, r₃ in dem Augen-Koordinatensystem jeweils als e_x = (1,0,0), e_y = (0,1,0), e_z = (0,0,1) repräsentiert werden. Es kann leicht berücksichtigt werden, dass angenommen wird, dass das Augen-Koordinatensystem zu einer Ebene parallel mit dem dreidimensionalen physikalischen Koordinatensystem durch eine Rotation rotiert werden kann. Dann gibt es R_er1 = e_x, R_er2 = e_y, R_er3 = e_z. Eine Rotationsmatrix R_e = [re1 re2 re3] – 1 = [re1 re2 re3] zum Rotieren von dem dreidimensionalen physikalischen Koordinatensystem zu dem Augen-Koordinatensystem kann erhalten werden.
Ferner sind die Koordinaten des menschlichen Auges E in dem Augen-Koordinatensystem (0, 0, 0). Das dreidimensionale physikalische Koordinatensystem deckt sich mit dem Augen-Koordinatensystem durch Rotation und eine Translation, das heißt, das dreidimensionale physikalische Koordinatensystem wird in das Augen-Koordinatensystem transformiert, daher kann
erhalten werden. Ein Translationsvektor
von dem dreidimensionalen physikalischen Koordinatensystem in das Augen-Koordinatensystem wird daher berechnet. Ein externer Parameter [R_e t_e] = [r_e1 r_e2 r_e3 t_e] der menschlichen Augenkamera kann erhalten werden basierend auf R_e und t_e.
Ferner ist ein interner Parameter der menschlichen Augenkamera eine Matrix A_e. Ein Bild von Punkt X in der Bildebene A'B'C'D' des menschlichen Auges ist Punkt m.
wird erhalten durch eine Berechnung, wobei angenommen, dass die Koordinaten von m in dem Koordinatensystem des Auges m = (u, v, 1) sind, λ, eine vertikale Entfernung zwischen Punkt X zu der Bildebene des Bildschirms ist.
Angenommen, dass eine Verbindungslinie von Punkt X zu dem menschlichen Auge E die Bildebene des Bildschirms in Punkt x schneidet, ist Punkt x ein Bildpunkt von Punkt X in der aktuellen Position des menschlichen Auges. Daher kann der Nutzer sehen, dass Punkt x auf dem Bildschirm Punkt X in dem virtuellen Bild entspricht. Ähnlich kann
erhalten werden. λ2 ist eine vertikale Entfernung zwischen Punkt x und der Bildebene des menschlichen Auges. Da die Bildebene ABCD des Bildschirms eine Ebene ist, in welcher z_c = 0, kann die oben beschriebene Gleichung vereinfacht werden als
wobei He eine Homografie ist.
Schließlich kann
durch Einführen einer simultanen Gleichung durch Gleichung (1) und Gleichung (2) erhalten werden, λ = λ₁/λ₂. Es kann gesehen werden, dass durch die oben für den vorgegebenen Algorithmus beschriebene Darstellung, nachdem die Koordinaten von Punkt X in dem dreidimensionalen physikalischen Koordinatensystem erhalten werden, Koordinaten von Punkt X in der Bildebene des Bildschirms erhalten werden können. Das Bild von Punkt X wird dann an der berechneten Position angezeigt. Der Nutzer kann von seinem Sichtwinkel sehen, dass der angezeigte Punkt x dem virtuellen Bild davon entspricht.
Zwei Beispiele zur Berechnung sind nachfolgend aufgeführt.
In einer tatsächlichen Prozessimplementierung können λ und Koordinaten von Punkt X in Gleichung 3, wie oben beschrieben, leicht durch die Bilderfassungseinrichtung erfasst werden. Angenommen, dass die Koordinaten von X im dreidimensionalen physikalischen Koordinatensystem (1, –2, 3) sind und λ = 2, ist eine Homografie, welche durch die Information der ersten Position konstruiert wird, welche basierend auf wenigstens einem Bild erfasst wird,
wird erhalten basierend auf der Gleichung 3, das heißt, x' = 7,5, x' = 8,5.
Koordinaten von X in dem dreidimensionalen physikalischen Koordinatensystem sind (10, –8, 6), λ = 13. Eine Homografie, welche durch die Information der ersten Position konstruiert wird erhalten wird, welche basierend auf wenigstens einem Bild erfasst wird, ist
wird erhalten basierend auf der Gleichung 3, das heißt x' = 1,846, y' = 4,528.
Weitere Beispiele sind hier nicht mehr beschrieben.
Das erste digitale Bild wird erhalten, nachdem die Koordinaten von jedem Punkt in der Ebene des Bildschirms erhalten werden.
In Schritt S103 wird, sobald der Bediener eine erste Eingabeoperation ausführt, eine erste Anweisung bestimmt, welche mit der ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild und eine Aktion des Bedieners zum Ausführen der ersten Eingabeoperation wird durch das erste virtuelle Bild dargestellt.
In dem Ausführungsbeispiel der Offenbarung wird das erste digitale Bild verwendet, um die Eingabeoperation des Nutzers zu bestimmen. Das heißt, die Eingabeoperation des Nutzers wird basierend auf dem ersten digitalen Bild bestimmt. Da das erste digitale Bild konstruiert wird, basierend auf der Information einer ersten Position der Augen des Nutzers in der Parameterinformation, ändert sich das erste digitale Bild entsprechend, wenn der Nutzer seinen Körper bewegt oder den Kopf dreht und sich daher der Betrachtungspunkt ändert. Dann können ein virtuelles Bild des Nutzers, welches von einem derzeitigen Betrachtungspunkt des Nutzers betrachtet wird, und eine Eingabeoperation des Nutzers durch das erste digitale Bild bestimmt werden.
Zum Beispiel, wenn der Nutzer sieht, dass ein virtuelles Bild von seinem Finger zeigt, dass ein ”Musik”-Icon angeklickt wird, jedoch kontaktiert der Finger des Nutzers den Bildschirm nicht, so wird die Klick-Aktion des Nutzers bestimmt basierend auf dem ersten digitalen Bild. Und daher ist eine erste generierte Anweisung eine Anweisung, ein ”Musik”-Programm zu öffnen.
Alternativ, wenn der Nutzer sieht, dass ein virtuelles Bild von ihm zeigt, dass eine Armschüttel-Aktion ausgeführt wird, so wird die Armschüttelaktion des Nutzers bestimmt basierend auf dem ersten digitalen Bild. Angenommen, dass eine Verknüpfung zwischen einer Eingabeaktion und einer Anweisung des elektronischen Gerätes indiziert, dass eine Anweisung, welche mit dem von dem Nutzer ausgeführten Armschütteln korrespondiert, ist, eine Helligkeit des Bildschirms auf die höchste Helligkeit einzustellen, so ist die von dem elektronischen Gerät generierte erste Anweisung eine Anweisung, die Helligkeit des Bildschirms auf die höchste Helligkeit einzustellen.
Alternativ sieht der Nutzer sein Gesicht in dem Spiegel und die erste Eingabeoperation ist es, das Gesicht des Nutzers von einer dem Bildschirm zugewandten Position um 45 Grad zur Rechten zu drehen. Die Kopfdreh-Aktion des Nutzers und das Drehen des Nutzers um 45 Grad werden basierend auf dem ersten digitalen Bild bestimmt. Angenommen, dass die Beziehung zwischen einer Eingabeaktion und einer Anweisung des elektronischen Gerätes indiziert, dass ein Video 3 Minuten schnell vorgespult wird, falls der Nutzer sich um bis zu 30 Grad nach rechts dreht, ein Video 5 Minuten schnell vorgespult wird, falls der Nutzer sich um 30 Grad oder mehr nach rechts dreht, ein Video 3 Minuten schnell zurückgespult wird, falls der Nutzer sich um bis zu 30 Grad nach links dreht, ein Video 5 Minuten schnell zurückgespult wird, falls der Nutzer sich um 30 Grad oder mehr nach links dreht, so ist eine von dem elektronischen Gerät generierte Anweisung eine Anweisung, das Video 5 Minuten schnell vorzuspulen.
Ferner, nach Schritt S103, wobei die erste Eingabeoperation des Nutzers mit einer ersten Anweisung korrespondiert, weist das Ausführungsbeispiel der Offenbarung ferner folgende Schritte auf:
Anzeigen eines ersten Displayinhalts auf dem Bildschirm; und
Ansteuern des Bildschirms zum Anzeigen eines zweiten Displayinhalts, welcher sich von dem ersten Displayinhalt unterscheidet, als Reaktion auf die erste Anweisung und basierend auf der ersten Anweisung.
Insbesondere wird zuerst der erste Inhalt auf dem Bildschirm angezeigt. Der erste Inhalt kann eine Datei, ein Bild, ein Video oder dergleichen sein, was in der Offenbarung nicht beschränkt ist. Wenn die erste Anweisung durch das elektronische Gerät detektiert wird, steuert das elektronische Gerät den Bildschirm an, um den zweiten Displayinhalt, welcher sich von dem ersten Displayinhalt unterscheidet, anzuzeigen als Reaktion auf die erste Anweisung und basierend auf der ersten Anweisung. Das heißt, die erste Eingabeoperation des Nutzers kann einen Displayinhalt des elektronischen Gerätes ändern.
Der erste Displayinhalt und der zweite Displayinhalt sind nachfolgend durch ein Beispiel illustriert.
Zum Beispiel ist der erste Displayinhalt wie in 3 gezeigt. Der Bildschirm des elektronischen Gerätes zeigt Wintergegenstände, wie beispielsweise eine Mütze (casquette), einen Schal und Schneestiefel. Der Nutzer sieht sein erstes virtuelles Bild auf dem Bildschirm und kann gleichzeitig den ersten Displayinhalt sehen. Der Nutzer möchte, nach dem Betrachten der Wintergegenstände, probieren, ob die Wintergegenstände für ihn geeignet sind. Dann hebt der Nutzer den Arm und sieht, dass ein virtuelles Bild von seiner linken Hand auf die Mütze fällt und dann bewegt der Nutzer die linke Hand über seinem Kopf, was anzeigt, dass die Mütze auf dem Bildschirm auf seinem Kopf getragen wird. Das elektronische Gerät bestimmt, dass der Nutzer eine Aktion zum Tragen der Mütze ausführt, durch ein erstes konstruiertes digitales Bild. Der Bildschirm zeigt dann einen zweiten Displayinhalt an. Zum Beispiel zeigt er an, dass die Mütze von einer ursprünglichen Displayposition zu einer Position bewegt wird, welche in dem ersten virtuellen Bild einer Position des Kopfes des Nutzers entspricht. Der Nutzer kann daher sehen, dass sich die Mütze auf seinem Kopf befindet, wie in 4 gezeigt.
In der Praxis können der erste Displayinhalt und der zweite Inhalt auch andere Inhalte sein. Zum Beispiel ist der erste Displayinhalt eine Dialogbox. Die erste Eingabeoperation des Nutzers ist es, die Schließen-Schaltfläche der Dialogbox anzuklicken, ohne eine Maus zu verwenden, einen somatosensorischen Sensor oder den Bildschirm zu berühren. Nachdem die Bedienoperation des Nutzers basierend auf dem ersten digitalen Bild bestimmt ist, ist der zweite Displayinhalt ein Displayinhalt nachdem der Dialog geschlossen ist. Alternativ ist zum Beispiel der erste Displayinhalt ein Inhalt auf der dritten Seite eines Romans. Der Nutzer schüttelt die rechte Hand, ohne eine Maus oder einen somatosensorischen Sensor zu verwenden. Der zweite Displayinhalt auf dem Bildschirm ist ein Inhalt der vierten Seite. Der zweite Displayinhalt kann durch den Fachmann basierend auf den tatsächlichen Erfordernissen ausgewählt werden, was in der Offenbarung nicht beschränkt ist.
Ferner weist das Ausführungsbeispiel der Offenbarung folgende Schritte auf:
Beurteilen, ob die erste Eingabeoperation eine erste voreingestellte Bedingung erfüllt, um ein erstes Beurteilungsergebnis zu erhalten; und
Ansteuern des Bildschirms zum Anzeigen eines ersten Teils des ersten digitalen Bildes, falls das erste Beurteilungsergebnis indiziert, dass die erste Eingabeoperation eine erste voreingestellte Bedingung erfüllt.
Der Nutzer kann unterschiedliche Anforderungen haben, wenn er den Bildschirm gemäß dem Ausführungsbeispiel der Offenbarung nutzt. Daher kann sich der Nutzer zum Beispiel erhoffen zu sehen, dass das Bild vergrößert oder verkleinert oder um 180 Grad rotiert werden kann. Der Nutzer kann das elektronische Gerät steuern, um das erste digitale Bild anzuzeigen, durch gewisse erste Eingabeoperationen, welche die erste voreingestellte Bedingung erfüllen, um seine Anforderungen zu erfüllen.
In dem Ausführungsbeispiel der Offenbarung kann die erste voreingestellte Bedingung, zum Beispiel Schütteln des rechten Arms um 90 Grad, in dem elektronischen Gerät voreingestellt sein, bevor das elektronische Gerät die Fabrik verlässt, oder kann auch durch den Nutzer voreingestellt sein. Zum Beispiel fordert das elektronische Gerät den Nutzer auf, eine Bedienoperation einzugeben und der Nutzer kann eine Bedienoperation basierend auf seinen Anforderungen oder Präferenzen eingeben, wie beispielsweise Bewegen seines Gesichts von einer Position mit 30 cm Abstand zum Bildschirm zu einer Position mit 3 cm Abstand vom Bildschirm oder Ausführen einer Aktion, den Kopf um 15 Grad zu heben. Das elektronische Gerät erfasst die Eingabeoperation des Nutzers durch die Bilderfassungseinrichtung und die Eingabeoperation ist kodiert als die erste voreingestellte Bedingung.
Wenn es für den Nutzer erforderlich ist, den ersten Teil des ersten digitalen Bildes anzuzeigen, gibt der Nutzer die Eingabeoperation, welche die erste voreingestellte Bedingung erfüllt, erneut ein.
Um dies klarer zu erläutern, wird es nachfolgend anhand zweier Beispiele erklärt.
Nutzer A stellt ein, dass die erste voreingestellte Bedingung ist, dass der Nutzer seinen Kopf um mehr als 5 Grad anhebt. Wenn Nutzer A am Morgen aufsteht und sich rasiert, wird angenommen, dass das erste digitale Bild, welches in dem Moment auf dem Bildschirm angezeigt wird, ein Bild ist, welches mit dem ersten virtuellen Bild übereinstimmt, welches durch den Nutzer A gesehen werden kann. Um sein Kinn deutlicher sehen zu können, bewegt Nutzer A seinen Kopf näher an den Bildschirm und hebt seinen Kopf gleichzeitig leicht an. Angenommen, dass Nutzer A seinen Kopf um 8 Grad oder 10 Grad anhebt, erfasst die Bilderfassungseinrichtung des elektronischen Gerätes Information, dass die erste Eingabeoperation in dem Moment die erste voreingestellte Bedingung erfüllt. Das elektronische Gerät analysiert, dass eine von dem Augapfel von Nutzer A in diesem Moment betrachtete Region sein Kinn ist. Um es Nutzer A zu ermöglichen, sein Kinn deutlicher zu sehen, steuert das elektronische Gerät den Bildschirm an, um nur einen ersten Teil des ersten digitalen Bildes anzuzeigen, das heißt, einen Teil, welcher der Nutzer am meisten zu sehen und deutlicher zu sehen wünscht. Dieser Teil ist im Anwendungsszenario sein Kinn, wie in 5 gezeigt.
Nutzerin B stellt ein, dass die erste voreingestellte Bedingung ist, dass eine Entfernung zwischen dem Kopf des Nutzers und dem Bildschirm weniger als 3 cm ist und eine Wischaktion (slide action) von einem Finger von oben nach unten ausgeführt wird. Wenn Nutzerin B am Morgen aufsteht und vor dem elektronischen Gerät einen Eyeliner trägt, wird angenommen, dass das erste digitale Bild, welches in dem Moment auf dem Bildschirm angezeigt wird, ein Bild ist, welches mit dem ersten virtuellen Bild übereinstimmt, welches von der Nutzerin gesehen werden kann. Um ihre Augen zu sehen, bewegt Nutzerin B ihren Kopf nah an den Bildschirm. Wenn eine Entfernung zwischen dem Kopf von Nutzerin B und dem Bildschirm weniger als 3 cm ist, macht Nutzerin B eine Wischaktion von einem Finger von oben nach unten vor dem Bildschirm. Die Bilderfassungseinrichtung des elektronischen Gerätes analysiert, dass eine von einem Augapfel von Nutzerin B in dem Moment betrachtete Region ihr Auge ist, basierend auf der erfassten Information. In diesem Fall erfüllt die erste Eingabeoperation die erste voreingestellte Bedingung. Um Nutzerin B ihre Augen deutlicher betrachten zu lassen, steuert das elektronische Gerät den Bildschirm an, um nur einen ersten Teil des ersten digitalen Bildes anzuzeigen, das heißt, einen Teil, welchen die Nutzerin am meisten zu sehen und deutlicher zu sehen wünscht. Dieser Teil sind in dem Anwendungsszenario ihre Augen, wie in 6 gezeigt.
Es kann gesehen werden, dass gemäß der technischen Lösung der Offenbarung zunächst die Parameterinformation des Bedieners, welcher sich vor dem Bildschirm befindet, durch Einsatz der Bilderfassungseinrichtung erfasst wird. Die Parameterinformation wird verwendet, um ein erstes digitales Bild zu konstruieren, welches dem Bediener entspricht, und eine Berechnung wird auf der Parameterinformation durch Einsatz des vorgegebenen Algorithmus ausgeführt, um das erste digitale Bild zu erhalten. Das erste digitale Bild wird verwendet, um die Eingabeoperation des Bedieners zu bestimmen und das erste digitale Bild entspricht dem ersten virtuellen Bild. Dann, wenn eine erste Eingabeoperation durch den Bediener ausgeführt wird, wird die erste Anweisung bestimmt, welche mit der ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild und die Aktion des Bedieners zum Ausführen der ersten Eingabeoperation wird durch das erste virtuelle Bild dargestellt. Auf diese Weise wird das technische Problem gelöst, wie das elektronische Gerät die Eingabeoperation des Nutzers erfasst und bestimmt. Und der technische Effekt, dass die erste Eingabeoperation des Nutzers bestimmt wird, durch Konstruieren des ersten digitalen Bildes, nachdem die Parameterinformation durch die Bilderfassungseinrichtung erfasst ist, wird realisiert.
Ferner, obwohl einige Mensch-Computer-Interaktionsverfahren aus der Entfernung (remote) im Stand der Technik offenbart sind, zum Beispiel wird eine Aktion einer Hand oder eines Fingers des Nutzers durch die Bilderfassungseinrichtung erfasst, benutzt das Verfahren im Stand der Technik nur die Hand oder der Finger des Nutzers als Eingabekörper (input cursor), kann den Körper des Nutzers nicht erfassen, und kann nicht eine Änderung bei irgendeinem Teil des Körpers benutzen, die als eine Eingabeoperation detektiert wird (zum Beispiel eine Eingabeoperation des Kopfes, der Hand oder dergleichen).
Ferner ist es im Stand der Technik, um die Eingabeoperation des Nutzers zu erfassen, für den Nutzer erforderlich, einen Sensor zu halten (zum Beispiel ein Gamepad) oder ein Sensorgerät zu tragen. Hingegen ist es, mit der technischen Lösung der Offenbarung, für den Nutzer nicht erforderlich, einen Sensor zu tragen. Eine Aktion des ganzen Körpers des Nutzers kann erfasst werden. Das erste virtuelle Bild, welches vom Nutzer in dem Spiegeleffekt dargestellt wird, dient als entsprechende Eingabe (prompt) für die Eingabeoperation des elektronischen Gerätes, welches durch das Ausführungsbeispiel der Offenbarung aufgezeigt wird, und ist identisch zu einer tatsächlichen Aktion des Nutzers. Das erste digitale Bild wird konstruiert durch die Parameterinformation, welche durch die Bilderfassungseinrichtung erfasst wird, basierend auf dem vorgegebenen Algorithmus. Das gemäß dem Ausführungsbeispiel der Offenbarung aufgezeigte elektronische Gerät kann eine Eingabeoperation von einem beliebigen Teil des Körpers des Nutzers erhalten und eine entsprechende Antwort ausführen.
Zweites Ausführungsbeispiel
Gemäß den Ausführungsbeispielen der vorliegenden Offenbarung wird ein weiteres Verfahren zur Informationsverarbeitung aufgezeigt. In dem Verfahren stellt der Bildschirm einen virtuellen Bildraum eines Umgebungsraumes vor dem Bildschirm dar, wobei der virtuelle Bildraum und der Umgebungsraum in Bezug zum Bildschirm symmetrisch sind, wobei der virtuelle Bildraum M virtuelle Objekte aufweist, welche eine eins-zu-eins Entsprechung mit M realen Objekten in dem Umgebungsraum haben und M eine ganze Zahl größer oder gleich 1 ist;
N Displayobjekte werden konstruiert, wobei N eine ganze Zahl größer oder gleich 1 ist; und
die N Displayobjekte werden auf dem Bildschirm angezeigt und die N Displayobjekte werden in den virtuellen Bildraum integriert, so dass ein Betrachter des elektronischen Gerätes feststellt, dass der Umgebungsraum N + N reale Objekte aufweist basierend auf einem Displayeffekt des Bildschirms.
Die technischen Lösungen der Offenbarung werden im Detail anhand der beigefügten Zeichnungen und der spezifischen Ausführungsbeispiele nachfolgend erläutert. Es versteht sich, dass die Ausführungsbeispiele und die spezifischen Merkmale der Ausführungsbeispiele nur zur Illustration dienen und die technischen Lösungen der Offenbarung nicht beschränken. Falls kein Konflikt besteht, können die Ausführungsbeispiele und die technischen Merkmale der Ausführungsbeispiele miteinander kombiniert werden.
Bevor das Verfahren zur Informationsverarbeitung gemäß dem Ausführungsbeispiel der Offenbarung beschrieben wird, wird eine Basisstruktur eines elektronischen Gerätes beschrieben, bei welchem das Verfahren gemäß dem Ausführungsbeispiel der Offenbarung eingesetzt werden kann. Bezugnehmend auf 8 weist das elektronische Gerät gemäß dem Ausführungsbeispiel der Offenbarung eine Displayeinheit 801 auf, welche einen Bildschirm mit Spiegeleffekt aufweist. Das heißt, unabhängig davon, ob der Bildschirm eingeschaltet ist, kann der Bildschirm ein virtuelles Bild von einem Umgebungsraum vor dem Bildschirm basierend auf einer physikalischen Eigenschaft davon anzeigen, und das virtuelle Bild ist ein virtueller Raum. Es kann basierend auf dem optischen physikalischen Prinzip bekannt sein, dass eine Größe, eine Position des virtuellen Raumes und jedes Objekt in dem virtuellen Raum symmetrisch zu dem Umgebungsraum vor dem Bildschirm sind. Zusätzlich weist das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung einen Prozessor 802 auf.
Der Prozessor 802 ist mit der Displayeinheit 1 verbunden und dazu ausgestaltet, N Displayobjekte zu konstruieren, wobei N eine ganze Zahl größer oder gleich 1 ist. Der Prozessor 802 ist ferner ausgestaltet zum Anzeigen der N Displayobjekte auf dem Bildschirm und zum Integrieren der N Displayobjekte in dem virtuellen Bildraum, so dass ein Betrachter des elektronischen Gerätes feststellt, dass der Umgebungsraum M + N reale Objekte aufweist, basierend auf einem Displayeffekt des Bildschirmes.
Unter Bezugnahme auf 9 wird nachfolgend das Verfahren zur Informationsverarbeitung der Offenbarung im Detail vorgestellt. Das Verfahren weist die Schritte S901 bis Schritt S903 auf.
In Schritt S901 zeigt der Bildschirm einen virtuellen Bildraum eines Umgebungsraumes vor dem Bildschirm an, wobei der virtuelle Bildraum und der Umgebungsraum in Bezug zum Bildschirm symmetrisch sind.
In Schritt S902 werden N Displayobjekte konstruiert.
In Schritt S903 werden die N Displayobjekte auf dem Bildschirm angezeigt und die N Displayobjekte werden in den virtuellen Bildraum integriert.
Nachfolgend wird jeder Schritt und die spezifische Art der Implementierung für jeden Schritt im Detail erläutert.
Erstens, in Schritt S901, kann, da der Bildschirm in dem Ausführungsbeispiel der Offenbarung einen Spiegeleffekt hat, der Bildschirm Schritt S901 basierend auf seiner physikalischen Eigenschaft ohne den Prozessor 802 ausführen. Falls der Betrachter vor dem Bildschirm steht, kann der Betrachter sein virtuelles Bild und den virtuellen Bildraum des Umgebungsraumes sehen.
Ferner, um das visuelle Erlebnis zum Betrachten des Spiegeleffekts für den Nutzer zu verbessern, kann der Prozessor 802, in dem Ausführungsbeispiel der Offenbarung, auch wenigstens einen Steueranweisung an die Displayeinheit 801 übertragen, um einen Displayparameter des Bildschirms einzustellen, zum Beispiel eine Helligkeit oder Farbe. Zum Beispiel kann die derzeitige Helligkeit des Bildschirms vermindert werden, zum Beispiel, wird der Bildschirm von einem derzeitigen Helligkeitswert 187 auf einen Helligkeitswert 0 eingestellt oder eine Displayfarbe wird zu einer Farbe mit einer geringen Reflektionsrate, wie beispielsweise schwarz, grau, schwarzgrau eingestellt. Zum Beispiel zeigt der Bildschirm derzeitig eine Oberfläche (interface) einer Internetseite an. Verschiedene Positionen auf der Oberfläche werden durch unterschiedliche Farben dargestellt, zum Beispiel, wird eine Internetseite als schwarz dargestellt, ein Schieber (slider) wird als grau dargestellt und der Hintergrund der Internetseite wird als sonnenuntergangsgelb dargestellt und der Bildschirm stellt die Displayfarbe des ganzen Bildschirms zu einer Farbe mit RGB-Wert (0, 0, 0) ein, basierend auf der wenigstens einen Steueranweisung.
Es ist zu ergänzen, dass Schritt S901 in Kombination mit Prozessor 802 implementiert werden kann. In der Praxis kann in dem spezifischen Implementierungsprozess durch den Fachmann ausgewählt werden, ob ein Displayparameter zum Ansteuern des Bildschirms und ein spezifischer Displayparameter zum Ansteuern benötigt werden, basierend auf der tatsächlichen Anforderung und die Offenbarung ist hierauf nicht beschränkt.
Ferner weist der Umgebungsraum M reale Objekte auf und M ist eine ganze Zahl größer oder gleich 1. Da sich M reale Objekte in dem Umgebungsraum vor dem Bildschirm befinden, kann ein Betrachter M virtuelle Bilder sehen, welche eine eins-zu-eins Entsprechung mit den M realen Objekten in dem virtuellen Bildraum haben, welcher durch den Bildschirm gebildet wird. Zum Beispiel, wenn der Umgebungsraum eine Tür, ein Fenster und einen Tisch aufweist, kann der Betrachter ein virtuelles Bild der Tür, ein virtuelles Bild des Fensters und ein virtuelles Bild des Tisches in dem entsprechenden virtuellen Bildraum sehen, wie in 10a oder 10b gezeigt.
Es ist anzumerken, dass der Fachmann verstehen sollte, dass in den beigefügten Zeichnungen des Ausführungsbeispiels der Offenbarung unterschiedliche Linien nur verwendet werden, um unterschiedliche Quellen des Bildes zu illustrieren und in dem spezifischen Implementierungsprozess das virtuelle Bild und der Displaymodus für das elektronische Gerät nicht durch eine gepunktete Linie angezeigt werden müssen.
Nachfolgend wird Schritt S902 ausgeführt.
In Schritt S902 werden N Displayobjekte konstruiert.
Zuerst ist N eine ganze Zahl größer oder gleich 1, zum Beispiel 1, 3, 5 und der Wert von N ist in der Offenbarung nicht beschränkt. In dem Ausführungsbeispiel der Offenbarung weist das Verfahren, um das elektronische Gerät dazu zu bringen, N Displayobjekte zu konstruieren, bevor die N Displayobjekte konstruiert werden, ferner folgende Schritte auf:
wenigstens einen Parameter des Umgebungsraumes wird mittels der Bilderfassungseinrichtung erfasst; und
ein vorgegebener Algorithmus für den wenigstens einen Parameter wird ausgeführt, um einen digitalen Raum zu erhalten, wobei der digitale Raum dem virtuellen Bildraum entspricht.
Insbesondere, in dem Ausführungsbeispiel der Offenbarung, wird erst ein Parameter des Umgebungsraumes mittels der Bilderfassungseinrichtung 803 erfasst. In dem spezifischen Implementierungsprozess kann die Bilderfassungseinrichtung 803 eine dreidimensionale (3D) Kamera, eine Tiefenkamera oder zwei gewöhnliche Kameras sein und ist in der Offenbarung nicht hierauf beschränkt. Die Bilderfassungseinrichtung 803 erfasst wenigstens einen Parameter des Umgebungsraumes durch Fotografieren von wenigstens zwei Einzelbildern (frames) von Bildern oder ein dynamisches Bild. Der wenigstens eine Parameter weist auf, ist jedoch nicht darauf beschränkt, Tiefeninformation von jedem Punkt des Umgebungsraumes, Koordinatenwerte von jedem Punkt des Umgebungsraumes in dem 3D Koordinatensystem der Bilderfassungseinrichtung 803, eine Größe des Umgebungsraumes, eine Entfernung von den M realen Objekten zu der Bilderfassungseinrichtung 803 in dem Umgebungsraum, eine Größe von den M realen Objekten und eine Entfernung und einen Winkel zwischen den M realen Objekten etc. Zum Beispiel, falls der Umgebungsraum ein Arbeitszimmer (study) eines Betrachters ist, kann der wenigstens eine mittels der Bilderfassungserfassungseinrichtung erfasste Parameter aufweisen: einen Raum von 2,7 m × 3 m × 2,9 m, eine Tür an einer Position mit 2,64 m Entfernung von der Bilderfassungsrichtung in dem Raum, ein nahe zu der Tür angeordnetes Fenster, mit einer Entfernung von 4,5 m von der Türe zu dem Fenster, und einen Tisch, welcher sich an einer Position mit 0–0,3 m Entfernung von der Bilderfassungseinrichtung in einer horizontalen Richtung befindet.
Obwohl der Betrachter den virtuellen Bildraum basierend auf dem Spiegeleffekt betrachten kann und der Zustand des Umgebungsraumes basierend auf dem virtuellen Bildraum bekannt sein kann, zum Beispiel die Größe des Umgebungsraumes, die M realen Objekte in dem Umgebungsraum, detektiert das elektronische Gerät den Umgebungsraum nicht. Daher muss ein digitaler Raum konstruiert werden basierend auf dem wenigstens einen Parameter, welcher mittels der Bilderfassungseinrichtung 803 erfasst wird, so dass das elektronische Gerät den Zustand des Umgebungsraumes und des virtuellen Bildraumes kennt. In dem Ausführungsbeispiel der Offenbarung entspricht der digitale Raum dem virtuellen Bildraum.
Insbesondere, in dem Implementierungsprozess, kann der digitale Raum auf mehrere Arten konstruiert werden. Nachfolgend wird dies anhand der Bilderfassungseinrichtung 803 als Tiefenkamera als Beispiel vorgestellt.
Falls die Bilderfassungseinrichtung 803 eine Tiefenkamera ist, kann wenigstens ein Parameter des Umgebungsraumes, d. h. Tiefeninformation von jedem Punkt in dem Umgebungsraum, mittels der Tiefenkamera erfasst werden. Die Tiefeninformation weist eine Entfernung von jedem Punkt zu der Tiefenkamera auf und die Entfernung von jedem Punkt in einer horizontalen Richtung und einer vertikalen Richtung.
Es wird angenommen, dass die Tiefenkamera über dem Bildschirm angeordnet ist und eine Bildebene der Tiefenkamera und die Displayebene des Bildschirms koplanar sind. Da die Bildebene der Tiefenkamera und die Displayebene koplanar sind, ist, für den gleichen Punkt in dem Umgebungsraum, eine Entfernung von der Tiefenkamera dieselbe wie eine Entfernung von dem Bildschirm. Dadurch sind für die Koordinatenwerte des gleichen Punkts in dem dreidimensionalen System der Tiefenkamera und in dem Koordinatensystem des virtuellen Bildraumes, zwei Koordinatenwerte gleich, wohingegen ein weiterer Koordinatenwert entgegengesetzt ist. Wie in 11 gezeigt, repräsentieren ein durch eine durchgezogene Linie dargestelltes Viereck und ein Kreis zwei reale Objekte in dem Umgebungsraum, wohingegen ein durch eine gepunktete Linie, zusammengesetzt aus kurzen Linien und Punkten, ein Viereck und einen Kreis zwei virtuelle Objekte in dem virtuellen Bildraum, welche den zwei realen Objekten entsprechen, wobei die zwei virtuellen Objekte und die zwei realen Objekte in Bezug zum Bildschirm symmetrisch sind. Es wird angenommen, dass ein Ursprung der zwei oben beschriebenen Koordinatensysteme sich an einem Zentrum des Bildschirms befindet. Die positive Richtung der Y-Achse und Y'-Achse der zwei Koordinatensysteme ist nach oben ausgerichtet rechtwinklig zum Boden. Die positive Richtung der X-Achse und X'-Achse der zwei Koordinatensysteme sind zueinander rechtparallel zum Boden. Die positive Richtung der Z-Achse des Koordinatensystems der Tiefenkamera ist rechtwinklig zu der Displayebene und zu dem Umgebungsraum, wohingegen die positive Richtung der Z'-Achse des Koordinatensystems des virtuellen Bildraumes rechtwinklig zu der Displayebene und zu der umgekehrten Richtung des Umgebungsraumes ist. Zum Beispiel, wenn Koordinatenwerte von Punkt S in dem dreidimensionalen Koordinatensystem der Tiefenkamera (12, 5, 2) sind, sind Koordinatenwerte des Punkts S in dem Koordinatensystem des virtuellen Bildraumes (12, 5, –2).
Falls die Tiefenkamera eine Tiefe von jedem Punkt in dem Umgebungsraum und eine Entfernung von jedem Punkt zu der Tiefenkamera in sowohl der horizontalen Richtung als auch der vertikalen Richtung erfasst, können die Koordinatenwerte von jedem Punkt im dem Umgebungsraum in dem dreidimensionalen Koordinatensystem der Tiefenkamera erhalten werden. Dann wird die Z-Koordinate der Koordinaten von jedem Punkt ersetzt mit der Zahl mit umgekehrten Vorzeichen. Das elektronische Gerät kann einen digitalen Raum erhalten, d. h. der Zustand des virtuellen Bildraumes, welcher auf dem Bildschirm durch den Nutzer präsentiert wird, welcher entsprechend dem virtuellen Bildraum entspricht. Das elektrische Gerät kann den virtuellen Bildraum basierend auf dem digitalen Raum kennen.
In der spezifischen Prozessimplementierung, falls die Bilderfassungseinrichtung 803 keine Tiefenkamera sein sollte, zum Beispiel eine 3D-Kamera oder zwei gewöhnliche Kameras sein kann, ist das Prinzip zum Erhalten des digitalen Raumes weiterhin, dass der Tiefenwert von jedem Punkt ersetzt wird mit seinem Wert mit umgekehrten Vorzeichen, um Koordinatenwerte von jedem Punkt in dem dreidimensionalen Koordinatensystem des virtuellen Bildraumes zu erhalten. Der Fachmann kann den digitalen Raum basierend auf den oben offenbarten Wegen erhalten, was an dieser Stelle nicht beschrieben ist.
Nachdem der digitale Raum konstruiert ist, kennt das elektronische Gerät den Zustand des Umgebungsraumes und des virtuellen Bildraumes, welcher durch den Betrachter auf dem Bildschirm gesehen wird, und N Displayobjekte können konstruiert werden, um mit dem virtuellen Bildraum zusammenzuwirken.
Das elektronische Gerät kann zufällig die N Displayobjekte konstruieren. Zum Beispiel konstruiert das elektronische Gerät zufällig ein lachendes Gesicht oder zwei Herzen. Alternativ kann das elektronische Gerät die N Displayobjekte basierend auf gewissen Daten konstruieren. Da Daten in dem elektronischen Gerät viele Arten und Quellen haben können, werden die N Displayobjekte auf viele Wege konstruiert. Nachfolgend werden drei Wege zur Konstruktion der N Displayobjekte vorgestellt. Die spezifische Prozessimplementierung weist die folgenden drei Wege auf, ist jedoch nicht hierauf beschränkt.
Gemäß einem ersten Weg werden die N Displayobjekte basierend auf Standarddaten in einer Datenbank konstruiert.
Insbesondere, in dem Ausführungsbeispiel der Offenbarung, kann die Datenbank eine lokale Datenbank des elektronischen Gerätes sein oder eine entfernte Datenbank (remote database), welche mit dem elektronischen Gerät über das Internet verbunden ist, und ist in der Offenbarung nicht hierauf beschränkt., Da im Stand der Technik Daten von den meisten Objekten bekannt sind, zum Beispiel ein Durchmesser einer Tasse, eine Höhe eines Tassenkörpers, ein Bogenmaß (radian) und eine Länge eines Griffes, eine Farbe und ein Muster einer Tasse, und sogar ein dreidimensionales Bild einer Tasse, kann das elektronische Gerät die N Displayobjekte basierend auf Daten, welche in der Datenbank existieren, konstruieren.
Zum Beispiel stellt das elektronische Gerät ein Menu für den Nutzer bereit. Der Nutzer wählt ”eine Wanduhr” in dem Menu aus. Dann erhält das elektronische Gerät Dateninformation über die Wanduhr von der lokalen Datenbank, wohingegen, falls die lokale Datenbank keine Dateninformation der Wanduhr hat, das elektronische Gerät eine Wanduhr, basierend auf Dateninformation, zum Beispiel einer Größe der Wanduhr, einem Bild der Wanduhr, welche von dem Internetserver heruntergeladen sind, konstruieren kann.
Gemäß einem zweiten Weg werden die N Displayobjekte basierend auf Daten, welche von einem anderen elektronischen Gerät erhaltenen werden, welches mit dem elektronischen Gerät verbunden ist, konstruiert.
Das elektronische Gerät kann mit dem anderen elektronischen Gerät verbunden sein über das Internet, WLAN, Bluetooth, etc. Falls die N Displayobjekte, welche durch das elektronische Gerät konstruiert werden sollen, sich auf ein anderes elektronisches Gerät beziehen, kann das elektronische Gerät eine Datenanfrage (data request) an das andere elektronische Gerät übertragen. Und nach Empfangen der Datenanfrage überträgt das andere elektronische Gerät Daten zum Konstruieren der N Displayobjekte zu dem elektronischen Gerät.
Zum Beispiel führt Nutzer A eine Videounterhaltung (video chat) mit Nutzer B über das elektronische Gerät, in den Ausführungsbeispiel der Offenbarung, und das elektronische Gerät ist mit dem von Nutzer B verwendeten elektronischen Gerät verbunden. Es wird angenommen, dass das Displayobjekt, welches von dem elektronischen Gerät konstruiert werden soll, Nutzer B ist. Das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung überträgt eine Datenanfrage an das von Nutzer B verwendete elektronische Gerät. Das von Nutzer B verwendete elektronische Gerät erfasst Dateninformation wie eine Erscheinung, eine Kontur von Nutzer B mittels einer von Nutzer B in der Videounterhaltung verwendeten Kamera und überträgt dann die Dateninformation von Nutzer B an das elektronische Gerät. Nach Empfangen der Daten von Nutzer B kann das elektronische Gerät ein Displayobjekt eines virtuellen Nutzers B basierend auf den Daten von Nutzer B konstruieren und der konstruierte Nutzer B ist ein Nutzer, welcher spricht, das heißt, ein sich bewegendes Displayobjekt kann konstruiert werden.
Gemäß einem dritten Weg werden die N Displayobjekte basierend auf historischen Daten in dem elektronischen Gerät konstruiert.
Insbesondere, in dem Ausführungsbeispiel der Offenbarung, kann das elektronische Gerät die N Displayobjekte basierend auf historischen Daten in dem elektronischen Gerät, zum Beispiel historische Bilddaten oder historische Videodaten, konstruieren.
Zum Beispiel nimmt der Nutzer des elektronischen Gerätes ein 10 Sekunden dauerndes Video mit einer Kamera vor 10 Tagen auf, in welchem der Nutzer zu der Kamera spricht. Falls das elektronische Gerät ein Displayobjekt konstruiert, kann das elektronische Gerät ein Displayobjekt konstruieren, welches dem virtuellen Bild des Nutzers entspricht, basierend auf jedem Einzelbild (frame) von Bilddaten in dem Video von vor 10 Tagen und das konstruierte Displayobjekt ist der Nutzer, welcher spricht, das heißt ein bewegendes Displayobjekts kann konstruiert werden.
Nachfolgend wird Schritt S903 ausgeführt.
In Schritt S903 werden die N Displayobjekte auf dem Bildschirm angezeigt und die N Displayobjekte werden in den virtuellen Bildraum integriert.
Insbesondere, in dem Ausführungsbeispiel der Offenbarung, werden N Displayobjekte in den virtuellen Bildraum integriert durch Anzeigen der N Displayobjekte, so dass ein Betrachter des elektronischen Gerätes sieht, dass der Umgebungsraum vor dem Bildschirm M + N reale Objekte aufweist basierend auf einem Displayeffekt auf dem Bildschirm.
In dem Ausführungsbeispiel der Offenbarung, um die N Displayobjekte in den virtuellen Bildraum beim Anzeigen der N Displayobjekte auf dem Bildschirm zu integrieren, kann der Implementierungsprozess für Schritt S903 folgende Schritte aufweisen:
die N Displayobjekte und N Positionen der N Displayobjekte in dem digitalen Raum werden bestimmt basierend auf dem digitalen Raum;
N Displaypositionen auf dem Bildschirm, welche den N Positionen in dem digitalen Raum entsprechen, werden bestimmt; und
die N Displayobjekte werden an den N Displaypositionen auf dem Bildschirm angezeigt.
Zuerst werden die N Displayobjekte und N Positionen der N Displayobjekte in dem digitalen Raum basierend auf dem digitalen Raum bestimmt.
Insbesondere, in den Ausführungsbeispielen der Offenbarung, um einen Effekt zu erzeugen, dass der Betrachter sieht, dass die N Displayobjekte in den virtuellen Bildraum integriert sind, durch Anzeigen der N Displayobjekte auf dem Bildschirm, ordnet das elektronische Gerät die N Displayobjekte in dem erhaltenen digitalen Raum an. Zum Beispiel ist in 10a der virtuelle Bildraum ein Arbeitszimmer mit einem Tisch und das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung ist auf dem Tisch angeordnet. Der digitale Raum des elektronischen Gerätes ist auch ein Arbeitszimmer mit einem Tisch und der Tisch in dem digitalen Raum ist ein Teil, welcher durch die Bilderfassungseinrichtung erfasst werden kann. Der digitale Raum entspricht dem virtuellen Bildraum. Da der digitale Raum ein Arbeitszimmer ist, sind die N Displayobjekte, welche durch das elektronische Gerät konstruiert werden, Büromaterialien, zum Beispiel eine Tasse. Da die Tasse für gewöhnlich nahe dem elektronischen Gerät auf dem Tisch angeordnet ist, ordnet das elektronische Gerät die Tasse in dem digitalen Raum auf dem Tisch an, wie in 12 gezeigt. Daher ist eine Position des Displayobjekts, d. h. der Tasse, in dem digitalen Raum bestimmt als die Position auf dem Tisch, wie in 12 gezeigt.
Nachfolgend sind N Displaypositionen auf dem Bildschirm zu bestimmen, welche den N Positionen in dem digitalen Raum zum Anzeigen der N Displayobjekte entsprechen, d. h., eine erste Displayposition auf dem Bildschirm zum Anzeigen eines ersten Displayobjektes, eine zweite Displayposition auf dem Bildschirm zum Anzeigen eines zweiten Displayobjekts, eine dritte Displayposition auf dem Bildschirm zum Anzeigen eines dritten Displayobjekts, ..., eine N-te Displayposition auf dem Bildschirm zum Anzeigen eines N-ten Displayobjekts.
Falls der Betrachter den virtuellen Bildraum von unterschiedlichen Positionen betrachtet, variiert der virtuelle Bildraum mit unterschiedlichen Sichtwinkeln des Betrachters. Wie in 10a und 10b gezeigt, falls der Betrachter den virtuellen Bildraum auf dem Bildschirm von Position 1 betrachtet, kann der Betrachter eine Ecke der Wand nahe dem Fenster sehen; und falls der Betrachter den virtuellen Bildraum auf dem Bildschirm von Position 2 betrachtet, kann der Betrachter die Ecke nahe dem Fenster nicht sehen, aber kann eine Ecke der Wand nahe der Türe sehen.
Entsprechend, falls der Nutzer den virtuellen Bildraum von unterschiedlichen Positionen betrachtet, variieren die M virtuellen Objekte mit unterschiedlichen Sichtwinkeln des Betrachters. Wie in 10a gezeigt, falls der Betrachter den virtuellen Bildraum auf dem Bildschirm von Position 1 betrachtet, kann der Betrachter eine Ecke des Tisches sehen. Wie in 10b gezeigt, falls der Betrachter den virtuellen Bildraum auf dem Bildschirm von Position 2 betrachtet, kann der Betrachter die Ecke des Tisches nicht sehen, aber kann nur eine Kante des Tisches sehen.
Daher, um die N Displaypositionen der N Displayobjekte auf dem Bildschirm zu bestimmen, welche den N Positionen in dem digitalen Raum entsprechen, muss das elektronische Gerät den Sichtwinkel des Betrachters erfassen.
Insbesondere, in dem Ausführungsbeispiel der Offenbarung, kann der Sichtwinkel des Betrachters durch Verwendung von wenigstens einem Parameter erhalten werden, d. h. durch ein erfasstes Bild, erfasst mittels der Bilderfassungseinrichtung. Eine Position von einem Kopf des Betrachters wird aus dem Bild erhalten durch ein Verfahren der Skelett-Datenextraktion (skeleton data extracting) von Kinect SDK. Dadurch wird der Sichtwinkel des Betrachters durch Verwenden der Position des Kopfes als Position eines Auges erhalten. Die Position des Auges kann akkurat durch dreidimensionale Gesichtsmodellierung extrahiert werden. Die spezifische Prozessimplementierung ist ähnlich der im Stand der Technik, welche hier nicht beschrieben ist.
Ferner, nachdem der Sichtwinkel des Betrachters, d. h. die Position des Auges erhalten ist, können die N Displaypositionen der N Displayobjekte auf dem Bildschirm erhalten werden. Nachfolgend ist der Berechnungsprozess im Detail erklärt.
Bezugnehmend auf 13 werden zwei Augen des Betrachters als eine Augenkamera angesehen. Eine Displayebene des Bildschirms ist Ebene ABCD. Die Bilderfassungseinrichtung erfasst ein Bild bei Punkt K und es wird angenommen, dass eine Bildebene der Bilderfassungseinrichtung und eine Displayebene des Bildschirms koplanar sind. Der Sichtwinkel des Betrachters, d. h. die Position des Auges, welche basierend auf wenigstens einem Parameter erfasst wird, befindet sich bei Punkt E, und Ebene A'B'C'D' ist eine Bildebene des Auges. Ferner ist ein Koordinatensystem des Auges ein Koordinatensystem x_ey_ez_e, wohingegen ein dreidimensionales physikalisches Koordinatensystem der Bilderfassungseinrichtung ein Koordinatensystem x_cy_cz_c ist. Um den Berechnungsprozess gemäß der Offenbarung leichter zu veranschaulichen, wird dieser nun anhand von Punkt X(x, y, z) als ein Beispiel veranschaulicht, aber es gibt etliche Punkte in dem Implementierungsprozess und das Verfahren zur Verarbeitung anderer Punkte ist ähnlich.
Angenommen es wird durch Analysieren erfasst, dass Koordinaten eines Auges des Nutzers in dem dreidimensionalen physikalischen Koordinatensystem E = (x_e, y_e, z_e) sind und Koordinaten eines Zentrums der Displayebene ABCD des Bildschirms in dem dreidimensionalen physikalischen Koordinatensystem O = (x_O, y_O, z_O) sind. Wenn die Sichtachse von dem Betrachter zu dem Zentrum des Bildschirms liegt, wird ein Vektor der z-Achse des Augen-Koordinatensystems x_ey_ez_e repräsentiert als r_Z = EO = (x_O – x_e, y_O – y_e, z_O – z_e) in dem dreidimensionalen physikalischen Koordinatensystem x_cy_cz_c. Es wird angenommen, dass die Displayebene ABCD des Bildschirms senkrecht zum Boden steht. Die positive Richtung der y_e-Achse ist die Richtung der Schwerkraft und ein Vektor der y_e-Achse wird repräsentiert durch r_y = (0, –1, 0) in dem dreidimensionalen physikalischen Koordinatensystem. Dadurch kann basierend auf der Rechte-Hand-Regel bestimmt werden, dass ein Vektor x_e repräsentiert wird als r_x = r_y × r_z in dem dreidimensionalen physikalischen Koordinatensystem. Um sicherzugehen, dass die drei Koordinatenachsen in dem dreidimensionalen Koordinatensystem auch senkrecht zueinander sind, wird r_y daher geändert in r'_y = r_z × r_x.
Nachfolgend werden die r_x, r'_y, r_z jeweils normalisiert, d. h.
Da r₁, r₂, r₃ repräsentiert werden können als e_x = (1,0,0), e_y = (0,1,0), e_z = (0,0,1), jeweils in dem Augen-Koordinatensystem, kann leicht verstanden werden, dass es von einem Augen-Koordinatensystem zu einem Raum, welcher parallel mit dem dreidimensionalen physikalischen Koordinatensystem liegt, rotiert werden kann. Somit R_er₁ = e_x, R_er₂ = e_y, R_er₃ = e_z, dadurch kann erhalten werden, dass eine Rotationsmatrix von dem dreidimensionalen physikalischen Koordinatensystem zu dem Augen-Koordinatensystem R_e = [re₁ re₂ re₃]^–1 = [r_e1 r_e2 r_e3] ist.
Ferner sind die Koordinaten des Auges in dem Augen-Koordinatensystem (0, 0, 0). Das dreidimensionale physikalische Koordinatensystem kann sich mit dem Augen-Koordinatensystem decken durch Rotation und Translation, d. h. durch Transformieren von dem dreidimensionalen physikalischen Koordinatensystem zu dem Augen-Koordinatensystem. Daher kann
erhalten werden. Es wird erhalten durch Berechnen, dass ein Translationsvektor von dem dreidimensionalen physikalischen Koordinatensystem zu dem Augen-Koordinatensystem
ist. Es kann dadurch erhalten werden, basierend auf R_e und t_e, dass ein externer Parameter der Augenkamera [R_e t_e] = [r_e1 r_e2 r_e3 t_e] ist.
Ferner ist eine interne Parametermatrix der Augenkamera A_e. Ein Bild vom Punkt X in der Bildebene A'B'C'D' des Auges ist Punkt m. Er kann erhalten werden durch Berechnen, dass
wobei Koordinaten des Punktes m in dem Augenkoordinaten m = (u, v, 1) sind und λ₁ eine vertikale Entfernung von dem Punkt X zu der Bildebene des Bildschirms ist.
Es wird angenommen, dass die Displayebene des Bildschirms und eine Verbindungslinie zwischen dem Punkt X und dem Auge E sich in Punkt x schneiden. Der Punkt x ist äquivalent zu einem Bild des Punktes X, wenn sich das Auge an der aktuellen Position befindet. Dadurch kann der Nutzer bestimmen, dass der Punkt x dem virtuellen Bild von dem Punkt X in entspricht. Ähnlich kann
erhalten werden, wobei λ₂ eine vertikale Entfernung von dem Punkt x zu der Bildebene A'B'C'D' des Auges ist. Da die Displayebene ABCD des Bildschirms eine Ebene mit z = 0 ist, können die oben beschriebenen Gleichungen vereinfacht werden als
wobei He eine Identitätsmatrix ist.
Schließlich kann durch Kombination der Gleichung (1) und der Gleichung (2) erhalten werden, dass
wobei λ = λ₁/λ₂ ist. Es kann gesehen werden, dass basierend auf der Illustration des vorgegebenen Algorithmus, nachdem spezifische Koordinatenwerte des Punktes X in dem dreidimensionalen physikalischen Koordinatensystem erhalten werden, Koordinaten des Punktes X in der Displayebene des Bildschirms erhalten werden können. Der Punkt X wird an der berechneten Position angezeigt und der Nutzer kann den angezeigten Punkt x von seinem Sichtwinkel aus angezeigt sehen.
Sie kann durch die folgenden zwei spezifischen Beispiele berechnet werden.
In der spezifischen Prozessimplementierung können λ und Koordinaten von dem Punkt X in der obigen Gleichung 3 durch die Bilderfassungseinrichtung leicht erhalten werden. Es wird angenommen, dass Koordinaten des Punktes X in dem dreidimensionalen physikalischen Koordinatensystem (1, –2, 3) sind und λ = 2. Die Identitätsmatrix, welche basierend auf einer ersten Positionsinformation konstruiert wird, welche von wenigstens einem Bild erhalten wird, ist
dann kann basierend auf der Gleichung 3 berechnet werder
d. h. x' = 7,5, y' = 8,5.
Koordinaten von X in dem dreidimensionalen physikalischen Koordinatensystem sind (10, –8, 6), λ = 13. Die Identitätsmatrix, welche basierend auf der ersten Positionsinformation konstruiert wird, welche von dem wenigstens einen Bild erhalten wird, ist,
dann kann basierend auf der Gleichung 3 erhalten werden
d. h. x' = 1,846, y' = 4,528.
Weitere Beispiele sind hier nicht beschrieben.
Es kann eine Position von jedem Displayobjekt auf dem Bildschirm durch Berechnung erhalten werden. Durch Anzeigen der N Displayobjekte in dem digitalen Raum auf dem Bildschirm werden N Displaypositionen der N Displayobjekte bestimmt. Manche Punkte sind nach der Berechnung verdeckt bzw. abgeschattet. Die verdeckten Punkte werden nicht angezeigt, wohingegen andere Punkte von dem verdeckten Zustand in den nicht verdeckten Zustand übergehen können. Diese Punkte werden angezeigt. Dadurch werden N Anzeigemoden bestimmt.
Nachfolgend zeigt das elektronische Gerät die N Displayobjekte an den N Displaypositionen in den N Displaymoden an. Insbesondere, falls das elektronische Gerät in Schritt S901 die Displayfarbe des Bildschirms zu einer Farbe mit einer geringen Reflektionsrate, wie beispielsweise schwarz, grau, schwarzgrau, einstellt, werden die Farben der N Displaypositionen angezeigt als die Farben der N Displayobjekte während der Anzeige der N Displayobjekte.
Wie in 14a gezeigt, ist das Displayobjekt zum Beispiel ein Würfel und der Eindruck des ganzen Bildschirms ist wie in 14a gezeigt. Die durchgezogene Linie repräsentiert einen virtuellen Bildraum, welcher durch den Nutzer basierend auf dem Spiegeleffekt gesehen werden kann. Die gepunktete Linie repräsentiert einen Würfel, welcher von dem Bildschirm unter der Steuerung durch einen Prozessor angezeigt wird, und der Betrachter kann einen auf einem Tisch angeordneten Würfel sehen und die vordere Oberfläche, die obere Oberfläche und die rechte Oberfläche des Würfels.
Zum Beispiel, wie in 15 gezeigt, ist das Displayobjekt ein Sofa. Der Eindruck des gesamten Bildschirms ist wie in 15 gezeigt. Die durchgezogene Linie repräsentiert einen virtuellen Bildraum, welcher durch den Nutzer basierend auf dem Spiegeleffekt gesehen werden kann. Die gepunktete Linie repräsentiert ein Sofa, welches durch den Bildschirm unter der Steuerung durch den Prozessor angezeigt wird, und der Betrachter kann sehen, dass ein Sofa in dem Arbeitszimmer angeordnet ist.
Basierend auf dem oben genannten Beispiel wird angenommen, dass Nutzer A und Nutzer B eine Videounterhaltung durchführen. Das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung verbindet sich mit dem elektronischen Gerät, welches von Nutzer B verwendet wird. Falls das zu konstruierende Displayobjekt Nutzer B ist, werden Daten von Nutzer B wie eine Erscheinung, eine Kontur von Nutzer B von dem von Nutzer B verwendeten elektronischen Gerät erhalten und Nutzer B wird auf dem Bildschirm angezeigt und Nutzer A sieht, dass Nutzer B nahe bei Nutzer A steht und sich mit ihm unterhält.
Zusätzlich wird angenommen, dass das elektronische Gerät die N Displayobjekte basierend auf historischen Daten konstruiert wie in dem obigen Beispiel. Der Nutzer des elektronischen Gerätes nimmt ein 10 Sekunden dauerndes Video vor 10 Tagen auf, in welchem der Nutzer zu der Kamera spricht. Das elektronische Gerät kann ein Displayobjekt konstruieren, welches dem virtuellen Bild des Nutzers entspricht, basierend auf jedem Einzelbild von Bilddaten in dem Video von vor 10 Tagen. Das konstruierte Displayobjekt ist der Nutzer, welcher spricht, und das konstruierte Displayobjekt, d. h. der Nutzer selbst vor 10 Tagen, wird auf dem Bildschirm angezeigt. Dadurch sieht der Nutzer, dass der Nutzer von vor 10 Tagen mit sich selbst spricht.
Ferner, da der virtuelle Bildraum M reale Objekte aufweist, kann der Betrachter eines der M realen Objekte sein. Und der Nutzer kann laufen, zum Beispiel hin zu dem elektronischen Gerät laufen oder weg von dem elektronischen Gerät laufen. Dadurch ist wenigstens eines der M realen Objekte ein sich bewegendes reales Objekt. Falls wenigstens eines der M realen Objekte ein sich bewegendes reales Objekt ist, kann die Bilderfassungseinrichtung die Bewegung des wenigstens einen sich bewegenden realen Objektes erfassen und das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung kann die Anzeige basierend auf der Bewegung einstellen. Daher betrachtet das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung das wenigstens eine sich bewegende reale Objekt als wenigstens einen Operator/Bediener. Das Verfahren zur Informationsverarbeitung gemäß dem Ausführungsbeispiel der Offenbarung kann ferner die folgenden Schritte aufweisen:
ein Bewegungsparameter des wenigstens einen sich bewegenden realen Objektes wird mittels der Bilderfassungseinrichtung erfasst;
wenigstens eine Bedienposition für den wenigstens einen Bediener in dem digitalen Raum wird bestimmt basierend auf dem digitalen Raum und dem Bewegungsparameter; und eine von dem Bediener für die N Displayobjekte ausgeführte Eingabeoperation wird bestimmt basierend auf der wenigstens einen Bedienposition.
Zuerst wird ein Bewegungsparameter des wenigstens einen sich bewegenden realen Objekts mittels der Bilderfassungseinrichtung erfasst. Insbesondere, in dem Ausführungsbeispiel der Offenbarung, weist der Bewegungsparameter eine Bewegungsrichtung, eine Bewegungsgeschwindigkeit, einen Bewegungsweg (moving track), einen Startpunkt und einen Endpunkt des wenigstens einen sich bewegenden realen Objektes auf, ist aber nicht darauf beschränkt.
Es wird angenommen, dass das wenigstens eine sich bewegende reale Objekt der Betrachter ist. Der Betrachter läuft von Position 1 zu Position 2 in 16. Dadurch ist der erfasste Bewegungsparameter ein Endpunkt der Bewegung des Betrachters oder die Koordinaten von der Position 2 in dem digitalen Raum. Alternativ wird angenommen, dass das wenigstens eine sich bewegende reale Objekt eine Handfläche des Betrachters ist. Der Betrachter hebt die Handfläche von einer Höhe, so hoch wie die Schulter, zu einer Höhe so hoch wie der Kopf. Dadurch sind die erfassten Bewegungsparameter Koordinaten einer Position so hoch wie der Kopf, welche die Handfläche schließlich erreicht.
Nachfolgend wird wenigstens eine Bedienposition des wenigstens einen Bedieners in dem digitalen Raum bestimmt basierend auf dem digitalen Raum und dem Bewegungsparameter.
Insbesondere, in dem Ausführungsbeispiel der Offenbarung, da sich das wenigstens eine reale sich bewegende Objekt in dem Umgebungsraum bewegt, kann der Betrachter den Bewegungsstatus des wenigstens einen sich bewegenden realen Objekts in dem virtuellen Bildraum sehen, welches auf dem Bildschirm angezeigt wird, während in dem digitalen Raum das elektronische Gerät das wenigstens eine sich bewegende reale Objekt als wenigstens einen Bediener betrachtet. Daher kann das elektronische Gerät den Bewegungsweg des wenigstens einen Bedieners in dem digitalen Raum basierend auf dem Bewegungsparameter bestimmen, wodurch eine Endposition des wenigstens einen Bedieners bestimmt wird, d. h. wenigstens eine Bedienposition.
Nachfolgend bestimmt das elektronische Gerät eine für die N Displayobjekte ausgeführte Eingabeoperation basierend auf der wenigstens einen Bedienposition.
Insbesondere, in dem Ausführungsbeispiel der Offenbarung, bestimmt das elektronische Gerät eine digitale Operation, welche an den N Displayobjekten durch den Betrachter ausgeführt werden soll basierend auf wenigstens einer Bedienposition, nach dem Bestimmen der wenigstens einen Bedienposition für den wenigstens einen Bediener in dem digitalen Raum.
Nachfolgend weist das Verfahren zur Informationsverarbeitung gemäß dem Ausführungsbeispiel der Offenbarung ferner den folgenden Schritt auf: die N Displayobjekte werden an N neuen Positionen in dem digitalen Raum angeordnet basierend auf der Eingabeoperation.
Insbesondere, da das elektronische Gerät die durch den wenigstens einen Bediener für die N Displayobjekte in dem digitalen Raum ausgeführte Eingabeoperation bestimmt, ordnet das elektronische Gerät die N Displayobjekte an N neuen Positionen in dem digitalen Raum an.
Ferner, um es dem Betrachter zu ermöglichen zu sehen, dass die N Displayobjekte an den N neuen Positionen angeordnet sind, kann das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung den Bildschirm ansteuern, die N Displayobjekte an den N neuen Displaypositionen in den N neuen Displaymoden anzuzeigen, wobei der Prozess zum Erhalten der N neuen Displaymoden und der N neuen Displaypositionen ähnlich ist zu dem Prozess zum Erhalten der N Displaymoden und der N Displaypositionen, welcher nicht beschrieben ist.
Um den Implementierungsprozess der oben beschriebenen Lösungen klar zu veranschaulichen, wird er anhand mehrerer spezifischer Beispiele nachfolgend erläutert.

(1) Wie 17a bis 17b gezeigt, wird angenommen, dass das Displayobjekt eine Wanduhr ist und das wenigstens eine sich bewegende reale Objekt eine Hand des Betrachters ist. Zuerst zeigt das elektronische Gerät eine Wanduhr auf dem Bildschirm an und die Wanduhr wird auf der Hand des Betrachters angezeigt. In diesem Fall kann gesehen werden, dass sich die rechte Hand des Betrachters so hoch wie die Schulter in dem virtuellen Bildraum auf dem Bildschirm befindet, während der Bildschirm nur die Wanduhr anzeigt und der Betrachter sieht, dass die rechte Hand des Betrachters die Wanduhr trägt. Nachfolgend wird ein Bewegungsparameter der Hand des Betrachters mittels der Bilderfassungseinrichtung erfasst und das elektronische Gerät erhält durch Analysieren des Bewegungsparameters, dass der Betrachter die Hand hebt und auf die Wand hinter dem Betrachter klopft. Das elektronische Gerät betrachtet die Handfläche des Betrachters als einen Bediener/Operator und erfasst durch Analysieren des Bewegungsparameters, dass eine Bedienposition des Bedieners, welche der Hand des Bedieners entspricht, an der Wand ist und eine durch den Bediener ausgeführte Eingabeoperation für die Wanduhr ein Hängen der Wanduhr an die Wand ist.

Daher wird, in dem digitalen Raum, die Wanduhr von ihrer ursprünglichen Position zu einer Position in dem digitalen Raum bewegt, welche der Position an der Wand entspricht, wohin der Betrachter klopft. Das elektronische Gerät berechnet eine neue Displayposition, welche der Position in dem digitalen Raum entspricht und zeigt die Wanduhr an der neuen Displayposition an. Wie in 17b gezeigt, sieht der Betrachter, dass die Wanduhr an der Wand aufgehängt ist, nachdem der Betrachter an die Wand geklopft hat.

(2) Es wird auch angenommen, dass das Displayobjekt eine Wanduhr ist und das wenigstens eine sich bewegende reale Objekt der Kopf des Nutzers ist. Der Nutzer läuft von einer Position in 17b zu einer Position in 17c. Das elektronische Gerät erfasst die Bewegung des Betrachters und den Bewegungsweg des Kopfes des Betrachters mittels der Bilderfassungseinrichtung und erhält durch Analysieren, dass eine Bedienposition für den Kopf die Position in 17 ist, wo sich der Kopf befindet. In dem digitalen Raum betrachtet das elektronische Gerät den Kopf des Betrachters als einen Bediener/Operator und bestimmt, dass eine Eingabeoperation, welche durch den Bediener für die Wanduhr ausgeführt wird, ein Verdecken bzw. Abschatten eines Teils der Wanduhr ist. Dadurch wird in dem digitalen Raum nur der andere Teil der Wanduhr angezeigt, wie in 17c gezeigt. Um es dem Betrachter zu ermöglichen die Änderung zu sehen, wird nur ein Teil der Wanduhr an einer entsprechenden Displayposition angezeigt.

Daher sieht der Betrachter ein virtuelles Bild, dass der Betrachter von einer Position in 17b zu der Position in 17c läuft, in dem virtuellen Bildraum auf dem Bildschirm, während das elektronische Gerät sich zum Anzeigen eines Teils der Wanduhr in dem digitalen Raum einstellt und schließlich sieht der Betrachter, dass der Kopf des Betrachters einen Teil der Wanduhr, welche an der Wand hängt, verdeckt.

(3) Es wird angenommen, dass das Displayobjekt in 14a ein Würfel ist und dass das wenigstens eine sich bewegende reale Objekt die zwei Augen des Betrachters sind. Der Betrachter bewegt sich von der Position 1 zu der Position 2 in 16. Das elektronische Gerät erfasst die Bewegung des Betrachters und einen Bewegungsweg des Kopfes des Betrachters mittels der Bilderfassungseinrichtung und erhält dadurch Analyse, dass der Kopf des Nutzers sich zu Position 2 bewegt. Dadurch bewegen sich die beiden Augen des Betrachters zu Position 2. Daher ändert sich der Sichtwinkel des Betrachters zum Betrachten des Würfels und des virtuellen Bildraumes. In dem digitalen Raum betrachtet das elektronische Gerät die zwei Augen des Betrachters als einen Bediener/Operator. Da die beiden Augen des Betrachters den Würfel nicht kontaktieren, wird bestimmt, dass die Eingabeoperation, welche durch den Bediener auf der Wanduhr durchgeführt wird, eine Nulloperation ist und die Position des Würfels in dem digitalen Raum ändert sich nicht. Jedoch, da sich der Sichtwinkel des Betrachters ändert, wird der Displaymodus zur Anzeige des Würfels auf dem Bildschirm geändert.

Daher sieht der Betrachter ein virtuelles Bild, dass der Betrachter sich in dem virtuellen Bildraum von der Position 1 zu der Position 2 des Bildschirms bewegt und der Würfel ändert sich nicht in dem digitalen Raum. Jedoch werden eine vordere Oberfläche, eine obere Oberfläche und eine linke Oberfläche des Würfels beim Anzeigen des Würfels auf dem Bildschirm angezeigt. Der Betrachter sieht, dass der Betrachter von der Position 1 zu der Position 2 läuft. Der Würfel bleibt unverändert auf dem Tisch und eine andere Seitenoberfläche des Würfels wird durch den Betrachter gesehen, wie in 14b gezeigt.
Drittes Ausführungsbeispiel
Unter Bezugnahme auf 7, gemäß dem Ausführungsbeispiel der Offenbarung, wird ein elektronisches Gerät aufgezeigt. Das elektronische Gerät weist einen Bildschirm mit einem Spiegeleffekt auf, das heißt ein erstes virtuelles Bild eines Bedieners kann auf dem Bildschirm durch die physikalische Eigenschaft des Bildschirms gezeigt werden, unabhängig davon, ob der Bildschirm eingeschaltet ist. Es kann von einem optischen Prinzip bekannt sein, dass das erste virtuelle Bild in Bezug zur Oberfläche des Bildschirms symmetrisch mit dem Bediener ist. Zusätzlich hat das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung ferner eine Bilderfassungseinrichtung. Mit Bezugnahme auf 7 weist das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung ferner auf:
eine erste Erfassungseinheit 1 zum Erfassen von Parameterinformation des Bedieners, welcher sich vor dem Bildschirm befindet, durch Einsatz der Bilderfassungseinrichtung, wobei die Parameterinformation verwendet wird, um ein erstes digitales Bild zu konstruieren, welches dem Bediener, welcher sich vor dem Bildschirm befindet, entspricht;
eine zweite Erfassungseinheit 2 zum Ausführen einer Berechnung mit einem vorgegebenen Algorithmus auf der Parameterinformation, um ein erstes digitales Bild zu erhalten, wobei das erste digitale Bild verwendet wird, um eine Eingabeoperation des Bedieners zu bestimmen und das erste digitale Bild dem ersten virtuellen Bild entspricht; und
eine Bestimmungseinheit 3 zum Bestimmen einer ersten Anweisung, welche mit einer ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, wenn der Bediener die erste Eingabeoperation ausführt und zum Darstellen einer Aktion des Bedieners zum Ausführen der ersten Eingabeoperation durch das erste virtuelle Bild.
Ferner weist das elektronische Gerät auf:
eine Displayeinheit zum Anzeigen eines ersten Displayinhalts auf dem Bildschirm und zum Ansteuern des Bildschirms zum Anzeigen eines zweiten Displayinhalts, welcher sich von dem ersten Displayinhalt unterscheidet, als Reaktion auf eine erste Anweisung und basierend auf der ersten Anweisung nachdem die erste Anweisung, welche mit der ersten Eingabeoperation korrespondiert, bestimmt ist, basierend auf dem ersten digitalen Bild wenn der Bediener die erste Eingabeoperation ausführt und eine Aktion des Bedieners zum Ausführen der ersten Eingabeoperation wird durch das erste virtuelle Bild präsentiert.
Ferner weist das elektronische Gerät noch auf:
eine erste Bestimmungseinheit zum Bestimmen, ob die erste Eingabeoperation eine erste voreingestellte Bedingung erfüllt, um ein erstes Bestimmungsergebnis zu erhalten, nachdem die erste Anweisung, welche mit der ersten Eingabeoperation korrespondiert, bestimmt ist, basierend auf dem ersten digitalen Bild, wenn der Bediener die erste Eingabeoperation ausführt und die Aktion des Bedieners zum Ausführen der ersten Eingabeoperation wird durch das erste virtuelle Bild dargestellt, oder der Bildschirm wird angesteuert zum Anzeigen des zweiten Displayinhalts, welcher sich von dem ersten Displayinhalt unterscheidet, als Reaktion auf die erste Anweisung und basierend auf der ersten Anweisung; und
eine Ansteuereinheit zum Ansteuern des Bildschirms zum Anzeigen eines ersten Teils des ersten digitalen Bildes, falls das erste Bestimmungsergebnis indiziert, dass die erste Eingabeoperation die erste voreingestellte Bedingung erfüllt.
In dem Ausführungsbeispiel der Offenbarung weist die zweite Erfassungseinheit 2 auf:
ein erstes Erfassungsmodul zum Erhalten von wenigstens einer ersten Koordinate eines Displayinhalts auf dem Bildschirm in einem Augen-Koordinatensystem basierend auf der Parameterinformation;
ein zweites Erfassungsmodul zum Erhalten von Information über eine erste Position der Augen eines Nutzers basierend auf der Parameterinformation; und
ein drittes Erfassungsmodul zum Ausführen einer ersten Berechnung auf der Information der ersten Position und der wenigstens einen ersten Koordinaten, um das erste digitale Bild zu erhalten.
Insbesondere ist das dritte Erfassungsmodul ausgestaltet zum:
Konstruieren einer Homografie des Koordinatensystems des Bildschirms, welche dem Augen-Koordinatensystem entspricht, basierend auf der ersten Position;
Erhalten von wenigstens einer zweiten Koordinaten des Displayinhalts in dem Koordinatensystem der Displayebene basierend auf der wenigstens einen ersten Koordinate und der Homografie; und
Erhalten des ersten digitalen Bildes basierend auf der wenigstens einen zweiten Koordinate.
Das zweite Ausführungsbeispiel basiert auf dem gleichen erfinderischen Konzept wie das erste Ausführungsbeispiel und der sich wiederholende Teil wird hier nicht weiter beschrieben.
Eine oder mehrere technische Lösungen wie oben in dem Ausführungsbeispiel der Offenbarung beschrieben haben wenigstens den folgenden oder die mehreren folgenden technischen Effekte.

1. In der technischen Lösung der Offenbarung wird zuerst die Parameterinformation des Bedieners, welcher sich vor dem Bildschirm befindet, erfasst durch Einsatz der Bilderfassungseinrichtung. Die Parameterinformation wird verwendet zum Konstruieren eines ersten digitalen Bildes, welches dem Bediener entspricht, und eine Berechnung wird ausgeführt auf der Parameterinformation und unter Verwendung des vorgegebenen Algorithmus zum Erhalten des ersten digitalen Bildes. Das erste digitale Bild wird verwendet, um die Eingabeoperation des Bedieners zu bestimmen und das erste digitale Bild entspricht dem ersten virtuellen Bild. Dann, wenn eine erste Eingabeoperation durch den Bediener ausgeführt wird, wird die erste Anweisung bestimmt, welche mit der ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, und die Aktion des Bedieners zum Ausführen der ersten Eingabeoperation wird durch das erste virtuelle Bild präsentiert. Daher wird das technische Problem, wie das elektronische Gerät mit dem Spiegelbildschirm die Eingabeoperation des Nutzers erfasst und bestimmt, gelöst und der technische Effekt ist, dass die erste Eingabeoperation des Nutzers bestimmt wird durch Konstruieren des ersten digitalen Bildes, nachdem die Parameterinformation durch die Bilderfassungseinrichtung erfasst ist, realisiert.

Viertes Ausführungsbeispiel
Gemäß dem Ausführungsbeispiel der vorliegenden Offenbarung wird ein weiteres elektronisches Gerät aufgezeigt, wie in 8 gezeigt. Das elektronische Gerät weist auf: einen Bildschirm mit einem Spiegeleffekt auf, das heißt ein erstes virtuelles Bild eines Bedieners kann auf dem Bildschirm durch die physikalische Eigenschaft des Bildschirms gezeigt werden, unabhängig davon, ob der Bildschirm eingeschaltet ist. Es kann von einem optischen Prinzip bekannt sein, dass das erste virtuelle Bild in Bezug zur Oberfläche des Bildschirms symmetrisch mit dem Bediener ist. Zusätzlich hat das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung ferner eine Bilderfassungseinrichtung. Mit Bezugnahme auf 7 weist das elektronische Gerät in dem Ausführungsbeispiel der Offenbarung ferner auf:
eine erste Erfassungseinheit 1 zum Erfassen von Parameterinformation des Bedieners, welcher sich vor dem Bildschirm befindet, durch Einsatz der Bilderfassungseinrichtung, wobei die Parameterinformation verwendet wird, um ein erstes digitales Bild zu konstruieren, welches dem Bediener, welcher sich vor dem Bildschirm befindet, entspricht;
eine zweite Erfassungseinheit 2 zum Ausführen einer Berechnung mit einem vorgegebenen Algorithmus auf der Parameterinformation, um ein erstes digitales Bild zu erhalten, wobei das erste digitale Bild verwendet wird, um eine Eingabeoperation des Bedieners zu bestimmen und das erste digitale Bild dem ersten virtuellen Bild entspricht; und
eine Bestimmungseinheit 3 zum Bestimmen einer ersten Anweisung, welche mit einer ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, wenn der Bediener die erste Eingabeoperation ausführt und zum Darstellen einer Aktion des Bedieners zum Ausführen der ersten Eingabeoperation durch das erste virtuelle Bild.
Falls der erste virtuelle Bildraum M virtuelle Objekte aufweist, welche eine eins-zu-eins Entsprechung mit M realen Objekten in dem Umgebungsraum aufweisen, und M eine ganze Zahl größer oder gleich 1, weist das elektronische Gerät ferner auf:
einen Prozessor 802, welcher mit der Displayeinheit verbunden ist und zum Konstruieren von N Displayobjekten ausgestaltet ist, wobei N eine ganze Zahl größer oder gleich 1 ist. Der Prozessor 802 ist auch ausgestaltet zum Anzeigen der N Displayobjekte auf dem Bildschirm und zum Integrieren der N Displayobjekte in den virtuellen Bildraum, so dass ein Betrachter des elektronischen Gerätes bestimmt, dass der Umgebungsraum M + N reale Objekte aufweist basierend auf einem Displayeffekt des Bildschirms.
Ferner, in dem Ausführungsbeispiel der Offenbarung, weist das elektronische Gerät auch eine Bilderfassungseinrichtung 803 auf.
Die Bilderfassungseinrichtung 803 ist mit dem Prozessor 802 verbunden und ausgestaltet zum Erfassen von wenigstens einem Parameter des Umgebungsraumes bevor die N Displayobjekte konstruiert werden und zum Übertragen des wenigstens einen Parameters an den Prozessor.
Der Prozessor 802 ist ferner ausgestaltet zum Ausführen eines vorgegebenen Algorithmus für den wenigstens einen Parameter, um einen digitalen Raum zu erhalten, wobei der digitale Raum dem virtuellen Bildraum entspricht.
Ferner, in einem Ausführungsbeispiel der Offenbarung, ist der Prozessor 802 auch ausgestaltet zum:
Bestimmen der N Displayobjekte und N Positionen der N Displaypositionen in dem digitalen Raum basierend auf dem digitalen Raum;
Bestimmen von N Displaypositionen auf dem Bildschirm, welche den N Positionen in dem digitalen Raum entsprechen, und N Displaymoden; und
Anzeigen der N Displayobjekte an den N Displaypositionen auf dem Bildschirm in den N Displaymoden.
Falls wenigstens eines der M realen Objekte ein sich bewegendes reales Objekt ist, weist der digitale Raum ferner wenigstens einen Bediener/Operator auf, welcher dem wenigstens einen sich bewegenden realen Objekt entspricht. Die Bilderfassungseinrichtung 803 ist ausgestaltet zum Erfassen eines Bewegungsparameters des wenigstens einen sich bewegenden realen Objekts, nach dem ein vorgegebener Algorithmus für den wenigstens einen Parameter aufgeführt wird, um einen digitalen Raum zu erhalten, und zum Übertragen des Bewegungsparameters an den Prozessor 802.
Ferner ist der Prozessor 802 auch ausgestaltet zum:
Anordnen der N Displayobjekte an N neuen Positionen in dem digitalen Raum basierend auf der Eingabeoperation nach dem Bestimmen der von dem Bediener ausgeführten Eingabeoperation basierend auf der wenigstens einen Bedienposition.
Eine oder mehrere technische Lösungen wie oben in den Ausführungsbeispielen der Offenbarung beschrieben haben wenigstens den folgenden oder die mehreren folgenden technischen Effekte:
In den technischen Lösungen der Offenbarung zeigt der Bildschirm den virtuellen Bildraum des Umgebungsraumes vor dem Bildschirm an basierend auf einem physikalischen Abbildungsprinzip, wobei der virtuelle Bildraum und der Umgebungsraum in Bezug zum Bildschirm symmetrisch sind. Und ein Betrachter kann M virtuelle Objekte, welche eine eins-zu-eins Entsprechung mit M realen Objekten in dem Umgebungsraum haben, durch den Bildschirm sehen. Zusätzlich konstruiert das elektronische Gerät N Displayobjekte und zeigt die N Displayobjekte auf dem Bildschirm an und die N Displayobjekte werden in den virtuellen Bildraum integriert, so dass der Betrachter sieht, dass der Umgebungsraum M + N reale Objekte aufweist basierend auf einem Displayeffekt des Bildschirms. Dadurch werden der Spiegel und der Bildschirm miteinander verbunden. Und in dem Falle des Anzeigens werden die N Displayobjekte mit dem virtuellen Bildraum verbunden bzw. in Kooperation gebracht, so dass der Betrachter sieht, dass der Umgebungsraum M + N reale Objekte aufweist basierend auf dem virtuellen Bild und dem auf dem Bildschirm angezeigten Inhalt. Gemäß der Lösung wird ein neues Nutzererlebnis aufgezeigt.
Es sollte dem Fachmann bekannt sein, dass die Ausführungsbeispiele der Offenbarung als Verfahren, als System oder als Computerprogramprodukt ausgestaltet sein können. Daher können eine komplette Hardwareausführung, eine komplette Softwareausführung oder eine Ausführung, in welcher Hardware mit Software kombiniert wird, durch die Offenbarung verwendet werden. Auch kann ein Computerprodukt, welches durch ein oder mehrere computerlesbare Speichermedien (umfassend aber nicht darauf beschränkt, ein scheibenförmiges Speichermedium (disk memory), eine CD-ROM, ein optisches Speichermedium usw.) verkörpert werden, welche einen computerlesbaren Programmcode aufweisen, durch die Offenbarung verwendet werden.
Die Offenbarung wird unter Bezugnahme auf das Flussdiagramm und/oder ein Blockdiagramm des Verfahrens, die Vorrichtung (das System) und das Computerprogrammprodukt gemäß den Ausführungsbeispielen der Offenbarung beschrieben. Es versteht sich, dass jeder Ablauf in dem Flussdiagramm und/oder jeder Block in dem Blockdiagramm oder eine Kombination von Abläufen und/oder Blöcken in dem Flussdiagramm und/oder dem Blockdiagramm durch eine Computerprogrammanweisung realisiert sein können. Die Computerprogrammanweisung kann eingesetzt werden bei einem allgemeinen Computer (general-purpose computer), einem Spezialcomputer (special-purpose computer), einem eingebetteten Prozessor oder einem Prozessor von anderen programmierbaren Datenverarbeitungseinrichtungen, um eine Maschine hervorzubringen, so dass eine Anweisung, welche durch den Computer oder den Prozessor oder ein anderes programmierbares Datenverarbeitungsgerät ausgeführt wird, eine Vorrichtung zum Realisieren einer Funktion, wie in einem oder mehreren Abläufen in dem Flussdiagramm und/oder einem oder mehreren Blöcken in dem Blockdiagramm, realisiert.
Die Computerprogrammanweisung kann auf einem computerlesbaren Speicher gespeichert sein, welcher den Computer oder das andere programmierbare Datenverarbeitungsgerät anweist, um auf eine bestimmte Art und Weise zu arbeiten, so dass die in dem computerlesbaren Speicher gespeicherte Anweisung ein hergestelltes Produkt mit einem Anweisungsapparat produziert. Der Anweisungsapparat realisiert eine Funktion, wie in den ein oder mehreren Abläufen in dem Flussdiagramm und/oder den einen oder mehreren Blöcken in dem Blockdiagramm spezifiziert.
Die Computerprogrammanweisung kann auch in den Computer oder das andere programmierbare Datenverarbeitungsgerät geladen werden, so dass eine Serie von Befehlsschritten auf dem Computer oder dem anderen programmierbaren Gerät ausgeführt werden, um einen durch den Computer realisierten Prozess zu hervor zu bringen. Daher stellt die auf dem Computer oder anderen programmierbaren Gerät ausgeführte Anweisung Schritte zum Realisieren einer Funktion, wie in einem oder mehreren Abläufen des Flussdiagramms und/oder einem oder mehreren Blöcken des Blockdiagramms spezifiziert, bereit.
Insbesondere können die Computerprogrammanweisungen, welche den zwei Verfahren zur Informationsverarbeitung in den Ausführungsbeispielen der Offenbarung entsprechen, auf einem Speichermedium, wie beispielsweise einer CD (compact disc), einer Festplatte oder einem USB-Stick (USB flash disc) gespeichert sein. Wenn eine Computerprogrammanweisung auf dem Speichermedium, welche dem ersten Verfahren zur Informationsverarbeitung entspricht, durch das elektronische Gerät gelesen wird oder ausgeführt wird, weist das Verfahren zur Informationsverarbeitung die folgenden Schritte auf:
Erfassen von Parameterinformationen des Bedieners, welcher sich vor dem Bildschirm befindet, durch Einsatz der Bilderfassungseinrichtung, wobei die Parameterinformation verwendet wird, um ein erstes digitales Bild zu konstruieren, welches dem Bediener, welcher sich vor dem Bildschirm befindet, entspricht;
Ausführen einer Berechnung mit einem vorgegebenen Algorithmus auf der Parameterinformation, um ein erstes digitales Bild zu erhalten, wobei das erste digitale Bild verwendet wird, um eine Eingabeoperation des Bedieners zu bestimmen und das erste digitale Bild dem ersten virtuellen Bild entspricht; und
Bestimmen einer ersten Anweisung, welche mit einer ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, wenn der Bediener die erste Eingabeoperation ausführt und Darstellen einer Aktion des Bedieners zum Ausführen der ersten Bedienoperation durch das erste virtuelle Bild.
Optional werden einige zusätzliche Computeranweisungen auch auf dem Speichermedium gespeichert. Die Computeranweisungen werden ausgeführt nach dem Schritt Bestimmen einer ersten Anweisung, welche mit einer ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, wenn der Bediener die erste Eingabeoperation ausführt und Darstellen einer Aktion des Bedieners zum Ausführen der ersten Bedienoperation durch das erste virtuelle Bild. Wenn die Computeranweisungen ausgeführt werden, weist das Verfahren zur Informationsverarbeitung folgende Schritte auf:
Anzeigen eines ersten Displayinhalts auf dem Bildschirm; und
Ansteuern des Bildschirms zum Anzeigen eines zweiten Displayinhalts, welcher sich von dem ersten Displayinhalt unterscheidet, als Reaktion auf eine erste Anweisung basierend auf der ersten Anweisung.
Optional werden einige zusätzliche Computeranweisungen auch auf dem Speichermedium gespeichert. Die Computeranweisungen werden ausgeführt nach dem Schritt Bestimmen einer ersten Anweisung, welche mit einer ersten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, wenn der Bediener die erste Eingabeoperation ausführt und Darstellen einer Aktion des Bedieners zum Ausführen der ersten Bedienoperation durch das erste virtuelle Bild, oder das Ansteuern des Bildschirms zum Anzeigen eines zweiten Displayinhalts, welcher sich von dem ersten Displayinhalt unterscheidet, als Reaktion auf die erste Anweisung und basierend auf der ersten Anweisung. Wenn die Computeranweisungen ausgeführt werden, weist das Verfahren zur Informationsverarbeitung ferner folgende Schritte auf:
Bestimmen, ob die erste Eingabeoperation eine erste voreingestellte Bedingung erfüllt, um ein erstes Beurteilungsergebnis zu erhalten; und
Ansteuern des Bildschirms zum Anzeigen eines ersten Teils des ersten digitalen Bildes, falls das erste Bestimmungsergebnis indiziert, dass die erste Eingabeoperation die erste voreingestellte Bedingung erfüllt.
Optional, in einem Prozess des Ausführens der auf dem Speichermedium gespeicherten Computeranweisungen, welche dem Schritt Ausführen einer Berechnung mit einem vorgegebenen Algorithmus auf der Parameterinformation, um das erste digitale Bild zu erhalten, entsprechen, weist das Verfahren zur Informationsverarbeitung ferner folgende Schritte auf:
Erhalten von wenigstens einer ersten Koordinate eines Displayinhalts auf dem Bildschirm in einem Augen-Koordinatensystem basierend auf der Parameterinformation;
Erhalten von Information über eine erste Position der Augen eines Nutzers basierend auf der Parameterinformation; und
Ausführen einer ersten Berechnung basierend auf der Information der ersten Position und der wenigstens einen ersten Koordinate, um das erste digitale Bild zu erhalten.
Optional, in einem Prozess des Ausführens der auf dem Speichermedium gespeicherten Computeranweisungen, welche dem Schritt Ausführen einer ersten Berechnung auf der Information über eine erste Position und der wenigstens einen ersten Koordinate, um das erste digitale Bild zu erhalten, entsprechen, weist das Verfahren zur Informationsverarbeitung ferner folgende Schritte auf:
Konstruieren einer Homografie des Koordinatensystems des Bildschirms, welche dem Augen-Koordinatensystem entspricht, basierend auf der Information der ersten Position;
Erhalten von wenigstens einer zweiten Koordinate des Displayinhalts in dem Koordinatensystem der Displayebene basierend auf der wenigstens einen ersten Koordinate und der Homografie; und
Erhalten des ersten digitalen Bildes basierend auf der wenigstens einen zweiten Koordinate.
Offensichtlich können durch den Fachmann verschiedene Modifikationen und Variationen an der Offenbarung vorgenommen werden, ohne von dem Geiste und Rahmen der Offenbarung abzuweichen. Auf diese Weise, unter der Voraussetzung, dass diese Modifikationen und Variationen der Offenbarung unter den Schutzumfang der Ansprüche der Offenbarung und Äquivalenten davon fallen, beabsichtigt die Offenbarung diese Modifikationen und Variationen mit zu umfassen.

Claims

Verfahren zur Informationsverarbeitung mit folgenden Schritten: Erfassen von Parameterinformation eines Bedieners, welcher sich vor einem Spiegelbildschirm befindet, durch Einsatz einer Bilderfassungseinrichtung; Berechnen eines ersten digitalen Bildes, welches einem virtuellen Bild des Bedieners entspricht, basierend auf der Parameterinformation, durch Einsatz eines vorgegebenen Algorithmus; und Bestimmen einer ersten Anweisung, welche mit einer ersten durch den Bediener ausgeführten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild.
Verfahren nach Anspruch 1, wobei das Verfahren nach dem Bestimmen einer ersten Anweisung, welche mit einer ersten durch den Bediener ausgeführten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, ferner folgende Schritte aufweist: Anzeigen eines ersten Displayinhalts auf dem Bildschirm; und Ansteuern des Bildschirms zum Anzeigen eines zweiten Displayinhalts, welcher sich von dem ersten Displayinhalt unterscheidet, als Reaktion auf die erste Anweisung und basierend auf der ersten Anweisung.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Verfahren nach dem Bestimmen einer ersten Anweisung, welche mit einer ersten durch den Bediener ausgeführten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild, ferner folgende Schritte aufweist: Beurteilen, ob die erste Eingabeoperation eine erste voreingestellte Bedingung erfüllt, um ein erstes Beurteilungsergebnis zu erhalten; und Ansteuern des Bildschirms zum Anzeigen eines ersten Teils des ersten digitalen Bildes, falls das erste Beurteilungsergebnis indiziert, dass die erste Eingabeoperation die erste voreingestellte Bedingung erfüllt.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Berechnen eines ersten digitalen Bildes basierend auf der Parameterinformation durch Einsatz eines vorgegebenen Algorithmus folgende Schritte aufweist: Erhalten von wenigstens einer ersten Koordinate eines Displayinhalts auf dem Bildschirm in einem Augen-Koordinatensystem basierend auf der Parameterinformation; Erhalten von Information über eine erste Position der Augen basierend auf der Parameterinformation; und Berechnen des ersten digitalen Bildes basierend auf der Information der ersten Position und der wenigstens einen ersten Koordinate.
Verfahren nach Anspruch 4, wobei das Berechnen des ersten digitalen Bildes basierend auf der Information der ersten Position und der wenigstens einen ersten Koordinate folgende Schritte aufweist: Konstruieren einer Homographie eines Koordinatensystems einer Displayebene des Bildschirms, welche dem Augen-Koordinatensystem entspricht, basierend auf der Information der ersten Position; Erhalten von wenigstens einer zweiten Koordinate des Displayinhalts in dem Koordinatensystem der Displayebene basierend auf der wenigstens einen ersten Koordinate und der Homographie; und Erhalten des ersten digitalen Bildes basierend auf der wenigstens einen zweiten Koordinate des Displayinhalts.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Verfahren, falls das erste virtuelle Bild wenigstens ein virtuelles Objekt enthält, welches eine eins-zu-eins Entsprechung mit wenigstens einem realen Objekt in einem Umgebungsraum aufweist, in welchem sich der Bediener befindet, ferner folgende Schritte aufweist: Konstruieren von wenigstens einem Displayobjekt; Anzeigen des Displayobjekts auf dem Bildschirm.
Verfahren nach Anspruch 6, wobei das Verfahren vor dem Konstruieren des wenigstens einen Displayobjekts ferner folgende Schritte aufweist: Erfassen von wenigstens einem Parameter des Umgebungsraumes mittels der Bilderfassungseinrichtung; Ausführen eines vorgegebenen Algorithmus auf dem wenigstens einen Parameter, um einen digitalen Raum zu erhalten, wobei der digitale Raum einem virtuellen Bildraum entspricht, welcher in Bezug zu dem Bildschirm symmetrisch zu dem Umgebungsraum ist.
Verfahren nach Anspruch 6 oder 7, wobei das Anzeigen des Displayobjekts auf dem Bildschirm folgende Schritte aufweist: Bestimmen des wenigstens einen Displayobjekts und wenigstens einer Position des Displayobjekts in dem digitalen Raum basierend auf dem digitalen Raum; Bestimmen von wenigstens einer Displayposition auf dem Bildschirm, welche der wenigstens einen Position in dem digitalen Raum entspricht; und Anzeigen des Displayobjekts an der Displayposition auf dem Bildschirm.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Verfahren ferner folgende Schritte aufweist: Erfassen eines Bewegungsparameters des Bedieners mittels der Bilderfassungseinrichtung; Bestimmen einer Bedienposition des Bedieners in dem digitalen Raum basierend auf dem digitalen Raum und dem Bewegungsparameter; und Bestimmen einer von dem Bediener ausgeführten Eingabeoperation für das Displayobjekt basierend auf der Bedienposition.
Verfahren nach Anspruch 9, wobei das Verfahren nach dem Bestimmen einer von dem Bediener ausgeführten Eingabeoperation für das Displayobjekt basierend auf der Bedienposition ferner folgenden Schritt aufweist: Anordnen des Displayobjekts an einer neuen Position basierend auf der Eingabeoperation.
Elektronisches Gerät mit einem Bildschirm mit einem Spiegelbildschirm, wobei das elektronische Gerät ferner aufweist: eine erste Erfassungseinheit zum Erfassen von Parameterinformation eines Bedieners, welcher sich vor einem Spiegelbildschirm befindet, durch Einsatz einer Bilderfassungseinrichtung; eine zweite Erfassungseinheit zum Berechnen eines ersten digitalen Bildes, welches einem virtuellen Bild des Bedieners entspricht, basierend auf der Parameterinformation, durch Einsatz eines vorgegebenen Algorithmus; und eine Bestimmungseinheit zum Bestimmen einer ersten Anweisung, welche mit einer ersten durch den Bediener ausgeführten Eingabeoperation korrespondiert, basierend auf dem ersten digitalen Bild.
Elektronisches Gerät nach Anspruch 11, ferner mit: einer Displayeinheit zum Anzeigen eines ersten Displayinhalts und zum Anzeigen eines zweiten Inhalts, welcher sich von dem ersten Displayinhalt unterscheidet, als Reaktion auf die erste Anweisung und basierend auf der ersten Anweisung.
Elektronisches Gerät nach Anspruch 11 oder 12, ferner mit: einer ersten Beurteilungseinheit zum Beurteilen, ob die erste Eingabeoperation eine erste voreingestellte Bedingung erfüllt, um ein erstes Beurteilungsergebnis zu erhalten; und einer Ansteuereinheit zum Ansteuern des Bildschirms zum Anzeigen eines ersten Teils des ersten digitalen Bildes, falls das erste Beurteilungsergebnis indiziert, dass die erste Eingabeoperation die erste voreingestellte Bedingung erfüllt.
Elektronisches Gerät nach einem der Ansprüche 11 bis 13, wobei die zweite Erfassungseinheit aufweist: ein erstes Erfassungsmodul zum Erhalten von wenigstens einer ersten Koordinate eines Displayinhalts auf dem Bildschirm in einem Augen-Koordinatensystem basierend auf der Parameterinformation; ein zweites Erfassungsmodul zum Erhalten von Information über eine erste Position der Augen basierend auf der Parameterinformation; und ein drittes Erfassungsmodul zum Berechnen des ersten digitalen Bildes basierend auf der Information der ersten Position und der wenigstens einen ersten Koordinate.
Elektronisches Gerät nach Anspruch 14, wobei das dritte Erfassungsmodul ausgestaltet ist zum: Konstruieren einer Homographie eines Koordinatensystems einer Displayebene des Bildschirms entsprechend dem Augen-Koordinatensystem basierend auf der Information der ersten Position; Erhalten von wenigstens einer zweiten Koordinate des Displayinhalts in dem Koordinatensystem der Displayebene basierend auf der wenigstens einen ersten Koordinate und der Homographie; und Erhalten des ersten digitalen Bildes basierend auf der wenigstens einen zweiten Koordinate des Displayinhalts.
Elektronisches Gerät nach einem der Ansprüche 11 bis 15, wobei, falls das erste virtuelle Bild wenigstens ein virtuelles Objekt enthält, welches eine eins-zu-eins Entsprechung mit wenigstens einem realen Objekt in einem Umgebungsraum aufweist, in welchem sich der Bediener befindet, das elektronische Gerät ferner aufweist: einen Prozessor, welcher mit dem Bildschirm verbunden ist, zum Konstruieren von wenigstens einem Displayobjekt und zum Ansteuern des Bildschirms zum Anzeigen des Displayobjekts.
Elektronisches Gerät nach Anspruch 16, wobei die erste Erfassungseinheit mit dem Prozessor verbunden ist, zum Erfassen von wenigstens einem Parameter des Umgebungsraumes und zum Senden des wenigstens einen Parameters des Umgebungsraumes an den Prozessor vor dem Konstruieren des Displayobjekts; der Prozessor ist ausgestaltet zum Ausführen eines vorgegebenen Algorithmus auf dem wenigstens einen Parameter, um einen digitalen Raum zu erhalten, wobei der digitale Raum einem virtuellen Bildraum entspricht, welcher in Bezug zu dem Bildschirm symmetrisch zu dem Umgebungsraum ist.
Elektronisches Gerät nach Anspruch 16 oder 17, wobei der Prozessor ferner ausgestaltet ist zum: Bestimmen des wenigstens einen Displayobjekts und wenigstens einer Position des Displayobjekts in dem digitalen Raum basierend auf dem digitalen Raum; Bestimmen von wenigstens einer Displayposition auf dem Bildschirm, welche der wenigstens einen Position in dem digitalen Raum entspricht; und Ansteuern des Bildschirms zum Anzeigen des Displayobjekts an der Displayposition.
Elektronisches Gerät nach einem der Ansprüche 16 bis 18, wobei der Prozessor ferner ausgestaltet ist zum: Erfassen eines Bewegungsparameters des Bedieners mittels der Bilderfassungseinrichtung; Bestimmen einer Bedienposition des Bedieners in dem digitalen Raum basierend auf dem digitalen Raum und dem Bewegungsparameter; und Bestimmen einer von dem Bediener ausgeführten Eingabeoperation für das Displayobjekt basierend auf der Bedienposition.
Elektronisches Gerät nach Anspruch 19, wobei der Prozessor ausgestaltet ist zum Anordnen des Displayobjekts an einer neuen Position basierend auf der Eingabeoperation nach dem Bestimmen der von dem Bediener ausgeführten Eingabeoperation für das Displayobjekt basierend auf der Bedienposition.