DE102014111243A1

DE102014111243A1 - Verfahren und elektronisches Gerät zur Informationsverarbeitung, Verfahren und Vorrichtung und elektronisches Gerät zur Bildkalibrierung

Info

Publication number: DE102014111243A1
Application number: DE102014111243.1A
Authority: DE
Inventors: Xiang Li; Jun Ma; Jing Zhang; Xingming YU; Yunkai CHEN
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2013-08-09
Filing date: 2014-08-07
Publication date: 2015-02-12
Also published as: US20150042559A1; US9691357B2

Abstract

Es wird ein Verfahren zur Informationsverarbeitung zur Anwendung in einem elektronischen Gerät vorgeschlagen. Das elektronische Gerät kann erste Multimediadaten synchron auf einer ersten Anzeigeeinheit und einer zweiten Anzeigeeinheit anzeigen lassen. Das Verfahren umfasst: Erfassen eines ersten Parameters der ersten Anzeigeeinheit und eines zweiten Parameters der zweiten Anzeigeeinheit; Erfassen einer ersten Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit; Analysieren der ersten Operation, um erste Koordinaten der ersten Operation zu gewinnen; Transformieren der ersten Koordinaten der ersten Operation in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit basierend auf dem ersten Parameter und dem zweiten Parameter; und Ausführen der ersten Operation basierend auf den zweiten Koordinaten der ersten Operation. Mit der technischen Lösung kann ein Hostbildschirm eine Eingabeoperation auf einem Erweiterungsbildschirm verarbeiten und darauf reagieren.

Description

Technisches Gebiet
Die Offenbarung betrifft das Gebiet der Informationsverarbeitung und Bildkalibrierung und insbesondere ein Verfahren und ein elektronisches Gerät zur Informationsverarbeitung und ein Verfahren und eine Vorrichtung und ein elektronisches Gerät zur Bildkalibrierung.
Hintergrund
Mit der Entwicklung von Smartphones ist es zunehmend beliebter, ein Gerät mit mehreren Bildschirmen und das Teilen von Bildschirminhalten (display content sharing) zwischen mehreren Bildschirmen durch eine Telefonmikroübertragungstechnologie (phone microcast technology) und eine WiFi-Anzeigetechnologie (wifi display technology) zu realisieren. Jedoch kann, in diesem Fall, eine Berührungsoperation (touch Operation) nur auf dem Bildschirminhalt des Host-Bildschirms durchgeführt werden und ein Inhalt auf dem Erweiterungsbildschirm (extended screen) oder auf dem durch WiFi-Anzeige (wifi display), geteilten Bildschirm wird entsprechend dem Inhalt des Host-Bildschirms geändert und kann nicht direkt durch einen Nutzer durchgeführt werden. Eine Eingabeoperation auf dem Erweiterungsbildschirm kann mit aufkommender Gesten-Steuerung oder mit einem Erweiterungsgerät, wie einer Bluetooth-Maus oder einer Bluetooth-Tastatur, realisiert werden. Jedoch ist der Inhalt des Erweiterungsbildschirms nur ein gespiegelter Inhalt des Host-Bildschirms und der Host-Bildschirm kann die Eingabeoperation auf dem Erweiterungsbildschirm nicht verarbeiten und darauf reagieren, da unterschiedliche Anzeigebildschirme unterschiedliche Anzeigeauflösungen haben.
Ferner ist es bei Anzeige durch einen Projektor auf einer Projektionsfläche erforderlich, dass eine Relativposition eines Anzeigebereiches des Projektors in einem Erkennungsbereich einer Kamera kalibriert wird. Der Bildkalibrierungsprozess kann wie folgt sein. Ausrichtungsmuster wie Kreuze werden in vier Ecken des Erfahrungsbereichs der Kamera projiziert und der Nutzer klickt die Kreuze in den vier Ecken an. Der Erkennungsbereich reagiert auf die Klickoperation, um Koordinaten von vier Spitzen (Apexes) des Projektionsbereichs in dem Erkennungsbereich zu gewinnen und die vier Spitzen werden verwendet, um die Relativposition des Projektionsbereichs in dem Erkennungsbereich zu kalibrieren. Es ist ersichtlich, dass der existierende Bildkalibrierungsprozess eine Benutzeroperation erfordert, um die Relativposition zwischen den zwei Bereichen zu kalibrieren.
Zusammenfassende Darstellung der Erfindung
Die Offenbarung stellt ein Verfahren zur Informationsverarbeitung und ein elektronisches Gerät bereit, welche es dem Host-Bildschirm ermöglichen, die Eingabeoperation auf dem Erweiterungsbildschirm zu verarbeiten und darauf zu reagieren, um die Benutzererfahrung zu verbessern.
Es wird ein Verfahren zur Informationsverarbeitung zur Anwendung in einem elektronischen Gerät vorgeschlagen, wobei das elektronische Gerät dazu ausgestaltet ist, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit und einer zweiten Anzeigeeinheit anzeigen zu lassen und wobei die erste Anzeigeeinheit in dem elektronischen Gerät angeordnet ist, das Verfahren umfassend:
Erfassen eines ersten Parameters der ersten Anzeigeeinheit und eines zweiten Parameters der zweiten Anzeigeeinheit;
Erfassen einer ersten Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit;
Analysieren der ersten Operation, um erste Koordinaten der ersten Operation zu gewinnen;
Transformieren der ersten Koordinaten der ersten Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit basierend auf dem ersten Parameter und dem zweiten Parameter; und
Ausführen der ersten Operation basierend auf den zweiten Koordinaten der ersten Operation.
Es wird ein elektronisches Gerät vorgeschlagen, wobei das elektronische Gerät dazu ausgestaltet ist, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit und einer zweiten Anzeigeeinheit anzeigen zu lassen, und wobei die erste Anzeigeeinheit in dem elektronischen Gerät angeordnet ist; das elektronische Gerät umfasst eine erste Erfassungseinheit, eine zweite Erfassungseinheit, eine Analyseeinheit, eine erste Transformationseinheit und eine erste Ausführungseinheit,
die erste Erfassungseinheit ist dazu ausgestaltet, einen ersten Parameter der ersten Anzeigeeinheit und einen zweiten Parameter der zweiten Anzeigeeinheit zu erfassen;
die zweite Erfassungseinheit ist dazu ausgestaltet, eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit zu erfassen;
die Analyseeinheit ist dazu ausgestaltet, die erste Operation zu analysieren, um erste Koordinaten der ersten Operation zu gewinnen;
die erste Transformationseinheit ist dazu ausgestaltet, basierend auf dem ersten Parameter und dem zweiten Parameter, die ersten Koordinaten der ersten Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit zu transformieren; und
die Ausführungseinheit ist dazu ausgestaltet, die erste Operation basierend auf den zweiten Koordinaten der ersten Operation auszuführen.
Gemäß der technischen Lösung der Offenbarung werden der erste Parameter der ersten Anzeigeeinheit und der zweite Parameter der zweiten Anzeigeeinheit erfasst, die ersten Koordinaten der ersten Operation für die zweite Anzeigeeinheit werden basierend auf dem ersten Parameter und dem zweiten Parameter in zweite Koordinaten der ersten Operation für die erste Anzeigeeinheit transformiert, und die erste Operation wird basierend auf den zweiten Koordinaten der ersten Operation ausgeführt. Auf diese Weise kann, falls sich die Auflösung des Erweiterungsbildschirms und des Host-Bildschirms voneinander unterscheiden, die Eingabeoperation für den Erweiterungsbildschirm zwischen dem Erweiterungsbildschirm und dem Host-Bildschirm synchronisiert werden und der Host-Bildschirm kann die Eingabeoperation auf dem Erweiterungsbildschirm verarbeiten und darauf reagieren. Somit wird die Benutzererfahrung verbessert.
Die Offenbarung stellt ferner ein Verfahren zur Bildkalibrierung, eine Vorrichtung zur Bildkalibrierung und ein elektronisches Gerät bereit, welche das Problem adressieren können, dass der existierende Bildkalibrierungsprozess eine Benutzeroperation erfordert, um die Relativposition des Projektionsbereiches in dem Erfassungsbereich zu kalibrieren.
Es wird ein Verfahren zur Bildkalibrierung zur Anwendung in einem elektronischen Gerät vorgeschlagen, wobei das elektronische Gerät einen Mikroprojektor und eine Tiefenkamera aufweist und eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera fest ist, das Verfahren umfassend:
Erfassen eines durch die Tiefenkamera auf einer Projektionsfläche gebildeten Tiefenbildes, wobei die Projektionsfläche eine Fläche ist, welche die Tiefenkamera beleuchtet und auf welche der Mikroprojektor einen Lichtstrahl projiziert; und
Gewinnen einer Relativposition eines Projektionsbereichs in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera, wobei der Projektionsbereich ein Bereich ist, welcher durch den Mikroprojektor auf der Projektionsfläche gebildet wird.
Ferner wird eine Vorrichtung zur Bildkalibrierung zur Anwendung in einem elektronischen Gerät vorgeschlagen, wobei das elektronische Gerät einen Mikroprojektor und eine Tiefenkamera aufweist und eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera fest ist, die Vorrichtungen umfassend:
eine Erfassungseinheit zum Erfassen eines durch die Tiefenkamera auf einer Projektionsfläche gebildeten Tiefenbildes, wobei die Projektionsfläche eine Fläche ist, welche die Tiefenkamera beleuchtet und auf welche der Mikroprojektor einen Lichtstrahl projiziert; und
eine Positionsgewinnungseinheit zum Gewinnen einer Relativposition eines Projektionsbereichs in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera, wobei der Projektionsbereich ein Bereich ist, welcher durch den Mikroprojektor auf der Projektionsfläche gebildet wird.
Ferner wird ein elektronisches Gerät vorgeschlagen mit einem Mikroprojektor, einer Tiefenkamera und der oben beschriebene Vorrichtung zur Bildkalibrierung, wobei eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera fest ist, und die Vorrichtung zur Bildkalibrierung dazu ausgestaltet ist, eine Relativposition eines Projektionsbereiches des Mikroprojektors in einem Tiefenbild der Tiefenkamera zu kalibrieren.
Gemäß der technischen Lösung der Offenbarung wird ein Tiefenbild, gebildet durch die Tiefenkamera auf einer Projektionsfläche, erfasst und dann eine Relativposition eines Projektionsbereiches in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera gewonnen. Somit wird die Relativposition des Projektionsbereichs in dem Tiefenbild automatisch kalibriert. Verglichen mit der herkömmlichen Zustand kann, falls der Mikroprojektor oder die Projektionsfläche verändert wird, die Relativposition des Projektionsbereichs in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera gewonnen werden, ohne eine Benutzeroperation zum Rekalibrieren der Relativposition. Somit wird die Kalibrierung beschleunigt und die Effizienz gesteigert.
Kurze Beschreibung der Zeichnungen
1 ist ein schematisches Flussdiagramm eines Verfahrens zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung.
2 ist ein schematisches Flussdiagramm eines Verfahrens zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung.
3 ist ein schematisches Flussdiagramm eines Verfahrens zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung.
4 ist ein schematisches Flussdiagramm eines Verfahrens zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung.
5 ist ein schematisches Flussdiagramm eines Verfahrens zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung.
6 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes gemäß einem Ausführungsbeispiel der Offenbarung.
7 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes gemäß einem Ausführungsbeispiel der Offenbarung.
8 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes gemäß einem Ausführungsbeispiel der Offenbarung.
9 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes gemäß einem Ausführungsbeispiel der Offenbarung.
10 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes gemäß einem Ausführungsbeispiel der Offenbarung.
11 ist ein schematisches Diagramm einer zweiten Anzeigeeinheit, welche erste Multimediadaten in einem Hochformat-Modus anzeigt, gemäß einem Ausführungsbeispiel der Offenbarung.
12 ist ein schematisches Diagramm einer zweiten Anzeigeeinheit, welche erste Multimediadaten in einem Querformat-Modus anzeigt, gemäß einem Ausführungsbeispiel der Offenbarung.
13 ist ein Flussdiagramm eines Verfahrens zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung.
14 ist ein Unter-Flussdiagramm eines Verfahrens zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung.
15 ist ein Diagramm eines von einer Tiefenkamera emittierten Lichtstrahls.
16 ist ein schematisches Diagramm einer Entfernungsberechnung gemäß einem Ausführungsbeispiel der Offenbarung.
17 ist ein schematisches Diagramm einer Entfernungsberechnung gemäß einem Ausführungsbeispiel der Offenbarung.
18 ist ein schematisches Diagramm einer Entfernungsberechnung gemäß einem Ausführungsbeispiel der Offenbarung.
19 ist ein Flussdiagramm eines Verfahrens zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung.
20 ein schematisches Strukturdiagramm einer Vorrichtung zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung.
21 ist ein schematisches Unter-Strukturdiagramm einer Vorrichtung zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung.
22 ist ein schematisches Strukturdiagramm einer Vorrichtung zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung.
Detaillierte Beschreibung
Um die Merkmale und den technischen Gehalt der Offenbarung besser zu verstehen, wird die Offenbarung nachfolgend im Zusammenhang mit den Figuren im Detail erklärt und die Figuren werden nur zur Illustration verwendet und sind nicht dazu vorgesehen, die Offenbarung zu beschränken.
1 ist ein schematisches Flussdiagramm eines Verfahrens zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung. Das Verfahren zur Informationsverarbeitung in dem Ausführungsbeispiel wird für ein elektronisches Gerät verwendet und das elektronische Gerät ist dazu ausgestaltet, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit und einer zweiten Anzeigeeinheit anzeigen zu lassen und die erste Anzeigeeinheit ist in dem elektronischen Gerät angeordnet. In einem bevorzugten Ausführungsbeispiel der Offenbarung umfasst das Verfahren zur Informationsverarbeitung die Schritte 101 bis 105.
In Schritt 101 werden ein erster Parameter der ersten Anzeigeeinheit und ein zweiter Parameter der zweiten Anzeigeeinheit erfasst.
In dem Ausführungsbeispiel ist die erste Anzeigeeinheit eine Anzeigevorrichtung in dem elektronischen Gerät, wie zum Beispiel ein berührungsempfindlicher Anzeigebildschirm (touch display screen) und die erste Anzeigeeinheit ist ein Host-Bildschirm. Der erste Parameter der ersten Anzeigeeinheit ist eine Bildschirmauflösung der ersten Anzeigeeinheit. Die zweite Anzeigeeinheit ist ein Erweiterungsbildschirm. Die zweite Anzeigeeinheit kann eine Projektionseinheit sein, welche eine Microcast-Technologie verwendet, oder kann eine Anzeigevorrichtung sein, welche eine WiFi-Anzeigetechnologie verwendet. Der zweite Parameter der zweiten Anzeigeeinheit ist eine Bildschirmauflösung der zweiten Anzeigeeinheit.
Da die erste Anzeigeeinheit in dem elektronischen Gerät angeordnet ist, kann der erste Parameter der ersten Anzeigeeinheit direkt erfasst werden. Falls die zweite Anzeigeeinheit eine Projektionseinheit ist, welche die Microcast-Technologie verwendet, ist die zweite Anzeigeeinheit auch in dem elektronischen Gerät angeordnet und daher kann der zweite Parameter der zweiten Anzeigeeinheit auch direkt erfasst werden. Falls die zweite Anzeigeeinheit eine Anzeigevorrichtung ist, welche die WiFi-Anzeigetechnologie verwendet, ist die zweite Anzeigeeinheit unabhängig von dem elektronischen Gerät und die zweite Anzeigeeinheit interagiert mit dem elektronischen Gerät über ein WiFi-Netzwerk. Daher kann das elektronische Gerät den zweiten Parameter der zweiten Anzeigeeinheit über das WiFi-Netzwerk erfassen.
Die ersten Multimediadaten in dem Ausführungsbeispiel sind Multimediadaten, welche auf einem Desktop des elektronischen Geräts angezeigt werden. Zum Beispiel sind die ersten Multimediadaten Videodaten, falls ein Video auf dem Desktop im Vollbildmodus wiedergegeben wird.
In Schritt 102 wird eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit erfasst.
Ein Benutzer kann eine Bedienoperation auf den ersten Multimediadaten für die zweite Anzeigeeinheit ausführen, was als die erste Operation bezeichnet wird. Zum Beispiel kann der Benutzer, falls die zweite Anzeigeeinheit ein berührungsempfindlicher Anzeigebildschirm ist, die zweite Anzeigeeinheit berühren, um mit den ersten Multimediadaten zu interagieren.
Um es dem elektronischen Gerät in dem Ausführungsbeispiel zu ermöglichen die erste Operation zu verarbeiten und darauf zu reagieren, muss das elektronische Gerät die erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit erfassen. Falls die zweite Anzeigeeinheit eine Projektionseinheit ist, welche die Microcast-Technologie verwendet, kann das elektronische Gerät die erste Operation durch Tiefenerkennung (depth detection) erfassen. Falls die zweite Anzeigeeinheit eine Anzeigevorrichtung ist, welche die WiFi-Anzeigetechnologie verwendet, ist die zweite Anzeigeeinheit unabhängig von dem elektronischen Gerät und die zweite Anzeigeeinheit interagiert mit dem elektronischen Gerät über ein WiFi-Netzwerk. Daher kann das elektronische Gerät die erste Operation über das WiFi-Netzwerk erfassen.
Die erste Operation kann, zum Beispiel eine Berührungsoperation, eine Tastenoperation, eine Gestenoperation oder eine Sprachoperation sein.
In Schritt 103 wird die erste Operation analysiert, um erste Koordinaten der ersten Operation zu gewinnen.
Die erste Operation korrespondiert hierbei mit Koordinateninformation und die Koordinateninformation ist eine Positionsinformation der ersten Operation in der zweiten Anzeigeeinheit. Daher sind die ersten Koordinaten, Koordinaten der ersten Operation in der zweiten Anzeigeeinheit.
In Schritt 104 werden die ersten Koordinaten der ersten Operation basierend auf dem ersten Parameter und dem zweiten Parameter transformiert, um zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit zu gewinnen.
Die ersten Koordinaten der ersten Operation sind hierbei zweidimensionale Koordinaten, zum Beispiel eine x1-Koordinate und eine y1-Koordinate. Die x1-Koordinate und die y1-Koordinate werden jeweils transformiert, basierend auf dem ersten Parameter und dem zweiten Parameter, um eine x2-Koordinate und eine y2-Koordinate zu gewinnen. Die x2-Koordinate und y2-Koordinate sind die zweiten Koordinaten der ersten Operation. Die zweiten Koordinaten sind Koordinaten der ersten Operation in der ersten Anzeigeeinheit.
In Schritt 105 wird die erste Operation basierend auf den zweiten Koordinaten der ersten Operation ausgeführt.
Da die zweiten Koordinaten der ersten Operation Koordinaten in der ersten Anzeigeeinheit sind, kann das elektronische Gerät die erste Operation verarbeiten und darauf reagieren.
2 ist ein schematisches Flussdiagramm eines Verfahrens zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung. Das Verfahren zur Informationsverarbeitung in dem Ausführungsbeispiel wird für ein elektronisches Gerät verwendet und das elektronische Gerät ist dazu ausgestaltet, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit und einer zweiten Anzeigeeinheit anzeigen zu lassen. Die ersten Multimediadaten werden auf der ersten Anzeigeeinheit und der zweiten Anzeigeeinheit in einem Vollbildmodus angezeigt. Die erste Anzeigeeinheit ist in dem elektronischen Gerät angeordnet. In einem bevorzugten Ausführungsbeispiel der Offenbarung umfasst das Verfahren zur Informationsverarbeitung die Schritte 201 bis 206.
In Schritt 201 werden ein erster Parameter der ersten Anzeigeeinheit und ein zweiter Parameter der zweiten Anzeigeeinheit erfasst.
In dem Ausführungsbeispiel ist die erste Anzeigeeinheit eine Anzeigevorrichtung in dem elektronischen Gerät, wie zum Beispiel ein berührungsempfindlicher Anzeigebildschirm und die erste Anzeigeeinheit ist ein Host-Bildschirm. Der erste Parameter der ersten Anzeigeeinheit ist eine Bildschirmauflösung der ersten Anzeigeeinheit. Die zweite Anzeigeeinheit ist ein Erweiterungsbildschirm. Die zweite Anzeigeeinheit kann eine Projektionseinheit sein, welche eine Microcast-Technologie verwendet, oder kann eine Anzeigevorrichtung sein, welche eine WiFi-Anzeigetechnologie verwendet. Der zweite Parameter der zweiten Anzeigeeinheit ist eine Bildschirmauflösung der zweiten Anzeigeeinheit.
Da die erste Anzeigeeinheit in dem elektronischen Gerät angeordnet ist, kann der erste Parameter der ersten Anzeigeeinheit direkt erfasst werden. Falls die zweite Anzeigeeinheit eine Projektionseinheit ist, welche die Microcast-Technologie verwendet, ist die zweite Anzeigeeinheit auch in dem elektronischen Gerät angeordnet und daher kann der zweite Parameter der zweiten Anzeigeeinheit auch direkt erfasst werden. Falls die zweite Anzeigeeinheit eine Anzeigevorrichtung ist, welche die WiFi-Anzeigetechnologie verwendet, ist die zweite Anzeigeeinheit unabhängig von dem elektronischen Gerät und die zweite Anzeigeeinheit interagiert mit dem elektronischen Gerät über ein WiFi-Netzwerk. Daher kann das elektronische Gerät den zweiten Parameter der zweiten Anzeigeeinheit über das WiFi-Netzwerk erfassen.
Die ersten Multimediadaten in dem Ausführungsbeispiel sind Multimediadaten, welche auf einem Desktop des elektronischen Geräts angezeigt werden. Zum Beispiel sind die ersten Multimediadaten Videodaten, falls ein Video auf dem Desktop im Vollbildmodus wiedergegeben wird.
In Schritt 202 wird eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit erfasst.
Ein Benutzer kann eine Bedienoperation auf den ersten Multimediadaten für die zweite Anzeigeeinheit ausführen, was als die erste Operation bezeichnet wird. Zum Beispiel kann der Benutzer, falls die zweite Anzeigeeinheit ein berührungsempfindlicher Anzeigebildschirm ist, die zweite Anzeigeeinheit berühren, um mit den ersten Multimediadaten zu interagieren.
Um es dem elektronischen Gerät in dem Ausführungsbeispiel zu ermöglichen die erste Operation zu verarbeiten und darauf zu reagieren, muss das elektronische Gerät die erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit erfassen. Falls die zweite Anzeigeeinheit eine Projektionseinheit ist, welche die Microcast-Technologie verwendet, kann das elektronische Gerät die erste Operation durch Tiefenerkennung erfassen. Falls die zweite Anzeigeeinheit eine Anzeigevorrichtung ist, welche die WiFi-Anzeigetechnologie verwendet, ist die zweite Anzeigeeinheit unabhängig von dem elektronischen Gerät und die zweite Anzeigeeinheit interagiert mit dem elektronischen Gerät über ein WiFi-Netzwerk. Daher kann das elektronische Gerät die erste Operation über das WiFi-Netzwerk erfassen.
Die erste Operation kann, zum Beispiel eine Berührungsoperation, eine Tastenoperation, eine Gestenoperation oder eine Sprachoperation sein.
In Schritt 203 wird die erste Operation analysiert, um erste Koordinaten der ersten Operation zu gewinnen.
Die erste Operation korrespondiert hierbei mit Koordinateninformation und die Koordinateninformation ist eine Positionsinformation der ersten Operation in der zweiten Anzeigeeinheit. Daher sind die ersten Koordinaten, Koordinaten der ersten Operation in der zweiten Anzeigeeinheit.
In Schritt 204 wird ein erster Transformationsparameter basierend auf dem ersten Parameter und dem zweiten Parameter bestimmt.
Da die ersten Multimediadaten auf der ersten Anzeigeeinheit und der zweiten Anzeigeeinheit in einem Vollbildmodus angezeigt werden, kann der erste Transformationsparameter direkt basierend auf dem ersten Parameter und dem zweiten Parameter bestimmt werden. Insbesondere, vorausgesetzt, dass die Bildschirmauflösung der zweiten Anzeigeeinheit M × N ist und die Bildschirmauflösung der zweiten Anzeigeeinheit P × Q ist, ist der erste Transformationsparameter P × M und Q × N.
In Schritt 205 werden die ersten Koordinaten der ersten Operation mittels des ersten Transformationsparameters transformiert, um zweite Koordinaten der ersten Operation zu gewinnen.
Insbesondere, vorausgesetzt, dass die ersten Koordinaten der ersten Operation (x1, y1) sind, werden die zweiten Koordinaten (x2, y2) durch Transformieren der ersten Koordinaten mittels des ersten Transformationsparameters gewonnen. Der Prozess, die ersten Koordinaten der ersten Operation mittels des ersten Transformationsparameters zu transformieren, kann durch die folgende Formel (1) realisiert werden: x₂ = P × M/x₁ y₂ = Q × N/y₁ (1)
Die zweiten Koordinaten sind hierbei Koordinaten der ersten Operation in der ersten Anzeigeeinheit.
In Schritt 206 wird die erste Operation basierend auf den zweiten Koordinaten der ersten Operation ausgeführt.
Da die zweiten Koordinaten der ersten Operation Koordinaten in der ersten Anzeigeeinheit sind, kann das elektronische Gerät die erste Operation verarbeiten und darauf reagieren.
3 ist ein schematisches Flussdiagramm eines Verfahrens zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung. Das Verfahren zur Informationsverarbeitung in dem Ausführungsbeispiel wird für ein elektronisches Gerät verwendet und das elektronische Gerät ist dazu ausgestaltet, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit und einer zweiten Anzeigeeinheit anzeigen zu lassen. Die ersten Multimediadaten werden auf der ersten Anzeigeeinheit in einem Vollbildmodus angezeigt und der zweiten Anzeigeeinheit in einem Nicht-Vollbildmodus. Die erste Anzeigeeinheit ist in dem elektronischen Gerät angeordnet. In einem bevorzugten Ausführungsbeispiel der Offenbarung umfasst das Verfahren zur Informationsverarbeitung die Schritte 301 bis 308.
In Schritt 301 werden ein erster Parameter der ersten Anzeigeeinheit und ein zweiter Parameter der zweiten Anzeigeeinheit erfasst.
In dem Ausführungsbeispiel ist die erste Anzeigeeinheit eine Anzeigevorrichtung in dem elektronischen Gerät, wie zum Beispiel ein berührungsempfindlicher Anzeigebildschirm und die erste Anzeigeeinheit ist ein Host-Bildschirm. Der erste Parameter der ersten Anzeigeeinheit ist eine Bildschirmauflösung der ersten Anzeigeeinheit. Die zweite Anzeigeeinheit ist ein Erweiterungsbildschirm. Die zweite Anzeigeeinheit kann eine Projektionseinheit sein, welche eine Microcast-Technologie verwendet, oder kann eine Anzeigevorrichtung sein, welche eine WiFi-Anzeigetechnologie verwendet. Der zweite Parameter der zweiten Anzeigeeinheit ist eine Bildschirmauflösung der zweiten Anzeigeeinheit.
Da die erste Anzeigeeinheit in dem elektronischen Gerät angeordnet ist, kann der erste Parameter der ersten Anzeigeeinheit direkt erfasst werden. Falls die zweite Anzeigeeinheit eine Projektionseinheit ist, welche die Microcast-Technologie verwendet, ist die zweite Anzeigeeinheit auch in dem elektronischen Gerät angeordnet und daher kann der zweite Parameter der zweiten Anzeigeeinheit auch direkt erfasst werden. Falls die zweite Anzeigeeinheit eine Anzeigevorrichtung ist, welche die WiFi-Anzeigetechnologie verwendet, ist die zweite Anzeigeeinheit unabhängig von dem elektronischen Gerät und die zweite Anzeigeeinheit interagiert mit dem elektronischen Gerät über ein WiFi-Netzwerk. Daher kann das elektronische Gerät den zweiten Parameter der zweiten Anzeigeeinheit über das WiFi-Netzwerk erfassen.
Die ersten Multimediadaten in dem Ausführungsbeispiel sind Multimediadaten, welche auf einem Desktop des elektronischen Geräts angezeigt werden. Zum Beispiel sind die ersten Multimediadaten Videodaten, falls ein Video auf dem Desktop im Vollbildmodus wiedergegeben wird.
In Schritt 302 wird eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit erfasst.
Ein Benutzer kann eine Bedienoperation auf den ersten Multimediadaten für die zweite Anzeigeeinheit ausführen, was als die erste Operation bezeichnet wird. Zum Beispiel kann der Benutzer, falls die zweite Anzeigeeinheit ein berührungsempfindlicher Anzeigebildschirm ist, die zweite Anzeigeeinheit berühren, um mit den ersten Multimediadaten zu interagieren.
Um es dem elektronischen Gerät in dem Ausführungsbeispiel zu ermöglichen die erste Operation zu verarbeiten und darauf zu reagieren, muss das elektronische Gerät die erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit erfassen. Falls die zweite Anzeigeeinheit eine Projektionseinheit ist, welche die Microcast-Technologie verwendet, kann das elektronische Gerät die erste Operation durch Tiefenerkennung erfassen. Falls die zweite Anzeigeeinheit eine Anzeigevorrichtung ist, welche die WiFi-Anzeigetechnologie verwendet, ist die zweite Anzeigeeinheit unabhängig von dem elektronischen Gerät und die zweite Anzeigeeinheit interagiert mit dem elektronischen Gerät über ein WiFi-Netzwerk. Daher kann das elektronische Gerät die erste Operation über das WiFi-Netzwerk erfassen.
Die erste Operation kann, zum Beispiel eine Berührungsoperation, eine Tastenoperation, eine Gestenoperation oder eine Sprachoperation sein.
In Schritt 303 wird die erste Operation analysiert, um erste Koordinaten der ersten Operation zu gewinnen.
Die erste Operation korrespondiert hierbei mit Koordinateninformation und die Koordinateninformation ist eine Positionsinformation der ersten Operation in der zweiten Anzeigeeinheit. Daher sind die ersten Koordinaten, Koordinaten der ersten Operation in der zweiten Anzeigeeinheit.
In Schritt 304 wird eine Anzeigefläche der zweiten Anzeigeeinheit bestimmt, auf welcher die ersten Multimediadaten angezeigt werden basierend auf dem ersten Parameter und dem zweiten Parameter, wobei die Anzeigefläche durch einen ersten Begrenzungspunkt und einen zweiten Begrenzungspunkt demarkiert ist.
Ob die ersten Multimediadaten auf der zweiten Anzeigeeinheit in einem Hochformatmodus oder in einem Querformatmodus angezeigt werden, ist zu berücksichtigen, falls die ersten Multimediadaten auf der zweiten Anzeigeeinheit in einem Nicht-Vollbildmodus angezeigt werden. Es wird Bezug genommen auf 11, welche ein schematisches Diagramm einer zweiten Anzeigeeinheit ist, welche die ersten Multimediadaten in einem Hochformatmodus anzeigt, wobei die zweite Anzeigeeinheit eine Projektionseinheit ist. Die Schattenbereiche repräsentieren Bereiche, in welchen die ersten Multimediadaten nicht angezeigt werden und der weiße Bereich repräsentiert einen Bereich, in welchem die ersten Multimediadaten angezeigt werden. Unter der Voraussetzung, dass die Breite des linken Schattenbereichs D1 ist, die Breite des rechten Schattenbereichs D2 ist und die Breite der gesamten Projektionsfläche D ist; der erste Begrenzungspunkt repräsentiert eine Grenze zwischen dem linken Schattenbereich und dem weißen Bereich und Koordinaten des ersten Begrenzungspunktes sind (X1,0), der zweite Begrenzungspunkt repräsentiert eine Grenze zwischen dem rechten Schattenbereich und dem weißen Bereich und Koordinaten des zweiten Begrenzungspunktes sind (X2,0); kann die x-Koordinate des ersten Begrenzungspunktes bestimmt werden durch die folgende Formel (2) und die x-Koordinate des zweiten Begrenzungspunktes kann bestimmt werden durch die folgende Formel (3): X1 = M × D1/D (2) X2 = M x (D – D2)/D (3) wobei die Beziehung zwischen D und D1 und zwischen D und D2 durch die folgenden Schritte gewonnen werden kann.
Unter der Voraussetzung, dass die Höhe des weißen Bereichs H ist und die Breite des weißen Bereichs W ist, kann Formel (4) gewonnen werden mit H/W = N/M und A/D = P/Q: W =(P × M × D/(Q × N) (4)
Da W = D1 + D2 + D3, kann D1 gewonnen werden durch die folgende Formel (5) falls D1 = D2: D1 = {(P × M × D)/(Q × N) – D}/2 (5)
Durch Einsetzen von Formel (5) in Formel (2) und Formel (3), werden die x-Koordinate des ersten Begrenzungspunktes und die x-Koordinate des zweiten Begrenzungspunktes im Hochformatmodus gewonnen, wie in Formel (6) und Formel (7) gezeigt: X1 = M × {(P × M)/(Q × N) – 1}/2 (6) X2 = M × [1 – {(P × M)/(Q × N) – 1}]/2 (7)
Auf diese Weise werden der erste Begrenzungspunkt und der zweite Begrenzungspunkt basierend auf dem ersten Parameter und dem zweiten Parameter bestimmt und die Anzeigefläche der zweiten Anzeigeeinheit, auf welcher die ersten Multimediadaten angezeigt werden, wird weiter bestimmt.
Es wird Bezug genommen auf 12, welche ein schematisches Diagramm einer zweiten Anzeigeeinheit ist, welche die ersten Multimediadaten in einem Querformatmodus anzeigt, wobei die zweite Anzeigeeinheit eine Projektionseinheit ist. Die Schattenbereiche repräsentieren Bereiche, in welchen die ersten Multimediadaten nicht angezeigt werden und der weiße Bereich repräsentiert einen Bereich, in welchem die ersten Multimediadaten angezeigt werden. Unter der Voraussetzung, dass die Höhe des oberen Schattenbereichs H1 ist, die Höhe des unteren Schattenbereich H2 ist und die Höhe der gesamten Projektionsfläche H ist; der erste Begrenzungspunkt repräsentiert eine Grenze zwischen dem oberen Schattenbereich und dem weißen Bereich und Koordinaten des ersten Begrenzungspunktes sind (0, Y1), der zweite Begrenzungspunkt repräsentiert eine Grenze zwischen dem unteren Schattenbereich und dem weißen Bereich und Koordinaten des zweiten Begrenzungspunktes sind (0, Y2); kann die y-Koordinate des ersten Begrenzungspunktes bestimmt werden durch die folgende Formel (8) und die y-Koordinate des zweiten Begrenzungspunktes kann bestimmt werden durch die folgende Formel (9): Y1 = N × H1/H (8) Y2 = N × (H – H2)/H (9) wobei, ähnlich zu den Bedingungen im Hochformatmodus, die Beziehung zwischen H und H1 und zwischen H und H2 durch die folgende Formel (10) gewonnen werden können: H1 = H2 = {(P × N × H)/(Q × M) – H}/2 (10)
Durch Einsetzen von Formel (10) in Formel (8) und Formel (9), werden die y-Koordinate des ersten Begrenzungspunktes und die y-Koordinate des zweiten Begrenzungspunktes im Querformatmodus gewonnen, wie in Formel (11) und Formel (12) gezeigt: Y1 = N × {(P × N)/(Q × M) – 1}/2 (11) Y2 = N × [1 – {(P × N)/(Q × M) – 1}]/2 (12)
Auf diese Weise werden der erste Begrenzungspunkt und der zweite Begrenzungspunkt basierend auf dem ersten Parameter und dem zweiten Parameter bestimmt und die Anzeigefläche der zweiten Anzeigeeinheit, auf welcher die ersten Multimediadaten angezeigt werden, wird weiter bestimmt.
Im Schritt 305 wird beurteilt, ob die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt liegen basierend auf den ersten Koordinaten der ersten Operation, um ein erstes Beurteilungsergebnis zu gewinnen.
Unter der Voraussetzung, dass die ersten Koordinaten der ersten Operation (x₁, y₁) sind, kann der Beurteilungsprozess, ob die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt liegen, wie folgt sein.
Falls die ersten Multimediadaten auf der zweiten Anzeigeeinheit in einem Hochformatmodus angezeigt werden, wird beurteilt, ob die nachfolgende Formel (13) erfüllt ist. X1 ≤ x₁ ≤ X2 (13)
Falls Formel (13) erfüllt ist, liegen die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt.
Falls die ersten Multimediadaten auf der zweiten Anzeigeeinheit in einem Querformatmodus angezeigt werden, wird beurteilt, ob die Formel (14) erfüllt ist. Y1 ≤ y₁ ≤ Y2 (14)
Falls Formel (14) erfüllt ist, liegen die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt.
In Schritt 306 wird, falls das erste Beurteilungsergebnis indiziert, dass die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt liegen, ein zweiter Transformationsparameter bestimmt basierend auf dem ersten Parameter, dem zweiten Parameter, den Koordinaten des ersten Begrenzungspunktes und den Koordinaten des zweiten Begrenzungspunktes.
Falls die ersten Multimediadaten auf der zweiten Anzeigeeinheit in einem Hochformatmodus angezeigt werden, ist der zweite Transformationsparameter –X1 × P/M, Q/N.
Falls die ersten Multimediadaten auf der zweiten Anzeigeeinheit in einem Querformatmodus angezeigt werden, ist der zweite Transformationsparameter P/M, –Y1 × Q/N.
In Schritt 307 werden die ersten Koordinaten der ersten Operation mittels des zweiten Transformationsparameters transformiert, um zweite Koordinaten der ersten Operation zu gewinnen.
Unter der Voraussetzung, dass die zweiten Koordinaten der ersten Operation (x₂, y₂) sind, kann der Prozess der Transformation der ersten Koordinaten der ersten Operation mittels des zweiten Transformationsparameters wie folgt sein.
Falls die ersten Multimediadaten auf der zweiten Anzeigeeinheit in einem Hochformatmodus angezeigt werden, werden die zweiten Koordinaten der ersten Operation durch die Formel (15) gewonnen. x₂ = (x₁ – X1) × P/M y₂ = y₁ × Q/N (15)
Falls die ersten Multimediadaten auf der zweiten Anzeigeeinheit in einem Querformatmodus angezeigt werden, werden die zweiten Koordinaten der ersten Operation durch Formel (16) gewonnen. x₂ = x₁ × P/M y₂ = (y₁ – Y1) × Q (16)
In Schritt 308 wird die erste Operation basierend auf den zweiten Koordinaten der ersten Operation ausgeführt.
Da die zweiten Koordinaten der ersten Operation Koordinaten in der ersten Anzeigeeinheit sind, kann das elektronische Gerät die erste Operation verarbeiten und darauf reagieren.
4 ist ein schematisches Flussdiagramm eines Verfahrens zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung. Das Verfahren zur Informationsverarbeitung in dem Ausführungsbeispiel wird für ein elektronisches Gerät verwendet. Das elektronische Gerät ist dazu ausgestaltet, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit und einer zweiten Anzeigeeinheit anzeigen zu lassen und die erste Anzeigeeinheit ist in dem elektronischen Gerät angeordnet. In einem bevorzugten Ausführungsbeispiel der Offenbarung umfasst das Verfahren zur Informationsverarbeitung die Schritte 401 bis 407.
In Schritt 401 werden ein erster Parameter der ersten Anzeigeeinheit und ein zweiter Parameter der zweiten Anzeigeeinheit erfasst.
In dem Ausführungsbeispiel ist die erste Anzeigeeinheit eine Anzeigevorrichtung in dem elektronischen Gerät, wie zum Beispiel ein berührungsempfindlicher Anzeigebildschirm und die erste Anzeigeeinheit ist ein Host-Bildschirm. Der erste Parameter der ersten Anzeigeeinheit ist eine Bildschirmauflösung der ersten Anzeigeeinheit. Die zweite Anzeigeeinheit ist ein Erweiterungsbildschirm. Die zweite Anzeigeeinheit kann eine Projektionseinheit sein, welche eine Microcast-Technologie verwendet, oder kann eine Anzeigevorrichtung sein, welche eine WiFi-Anzeigetechnologie verwendet. Der zweite Parameter der zweiten Anzeigeeinheit ist eine Bildschirmauflösung der zweiten Anzeigeeinheit.
Da die erste Anzeigeeinheit in dem elektronischen Gerät angeordnet ist, kann der erste Parameter der ersten Anzeigeeinheit direkt erfasst werden. Falls die zweite Anzeigeeinheit eine Projektionseinheit ist, welche die Microcast-Technologie verwendet, ist die zweite Anzeigeeinheit auch in dem elektronischen Gerät angeordnet und daher kann der zweite Parameter der zweiten Anzeigeeinheit auch direkt erfasst werden. Falls die zweite Anzeigeeinheit eine Anzeigevorrichtung ist, welche die WiFi-Anzeigetechnologie verwendet, ist die zweite Anzeigeeinheit unabhängig von dem elektronischen Gerät und die zweite Anzeigeeinheit interagiert mit dem elektronischen Gerät über ein WiFi-Netzwerk. Daher kann das elektronische Gerät den zweiten Parameter der zweiten Anzeigeeinheit über das WiFi-Netzwerk erfassen.
Die ersten Multimediadaten in dem Ausführungsbeispiel sind Multimediadaten, welche auf einem Desktop des elektronischen Geräts angezeigt werden. Zum Beispiel sind die ersten Multimediadaten Videodaten, falls ein Video auf dem Desktop im Vollbildmodus wiedergegeben wird.
In Schritt 402 wird eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit erfasst.
Ein Benutzer kann eine Bedienoperation auf den ersten Multimediadaten für die zweite Anzeigeeinheit ausführen, was als die erste Operation bezeichnet wird. Zum Beispiel kann der Benutzer, falls die zweite Anzeigeeinheit ein berührungsempfindlicher Anzeigebildschirm ist, die zweite Anzeigeeinheit berühren, um mit den ersten Multimediadaten zu interagieren.
Um es dem elektronischen Gerät in dem Ausführungsbeispiel zu ermöglichen die erste Operation zu verarbeiten und darauf zu reagieren, muss das elektronische Gerät die erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit erfassen. Falls die zweite Anzeigeeinheit eine Projektionseinheit ist, welche die Microcast-Technologie verwendet, kann das elektronische Gerät die erste Operation durch Tiefenerkennung erfassen. Falls die zweite Anzeigeeinheit eine Anzeigevorrichtung ist, welche die WiFi-Anzeigetechnologie verwendet, ist die zweite Anzeigeeinheit unabhängig von dem elektronischen Gerät und die zweite Anzeigeeinheit interagiert mit dem elektronischen Gerät über ein WiFi-Netzwerk. Daher kann das elektronische Gerät die erste Operation über das WiFi-Netzwerk erfassen.
Die erste Operation kann, zum Beispiel eine Berührungsoperation, eine Tastenoperation, eine Gestenoperation oder eine Sprachoperation sein.
In Schritt 403 wird die erste Operation analysiert, um erste Koordinaten der ersten Operation zu gewinnen.
Die erste Operation korrespondiert hierbei mit Koordinateninformation und die Koordinateninformation ist eine Positionsinformation der ersten Operation in der zweiten Anzeigeeinheit. Daher sind die ersten Koordinaten, Koordinaten der ersten Operation in der zweiten Anzeigeeinheit.
In Schritt 404 werden die ersten Koordinaten der ersten Operation basierend auf dem ersten Parameter und dem zweiten Parameter transformiert, um zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit zu gewinnen.
Die ersten Koordinaten der ersten Operation sind hierbei zweidimensionale Koordinaten, zum Beispiel eine x1-Koordinate und eine y1-Koordinate. Die x1-Koordinate und die y1-Koordinate werden jeweils transformiert, basierend auf dem ersten Parameter und dem zweiten Parameter, um eine x2-Koordinate und eine y2-Koordinate zu gewinnen. Die x2-Koordinate und y2-Koordinate sind die zweiten Koordinaten der ersten Operation. Die zweiten Koordinaten sind Koordinaten der ersten Operation in der ersten Anzeigeeinheit.
In Schritt 405 wird, falls die erste Anzeigeeinheit um einen Winkel in einer horizontalen Richtung rotiert ist, basierend auf dem Rotationswinkel ein dritter Transformationsparameter bestimmt.
In einer Ausführung kann die erste Anzeigeeinheit in der horizontalen Richtung um 90 Grad, 180 Grad oder 270 Grad rotiert werden. Falls die erste Anzeigeeinheit nicht rotiert ist, ist der dritte Transformationsparameter ( 1 / 0 0 / 1). Falls die erste Anzeigeeinheit um 90 Grad rotiert ist, ist der dritte Transformationsparameter ( 0 / 1 1 / 0). Falls die erste Anzeigeeinheit um 180 Grad rotiert ist, ist der dritte Transformationsparameter ( P / Q). Falls die erste Anzeigeeinheit um 270 Grad rotiert ist, ist der dritte Anzeigeparameter ( Q / P).
In Schritt 406 werden die zweiten Koordinaten der ersten Operation mittels des dritten Transformationsparameters transformiert.
Angenommen, die transformierten zweiten Koordinaten sind (x₂₀, y₂₀). Falls die erste Anzeigeeinheit nicht rotiert ist, kann der Transformationsprozess der zweiten Koordinaten der ersten Operation mittels des dritten Transformationsparameters durch die folgende Formel (17) realisiert sein.
Falls die erste Anzeigeeinheit um 90 Grad rotiert ist, kann der Transformationsprozess der zweiten Koordinaten der ersten Operation mittels des dritten Transformationsparameters durch die folgende Formel (18) realisiert sein.
Falls die erste Anzeigeeinheit um 180 Grad rotiert ist, kann der Transformationsprozess der zweiten Koordinaten der ersten Operation mittels des dritten Transformationsparameters durch die folgende Formel (19) realisiert sein.
Falls die erste Anzeigeeinheit um 270 Grad rotiert ist, kann der Transformationsprozess der zweiten Koordinaten der ersten Operation mittels des dritten Transformationsparameters durch die folgende Formel (20) realisiert sein.
In Schritt 407 wird die erste Operation basierend auf den transformierten zweiten Koordinaten ausgeführt.
Da die transformierten zweiten Koordinaten der ersten Operation Koordinaten in der ersten Anzeigeeinheit sind, kann das elektronische Gerät die erste Operation verarbeiten und darauf reagieren.
5 ist ein schematisches Flussdiagramm eines Verfahrens zur Informationsverarbeitung gemäß einem Ausführungsbeispiel der Offenbarung. Das Verfahren zur Informationsverarbeitung in dem Ausführungsbeispiel wird für ein elektronisches Gerät verwendet. Das elektronische Gerät ist dazu ausgestaltet, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit und einer zweiten Anzeigeeinheit anzeigen zu lassen und die erste Anzeigeeinheit ist in dem elektronischen Gerät angeordnet. Das elektronische Gerät projiziert die ersten Multimediadaten durch die zweite Anzeigeeinheit und das elektronische Gerät umfasst ferner eine Bilderfassungseinheit. In einem bevorzugten Ausführungsbeispiel der Offenbarung umfasst das Verfahren zur Informationsverarbeitung die Schritte 501 bis 507.
In Schritt 501 werden ein erster Parameter der ersten Anzeigeeinheit und ein zweiter Parameter der zweiten Anzeigeeinheit erfasst.
In dem Ausführungsbeispiel ist die erste Anzeigeeinheit eine Anzeigevorrichtung in dem elektronischen Gerät, wie zum Beispiel ein berührungsempfindlicher Anzeigebildschirm und die erste Anzeigeeinheit ist ein Host-Bildschirm. Der erste Parameter der ersten Anzeigeeinheit ist eine Bildschirmauflösung der ersten Anzeigeeinheit. Die zweite Anzeigeeinheit ist ein Erweiterungsbildschirm. Die zweite Anzeigeeinheit kann eine Projektionseinheit sein, welche eine Microcast-Technologie verwendet, oder kann eine Anzeigevorrichtung sein, welche eine WiFi-Anzeigetechnologie verwendet. Der zweite Parameter der zweiten Anzeigeeinheit ist eine Bildschirmauflösung der zweiten Anzeigeeinheit.
Da die erste Anzeigeeinheit in dem elektronischen Gerät angeordnet ist, kann der erste Parameter der ersten Anzeigeeinheit direkt erfasst werden. Falls die zweite Anzeigeeinheit eine Projektionseinheit ist, welche die Microcast-Technologie verwendet, ist die zweite Anzeigeeinheit auch in dem elektronischen Gerät angeordnet und daher kann der zweite Parameter der zweiten Anzeigeeinheit auch direkt erfasst werden. Falls die zweite Anzeigeeinheit eine Anzeigevorrichtung ist, welche die WiFi-Anzeigetechnologie verwendet, ist die zweite Anzeigeeinheit unabhängig von dem elektronischen Gerät und die zweite Anzeigeeinheit interagiert mit dem elektronischen Gerät über ein WiFi-Netzwerk. Daher kann das elektronische Gerät den zweiten Parameter der zweiten Anzeigeeinheit über das WiFi-Netzwerk erfassen.
Die ersten Multimediadaten in dem Ausführungsbeispiel sind Multimediadaten, welche auf einem Desktop des elektronischen Geräts angezeigt werden. Zum Beispiel sind die ersten Multimediadaten Videodaten, falls ein Video auf dem Desktop im Vollbildmodus wiedergegeben wird.
In Schritt 502 wird erste Information und zweite Information eines Zielobjektes durch die Bilderfassungseinheit erfasst, wobei die erste Information zweidimensionale Flächeninformation des Zielobjektes ist, und die zweite Information eindimensionale Tiefeninformation des Zielobjektes ist.
Die Bilderfassungseinheit kann hierbei ein Tiefensensor sein. Der Nutzer kann eine Berührungsoperation (touch Operation) auf einer Anzeigefläche, welche durch die zweite Anzeigeeinheit projiziert wird, ausführen, und die Bildverarbeitungseinheit erfasst dreidimensionale Informationen der Hand des Nutzers, wobei die dreidimensionale Information zweidimensionale Flächeninformationen und eindimensionale Tiefeninformationen umfasst.
In Schritt 503 wird Information über eine Anzeigefläche der projizierten ersten Multimediadaten erfasst.
Die Information über die Anzeigefläche der projizierten ersten Multimediadaten kann berechnet werden basierend auf einem Brennweitenparameter der zweiten Anzeigeeinheit, einer Entfernung zwischen der zweiten Anzeigeeinheit und dem Projektionsbildschirm (projection screen) und anderen Parametern.
In Schritt 504 werden die erste Information, die zweite Information und die Information über die Anzeigefläche analysiert, um Positionskoordinaten des Zielobjektes in dem Anzeigebereich als erste Koordinaten zu gewinnen.
Nachdem die dreidimensionale Koordinateninformation des Zielobjektes bestimmt ist, ist es auch erforderlich, Koordinaten der dreidimensionalen Koordinaten in dem Anzeigebereich zu bestimmen.
In Schritt 505 wird die erste Operation analysiert, um erste Koordinaten der ersten Operation zu gewinnen.
Die erste Operation korrespondiert hierbei mit Koordinateninformation und die Koordinateninformation ist eine Positionsinformation der ersten Operation in der zweiten Anzeigeeinheit. Daher sind die ersten Koordinaten, Koordinaten der ersten Operation in der zweiten Anzeigeeinheit.
In Schritt 506 werden die ersten Koordinaten der ersten Operation basierend auf dem ersten Parameter und dem zweiten Parameter transformiert, um zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit zu gewinnen.
Die ersten Koordinaten der ersten Operation sind hierbei zweidimensionale Koordinaten, zum Beispiel eine x1-Koordinate und eine y1-Koordinate. Die x1-Koordinate und die y1-Koordinate werden jeweils transformiert, basierend auf dem ersten Parameter und dem zweiten Parameter, um eine x2-Koordinate und eine y2-Koordinate zu gewinnen. Die x2-Koordinate und y2-Koordinate sind die zweiten Koordinaten der ersten Operation. Die zweiten Koordinaten sind Koordinaten der ersten Operation in der ersten Anzeigeeinheit.
In Schritt 507 wird die erste Operation basierend auf den zweiten Koordinaten der ersten Operation ausgeführt.
Da die zweiten Koordinaten der ersten Operation Koordinaten in der ersten Anzeigeeinheit sind, kann das elektronische Gerät die erste Operation verarbeiten und darauf reagieren.
6 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes gemäß einem Ausführungsbeispiel der Offenbarung. Das elektronische Gerät in diesem Ausführungsbeispiel ist dazu ausgestaltet, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit 60 und einer zweiten Anzeigeeinheit 61 anzeigen zu lassen und die erste Anzeigeeinheit 60 ist in dem elektronischen Gerät angeordnet. Das elektronische Gerät umfasst eine erste Erfassungseinheit 62, eine zweite Erfassungseinheit 63, eine Analyseeinheit 64, eine erste Transformationseinheit 65 und eine erste Ausführungseinheit 66.
Die erste Erfassungseinheit 62 ist dazu ausgestaltet, einen ersten Parameter der ersten Anzeigeeinheit 60 und einen zweiten Parameter der zweiten Anzeigeeinheit 61 zu erfassen.
Die zweite Erfassungseinheit 63 ist dazu ausgestaltet, eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit 61 zu erfassen.
Die Analyseeinheit 64 ist dazu ausgestaltet, die erste Operation zu analysieren, um erste Koordinaten der ersten Operation zu gewinnen.
Die Transformationseinheit 65 ist dazu ausgestaltet, basierend auf dem ersten Parameter und dem zweiten Parameter, die ersten Koordinaten der ersten Operation in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit 60 zu transformieren.
Die erste Ausführungseinheit 66 ist dazu ausgestaltet, die erste Operation basierend auf den zweiten Koordinaten der ersten Operation auszuführen.
Es versteht sich für den Fachmann, dass durch die jeweilige Einheit realisierte Funktionen in dem in 6 gezeigten elektronischen Gerät mit Bezug auf das oben beschriebene Verfahren zur Informationsverarbeitung verstanden werden können.
7 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes gemäß einem Ausführungsbeispiel der Offenbarung. Das elektronische Gerät in diesem Ausführungsbeispiel ist dazu ausgestaltet, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit 60 und einer zweiten Anzeigeeinheit 61 anzeigen zu lassen und die erste Anzeigeeinheit 60 ist in dem elektronischen Gerät angeordnet. Das elektronische Gerät umfasst eine erste Erfassungseinheit 62, eine zweite Erfassungseinheit 63, eine Analyseeinheit 64, eine erste Transformationseinheit 65 und eine erste Ausführungseinheit 66.
Die erste Erfassungseinheit 62 ist dazu ausgestaltet, einen ersten Parameter der ersten Anzeigeeinheit 60 und einen zweiten Parameter der zweiten Anzeigeeinheit 61 zu erfassen.
Die zweite Erfassungseinheit 63 ist dazu ausgestaltet, eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit 61 zu erfassen.
Die Analyseeinheit 64 ist dazu ausgestaltet, die erste Operation zu analysieren, um erste Koordinaten der ersten Operation zu gewinnen.
Die Transformationseinheit 65 ist dazu ausgestaltet, basierend auf dem ersten Parameter und dem zweiten Parameter, die ersten Koordinaten der ersten Operation in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit 60 zu transformieren.
Die erste Ausführungseinheit 66 ist dazu ausgestaltet, die erste Operation basierend auf den zweiten Koordinaten der ersten Operation auszuführen.
In einer Ausführung umfasst die erste Transformationseinheit 65 eine erste Bestimmungsuntereinheit 651 und eine erste Transformationsuntereinheit 652.
Die erste Bestimmungsuntereinheit 651 ist dazu ausgestaltet, einen ersten Transformationsparameter basierend auf dem ersten Parameter und dem zweiten Parameter zu bestimmen.
Die erste Transformationsuntereinheit 652 ist dazu ausgestaltet, die ersten Koordinaten der ersten der ersten Operation mittels des ersten Transformationsparameters in zweite Koordinaten der ersten Operation zu transformieren.
Es versteht sich für den Fachmann, dass durch die jeweilige Einheit realisierte Funktionen in dem in 7 gezeigten elektronischen Gerät mit Bezug auf das oben beschriebene Verfahren zur Informationsverarbeitung verstanden werden können.
8 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes gemäß einem Ausführungsbeispiel der Offenbarung. Das elektronische Gerät in diesem Ausführungsbeispiel ist dazu ausgestaltet, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit 60 und einer zweiten Anzeigeeinheit 61 anzeigen zu lassen und die erste Anzeigeeinheit 60 ist in dem elektronischen Gerät angeordnet. Das elektronische Gerät umfasst eine erste Erfassungseinheit 62, eine zweite Erfassungseinheit 63, eine Analyseeinheit 64, eine erste Transformationseinheit 65 und eine erste Ausführungseinheit 66.
Die erste Erfassungseinheit 62 ist dazu ausgestaltet, einen ersten Parameter der ersten Anzeigeeinheit 60 und einen zweiten Parameter der zweiten Anzeigeeinheit 61 zu erfassen.
Die zweite Erfassungseinheit 63 ist dazu ausgestaltet, eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit 61 zu erfassen.
Die Analyseeinheit 64 ist dazu ausgestaltet, die erste Operation zu analysieren, um erste Koordinaten der ersten Operation zu gewinnen.
Die Transformationseinheit 65 ist dazu ausgestaltet, basierend auf dem ersten Parameter und dem zweiten Parameter, die ersten Koordinaten der ersten Operation in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit 60 zu transformieren.
Die erste Ausführungseinheit 66 ist dazu ausgestaltet, die erste Operation basierend auf den zweiten Koordinaten der ersten Operation auszuführen.
In einer Ausführung umfasst die erste Transformationseinheit eine zweite Bestimmungsuntereinheit 653, eine Beurteilungsuntereinheit 654, eine dritte Bestimmungsuntereinheit 655 und eine zweite Transformationsuntereinheit 656.
Die zweite Bestimmungsuntereinheit 653 ist dazu ausgestaltet, eine Anzeigefläche der zweiten Anzeigeeinheit 61 zu bestimmen, auf welcher die ersten Multimediadaten angezeigt werden, basierend auf dem ersten Parameter und dem zweiten Parameter, wobei die Anzeigefläche durch einen ersten Begrenzungspunkt und einen zweiten Begrenzungspunkt demarkiert ist.
Die Beurteilungsuntereinheit 654 ist dazu ausgestaltet, zu beurteilen, ob die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt liegen basierend auf den ersten Koordinaten der ersten Operation, um ein erstes Beurteilungsergebnis zu gewinnen.
Die dritte Beurteilungsuntereinheit 655 ist dazu ausgestaltet, einen zweiten Transformationsparameter zu bestimmen, basierend auf dem ersten Parameter, dem zweiten Parameter, Koordinaten des ersten Begrenzungspunktes und Koordinaten des zweiten Begrenzungspunktes, falls das erste Beurteilungsergebnis indiziert, dass die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt liegen.
Die zweite Transformationsuntereinheit 656 ist dazu ausgestaltet, die ersten Koordinaten der ersten Operation mittels des zweiten Transformationsparameters in zweite Koordinaten der ersten Operation zu transformieren.
Es versteht sich für den Fachmann, dass durch die jeweilige Einheit realisierte Funktionen in dem in 8 gezeigten elektronischen Gerät mit Bezug auf das oben beschriebene Verfahren zur Informationsverarbeitung verstanden werden können.
9 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes gemäß einem Ausführungsbeispiel der Offenbarung. Das elektronische Gerät in diesem Ausführungsbeispiel ist dazu ausgestaltet, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit 60 und einer zweiten Anzeigeeinheit 61 anzeigen zu lassen und die erste Anzeigeeinheit 60 ist in dem elektronischen Gerät angeordnet. Das elektronische Gerät umfasst eine erste Erfassungseinheit 62, eine zweite Erfassungseinheit 63, eine Analyseeinheit 64, eine erste Transformationseinheit 65 und eine erste Ausführungseinheit 66.
Die erste Erfassungseinheit 62 ist dazu ausgestaltet, einen ersten Parameter der ersten Anzeigeeinheit 60 und einen zweiten Parameter der zweiten Anzeigeeinheit 61 zu erfassen.
Die zweite Erfassungseinheit 63 ist dazu ausgestaltet, eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit 61 zu erfassen.
Die Analyseeinheit 64 ist dazu ausgestaltet, die erste Operation zu analysieren, um erste Koordinaten der ersten Operation zu gewinnen.
Die Transformationseinheit 65 ist dazu ausgestaltet, basierend auf dem ersten Parameter und dem zweiten Parameter, die ersten Koordinaten der ersten Operation in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit 60 zu transformieren.
Die erste Ausführungseinheit 66 ist dazu ausgestaltet, die erste Operation basierend auf den zweiten Koordinaten der ersten Operation auszuführen.
In einer Ausführung umfasst das elektronische Gerät ferner eine Bestimmungseinheit 67 und eine zweite Transformationseinheit 68;
die Bestimmungseinheit 67 ist dazu ausgestaltet, einen dritten Transformationsparameter basierend auf einem Rotationswinkel zu bestimmen;
die zweite Transformationseinheit 68 ist dazu ausgestaltet, die zweiten Koordinaten der ersten Operation mittels des dritten Transformationsparameters zu transformieren; und
die erste Ausführungseinheit 66 ist dazu ausgestaltet, die erste Operation basierend auf den transformierten zweiten Koordinaten auszuführen.
Es versteht sich für den Fachmann, dass durch die jeweilige Einheit realisierte Funktionen in dem in 9 gezeigten elektronischen Gerät mit Bezug auf das oben beschriebene Verfahren zur Informationsverarbeitung verstanden werden können.
10 ist ein schematisches Strukturdiagramm eines elektronischen Gerätes gemäß einem Ausführungsbeispiel der Offenbarung. Das elektronische Gerät in diesem Ausführungsbeispiel ist dazu ausgestaltet, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit 60 und einer zweiten Anzeigeeinheit 61 anzeigen zu lassen und die erste Anzeigeeinheit 60 ist in dem elektronischen Gerät angeordnet. Das elektronische Gerät umfasst eine erste Erfassungseinheit 62, eine zweite Erfassungseinheit 63, eine Analyseeinheit 64, eine erste Transformationseinheit 65 und eine erste Ausführungseinheit 66.
Die erste Erfassungseinheit 62 ist dazu ausgestaltet, einen ersten Parameter der ersten Anzeigeeinheit 60 und einen zweiten Parameter der zweiten Anzeigeeinheit 61 zu erfassen.
Die zweite Erfassungseinheit 63 ist dazu ausgestaltet, eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit 61 zu erfassen.
Die Analyseeinheit 64 ist dazu ausgestaltet, die erste Operation zu analysieren, um erste Koordinaten der ersten Operation zu gewinnen.
Die Transformationseinheit 65 ist dazu ausgestaltet, basierend auf dem ersten Parameter und dem zweiten Parameter, die ersten Koordinaten der ersten Operation in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit 60 zu transformieren.
Die erste Ausführungseinheit 66 ist dazu ausgestaltet, die erste Operation basierend auf den zweiten Koordinaten der ersten Operation auszuführen.
In einer Ausführung umfasst das elektronische Gerät ferner eine Bilderfassungseinheit 69,
die Bilderfassungseinheit 69 ist dazu ausgestaltet erste Informationen und zweite Informationen eines Zielobjektes zu erfassen, wobei die erste Information zweidimensionale Flächeninformation des Zielobjektes ist, und die zweite Information eindimensionale Tiefeninformation des Zielobjektes ist;
die zweite Erfassungseinheit 63 ist ferner dazu ausgestaltet, Informationen über eine Anzeigefläche der projizierten ersten Multimediadaten zu erfassen; und
die Analyseeinheit 64 ist ferner dazu ausgestaltet, die erste Information, die zweite Information und die Information über die Anzeigefläche zu analysieren, um Positionskoordinaten des Zielobjektes in der Anzeigefläche zu gewinnen.
Es versteht sich für den Fachmann, dass durch die jeweilige Einheit realisierte Funktionen in dem in 10 gezeigten elektronischen Gerät mit Bezug auf das oben beschriebene Verfahren zur Informationsverarbeitung verstanden werden können.
Es wird ferner ein Verfahren zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung bereitgestellt. Das Verfahren zur Bildkalibrierung wird angewendet auf ein elektronisches Gerät, wobei das elektronische Gerät einen Mikroprojektor und eine Tiefenkamera aufweist und eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera fest ist. Das Verfahren zur Bildkalibrierung umfasst:
Erfassen eines durch die Tiefenkamera auf einer Projektionsfläche gebildeten Tiefenbildes, wobei die Projektionsfläche eine Fläche ist, welche die Tiefenkamera beleuchtet und auf welche der Mikroprojektor einen Lichtstrahl projiziert; und
Gewinn einer Relativposition eines Projektionsbereiches in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera, wobei der Projektionsbereich ein Bereich ist, welcher durch den Mikroprojektor auf der Projektionsfläche gebildet wird.
Es kann aus der obigen Lösung des Verfahrens zur Bildkalibrierung gesehen werden, dass die Relativposition des Projektionsbereichs in dem Tiefenbild automatisch kalibriert werden kann. Sogar falls der Mikroprojektor oder die Projektionsfläche verändert wird, kann die Relativposition des Projektionsbereichs in dem Tiefenbild, basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera gewonnen werden, ohne eine Benutzeroperation zum Rekalibrieren der Relativposition. Somit wird die Kalibrierung beschleunigt und die Effizienz gesteigert.
Die technischen Lösungen des Verfahrens zur Bildkalibrierung werden nachfolgend klar und vollständig in Verbindung mit den Figuren in den Ausführungsbeispielen der Erfindung beschrieben. Offensichtlich werden die Ausführungsbeispiele nur für ein paar, aber nicht für alle Ausführungsformen der Erfindung beschrieben. All die anderen Ausführungsformen, welche durch den Fachmann ohne kreative Leistung auf Basis der Ausführungsbeispiele der Erfindung erlangt werden, fallen in den Schutzbereich der vorliegenden Erfindung.
Es wird Bezug genommen auf 13, welche ein Flussdiagramm eines Verfahrens zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung ist. Das Verfahren zur Bildkalibrierung wird auf ein elektronisches Gerät angewandt, wobei das elektronische Gerät einen Mikroprojektor und eine Tiefenkamera umfasst und eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera fest ist.
Bezugnehmend auf 13 umfasst das Verfahren zur Bildkalibrierung die Schritte 1301 bis 1302.
In Schritt 1301 wird ein durch die Tiefenkamera auf einer Projektionsfläche gebildetes Tiefenbild erfasst, wobei die Projektionsfläche eine Fläche ist, welche die Tiefenkamera beleuchtet und auf welche der Mikroprojektor einen Lichtstrahl projiziert.
Das Tiefenbild ist ein Bild mit dreidimensionaler Featureinformation, d. h. Tiefeninformation von einem Objekt. Die Tiefeninformation bezieht sich auf eine Entfernung zwischen der Tiefenkamera und einem gewissen Punkt in einer Szenerie, welche dem Tiefenbild entspricht.
In dem Ausführungsbeispiel werden die Koordinaten von jedem Pixelpunkt in dem Tiefenbild durch Pixelkoordinaten repräsentiert. Zum Beispiel, falls das Tiefenbild ein rechteckförmiges Tiefenbild von 640 × 480 ist, sind Pixelkoordinaten eines zentralen Punktes des Tiefenbildes (320, 240), wobei 640 eine laterale Auflösung des Tiefenbildes ist und 480 eine vertikale Auflösung des Tiefenbildes ist.
In Schritt 1302 wird eine Relativposition eines Projektionsbereichs in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera gewonnen, wobei der Projektionsbereich ein Bereich ist, welcher durch den Mikroprojektor auf der Projektionsfläche gebildet wird.
Es ist verständlich, dass die Relativposition des Projektionsbereichs in dem Tiefenbild durch Pixelkoordinaten von vier Spitzen (Apexes) des Projektionsbereichs in dem Tiefenbild repräsentiert werden kann.
In dem Ausführungsbeispiel kann der Prozess des Gewinnens der Relativposition des Projektionsbereichs in dem Tiefenbild die Schritte 1421 bis 1423 umfassen, wie in 14 gezeigt.
In Schritt 1421 werden Pixelkoordinaten eines vertikalen Punktes eines Divergenzpunktes der Tiefenkamera auf der Projektionsfläche erfasst, wobei der Divergenzpunkt der Tiefenkamera eine Spitze eines Konus ist, welcher im Raum durch einen von der Tiefenkamera emittierten Lichtstrahl gebildet wird.
Parameter der Tiefenkamera wie zum Beispiel der Divergenzpunkt, der zentrale Punkt und der vertikale Punkt sind nachfolgend erklärt mit Bezug auf ein Diagramm eines von der Tiefenkamera emittierten Lichtstrahls, wie in 15 gezeigt. In 15 sind Punkte B, C, D und E Punkte, welche durch einen von einem Punkt A zu einer Projektionsfläche emittierten Lichtstrahl gebildet werden. Die durch die fünf Punkte A, B, C, D und E gebildete Graphik ist ein Konus, welcher im Raum durch einen von der Tiefenkamera emittierten Lichtstrahl gebildet wird und daher ist Punkt A der Divergenzpunkt der Tiefenkamera. Ein Schnittpunkt zwischen der Projektionsfläche und einer vertikalen Linie von Punkt A zu der Projektionsfläche ist der vertikale Punkt des Divergenzpunktes auf der Projektionsfläche.
Der durch die Punkte B, C, D und E gebildete Bereich ist der Bereich, welcher von der Tiefenkamera auf der Projektionsfläche beleuchtet wird und das von der Tiefenkamera erfasste Tiefenbild ist ein Tiefenbild des Bereiches. Der von der Tiefenkamera beleuchtete Bereich ist ein rechteckförmiger Bereich und ein zentraler Punkt F des Rechtecks ist der zentrale Punkt des Tiefenbildes.
Koordinaten von jedem Pixelpunkt in dem Tiefenbild werden durch Pixelkoordinaten repräsentiert. Falls das Tiefenbild ein rechteckförmiges Tiefenbild ist, können Pixelkoordinaten des zentralen Punktes des Tiefenbildes erfasst werden. Zum Beispiel, falls das Tiefenbild ein rechteckförmiges Tiefenbild von 640 × 480 ist, sind Pixelkoordinaten des zentralen Punktes des Tiefenbildes (320, 240).
Das Tiefenbild ist ein Bild mit Tiefeninformation. Die Tiefeninformation bezieht sich auf eine Entfernung zwischen der Tiefenkamera und einem gewissen Punkt in einer Szenerie, welche dem Tiefenbild entspricht. Insbesondere ist die Tiefeninformation eine Entfernung von jedem Punkt in der Projektionsfläche zu dem Divergenzpunkt, daher kann die Länge der Strecke AG und die Länge der Strecke AF bekannt sein. Die Länge der Strecke GF kann über den Satz von Pythagoras berechnet werden, da die Strecke AG vertikal zur Projektionsfläche liegt, das heißt, die Entfernung zwischen dem zentralen Punkt des Tiefenbildes und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche wird gewonnen.
Falls die Linie GF parallel zu Linie CE ist, haben der vertikale Punkt G und der zentrale Punkt F dieselbe vertikale Pixelkoordinate und horizontale Pixelkoordinaten des vertikalen Punktes G können basierend auf einer Beziehung zwischen Auflösung und Entfernung gewonnen werden, somit werden die Pixelkoordinaten des vertikalen Punktes G gewonnen.
Falls die Linie GF nicht parallel zu Linie CE ist, haben der vertikale Punkt G und der zentrale Punkt F unterschiedliche horizontale Pixelkoordinaten und unterschiedliche vertikale Pixelkoordinaten. In diesem Fall ist es notwendig, ferner eine Relativposition zwischen dem vertikalen Punkt G und dem zentralen Punkt F zu berechnen, das heißt, eine Entfernung von der horizontalen Pixelkoordinate des vertikalen Punktes G zu der horizontalen Pixelkoordinate des zentralen Punktes F und eine Entfernung von der vertikalen Pixelkoordinate des vertikalen Punktes G zu der vertikalen Pixelkoordinate des zentralen Punktes F, und Details sind mit Bezug auf 16 beschrieben.
Es wird eine Linie parallel zur Linie CE vom zentralen Punkt F gezogen, es wird eine Linie parallel zur Linie CB vom vertikalen Punkt G gezogen und ein Schnittpunkt zwischen den zwei Linien wird als H gekennzeichnet. Es kann dem Fachmann bekannt sein, dass die Länge der Strecke GH die Entfernung von der vertikalen Pixelkoordinate des vertikalen Punktes G zu der vertikalen Pixelkoordinate des zentralen Punktes F ist, die Länge der Strecke HF die Entfernung von der horizontalen Pixelkoordinate des vertikalen Punktes G zu der horizontalen Pixelkoordinate des zentralen Punktes F ist, und Strecke GH senkrecht zur Strecke HF ist.
Die Länge der Strecke GH und die Länge der Strecke HF kann wie folgt erlangt werden. Die Länge der Strecke AG und die Länge der Strecke AF können zunächst aus dem Tiefenbild erlangt werden, und die Länge der Strecke GF in dem rechtwinkligen Dreieck AGF wird durch den Satz von Pythagoras gewonnen. Die Länge der Strecke AH wird dann aus dem Tiefenbild erfasst, und die Länge der Strecke GH in dem rechtwinkligen Dreieck AGH wird durch den Satz von Pythagoras gewonnen. Die Länge der Strecke HF in dem rechtwinkligen Dreieck GHF wird ferner durch den Satz von Pythagoras gewonnen.
Nach der Länge der Strecke HF und der Länge der Strecke GH, das heißt, nach Gewinnen der Entfernung von der horizontalen Pixelkoordinate des vertikalen Punktes G zu der horizontalen Pixelkoordinate des zentralen Punktes F und der Entfernung von der vertikalen Pixelkoordinate des vertikalen Punktes G zu der vertikalen Pixelkoordinate des zentralen Punktes F, werden Pixelkoordinaten des vertikalen Punktes in Verbindung mit einer Beziehung zwischen Auflösung und Entfernung gewonnen.
Ein Prozess zum Erlangen der Beziehung zwischen Auflösung und Entfernung kann wie folgt sein. Die Länge der Strecke AC und die Länge der Strecke AE können aus dem Tiefenbild gewonnen werden, der Wert des Vertex-Winkels CAE von Dreieck ACE ist ein sichtbarer Winkel der Tiefenkamera und die Länge der Strecke CE kann durch ein Dreiecks-Theorem gewonnen werden. Die Länge der Strecke CB kann entsprechend gewonnen werden. Ferner sind laterale Auflösung und vertikale Auflösung des Tiefenbildes bekannt und die Beziehung zwischen Auflösung und Entfernung kann gewonnen werden.
Zum Beispiel, falls das Tiefenbild ein Tiefenbild von 640 × 480 ist, ist eine laterale Auflösung des Tiefenbildes 640, eine vertikale Auflösung des Tiefenbildes ist 480, die Länge einer Strecke CE ist 20 cm und die Länge einer Strecke CB ist 15 cm, die Beziehung zwischen Auflösung und Entfernung ist, dass jeder Zentimeter in horizontaler Entfernung 32 lateraler Auflösung indiziert und jeder Zentimeter in vertikaler Entfernung 32 vertikaler Auflösung indiziert.
In dem Ausführungsbeispiel kann der Prozess zum Erfassen der Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche auch wie folgt sein.
Ein Winkelwert eines Winkels zwischen einer Normalen der Projektionsfläche und einer Linie, welche den zentralen Punkt des Tiefenbildes und den Divergenzpunkt der Kamera verbindet, wird gewonnen und dann die Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt gewonnen, basierend auf Tiefeninformation des zentralen Punktes des Tiefenbildes und dem Winkelwert in Kombination mit dem Kosinus-Satz. Die Normale der Projektionsfläche wird gewonnen durch Anpassung einer Ebenengleichung (plane equation fitting). Ein Prozess zur Gewinnung der Normalen der Projektionsfläche durch Anpassung einer Ebenengleichung, kann sich auf den existierenden Anpassungsprozess für Ebenengleichungen beziehen, welcher in dem Ausführungsbeispiel nicht beschrieben ist.
Wie in 17 gezeigt, ist die Normale der Projektionsfläche parallel zur Linie AG, daher ist der Wert von Winkel GAF gleich dem Winkelwert des Winkels zwischen der Normalen I der Projektionsfläche und der Linie, welche den zentralen Punkt des Tiefenbildes und den Divergenzpunkt der Tiefenkamera verbindet, und daher wird, nachdem der Wert des Winkels GAF gewonnen ist, die Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt durch das Theorem basierend auf dem Wert von Winkel GAF in Kombination mit der Tiefeninformation des zentralen Punktes des Tiefenbildes gewonnen.
In Schritt 1422 werden Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche gewonnen, basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera und den Pixelkoordinaten des vertikalen Punktes, wobei der Divergenzpunkt des Mikroprojektors eine Spitze eines Konus ist, welcher im Raum durch einen von dem Mikroprojektor emittierten Lichtstrahl gebildet wird.
Es ist verständlich, dass die Relativposition zwischen dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche und dem vertikalen Punkt des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera ist. Nachdem die Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche gewonnen sind, können die Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche basierend auf der Relativposition gewonnen werden.
Zum Beispiel ist dx eine Entfernung entlang der horizontalen X-Achse zwischen der Tiefenkamera und dem Mikroprojektor und dy ist eine Entfernung entlang der Y-Achse zwischen der Tiefenkamera und dem Mikroprojektor. Wenn die Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche (x, y) sind, sind die Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche (laterale Auflösung entsprechend zu x + dx, vertikale Auflösung entsprechend zu y + dy).
In Schritt 1423 werden Pixelkoordinaten von vier Spitzen des Projektionsbereichs gewonnen, basierend auf den Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche in Kombination mit einer Beziehung zwischen Auflösung und Entfernung, um die Relativposition des Projektionsbereichs im Tiefenbild zu kalibrieren.
Ein Prozess zum Erfassen der Pixelkoordinaten von vier Spitzen des Projektionsbereichs ist unten in Verbindung mit 18 im Detail beschrieben. In 18 ist Punkt O der Divergenzpunkt des Mikroprojektors, Punkt P ist der vertikale Punkt des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche und Punkte Q, M, N und Z sind vier Spitzen des Projektionsbereichs. In dem Ausführungsbeispiel ist der Prozess zum Erfassen der Pixelkoordinaten der Spitzen erklärt, indem Punkt Q als Beispiel genommen wird. Die Details sind wie folgt.
Vertikale Linien werden jeweils von Punkt P zu Linie QM und Linie QN gezogen, wobei die Schnittpunkte I und J sind und die Länge der Strecke OI, die Länge der Strecke OP und die Länge der Strecke OJ können aus dem Tiefenbild gewonnen werden, dann können die Länge der Strecke PI und die Länge der Strecke PJ basierend auf dem Satz von Pythagoras gewonnen werden.
Nachdem Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche gewonnen sind, werden Pixelkoordinaten von Q in Kombination mit der Beziehung zwischen Auflösung und Entfernung gewonnen. Entsprechend können sich Prozesse zum Erfassen von Pixelkoordinaten von Punkten M, N und Z auf den Prozess zum Erfassen der Pixelkoordinaten von Punkt Q beziehen.
Falls der Mikroprojektor oder die Projektionsfläche verändert wird, kann die Relativposition des Projektionsbereichs im Tiefenbild auch basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera mit Bezugnahme zu den in 13 bis 18 gezeigten Inhalten gewonnen werden. Verglichen mit dem herkömmlichen Zustand, kann die Relativposition des Projektionsbereichs in dem Tiefenbild ohne eine Benutzeroperation zum Rekalibrieren der Relativposition gemäß dem Verfahren zur Bildkalibrierung des Ausführungsbeispiels gewonnen werden. Somit wird die Kalibrierung beschleunigt und die Effizienz erhöht.
Nachdem die Relativposition des Positionsbereichs in dem Tiefenbild kalibriert ist, kann eine Operation in dem Tiefenbild in eine Operation in dem Projektionsbereich konvertiert werden. Wie in 19 gezeigt, welche ein Flussdiagramm eines Verfahrens zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung ist, umfasst das Verfahren zur Bildkalibrierung die Schritte 1901 bis 1905.
In Schritt 1901 wird ein durch die Tiefenkamera auf einer Projektionsfläche gebildetes Tiefenbild erfasst, wobei die Projektionsfläche eine Fläche ist, welche die Tiefenkamera beleuchtet und auf welche der Mikroprojektor einen Lichtstrahl projiziert.
In Schritt 1902 wird eine Relativposition eines Projektionsbereichs in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera gewonnen, wobei der Projektionsbereich ein Bereich ist, welcher durch den Mikroprojektor auf der Projektionsfläche gebildet wird.
Details der Schritte 1901 und 1902 können auf die Beschreibung der Schritte 1301 und 1302 verweisen, welche in dem Ausführungsbeispiel nicht im Detail beschrieben sind.
In Schritt 1903 wird eine Operation eines Bedieners für das Tiefenbild und einen Operationsbereich der Operation in dem Tiefenbild erfasst.
Die Operation des Bedieners in dem Tiefenbild umfasst eine Klick-Operation und/oder eine Wisch-Operation (swipe Operation). Falls der Bediener eine Klick-Operation in dem Tiefenbild ausführt, werden Koordinaten des Klicks der Klick-Operation in dem Tiefenbild gewonnen. Falls der Nutzer eine Wisch-Operation in dem Tiefenbild ausführt, werden Koordinaten eines Punktes auf einem bedienten Objekt wie einem Bildschirm, welcher von dem Bediener zu Beginn der Wisch-Operation berührt wurde, und Koordinaten von einem Punkt auf dem bedienten Objekt, welches von dem Bediener zu Ende der Wisch-Operation berührt wurde, gewonnen.
In Schritt 1904 wird der Operationsbereich in dem Tiefenbild in einen Operationsbereich in dem Projektionsbereich konvertiert.
Die Relativposition des Projektionsbereichs in dem Tiefenbild wird gewonnen; daher wird der Operationsbereich in dem Tiefenbild in den Operationsbereich in dem Projektionsbereich konvertiert, basierend auf der Relativposition, nachdem der Operationsbereich in dem Tiefenbild gewonnen ist.
In Schritt 1905 wird die Operation des Bedieners in dem Operationsbereich innerhalb des Projektionsbereichs ausgeführt.
Eine Vorrichtung zur Bildkalibrierung entsprechend dem obigen Verfahren zur Bildkalibrierung wird gemäß einem Ausführungsbeispiel der Offenbarung bereitgestellt. Die Vorrichtung zur Bildkalibrierung wird bei einem elektronischen Gerät eingesetzt, wobei das elektronische Gerät einen Mikroprojektor und eine Tiefenkamera umfasst und eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera fest ist.
20 illustriert ein schematisches Strukturdiagramm einer Vorrichtung zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung und die Vorrichtung zur Bildkalibrierung umfasst eine Erfassungseinheit 11 und eine Positionsgewinnungseinheit 12.
Die Erfassungseinheit 11 ist dazu ausgestaltet, ein durch die Tiefenkamera auf einer Projektionsfläche gebildetes Tiefenbild zu erfassen, wobei die Projektionsfläche eine Fläche ist, welche die Tiefenkamera beleuchtet und auf welche der Mikroprojektor einen Lichtstrahl projiziert.
In dem Ausführungsbeispiel ist das Tiefenbild ein Bild mit dreidimensionaler Featureinformation, d. h. Tiefeninformation von einem Objekt. Die Tiefeninformation bezieht sich auf eine Entfernung zwischen der Tiefenkamera und einem gewissen Punkt in einer Szenerie, welche dem Tiefenbild entspricht.
Koordinaten von jedem Pixelpunkt in dem Tiefenbild werden durch Pixelkoordinaten repräsentiert. Zum Beispiel, falls das Tiefenbild ein rechteckförmiges Tiefenbild von 640 × 480 ist, sind Pixelkoordinaten eines zentralen Punktes des Tiefenbildes (320, 240), wobei 640 eine laterale Auflösung des Tiefenbildes ist und 480 eine vertikale Auflösung des Tiefenbildes ist.
Die Positionsgewinnungseinheit 12 ist dazu ausgestaltet, eine Relativposition eines Projektionsbereichs in dem Tiefenbild zu gewinnen, basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera, wobei der Projektionsbereich ein Bereich ist, welcher durch den Mikroprojektor auf der Projektionsfläche gebildet wird.
Es ist verständlich, dass die Relativposition des Projektionsbereichs in dem Tiefenbild durch Pixelkoordinaten von vier Spitzen des Projektionsbereichs in dem Tiefenbild repräsentiert werden kann. 21 illustriert ein schematisches Strukturdiagramm der Positionsgewinnungseinheit 12 mit einer Erfassungsuntereinheit 121, einer ersten Koordinatengewinnungsuntereinheit 122 und einer zweiten Koordinatengewinnungsuntereinheit 123.
Die Erfassungsuntereinheit 121 ist dazu ausgestaltet, Pixelkoordinaten eines vertikalen Punktes eines Divergenzpunktes der Tiefenkamera auf der Projektionsfläche zu erfassen, wobei der Divergenzpunkt der Tiefenkamera eine Spitze eines Konus ist, welcher im Raum durch einen von der Tiefenkamera emittierten Lichtstrahl gebildet wird.
Die Erfassungsuntereinheit kann eine erste Koordinatenerfassungsuntereinheit, eine Entfernungsgewinnungsuntereinheit und eine zweite Koordinatenerfassungsuntereinheit umfassen.
Die erste Koordinatenerfassungsuntereinheit ist dazu ausgestaltet, Pixelkoordinaten eines zentralen Punktes des Tiefenbildes zu erfassen.
Die Entfernungsgewinnungsuntereinheit ist dazu ausgestaltet, eine Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche zu gewinnen.
In dem Ausführungsbeispiel ist die Entfernungsgewinnungsuntereinheit dazu ausgestaltet, die Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche basierend auf Tiefeninformationen des zentralen Punktes und Tiefeninformationen des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche in Kombination mit dem Satz von Pythagoras zu gewinnen; oder einen Winkelwert eines Winkels zwischen einer Normalen der Projektionsfläche und einer Linie, welche den zentralen Punkt des Tiefenbildes und den vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche verbindet, zu gewinnen und die Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche basierend auf Tiefeninformationen des zentralen Punktes des Tiefenbildes und dem Winkelwert in Kombination mit dem Kosinussatz zu gewinnen. Die Normale der Projektionsfläche wird durch Anpassung einer Ebenengleichung gewonnen.
Die zweite Koordinatenerfassungsuntereinheit ist dazu ausgestaltet, Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche zu gewinnen, basierend auf den Pixelkoordinaten des zentralen Punktes des Tiefenbildes in Kombination mit der Beziehung zwischen Auflösung und Entfernung.
Die erste Koordinatengewinnungsuntereinheit 122 ist dazu ausgestaltet Pixelkoordinaten eines vertikalen Punktes eines Divergenzpunktes des Mikroprojektors auf der Projektionsfläche zu gewinnen, basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera und den Pixelkoordinaten des vertikalen Punktes, wobei der Divergenzpunkt des Mikroprojektors eine Spitze eines Konus ist, welcher m Raum durch einen von dem Mikroprojektor imitierten Lichtstrahl gebildet wird.
Es ist verständlich, dass die Relativposition zwischen dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche und dem vertikalen Punkt des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera ist. Nachdem die Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche gewonnen sind, können die Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche basierend auf der Relativposition gewonnen werden.
Zum Beispiel ist dx eine Entfernung entlang der horizontalen X-Achse zwischen der Tiefenkamera und dem Mikroprojektor und dy ist eine Entfernung entlang der Y-Achse zwischen der Tiefenkamera und dem Mikroprojektor. Wenn die Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche (x, y) sind, sind die Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche (laterale Auflösung entsprechend zu x + dx, vertikale Auflösung entsprechend zu y + dy).
Die zweite Koordinatengewinnungsuntereinheit 123 ist dazu ausgestaltet, Pixelkoordinaten von vier Spitzen des Projektionsbereichs zu gewinnen, basierend auf den Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche in Kombination mit einer Beziehung zwischen Auflösung und Entfernung, um die Relativposition des Projektionsbereichs im Tiefenbild zu kalibrieren. Die Details des Prozesses können sich auf die ähnliche Beschreibung von 18 beziehen.
Es wird Bezug auf 22 genommen, welche ein schematisches Strukturdiagramm einer Vorrichtung zur Bildkalibrierung gemäß einem Ausführungsbeispiel der Offenbarung illustriert. Auf Basis von 20 umfasst die Vorrichtung zur Bildkalibrierung ferner eine Operationserfassungseinheit 13, eine Konvertierungseinheit 14 und eine Ausführungseinheit 15.
Die Operationserfassungseinheit 13 ist dazu ausgestaltet, eine Operation eines Bedieners für das Tiefenbild und einen Operationsbereich der Operation in dem Tiefenbild zu erfassen.
Die Operation des Bedieners in dem Tiefenbild umfasst eine Klick-Operation und/oder eine Wisch-Operation (swipe Operation). Falls der Bediener eine Klick-Operation in dem Tiefenbild ausführt, werden Koordinaten des Klicks der Klick-Operation in dem Tiefenbild gewonnen. Falls der Nutzer eine Wisch-Operation in dem Tiefenbild ausführt, werden Koordinaten eines Punktes auf einem bedienten Objekt wie einem Bildschirm, welcher von dem Bediener zu Beginn der Wisch-Operation berührt wurde, und Koordinaten von einem Punkt auf dem bedienten Objekt, welches von dem Bediener zu Ende der Wisch-Operation berührt wurde, gewonnen.
Die Konvertierungseinheit 14 ist dazu ausgestaltet den Operationsbereich in dem Tiefenbild in einen Operationsbereich in dem Projektionsbereich zu konvertieren, basierend auf der Relativposition des Projektionsbereichs in dem Tiefenbild.
Die Relativposition des Projektionsbereichs in dem Tiefenbild wird gewonnen; daher wird der Operationsbereich in dem Tiefenbild in den Operationsbereich in dem Projektionsbereich konvertiert, basierend auf der Relativposition, nachdem der Operationsbereich in dem Tiefenbild gewonnen ist.
Die Ausführungseinheit 15 ist dazu ausgestaltet, die Operation des Bedieners in dem Operationsbereich innerhalb des Projektionsbereichs auszuführen.
Ferner wird ein elektronisches Gerät gemäß einem Ausführungsbeispiel der Offenbarung bereitgestellt. Das elektronische Gerät umfasst einen Mikroprojektor, eine Tiefenkamera und die oben beschriebene Vorrichtung zur Bildkalibrierung. Eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera ist fest und die Vorrichtung zur Bildkalibrierung ist dazu ausgestaltet, eine Relativposition des Projektionsbereichs des Mikroprojektors in dem Tiefenbild der Tiefenkamera zu kalibrieren. Die spezifische Struktur und Ausführung der Vorrichtung zur Bildkalibrierung kann sich auf die obigen Ausführungsbeispiele über die Vorrichtung zur Bildkalibrierung und das Verfahren zur Bildkalibrierung beziehen und diesbezügliche Details sind hierbei nicht im Detail beschrieben.
Es sollte beachtet werden, dass die Ausführungsbeispiele der Offenbarung in einer progressiven Art beschrieben sind, mit dem Schwerpunkt jedes der Ausführungsbeispiele auf dem Unterschied zwischen ihm und den anderen Ausführungsbeispielen; daher kann man für die gleichen oder ähnliche Teile zwischen den Ausführungsbeispielen auf die anderen Ausführungsbeispiele verweisen. Für ein Ausführungsbeispiel einer Vorrichtung ist die Beschreibung relativ knapp, weil es im Wesentlichen ähnlich zu dem Ausführungsbeispiel des Verfahrens ist und sich das ähnliche Teil auf Teile der Beschreibung in dem Ausführungsbeispiel des Verfahrens beziehen kann.
In den Ausführungsbeispielen der Offenbarung können die offenbarten Vorrichtungen und Verfahren auch auf andere Arten implementiert werden. Die oben beschriebenen Ausführungsbeispiele der Vorrichtungen sind nur zur Anschauung. Zum Beispiel ist die Aufteilung der Einheiten lediglich eine Aufteilung von logischen Funktionen und andere Arten der Teilung können in der Praxis angewandt werden. Zum Beispiel können mehrere Einheiten oder Komponenten kombiniert werden oder können in ein weiteres System integriert werden. Einige Merkmale können weggelassen oder nicht ausgeführt werden. Zusätzlich können die offenbarten Komponenten gekoppelt werden, direkt gekoppelt werden oder miteinander über Ports verbunden werden und Geräte oder Einheiten können indirekt gekoppelt oder miteinander verbunden werden auf elektrische Weise oder mechanische Weise oder andere Weisen.
Die als separate Komponenten beschriebenen Einheiten können, müssen aber nicht, physikalisch separat sein. Die als Einheiten dargestellten Komponenten können, müssen aber nicht, physikalische Einheiten bilden, das heißt, die Komponenten können sich an einem Ort befinden oder können auf mehrere Netzwerkeinheiten verteilt sein. Ein Teil, oder alle der Einheiten, können basierend auf den Anfordernissen gewählt werden, um die technische Lösung der Offenbarung zu erreichen.
Zusätzlich können Funktionseinheiten gemäß den Ausführungsbeispielen der Offenbarung in eine Recheneinheit integriert werden oder jede Einheit kann als eine Einheit separiert werden oder zwei oder mehrere Funktionseinheiten können in eine Einheit integriert werden. Die integrierte Einheit kann oder die integrierten Einheiten können durch Hardware oder durch eine Hardware- und Softwarefunktionseinheit implementiert werden.
Es versteht sich für den Fachmann, dass alle oder einige Schritte zur Realisierung des oben beschriebenen Ausführungsbeispiels des Verfahrens durch Hardware bezogen auf Programmbefehle realisiert werden können, das oben beschriebene Programm kann auf einem computerlesbaren Speichermedium gespeichert werden und das Programm führt die Schritte des oben beschriebenen Ausführungsbeispiels des Verfahrens durch, wenn es ausgeführt wird. Das oben beschriebene Speichermedium umfasst verschiedene Medien, welche Programmcode speichern können, wie zum Beispiel ein mobiles Speichergerät, ein Read-Only-Memory (ROM), ein Random-Access-Memory (RAM), eine magnetische Scheibe oder eine optische Scheibe.
Alternativ, falls die oben in der Offenbarung beschriebene integrierte Einheit oder integrierten Einheiten durch die Softwarefunktionseinheit implementiert werden und als individuelles Produkt verkauft und genutzt wird, kann das individuelle Produkt auf einem computerlesbaren Speichermedium gespeichert werden. Basierend auf einem solchen Verständnis kann der Kern der technischen Lösung der Offenbarung oder ein Teil der Offenbarung, welche zu herkömmlichen Technologien beiträgt als ein Softwareprodukt verkörpert werden, welches auf einem Speichermedium gespeichert ist und verschiedene Befehle zur Instruktion eines Computergerätes enthält (welches ein PC, ein Server, Netzwerkausrüstung oder Ähnliches sein kann), um alle oder einige der Schritte der Verfahren gemäß den Ausführungsbeispielen der Offenbarung auszuführen. Das oben beschriebene Speichermedium kann jedwedes Medium umfassen, welches Programmcodes speichern kann, wie zum Beispiel ein mobiles Speichergerät, ein Read-Only Speicher (ROM), ein Random-Access-Memory (RAM), eine magnetische Scheibe oder eine optische Scheibe.
Das Vorangehende sind nur spezifische Ausführungsbeispiele der Offenbarung und der Schutzbereich der Offenbarung ist nicht darauf beschränkt. Jegliche Änderung und Ersetzung, welche durch den Fachmann innerhalb des durch die Offenbarung offenbarten technischen Umfangs leicht erdacht werden, sollen innerhalb des Schutzbereichs der Offenbarung liegen. Daher sollte der Schutzbereich der Offenbarung dem Schutzbereich der Ansprüche entsprechen.

Claims

Verfahren zur Informationsverarbeitung, zur Anwendung in einem elektronischen Gerät, wobei das elektronische Gerät dazu ausgestaltet ist, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit und einer zweiten Anzeigeeinheit anzeigen zu lassen und wobei die erste Anzeigeeinheit in dem elektronischen Gerät angeordnet ist, das Verfahren umfassend: Erfassen eines ersten Parameters der ersten Anzeigeeinheit und eines zweiten Parameters der zweiten Anzeigeeinheit; Erfassen einer ersten Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit; Analysieren der ersten Operation, um erste Koordinaten der ersten Operation zu gewinnen; Transformieren der ersten Koordinaten der ersten Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit basierend auf dem ersten Parameter und dem zweiten Parameter; und Ausführen der ersten Operation basierend auf den zweiten Koordinaten der ersten Operation.
Verfahren zur Informationsverarbeitung nach Anspruch 1, wobei, falls die ersten Multimediadaten auf der ersten Anzeigeeinheit und der zweiten Anzeigeeinheit in einem Vollbildmodus angezeigt werden, das Transformieren der ersten Koordinaten der ersten Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit basierend auf dem ersten Parameter und dem zweiten Parameter umfasst: Bestimmen eines ersten Transformationsparameters basierend auf dem ersten Parameter und dem zweiten Parameter; und Transformieren der ersten Koordinaten der ersten Operation in die zweiten Koordinaten der ersten Operation mittels des ersten Transformationsparameters.
Verfahren zur Informationsverarbeitung nach Anspruch 1, wobei, falls die ersten Multimediadaten auf der ersten Anzeigeeinheit in einem Vollbildmodus angezeigt werden und auf der zweiten Anzeigeeinheit in einem Nicht-Vollbildmodus angezeigt werden, das Transformieren der ersten Koordinaten der ersten Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit basierend auf dem ersten Parameter und dem zweiten Parameter umfasst: Bestimmen einer Anzeigefläche der zweiten Anzeigeeinheit, auf welcher die ersten Multimediadaten angezeigt werden basierend auf dem ersten Parameter und dem zweiten Parameter, wobei die Anzeigefläche durch einen ersten Begrenzungspunkt und einen zweiten Begrenzungspunkt demarkiert ist; Beurteilen, ob die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt liegen basierend auf den ersten Koordinaten der ersten Operation, um ein erstes Beurteilungsergebnis zu gewinnen; Bestimmen eines zweiten Transformationsparameters basierend auf dem ersten Parameter, dem zweiten Parameter, Koordinaten des ersten Begrenzungspunktes und Koordinaten des zweiten Begrenzungspunktes, falls das erste Beurteilungsergebnis indiziert, dass die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt liegen; und Transformieren der ersten Koordinaten der ersten Operation in zweite Koordinaten der ersten Operation mittels des zweiten Transformationsparameters.
Verfahren zur Informationsverarbeitung nach einem der Ansprüche 1 bis 3, wobei, falls die erste Anzeigeeinheit um einen Winkel in einer horizontalen Richtung rotiert ist, das Ausführen der ersten Operation basierend auf den zweiten Koordinaten der ersten Operation umfasst: Bestimmen eines dritten Transformationsparameters basierend auf dem Winkel; Transformieren der zweiten Koordinaten der ersten Operation mittels des dritten Transformationsparameters; und Ausführen der ersten Operation basierend auf den transformierten zweiten Koordinaten.
Verfahren zur Informationsverarbeitung nach einem der Ansprüche 1 bis 3, wobei, falls die zweite Anzeigeeinheit in dem elektronischen Gerät angeordnet ist und das elektronische Gerät die ersten Multimediadaten durch die zweite Anzeigeeinheit projiziert, das elektronische Gerät ferner eine Bilderfassungseinheit umfasst und das Erfassen einer ersten Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit und das Analysieren der ersten Operation, um erste Koordinaten der ersten Operation zu gewinnen, umfasst: Erfassen von erster Information und zweiter Information eines Zielobjekts durch die Bilderfassungseinheit, wobei die erste Information zweidimensionale Flächeninformation des Zielobjekts ist und die zweite Information eindimensionale Tiefeninformation des Zielobjekts ist; Erfassen von Information über eine Anzeigefläche der projizierten ersten Multimediadaten; und Analysieren der ersten Information, der zweiten Information und der Information über die Anzeigefläche, um Positionskoordinaten des Zielobjekts in der Anzeigefläche zu gewinnen.
Elektronisches Gerät, wobei das elektronische Gerät dazu ausgestaltet ist, erste Multimediadaten synchron auf einer ersten Anzeigeeinheit und einer zweiten Anzeigeeinheit anzeigen zu lassen, und wobei die erste Anzeigeeinheit in dem elektronischen Gerät angeordnet ist und wobei das elektronische Gerät eine erste Erfassungseinheit, eine zweite Erfassungseinheit, eine Analyseeinheit, eine erste Transformationseinheit und eine erste Ausführungseinheit umfasst, die erste Erfassungseinheit ist dazu ausgestaltet, einen ersten Parameter der ersten Anzeigeeinheit und einen zweiten Parameter der zweiten Anzeigeeinheit zu erfassen; die zweite Erfassungseinheit ist dazu ausgestaltet, eine erste Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit zu erfassen; die Analyseeinheit ist dazu ausgestaltet, die erste Operation zu analysieren, um erste Koordinaten der ersten Operation zu gewinnen; die erste Transformationseinheit ist dazu ausgestaltet, basierend auf dem ersten Parameter und dem zweiten Parameter, die ersten Koordinaten der ersten Operation auf den ersten Multimediadaten für die zweite Anzeigeeinheit in zweite Koordinaten der ersten Operation auf den ersten Multimediadaten für die erste Anzeigeeinheit zu transformieren; und die Ausführungseinheit ist dazu ausgestaltet, die erste Operation basierend auf den zweiten Koordinaten der ersten Operation auszuführen.
Elektronisches Gerät nach Anspruch 6, wobei die erste Transformationseinheit eine erste Bestimmungsuntereinheit und eine erste Transformationsuntereinheit umfasst, die erste Bestimmungsuntereinheit ist dazu ausgestaltet, einen ersten Transformationsparameter zu bestimmen, basierend auf dem ersten Parameter und dem zweiten Parameter; und die erste Transformationsuntereinheit ist dazu ausgestaltet, die ersten Koordinaten der ersten Operation mittels des ersten Transformationsparameters in die zweiten Koordinaten der ersten Operation zu transformieren.
Elektronisches Gerät nach Anspruch 6, wobei die erste Transformationseinheit eine zweite Bestimmungsuntereinheit, eine Beurteilungsuntereinheit, eine dritte Bestimmungsuntereinheit und eine zweite Transformationsuntereinheit umfasst, die zweite Bestimmungsuntereinheit ist dazu ausgestaltet, eine Anzeigefläche der zweiten Anzeigeeinheit zu bestimmen, auf welcher die ersten Multimediadaten angezeigt werden, basierend auf dem ersten Parameter und dem zweiten Parameter, wobei die Anzeigefläche durch einen ersten Begrenzungspunkt und einen zweiten Begrenzungspunkt demarkiert ist; die Beurteilungsuntereinheit ist dazu ausgestaltet, zu beurteilen, ob die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt liegen basierend auf den ersten Koordinaten der ersten Operation, um ein erstes Beurteilungsergebnis zu gewinnen; die dritte Bestimmungsuntereinheit ist dazu ausgestaltet, einen zweiten Transformationsparameter zu bestimmen, basierend auf dem ersten Parameter, dem zweiten Parameter, Koordinaten des ersten Begrenzungspunktes und Koordinaten des zweiten Begrenzungspunktes, falls das erste Beurteilungsergebnis indiziert, dass die ersten Koordinaten der ersten Operation zwischen dem ersten Begrenzungspunkt und dem zweiten Begrenzungspunkt liegen; und die zweite Transformationsuntereinheit ist dazu ausgestaltet, die ersten Koordinaten der ersten Operation mittels des zweiten Transformationsparameters in die zweiten Koordinaten der ersten Operation zu transformieren.
Verfahren zur Bildkalibrierung, zur Anwendung in einem elektronischen Gerät, wobei das elektronische Gerät einen Mikroprojektor und eine Tiefenkamera aufweist und eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera fest ist, das Verfahren umfassend: Erfassen eines durch die Tiefenkamera auf einer Projektionsfläche gebildeten Tiefenbildes, wobei die Projektionsfläche eine Fläche ist, welche die Tiefenkamera beleuchtet und auf welche der Mikroprojektor einen Lichtstrahl projiziert; und Gewinnen einer Relativposition eines Projektionsbereichs in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera, wobei der Projektionsbereich ein Bereich ist, welcher durch den Mikroprojektor auf der Projektionsfläche gebildet wird.
Verfahren nach Anspruch 9, wobei das Gewinnen der Relativposition eines Projektionsbereichs in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera umfasst: Erfassen von Pixelkoordinaten eines vertikalen Punktes eines Divergenzpunktes der Tiefenkamera auf der Projektionsfläche, wobei der Divergenzpunkt der Tiefenkamera eine Spitze eines Konus ist, welcher im Raum durch einen von der Tiefenkamera emittierten Lichtstrahl gebildet wird; Gewinnen von Pixelkoordinaten eines vertikalen Punktes eines Divergenzpunktes des Mikroprojektors auf der Projektionsfläche basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera und den Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche, wobei der Divergenzpunkt des Mikroprojektors eine Spitze eines Konus ist, welcher im Raum durch einen von dem Mikroprojektor emittierten Lichtstrahl gebildet wird; und Gewinnen von Pixelkoordinaten von vier Spitzen des Projektionsbereichs basierend auf den Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche in Kombination mit einer Beziehung zwischen Auflösung und Entfernung, um die Relativposition des Projektionsbereichs im Tiefenbild zu kalibrieren.
Verfahren nach Anspruch 10, wobei das Erfassen von Pixelkoordinaten eines vertikalen Punkts eines Divergenzpunkts der Tiefenkamera auf der Projektionsfläche umfasst: Erfassen von Pixelkoordinaten eines zentralen Punktes des Tiefenbildes; Gewinnen einer Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche; und Gewinnen von Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche basierend auf den Pixelkoordinaten des zentralen Punktes des Tiefenbildes in Kombination mit der Beziehung zwischen Auflösung und Entfernung.
Verfahren nach Anspruch 11, wobei das Gewinnen einer Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche umfasst: Gewinnen der Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt basierend auf Tiefeninformation des zentralen Punktes und Tiefeninformation des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche in Kombination mit dem Satz von Pythagoras; oder das Gewinnen einer Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche umfasst: Gewinnen eines Winkelwerts eines Winkels zwischen einer Normalen der Projektionsfläche und einer Linie, welche den zentralen Punkt des Tiefenbildes und den Divergenzpunkt der Tiefenkamera verbindet; und Gewinnen der Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt basierend auf der Tiefeninformation des zentralen Punktes des Tiefenbildes und dem Winkelwert in Kombination mit dem Kosinussatz.
Verfahren nach Anspruch 12, wobei die Normale der Projektionsfläche durch Anpassung einer Ebenengleichung gewonnen wird.
Verfahren nach einem der Ansprüche 9 bis 13, ferner umfassend: Erfassen einer Operation eines Bedieners für das Tiefenbild und einen Operationsbereich der Operation in dem Tiefenbild; Konvertierung des Operationsbereichs in dem Tiefenbild in einen Operationsbereich in dem Projektionsbereich basierend auf der Relativposition des Projektionsbereichs in dem Tiefenbild; und Ausführen der Operation des Bedieners in dem Operationsbereich innerhalb des Projektionsbereichs.
Vorrichtung zur Bildkalibrierung, zur Anwendung in einem elektronischen Gerät, wobei das elektronische Gerät einen Mikroprojektor und eine Tiefenkamera aufweist und eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera fest ist, die Vorrichtungen umfassend: eine Erfassungseinheit zum Erfassen eines durch die Tiefenkamera auf einer Projektionsfläche gebildeten Tiefenbildes, wobei die Projektionsfläche eine Fläche ist, welche die Tiefenkamera beleuchtet und auf welche der Mikroprojektor einen Lichtstrahl projiziert; und eine Positionsgewinnungseinheit zum Gewinnen einer Relativposition eines Projektionsbereichs in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera, wobei der Projektionsbereich ein Bereich ist, welcher durch den Mikroprojektor auf der Projektionsfläche gebildet wird.
Vorrichtung nach Anspruch 15, wobei die Positionsgewinnungseinheit umfasst: eine Erfassungsuntereinheit zum Erfassen von Pixelkoordinaten eines vertikalen Punktes eines Divergenzpunktes der Tiefenkamera auf der Projektionsfläche, wobei der Divergenzpunkt der Tiefenkamera eine Spitze eines Konus ist, welcher im Raum durch einen von der Tiefenkamera imitierten Lichtstrahl gebildet wird; eine erste Koordinatengewinnungsuntereinheit zum Gewinnen von Pixelkoordinaten eines vertikalen Punktes eines Divergenzpunktes des Mikroprojektors auf der Projektionsfläche basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera und den Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche, wobei der Divergenzpunkt des Mikroprojektors eine Spitze eines Konus ist, welcher im Raum durch einen von dem Mikroprojektor emittierten Lichtstrahl gebildet wird; und eine zweite Koordinatengewinnungsuntereinheit zum Gewinnen von Pixelkoordinaten von vier Spitzen des Projektionsbereichs basierend auf den Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes des Mikroprojektors auf der Projektionsfläche in Kombination mit einer Beziehung zwischen Auflösung und Entfernung, um die Relativposition des Projektionsbereichs im Tiefenbild zu kalibrieren.
Vorrichtung nach Anspruch 16, wobei die Erfassungsuntereinheit umfasst: eine erste Koordinatengewinnungsuntereinheit zum Erfassen von Pixelkoordinaten eines zentralen Punktes des Tiefenbildes; eine Entfernungsgewinnungsuntereinheit zum Gewinnen einer Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche; und eine zweite Koordinatengewinnungsuntereinheit zum Gewinnen von Pixelkoordinaten des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche basierend auf den Pixelkoordinaten des zentralen Punktes des Tiefenbildes in Kombination mit der Beziehung zwischen Auflösung und Entfernung.
Vorrichtung nach Anspruch 17, wobei die Entfernungsgewinnungsuntereinheit ausgestaltet ist zum: Gewinnen der Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche basierend auf Tiefeninformationen des zentralen Punktes und Tiefeninformationen des vertikalen Punktes des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche in Kombination mit dem Satz von Pythagoras; oder Gewinnen eines Winkelwerts eines Winkels zwischen einer Normalen der Projektionsfläche und einer Linie, welche den zentralen Punkt des Tiefenbildes und den Divergenzpunkt der Tiefenkamera verbindet; und Gewinnen der Entfernung zwischen dem zentralen Punkt und dem vertikalen Punkt des Divergenzpunktes der Tiefenkamera auf der Projektionsfläche basierend auf der Tiefeninformation des zentralen Punktes des Tiefenbildes und dem Winkelwert in Kombination mit dem Kosinussatz.
Vorrichtung nach einem der Ansprüche 15 bis 18, ferner umfassend: eine Operationserfassungseinheit zum Erfassen einer Operation eines Bedieners für das Tiefenbild und einem Operationsbereich der Operation in dem Tiefenbild; eine Konvertierungseinheit zum Konvertieren des Operationsbereiches in dem Tiefenbild in einen Operationsbereich in dem Projektionsbereich basierend auf der Relativposition des Projektionsbereichs in dem Tiefenbild; und eine Ausführungseinheit zum Ausführen der Operation des Bedieners in dem Operationsbereich innerhalb des Projektionsbereichs.
Elektronisches Gerät mit einem Mikroprojektor, einer Tiefenkamera und einer Vorrichtung zur Bildkalibrierung, wobei eine Relativposition zwischen dem Mikroprojektor und der Tiefenkamera fest ist und die Vorrichtung zur Bildkalibrierung umfasst: eine Erfassungseinheit zum Erfassen eines durch die Tiefenkamera auf einer Projektionsfläche gebildeten Tiefenbildes, wobei die Projektionsfläche eine Fläche ist, welche die Tiefenkamera beleuchtet und auf welche der Mikroprojektor einen Lichtstrahl projiziert; und eine Positionsgewinnungseinheit zum Gewinnen einer Relativposition eines Projektionsbereiches in dem Tiefenbild basierend auf der Relativposition zwischen dem Mikroprojektor und der Tiefenkamera, wobei der Projektionsbereich ein Bereich ist, welcher durch den Mikroprojektor auf der Projektionsfläche gebildet wird.