DE112011102169T5

DE112011102169T5 - System für ortsbewegliche spürbare Interaktion

Info

Publication number: DE112011102169T5
Application number: DE112011102169T
Authority: DE
Inventors: Daniel Avrahami
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2010-06-28
Filing date: 2011-06-16
Publication date: 2013-04-11
Also published as: US20110316767A1; TW201214199A; GB2495026A; US9262015B2; GB2495026B; WO2012009094A2; CN102549527B; GB201222634D0; JP5548311B2; CN102549527A; KR101481880B1; WO2012009094A3; KR20130042499A; TWI550437B; JP2013532337A

Abstract

Ausführungsformen der Erfindung beschreiben ein System, das mindestens eine Kamera und eine Anzeige zum Schaffen eines Objekts und eines kontextbewussten Systems verwendet. Ausführungsformen der Erfindung können die Kamera zum Erfassen einer Umgebung des Systems verwenden und verwenden eine Erkennungslogik oder Module zum Erfassen und Erkennen von Objekten auf dem und um das System. Systemanwendungen können ferner auf die erfassten Daten wirken und die Anzeige des Systems verwenden, um eine visuelle Rückmeldung bereitzustellen, und interaktive Elements als Mittel zur Interaktion mit dem Systemanwender verwenden.

Description

GEBIET
Ausführungsformen der vorliegenden Erfindung betreffen im Allgemeinen Vorrichtungen und Verfahren zur Bereitstellung einer verbesserten Computer-Vorrichtungs-Interaktion und insbesondere die Verarbeitung einer Objekt-Interaktion mit erweiterten mobilen Computervorrichtungssystemen.
ALLGEMEINER STAND DER TECHNIK
Die zunehmenden Verarbeitungskapazitäten mobiler Computersysteme haben die verbesserte Fähigkeit erzeugt, physische Objekte neben diesen Systemen zu verstehen und auf diese zu reagieren. Kontexte von Systemanwendern können auch zur Bereitstellung einer reicheren Interaktionserfahrung verwendet werden.
Die Schaffung eines Systems mit der Fähigkeit, Objekte zu verfolgen, auf sie einzuwirken und eine Rückmeldung zu liefern, würde den Wert von mobilen Computer für Endanwender erhöhen. Im Laufe der Jahre wurden Tischsysteme vorgeschlagen und entwickelt, die viele dieser Vorteile bieten; diese Systeme sind jedoch üblicherweise groß und somit weder mobil noch persönlich. Einer der Gründe für die Einschränkungen von Lösungen nach dem Stand der Technik, wie Tischsystemen, ist die Anforderung nach einem großen Vorrichtungsfußabdruck; solche Vorrichtungen verwenden zusätzliche Hardware unterhalb der Tischoberfläche zur Verarbeitung einer Aktivität auf der Oberfläche, wie Interaktionen mit dem System.
Somit gibt es keine aktuellen Lösungen zur Bereitstellung einer verbesserten Anwender und Objekt-Interaktion für ein mobiles Computersystem, die keine zusätzlichen Anzeigemöglichkeiten erfordern (z. B., einen zusätzlichen Bildschirm, einen Projektor), während der Mechanismus zur Verbesserung der Anwender und Objekt-Interaktion die nomadischen Eigenschaften des mobilen Rechnersystems nicht beeinflusst.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die folgende Beschreibung enthält eine Besprechung von Figuren mit beispielhaften Darstellungen von Realisierungen von Ausführungsformen der Erfindung. Die Zeichnungen sollten als Beispiel und in keiner Weise als Einschränkung verstanden werden. Wie hierin verwendet, sind Bezugnahmen auf eine oder mehrere ”Ausführungsform(en)” als Beschreibung eines besonderen Merkmals, einer Struktur oder Eigenschaft zu verstehen, die in mindestens einer Realisierung der Erfindung enthalten ist.
Somit beschreiben Phrasen, wie ”in einer Ausführungsform” oder ”in einer anderen Ausführungsform”, die hierin vorkommen, verschiedene Ausführungsformen und Realisierungen der Erfindung und beziehen sich nicht unbedingt auf dieselbe Ausführungsform. Sie sind aber auch nicht unbedingt wechselseitig ausschließend.
1 ist ein Blockdiagramm einer Ausführungsform der Erfindung.
2 ist ein Blockdiagramm einer Ausführungsform der Erfindung.
3 ist ein Flussdiagramm einer Ausführungsform der Erfindung.
4 ist eine Darstellung einer Anwendung unter Verwendung einer Ausführungsform der Erfindung.
5 ist eine Darstellung einer Anwendung unter Verwendung einer Ausführungsform der Erfindung.
6 ist eine Darstellung einer Anwendung unter Verwendung einer Ausführungsform der Erfindung.
Beschreibungen gewisser Einzelheiten und Realisierungen folgen, einschließlich einer Beschreibung der Figuren, die einige oder alle unten beschriebenen Ausführungsformen zeigen können, wie auch eine Besprechung anderer möglicher Ausführungsformen oder Realisierungen der hierin vorgelegten erfinderischen Konzepte. In der Folge wird ein Überblick über Ausführungsformen der Erfindung gegeben, gefolgt von einer ausführlichen Beschreibung unter Bezugnahme auf die Zeichnungen
AUSFÜHRLICHE BESCHREIBUNG
Ausführungsformen der Erfindung beschreiben ein System, das mindestens eine Kamera und einen Anzeigebildschirm zum Erzeugen eines objekt- und kontextbewussten Systems verwendet. Insbesondere verwenden Ausführungsformen der Erfindung Kameras und Sensoren zum Erfassen der Umgebung des Systems und verwenden Erkennungslogik oder Module zum Erfassen und Erkennen von Objekten auf dem und um das System. Die Erkennungslogik oder Module können ferner auf der Basis erfasster Daten und eines Verlaufskontexts oder von Informationen, die sie über den Anwender haben, Schlussfolgerungen auf den Zustand des (der) Systemanwender(s) und dessen (deren) unmittelbare Umgebung ziehen. Anwendungen können ferner auf die erfassten Daten einwirken und den Anzeigebildschirm des Systems für eine Rückmeldung und interaktive Elemente (wie Tasten, Wählscheiben, Schieber) als Mittel zur Interaktion mit dem (den) Systemanwender(n) verwenden.
Ausführungsformen der Erfindung können somit ein objektbewusstes mobiles Tischsystem bereitstellen. Ausführungsformen der Erfindung können eine ubiquitäre, auf einer stabilen Fläche stehende Plattform (z. B. einen Tablet-Computer oder ein konvertibles Tablet) verwenden, um eine nomadische (im Gegensatz zu einer feststehenden) Funktionalität zu erreichen. Ausführungsformen der Erfindung können Kameras/Sensoren verwenden, die betriebsbereit an den Tablet-Computer angeschlossen sind, um eine Umgebungsinstrumentierung (im Gegensatz zu deckenmontierten Kameras und Projektoren) zu vermeiden. Die Integration dieser Kameras/Sensoren bietet eine eigenständige, äußerst ortsbewegliche, aber umfassende und kostengünstige Funktionalität. Ausführungsformen der Erfindung verwenden eine Kamera, die über der Anzeigefläche eines mobilen Computers (z. B. eines Tablet-Computers) positioniert ist, wodurch das Erfassen von Objekten jenseits des Bildschirms möglich ist (diese Erfassung ist mit einer Kamera oder einem Sensor, die bzw. der unterhalb der Anzeigefläche positioniert ist, nicht möglich). Die Kamera kann mit der mobilen Vorrichtung integriert oder an der mobilen Vorrichtung befestigt ist, wobei jedes Mittel verwendet wird, das die Kamera so positioniert, dass sie auf die Anzeigefläche der Vorrichtung gerichtet ist.
Eine Verarbeitung, die sich auf ein Objektbewusstsein bezieht, kann durch Logik oder Module ausgeführt werden. Softwaremodule können alleine auf dem System laufen oder können auf einer Kombination aus vernetzten Systemen und einem Backend-Server laufen. Die Funktionalität der Logik/Module ist das Analysieren von Objekt, Anwender und Umgebungszuständen aus den Sensordaten und das Entscheiden, wie mit dem Anwender zu interagieren ist (unter Verwendung der Anzeige/Stellglieder des Systems selbst). Die oben genannte Verarbeitungsfunktionalität enthält: grundlegende Einzelbilderfassung, Berichtigung und Beleuchtungskorrektur; Bildsegmentierung und Merkmalextraktion; Wahrnehmungscode zum Erkennen von Objektpositonen/zustand und Anwenderhände/-position; Gesten, die Anwender mit ihren Händen machen; und optische Zeichenerkennung (OCR), Handschrift und Strichcodeerkennung, um Text aus Objekten und Dokumenten zu entnehmen.
1 ist ein Blockdiagramm einer Ausführungsform der Erfindung. System 100 enthält einen Tablet-Computer 110. Der Tablet-Computer 110 wird als ein Beispiel eines mobilen Computersystems verwendet, das eine Anzeigefläche 120 enthält, die in Bezug auf eine Auflagefläche (z. B. eine Tischfläche) flach liegen kann. Es ist klar, dass der Tablet-Computer 110 ein Beispiel einer Vorrichtung ist, die eine Ausführungsform der Erfindung verwendet, und es ist ferner klar, dass einige Funktionen von Tablet-Computern (z. B., eine Berührungsbildschirmanzeige) in den Ausführungsformen der Erfindung nicht unbedingt notwendig sind.
Das System 100 kann ferner eine Kamera 130 enthalten, die über der Anzeigefläche 120 positioniert ist. In dieser Ausführungsform ist die Kamera 130 betriebsbereit über einen Arm 140, der drehbar vom Tablet-Computer 110 ausgefahren werden kann, an den Tablet-Computer 110 angeschlossen.
In einer Ausführungsform ist die Kamera 130 so positioniert, dass sie visuelle Daten innerhalb einer Zielfläche 150 erfasst. Wie in 1 dargestellt, enthält die Zielfläche 150 eine Anzeigefläche 120 und Flächen 155 außerhalb der Anzeigefläche.
Der Tablet-Computer 110 kann ferner eine Anwendung ausführen, die ein anzuzeigendes graphisches Bild 160 erzeugt. Die Anwendung kann auch über die Kamera 130 ein Objekt 170 innerhalb der Zielfläche 150 durch einen beliebigen Wahrnehmungsalgorithmus identifizieren, der nach dem Stand der Technik bekannt ist. Das Objekt kann irgendwo innerhalb der Zielfläche 150 erscheinen (d. h., auf Anzeigefläche 120 und Fläche 155). Die Anwendung kann eine Interaktion des Objekts 170 mit dem graphischen Bild 160, das von einer Anwendung erzeugt wird, verarbeiten.
In diesem Beispiel erscheint das Objekt 170 jenseits der Anzeigefläche 120, aber innerhalb einer Teilfläche 155 der Zielfläche 150. Die Anwendung, die auf dem Tablet-Computer 110 ausgeführt wird, kann ein graphisches Bild (Pfeil) 160 ausrichten, um die Position des Objekts 170 innerhalb der Zielfläche 150 festzustellen. In dieser Ausführungsform wird das graphische Bild 160 auf der Basis des Winkels zwischen dem Objekt 170 und dem Mittelpunkt des Bildschirms 120 erzeugt.
Somit können die Ausführungsformen der Erfindung einen Bildschirm einer Rechnervorrichtung zur Weiterleitung einer Wahrnehmung eines Objekts und Anwenderzustandes verwenden, eine Rückmeldung über Maßnahmen zum Anwender liefern und dem Anwender eine Auswahl bieten, entweder physische Objekte zu manipulieren oder mit digitalen Elementen auf dem Bildschirm zu interagieren.
2 ist ein Blockdiagramm einer Ausführungsform der Erfindung, die zwei Kameras verwendet. Das System 200 enthält einen Tablet-Computer 210 mit einer Anzeigefläche 220. Das System 200 enthält ferner Kameras 230 und 240, die in Bezug auf die Anzeigefläche 220 aufrecht positioniert sind. Bei mobilen und ultra-mobilen Vorrichtungen macht es häufig ein Bildschirmraum unmöglich, Hände oder Finger eines Anwenders aufzunehmen, ohne den digitalen Inhalt auf dem Bildschirm zu blockieren. Die Verwendung mehrerer Kameras bietet einen großen Interaktionsraum trotz der begrenzten Bildschirmfläche, die der Tablet-Computer 210 bereitstellt. Das physische Design von System 200, das Kameras 230 und 240 enthält, ermöglicht die Betrachtung von und Reaktion auf Interaktionen eines Anwenders mit Objekten auf der Oberfläche, die das Tablet umgibt (d. h., der Kombination aus Zielflächen 235 und 245). Somit ist der Eingaberaum des Systems 200 (d. h., was das System sieht) deutlich größer als sein Ausgaberaum (begrenzt durch die Ränder des Bildschirms 220).
Damit vermieden wird, dass Kameras 230 und 240 unbeabsichtigt virtuelle Elemente erkennen, die auf dem Tablet-Bildschirm 220 dargestellt sind, können lineare Polarisierungsfilter bei dem Bildschirm 220 und den Kameras angewendet werden (die meisten LCD Bildschirme sind linear polarisiert; in vielen Tablets jedoch streut das berührungsempfindliche Element das Licht). In einer Ausführungsform sind die polarisierenden Filter für Kameras 230 und 240 drehbar, um eine Vorberechnung der Filterdrehung zu vermeiden, die zur Blockierung der Ansicht des Bildschirms 220 notwendig ist (die Drehung des Filters in die korrekte Ausrichtung muss nur einmal erfolgen).
Vor der Verwendung kann das System 200 kalibriert werden, um verschiedene Kameraansichten von den Kameras 230 und 240 zu erhalten und korrekte Objektpositionen zu liefern. In einer Ausführungsform besteht die Systemkalibrierung aus drei Vorgängen, von welchen jeder einmal ausgeführt werden muss. Im ersten Vorgang werden die vier Ecken des Bildschirms 220 manuell vom Anwender gewählt, einmal für jede Kamera. Unter Verwendung der ausgewählten Ecken wird eine Homographie für jede Kamera berechnet, die später zum Wechseln von der Kameraansicht auf die Ebene des Bildschirms 220 verwendet wird. Alternativ können visuelle Marker an den Bildschirmecken automatisch von dem System gelöscht werden. Die Homographie kann auf einer Datei gespeichert und automatisch geladen werden, sobald das System 200 hochfährt.
Nach dem ersten Kalibrierungsvorgang kann ein Objekt, das auf den Bildschirm 220 platziert wird, dieselben Koordinaten von beiden Kameras 230 und 240 empfangen; ein Objekt, das jedoch auf einer Tischfläche 260 (d. h., innerhalb der Zielfläche 235 und 245) platziert wird, empfängt verschiedene Koordinaten von den zwei Kameras, da die Ebene des Tablet-Bildschirms von der Ebene der Oberfläche 260 abgehoben ist. Somit wird im zweiten Kalibrierungsvorgang ein einziger physischer Kalibrierungsmarker auf die Oberfläche 260 innerhalb der überlappenden Fläche 265 zwischen den Kameras 230 und 240 platziert (an diesem Punkt sieht das System 200 zwei Marker auf dem Tisch). Da dem System 200 mitgeteilt wird, dass nur ein Marker auf der Oberfläche 260 ist, berechnet es einen Korrekturversatz, der bei den zwei Objekten, die es sieht, zur Ausrichtung ihrer Mittelpunkte angewendet werden sollte. Der Versatz wird gespeichert und anschließend bei den Koordinaten von Objekten angewendet, die sich außerhalb der Einfassung des Tablets 210 befinden. Nach dem zweiten Kalibrierungsvorgang hat ein einziges Objekt in der Überlappung der Kameras (d. h., Fläche 265) überlappende Koordinaten und wird nur einmal von dem Bildverarbeitungssystem korrekt gemeldet.
In einem dritten Vorgang wird eine Zuordnung zwischen den Bildverarbeitungssystemkoordinaten und den Anwendungsraumkoordinaten erstellt. Der Kalibrierungsmarker aus dem vorangehenden Vorgang wird an den vier Ecken des Anwendungsraums des Anwenders platziert. Unter Verwendung der Koordinaten, die vom Bildverarbeitungssystem für den Marker an jeder Ecke zurückgesendet werden, wird eine Koordinatenumformung berechnet, gespeichert und später von Anwendungen des Systems verwendet.
3 ist ein Flussdiagramm einer Ausführungsform der Erfindung. Die hierin dargestellten Flussdiagramme zeigen Beispiele von Abfolgen verschiedener Verfahrensschritte. Die Schritte sind zwar in einer bestimmten Abfolge oder Reihenfolge dargestellt, aber die Reihenfolge kann, falls nicht anders angegeben, verändert werden. Daher sind die dargestellten Realisierungen nur als Beispiele zu verstehen und die dargestellten Prozesse können in einer anderen Reihenfolge ausgeführt werden und einige Schritte können parallel durchgeführt werden. Zusätzlich können eine oder mehrere Schritte in verschiedenen Ausführungsformen der Erfindung unterlassen werden; daher sind nicht alle Schritte in jeder Realisierung erforderlich. Andere Prozessabläufe sind möglich.
Von mindestens einer Kameravorrichtung, 300 wird ein Einzelbild gewonnen. In einer Ausführungsform werden mindestens zwei Kameras verwendet, um eine größere Zieleingangsfläche bereitzustellen. Es wird eine Hintergrundsubtraktion des gewonnenen Einzelbildes ausgeführt, 310. In einer Ausführungsform wird eine Gaußsche-Mischmodell-Strategie für eine Hintergrundsubtraktion mit einem zweckbestimmten Modell für jede Kamera verwendet. Wenn eine Hintergrundsubtraktion angewendet wird, wird eine Hintergrund/Vordergrundmaske, die mit dem Kamera-Roheinzelbildverknüpft ist, erzeugt, 320.
Unter Verwendung von Kalibrierungspunkten, die beim Systemaufbau ermittelt werden, wird ein erster Satz simulierter Ansichten erzeugt, der für die Objekterfassung verwendet wird, 330. In einer Ausführungsform werden drei simulierte Ansichten erzeugt. Die erste umfasst eine Bildschirm- und Einfassungsansicht, die eine berichtigte Ansicht des Tablet-Bildschirms und der Einfassung enthält und zur Durchführung einer präziseren Erfassung von Objekten nützlich ist, die auf dem Tablet platziert sind. Die zweite Ansicht umfasst eine Table-Ansicht, die eine berichtigte Ansicht des Tablet-Bildschirms und der umgebenden Oberfläche enthält und so berechnet wird, dass der Tablet-Bildschirm einen der oberen Quadranten der berichtigten Ansicht einnimmt (abhängig davon, ob eine linke oder rechte Kamera verwendet wird). Die dritte Ansicht umfasst eine Bildschirmansicht, die eine berichtigte Ansicht nur des Tablet Bildschirms enthält. Wenn die Hintergrundsubtraktion verwendet wird, verzerrt ein Ansichtsmodul die Hintergrund/Vordergrundmaske, die mit dem Kamera-Roheinzelbild empfangen wird, so dass sie mit der simulierten Ansicht übereinstimmt.
In einer Ausführungsform ist die Auflösung jeder der oben genannten Ansichten (roh, Bildschirm und Einfassung, und Tisch) unabhängig und kann abhängig vorwiegend von den Einzelheiten von Objekten geändert werden, die erfasst werden müssen.
In einer Ausführungsform enthält ein System eine Liste von maschinellen Lernklassifikatoren, die einer der oben erzeugten Ansichten entsprechen und für eine visionsbasierte Objekterkennung verantwortlich sind. Jede dieser Ansichten wird zu ihrem entsprechenden Klassifikator geleitet, 340. Diese Ansichten können mit oder ohne Hintergrundsubtraktion weitergeleitet werden. Jeder Klassifikator sendet dann eine Liste erfasster Objekte (falls vorhanden) zurück, 350.
Da verschiedene Ansichten verschiedene Auflösungen und Koordinatensysteme in Bezug auf den Tablet-Bildschirm haben können, ist klar, dass die Koordinaten jedes Objekts zu einem gleichförmigen Koordinatensystem umgewandelt werden müssen, bevor die Objekte zum Kameramodul weitergeleitet werden, 360. In einer Ausführungsform sind die Koordinaten jedes erfassten Objekts an das Koordinatensystem des Tablets angepasst, so dass ein Objekt, das sich an der oberen linken Seite des Tablet Bildschirms befindet, eine Koordinate von zum Beispiel (0,0) hat, und ein Objekt, das sich an der unteren rechten Ecke des Tablet-Bildschirms befindet, eine Koordinate von zum Beispiel (1280,800) hat. In diesem Beispiel haben am Ende dieses Vorgangs Objekte an der linken Seite des Tablets negative horizontale Koordinaten, Objekte vor dem Tablet haben vertikale Koordinaten größer 800, und Objekte rechts vom Tablet haben horizontale Koordinaten größer 1280. Ein Konvergieren auf diesem einzigen Koordinatensystem ermöglicht eine direkte Bestimmung, ob ein Objekt auf dem Bildschirm oder jenseits von diesem ist, und es können eine oder mehrere Visualisierungen passend gewählt werden. Eine Liste von Objekten kann dann jeweils mit den zugehörigen Koordinaten aktualisiert werden, 370.
Das System kann mehr als einen Satz von Objekten verarbeiten, die auf verschiedenen Ansichten mit möglichen Redundanzen klassifiziert sind; jedes Objekt muss jedoch höchstens einmal dem Ausgabesystem gemeldet werden. Somit werden die Listen von den verschiedenen Ansichten analysiert und Duplikate von Objekten, die in mehrfachen Listen auftreten, werden entfernt, 380. Duplikate werden als Objekte bestimmt, die denselben Matrizennamen haben und für die die Umrahmungskästen um mehr als zum Beispiel 75% überlappen. Wenn in einer Ausführungsform Duplikate gefunden werden, bevorzugt das System Objekte, die auf der Bildschirm- und Einfassungsansicht höherer Auflösung klassifiziert sind, gegenüber jenen, die auf der Tischansicht klassifiziert sind. Die einzige Objektliste wird dann zur Wahrnehmungsverarbeitung geleitet, 385.
Ähnlich wie bei dem vorangehenden Vorgang werden Objekte, die von den zwei Kameras zurückgesendet werden, vereint, 390. Es ist klar, dass, anstelle eines Vereinens von Objekten von verschiedenen Ansichten derselben Kamera, ein einziges Objekt, das von beiden Kameras erfasst wird, keine perfekte Überlappung zwischen den Ansichten haben könnte. Tatsächlich ist es für ein beliebiges 3D-Objekt wahrscheinlich nicht der Fall. In einer Ausführungsform der Erfindung wird die überlappende Fläche für ein Objekt, das von beiden Kameras gesehen wird, als die mögliche Basis des Objekts verwendet. Für überlappende Objekte kann nur die Schnittfläche an ein Ausgabesubsystem gemeldet werden, um einen Berührungspunkt des Objekts mit der Oberfläche zu nähern und eine Rückmeldung an der geeigneten Position zu liefern.
Objekte innerhalb der Ansicht der Systemskameras werden identifiziert und zu einer Anwendung für eine anschließende Verarbeitung geleitet, 395. Somit ist der Eingaberaum des Systems (was von den Kameras gesehen werden kann) viel größer als der Ausgaberaum (das Ausmaß des Tablet-Bildschirms).
Anwendungen, die den oben beschriebenen vergrößerten Eingaberaum verwenden, können das Vorhandensein eines Objekts jenseits des Bildschirms weiterleiten und es können Manipulatoren bei einer beliebigen Darstellung zum Weiterleiten des Abstands des Objekts vom Tablet angewendet werden.
In einer Ausführungsform wird ein Pfeil von der Mitte des Tablet-Bildschirms in die Richtung des Objekts gezogen, das sich auf dem Tisch befindet. Die Dicke des Pfeils kann zur Anzeige und Aktualisierung eines Abstandes des Objekts zum Tablet verwendet werden. Zum Beispiel kann die Pfeildicke abnehmen, wenn ein Abstand des Objekts abnimmt. Es kann auch ein Alpha-Blend-Wert zur Anzeige eines Abstands eines Objekts vom Tablet verwendet werden. Diese Visualisierungstechnik ändert den Alpha-Wert der Darstellung auf der Basis des Abstands des Objekts vom Bildschirm. Wenn das Objekt den Bildschirm berührt, ist der Alpha-Wert 100%. Als Vorgabe hat der Alpha-Wert für ein Objekt am Rand des Bildverarbeitungssystems einen Alpha-Wert von 20%.
In einer anderen Ausführungsform kann ein Symbol (Icon), das das Objekt darstellt, am Bildschirm angezeigt werden. Die Position des Symbols kann so berechnet werden, dass das Symbol am Rand des Bildschirms auf der imaginären Linie platziert ist, die den Mittelpunkt des Objekts mit dem Mittelpunkt des Bildschirms verbindet. Symbols können Alpha-gemischt und in der Größe verändert sein, um einen Abstand des Objekts vom Bildschirm anzugeben.
In einer anderen Ausführungsform und ähnlich wie bei dem oben beschriebenen Symbol kann ein Pfeil am Rand des Bildschirms gezeichnet werden, der in die Richtung des Objekts zeigt. Zum Beispiel können dünnere, längere Pfeile Objekte anzeigen, die weiter weg vom Tablet-Bildschirm sind. Andere Teile des Pfeils können den Abstand des Objekts anzeigen (z. B. kann der Schaft eines Pfeils länger werden, je weiter ein Objekt entfernt ist).
In einer anderen Ausführungsform, kann eine Textbox (ähnlich einer Sprechblase in einem Cartoon) ein Objekt innerhalb der Zielfläche anzeigen, einschließlich eines Schweifes, der zu dem Objekt jenseits des Bildschirms weist. Der Ausruf kann ferner eine Etikette und ein Symbol enthalten. Die Textbox kann ferner so in der Größe bemessen und alpha-gemischt sein, dass ein Abstand des Objekts vom Bildschirm angezeigt wird.
4 ist ein Diagramm einer Anwendung, die eine Ausführungsform der Erfindung verwendet. Die Anwendung von 4 demonstriert die Fähigkeit, Objekte auf einem Tablet-Computer 400 und um diesen herum zu erfassen, und den Tablet-Bildschirm 410 zu nutzen. In dieser Anwendung können physische Spielsteine 401–409 verwendet werden, um Tic-Tac-Toe auf einem Raster 420 zu spielen. Das System erkennt die Positionen der Spielsteine 401–409 auf dem Bildschirm 410 über eine Kamera, die über dem Bildschirm positioniert ist, um den Zustand des Spielbretts zu bestimmen und die Spielsteine von unten durch Bilder 411–418 aufzuzeigen (der Spielstein 409 wurde nicht auf dem Bildschirm 410 platziert und hat somit kein entsprechendes Bild auf dem Bildschirm 410). In einer Ausführungsform können Spielsteine, die jenseits des Bildschirms sind, ermittelt und mit Symbolen am Umfang des Bildschirms 410 wie oben beschrieben aufgezeigt werden.
In dieser Ausführungsform empfängt die Anwendung (d. h., das Tic-Tac-Toe-Spiel) einen Befehl vom Anwender zur Überwachung der Zielfläche. Nachdem zum Beispiel der Spielstein auf den Raster 420 gestellt wurde, kann ein Anwender die NEXT Taste 425 drücken, die am Bildschirm 410 angezeigt wird, um anzugeben, dass er mit seinem Zug fertig ist. An diesem Punkt kann die Anwendung die Zielfläche beobachten, um den Zustand des Spielbretts zu prüfen um sicherzustellen, dass die Objekte auf dem Bildschirm 410 mit dem Spiel übereinstimmen (mögliche Regelverletzungen, wie das Bewegen eines bereits platzieren Steins, Entfernen eines Steins des Gegners, Spielen von zwei oder mehr Steinen bei einem Zug, Unterlassen eines Zugs, Abdecken eines Spielsteins des Gegners, und so weiter). Die Anwender können über Regelverletzungen durch einen Ton und ein Symbol informiert werden, die am Bildschirm 410 angezeigt werden (z. B., Summertöne und rote Striche, die einen falschen Zug auf dem Raster 420 markieren).
5 ist ein Diagramm einer Anwendung, die eine Ausführungsform der Erfindung verwendet. Die Anwendung von 5 zeigt die Möglichkeit eines Erfassens von Objekten jenseits des Bildschirms 510 des Tablet-Computers 500 als Eingang für die Anwendung. In diesem Beispiel zeigt die Anwendung ein Fußballtor 525 mit einem Tormann 530 an. Ein Anwender kann physisch ein kleines Objekt 540 in Form eines Fußballs zu einem virtuellen Tor auf dem Bildschirm 525 rollen (oder kicken). Wenn das Objekt 540 das Gehäuse des Tablets 500 trifft, erscheint ein virtueller Ball 545 und fliegt entlang derselben Flugbahn wie das eingehende physische Objekt zum Tor 525. Der Tormann 530 versucht, den Schuss zu halten, wobei die Seite begünstigt wird, aus der der Schütze schießt.
Diese beispielhafte Anwendung nutzt die Tatsache, dass das Tablet 500 vom Boden angehoben wird, so dass das physische Objekt 540 auf das Tablet treffen und dann mehr oder weniger zum Anwender zurückkehren kann. Geschwindigkeit und Beschleunigung in der physischen Welt werden direkt in physikalischen Gleichungen genutzt, um die physische Bewegung in eine virtuelle Bewegung eines virtuellen Balls 545 auf dem Bildschirm 510 umzusetzen. In einer Ausführungsform bewegen sich Schüsse nicht nur in zwei Dimensionen, sondern in einer dritten Dimension – über dem Bildschirm 510, wobei die Größe, die das Objekt 540 in Bezug auf die Kamera über dem Tablet 500 kommuniziert, seine Höhe vom Boden ist. Somit wäre es möglich, über das Tor wie auch an dessen linke oder rechte Seite zu schießen.
Die Ausführungsform der Erfindung, die in 5 dargestellt ist, zeigt die Möglichkeit von Ausführungsformen der Erfindung, Objekte jenseits des Tablet-Computers 500 zu erfassen, ihre Geschwindigkeit und Flugbahn zu verfolgen und auf dem Bildschirm 510 auf sie zu reagieren.
6 ist ein Diagramm einer Anwendung, die eine Ausführungsform der Erfindung nutzt. Die Anwendung von 6 ermöglicht einem Anwender, mit einem physischen Objekt zu spielen, in diesem Beispiel einem Spielzeugzebra 650, und die Anwendung auf den Zustand des Spielzeugs auf dem oder um das Tablet 600 reagieren zu lassen.
In dieser Ausführungsform kann das Spielzeugzebra 650 Nahrung 615 fressen, die auf dem Bildschirm 610 angezeigt wird, oder aus einem virtuellen Wasserbecken 620 trinken, das auf dem Bildschirm 610 angezeigt wird (ein Zeitgeber kann das Wasserbecken periodisch auffüllen), indem der ”Kopf” des Spielzeugs auf die gezeigten Objekte gelegt wird. Eine Sandfläche 625 bietet einen Raum für das Spielzeugzebra 650, ein Bad zu nehmen, indem das Spielzeug vollständig auf den Bildschirm 610 innerhalb der Sandfläche gelegt wird.
Die physische Ausrichtung des Spielzeugzebras 650 kann auch von der Anwendung genutzt werden. Insbesondere kann das Spielzeugzebra 650 schlafen gehen, da die Anwendung zwischen einem stehenden Zebra und einem liegenden Zebra unterscheidet. Wenn das Spielzeugzebra 650 zum Beispiel vor dem Tablet 500 auf seine Seite gelegt wird, löst dies einen ”Traum” aus, in dem ein Naturvideo von Zebras in der Wildnis über dem Kopf des Zebras in der Textbox 630 des Cartoon auf dem Tablet-Bildschirm 610 gespielt wird. Wenn das Spielzeugzebra 650 inmitten des Traums aufsteht, stoppt der Traum sofort. Eine Gestenverfolgung innerhalb der Zielfläche kann ebenso verfolgt werden, um Tätigkeiten wie ein Streicheln zu erkennen und zu belohnen. Diese Anwendung zeigt die Möglichkeit von Ausführungsformen der Erfindung auf, Objekte innerhalb der Zielfläche zu erkennen und Interaktionen mit Objekten auf dem Bildschirm 610 entweder jenseits des oder auf dem Tablet-Computer(s) 600 zu erfassen.
Verschiedene Komponenten, auf die oben Bezug genommen wurde, wie Prozesse, Server oder Tools, wie hierin beschrieben, können ein Mittel zur Ausführung der beschriebenen Funktionen sein. Jede hierin beschriebene Komponente enthält Software oder Hardware oder eine Kombination dieser. Die Komponenten können als Software-Module, Hardware-Module, Spezialzweck-Hardware (z. B., Application Specific Integrated Circuits (ASICs), Digitale Signalprozessoren (DSPs), usw.), eingebettete Steuerungen, festverdrahteter Schaltkreis usw. ausgeführt sein. Der Software-Inhalt (z. B., Daten, Anweisungen und Konfiguration) können über einen Herstellungsartikel bereitgestellt sein, einschließlich eines computerlesbares Speichermediums, das einen Inhalt bereitstellt, der Anweisungen darstellt, die ausgeführt werden können. Der Inhalt kann zu einem Computer führen, der verschiedene hierin beschriebene Funktionen/Vorgänge ausführt. Ein computerlesbares Speichermedium enthält jeden Mechanismus, der Informationen in einer Form bereitstellt (d. h., speichert und/oder überträgt), die von einem Computer lesbar sind (z. B. Rechnervorrichtung, elektronisches System, usw.), wie aufzeichenbare/nicht aufzeichenbare Medien (z. B. Nur-Lese-Speicher (ROM), Direktzugriffsspeicher (RAM), Magnetplattenspeichermedien und optische Speichermedien, Flash-Speichervorrichtungen, usw.). Der Inhalt kann direkt ausführbar sein (”Objekt” oder ”ausführbare” Form), ein Sourcecode oder Differenzcode (”Delta” oder ”Patch”-Code) sein. Ein computerlesbares Speichermedium kann auch einen Speicher oder eine Datenbank enthalten, dessen bzw. deren Inhalt heruntergeladen werden kann. Eincomputerlesbares Speichermedium kann auch eine Vorrichtung oder ein Produkt mit einem darauf gespeicherten Inhalt zum Zeitpunkt des Verkaufs oder der Lieferung enthalten. Somit ist die Lieferung einer Vorrichtung mit gespeichertem Inhalt oder das Anbieten eines Inhalts zum Herunterladen über ein Kommunikationsmedium als Bereitstellung eines Herstellungsartikels mit einem solchen, hierin beschriebenen Inhalt zu verstehen.

Claims

Vorrichtung, umfassend: eine Anzeigefläche; eine Kamera, die zum Erfassen visueller Daten innerhalb einer Zielfläche positioniert ist, wobei die Zielfläche mindestens einen Teil der Anzeigefläche und eine Fläche außerhalb der Anzeigefläche enthält; einen Prozessor; und Software, die über den Prozessor ausgeführt wird, um ein graphisches Bild zu erzeugen, das auf der Anzeigefläche angezeigt wird, ein Objekt getrennt von der Anzeigefläche innerhalb der Zielfläche zu identifizieren, und eine Interaktion des Objekts mit dem graphischen Bild zu verarbeiten.
Vorrichtung nach Anspruch 1, des Weiteren umfassend eine zweite Kamera, die zum Erfassen visueller Daten innerhalb der zweiten Zielfläche positioniert ist, wobei die zweite Zielfläche mindestens einen Teil der Anzeigefläche und eine zweite Fläche außerhalb der Anzeigefläche enthält.
Vorrichtung nach Anspruch 2, wobei die Anzeigefläche und der Prozessor in einem Tablet-Computer enthalten sind, und wobei ferner die Kameras über ein Befestigungsmittel, das sich relativ zur Anzeigefläche nach oben erstreckt, an den Tablet-Computer angeschlossen sind.
Vorrichtung nach Anspruch 1, wobei die Software ferner die Zielfläche kontinuierlich überwacht, um das Objekt innerhalb der Zielfläche zu identifizieren.
Vorrichtung nach Anspruch 1, wobei die Software ferner einen Befehl zum Überwachen der Zielfläche empfängt.
Vorrichtung nach Anspruch 1, wobei die Interaktion des Objekts mit dem graphischen Bild eine Bewegung des Objekts in Bezug auf das graphische Bild umfasst.
Vorrichtung nach Anspruch 1, wobei die Interaktion des Objekts mit dem graphischen Bild eine Position des Objekts innerhalb der Zielfläche in Bezug auf das graphische Bild umfasst.
Vorrichtung nach Anspruch 1, wobei die Software ferner ein zweites graphisches Bild erzeugt, das das Objekt darstellt und auf der Anzeigefläche als Reaktion auf das Identifizieren des Objekts innerhalb der Zielfläche und außerhalb der Anzeigefläche angezeigt wird.
Vorrichtung nach Anspruch 8, wobei die Software das zweite graphische Bild zumindest teilweise auf der Basis mindestens eines von einem Abstand, einem Winkel und einer Ausrichtung zwischen dem Objekt und der Anzeigefläche erzeugt.
Herstellungsartikel, umfassend ein maschinenlesbares Speichermedium, das Anweisungen liefert, die, wenn sie von der Maschine ausgeführt werden, die Maschine veranlassen, Vorgänge auszuführen, umfassend: das Erfassen visueller Daten innerhalb einer Zielfläche über eine Kamera, wobei die Zielfläche mindestens einen Teil der Anzeigefläche und eine Fläche außerhalb der Anzeigefläche enthält; das Erzeugen eines graphischen Bildes; das Anzeigen des graphischen Bildes auf der Anzeigefläche; das Identifizieren eines Objekts getrennt von der Anzeigefläche innerhalb der Zielfläche; und das Verarbeiten einer Interaktion des Objekts mit dem graphischen Bild.
Herstellungsartikel nach Anspruch 10, wobei die Vorgänge des Weiteren das Erfassen visueller Daten innerhalb einer zweiten Zielfläche über eine zweite Kamera umfassen, wobei die zweite Zielfläche mindestens einen Teil der Anzeigefläche und eine zweite Fläche außerhalb der Anzeigefläche enthält.
Herstellungsartikel nach Anspruch 10, wobei die Anzeigefläche in einem Tablet-Computer enthalten ist und wobei ferner die Kameras jeweils über ein Befestigungsmittel, das sich relativ zur Anzeigefläche nach oben erstreckt, an den Tablet-Computer angeschlossen sind.
Herstellungsartikel nach Anspruch 10, wobei die Vorgänge des Weiteren das kontinuierliche Überwachen der Zielfläche umfassen, um das Objekt innerhalb der Zielfläche zu identifizieren.
Herstellungsartikel nach Anspruch 13, wobei die Vorgänge des Weiteren das Empfangen eines Befehls zur Überwachung der Zielfläche umfassen.
Herstellungsartikel nach Anspruch 10, wobei die Interaktion des Objekts mit dem graphischen Bild eine Bewegung des Objekts in Bezug auf das graphische Bild umfasst.
Herstellungsartikel nach Anspruch 10, wobei die Interaktion des Objekts mit dem graphischen Bild eine Position des Objekts innerhalb der Zielfläche in Bezug auf das graphische Bild umfasst.
Herstellungsartikel nach Anspruch 10, wobei die Vorgänge des Weiteren umfassen: das Identifizieren des Objekts innerhalb der Zielfläche und außerhalb der Anzeigefläche; und als Reaktion auf das Identifizieren des Objekts innerhalb der Zielfläche und außerhalb der Anzeigefläche das Erzeugen eines zweiten graphischen Bildes, das das Objekt darstellt, und das Anzeigen des zweiten graphischen Bildes auf der Anzeigefläche.
Herstellungsartikel nach Anspruch 17, wobei das Erzeugen des zweiten graphischen Bildes zumindest teilweise auf einem von einem Abstand, einem Winkel und einer Ausrichtung zwischen dem Objekt und der Anzeigefläche beruht.
Verfahren, umfassend: das Erfassen visueller Daten innerhalb einer Zielfläche über eine Kamera, wobei die Zielfläche mindestens einen Teil der Anzeigefläche und eine Fläche außerhalb der Anzeigefläche enthält; das Erzeugen eines graphischen Bildes; das Anzeigen des graphischen Bildes auf der Anzeigefläche; das Identifizieren eines Objekts getrennt vom Monitor innerhalb der Zielfläche; und das Verarbeiten einer Interaktion des Objekts mit dem graphischen Bild.
Verfahren nach Anspruch 19, des Weiteren umfassend das Erfassen visueller Daten innerhalb einer zweiten Zielfläche über eine zweite Kamera, wobei die zweite Zielfläche mindestens einen Teil der Anzeigefläche und eine zweite Fläche außerhalb der Anzeigefläche enthält.
Verfahren nach Anspruch 20, wobei die Anzeigefläche in einem Tablet-Computer enthalten ist und wobei ferner die Kameras jeweils über ein Befestigungsmittel, das sich relativ zur Anzeigefläche nach oben erstreckt, an den Tablet-Computer angeschlossen sind.
Verfahren nach Anspruch 19, des Weiteren umfassend das Identifizieren des Objekts innerhalb der Zielfläche und außerhalb der Anzeigefläche; und als Reaktion auf das Identifizieren des Objekts innerhalb der Zielfläche und außerhalb der Anzeigefläche das Erzeugen eines zweiten graphischen Bildes, das das Objekt darstellt, und das Anzeigen des zweiten graphischen Bildes auf der Anzeigefläche, wobei das Erzeugen des zweiten graphischen Bildes zumindest teilweise auf einem von einem Abstand, einem Winkel und einer Ausrichtung zwischen dem Objekt und der Anzeigefläche beruht.