-
Querverweis auf verwandte
Anmeldungen
-
Diese
Anmeldung beansprucht die Priorität der vorläufigen U.S. Anmeldung („Provisional
Application") No.
60/879,152, eingereicht am 7. Januar 2007, die hier in ihrer Gesamtheit
speziell per Verweis mit eingebunden wird.
-
Gebiet der Erfindung
-
Dies
bezieht sich auf Systeme, die mehrfachberührungsempfindliche Eingabevorrichtungen
und andere Eingabevorrichtungen verwenden, und genauer auf das Kombinieren
von Mehrfachberührungseingabedaten
mit Daten von anderen Eingabevorrichtungen, um einen Vorteil zu
gewinnen, wodurch die Effizienz und Leistungsfähigkeit von Eingabeoperationen
erhöht
wird.
-
Hintergrund der Erfindung
-
Systeme
können
mehrere Eingabemittel aufweisen. Jedoch wird jedes der Eingabemittel
typischerweise unabhängig
voneinander auf nicht nahtlose Art betrieben. Es gibt zwischen ihnen
keine Synergie. Sie arbeiten nicht zusammen oder kooperieren für ein gemeinsames
Ziel, wie z. B. Verbessern der Eingabeerfahrung.
-
Zusammenfassung der Erfindung
-
Während die
Fingerspitzenakkord- und Bewegungsdaten, die von Mehrfachberührungseingabevorrichtungen
erzeugt werden, einen starken Satz von Benutzersteu erungsmitteln
bereitstellen können, können zusätzliche
Informationen von anderen Abtastmitteln, wenn sie mit den Akkord-
und Bewegungsdaten kombiniert oder fusioniert werden, die interpretativen
Fähigkeiten
der tragbaren Vorrichtung signifikant erhöhen und/oder signifikant den
Bedienungskomfort verbessern, sowie Eingabehandlungen für den Benutzer
rationalisieren. Deshalb schlagen Ausführungsformen der Erfindung
das Konzept der MT (Mehrfachberührungs-,
Multi Touch) Datenfusion vor, welche als die Kombination von Daten
von einem oder mehreren unabhängigen
Abtastmitteln mit Akkord- und Bewegungsdaten von einem MT Sensor
definiert ist, um die Bedienung und Verwendung einer elektronischen
Vorrichtung zu verbessern.
-
Es
gibt eine Anzahl an unabhängigen
Abtastmitteln, die, wenn mit Mehrfachberührungsakkordbildung und Bewegungsdaten
fusioniert, verbesserte Leistungsfähigkeit und Verwendung von
elektronischen Vorrichtungen bereitstellen. Die Quellen von unterschiedlichen
Abtastdaten fallen in mehrere Kategorien: (1) jene, die irgendeinen
Aspekt des Körperzustandes
des Benutzers messen, (2) jene, die Daten von der Umgebung messen,
was Abtastdaten von anderen Individuen beinhalten könnte, und
(3) jene, die irgendeinen Aspekt des Zustandes der elektronischen
Vorrichtung messen.
-
In Übereinstimmung
mit einer Ausführungsform
können
eine oder mehrere dieser unabhängigen Datenquellen
temporär
mit Bewegungs- und Akkorddaten von einem Mehrfachberührungssensor
fusioniert werden, um die Leistungsfähigkeit und Verwendung der
elektronischen Vorrichtungen signifikant zu verbessern. Die Informationen,
die von den verschiedenen Quellen zufließen, können kombiniert oder fusioniert
werden, so dass Ereignisse in jedem Datenstrom zeitlich miteinander
abgestimmt sind. Als solche können
die mehreren Datenströme
richtig in Verbindung mit den anderen verstanden werden.
-
In Übereinstimmung
mit anderen Ausführungsformen
können
die Ergebnisse der Stimmerkennung und Sprachverständnis so
mit Mehrfachberührungsbewegungs daten
fusioniert werden, dass sie die Leistungsfähigkeit einer elektronischen
Vorrichtung signifikant verbessern. Die Kontaktgröße und Kontakttrennung
von Bewegungsdaten zusammen mit Fingeridentifikationsdaten (z. B.
von einer Kamera) kann es dem Mehrfachberührungssystem ermöglichen,
Schätzungen
zu machen, die Fingeridentifikation der Berührungsdaten betreffen. Blickvektordaten
(die Bestimmung eines Blickes eines Benutzers) können mit Berührungsdaten
und/oder Objekten, die auf einer Anzeige erscheinen, fusioniert werden,
um verschiedene Handlungen auszuführen, wie z. B. Objektbewegung
oder -wahl. Die Fusion dynamischer Daten einer Vorrichtung (z. B.
Bewegungsdaten) mit Mehrfachberührungsbewegungsdaten
kann zu einem Glätten
(d. h. verbesserten Filtern) unbeabsichtigter Fingerbewegung aufgrund
der Fortbewegungsmittel (z. B. Vibrationen und Schocks) führen.
-
Biometrische
Eingaben umfassen, aber sind nicht begrenzt auf Handgröße, Fingerabdruckeingabe,
Körpertemperatur,
Herzfrequenz, Hautimpedanz und Pupillengröße. Typische Anwendungen, die
von der Fusion von biometrischen Daten mit Mehrfachberührungsbewegungsdaten
profitieren könnten,
würden
Spiele, Sicherheits- und Fitness-bezogene Aktivitäten einschließen. Gesichtsausdrücke, die
emotionale Zustände übermitteln,
können
auch vorteilhaft mit Mehrfachberührungsbewegungsdaten
fusioniert werden, während
kreativer Aktivitäten,
wie z. B. Musikkomposition.
-
Kurze Beschreibung der Zeichnungen
-
1 ist
ein Blockdiagramm einer elektronischen Vorrichtung oder eines Systems,
das Mehrfachberührungs-
(MT) Datenfusion verwendet, in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung.
-
2 ist
ein MT Datenfusionsverfahren, das MT Abtastung und sekundäre Abtastung
beinhaltet.
-
3 ist
ein MT Datenfusionsverfahren, das die Erzeugung von MT und sekundären Datenströmen beinhaltet.
-
4 ist
ein Eingabeverfahren, das das Sammeln und Kombinieren von MT und
sekundären Abtastdaten
auf eine zeitkoherente Weise beinhaltet.
-
5 ist
ein Eingabeverfahren, wobei die sekundären Abtastdaten verwendet werden,
um die MT Daten auf eine zeitkoherente Weise zu ergänzen.
-
6 ist
ein Eingabeverfahren, wobei die sekundären Abtastdaten verwendet werden,
um die MT Daten auf eine zeitkoherente Weise zu interpretieren.
-
7 ist
ein Eingabeverfahren, das Stimmerkennung umfasst, die Aktionen auslöst, die
mit Akkord- und Bewegungsdaten zusammenhängen.
-
8 ist
ein Eingabeverfahren, wobei ein Stimmmodifizierungsbefehl Aktionen
auf einem Objekt auslöst.
-
9A bis 9E sind
diagrammhafte Darstellungen des Fusionierens von Stimmdaten mit
MT Daten, gemäß einer
Ausführungsform
der Erfindung.
-
10 stellt
die Fusion von Stimmerkennung und MT Operationen gemäß Ausführungsformen
der Erfindung dar.
-
11 ist
ein Verfahren zur eindeutigen Fingeridentifikation.
-
12 ist
ein anderes Verfahren zur eindeutigen Fingeridentifikation.
-
13 ist
ein Eingabeverfahren, das den Abgleich von Fingern zu Kontakten
beinhaltet.
-
14A ist eine Darstellung eines beispielhaften
Bildes eines Paares von Händen,
die über eine
MT Oberfläche
positioniert sind, und 14B ist eine
Darstellung eines beispielhaften Bildes einer Anordnung an Kontakten,
an der MT Oberfläche.
-
15A und 15B sind
Diagramme einer elektronischen Vorrichtung, die eine MT Oberfläche und
eine bildgebende Vorrichtung beinhaltet, in Übereinstimmung mit einer Ausführungsform
der vorliegenden Erfindung.
-
16 ist
ein Diagramm einer elektronischen Vorrichtung, die eine MT Oberfläche und
einen Bildsensor beinhaltet, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung.
-
17 stellt
einen Bildsensor dar, der in einer Anzeige oder einem alles integrierenden
Computer 340 angeordnet ist, in Übereinstimmung mit einer anderen
Ausführungsform
der vorliegenden Erfindung.
-
18 ist
ein Eingabeverfahren, das die Fusion eines Blickvektors mit MT Abtastung
beinhaltet.
-
19 ist
ein Eingabeverfahren, das das Vornehmen einer Aktion auf einem Objekt
basierend auf einen Blick beinhaltet.
-
20 ist
ein Eingabeverfahren, das das Filtern von MT Daten basierend auf
Bewegungsdaten beinhaltet.
-
21 ist
ein Betriebsverfahren, wobei MT Daten unterschiedlich abhängig von
Orientierungsdaten interpretiert werden können.
-
22 ist
ein Eingabeverfahren, das biometrische Abtastung beinhaltet.
-
23 ist
ein Betriebsverfahren, das Sammeln emotionaler Daten und Vornehmen
von Aktionen basierend auf den emotionalen Daten beinhaltet.
-
24 ist
ein Eingabeverfahren, das Kraftabtastung beinhaltet.
-
25 ist
ein Eingabeverfahren, das Aufnehmen und Vergleichen von MT Daten
von verschiedenen Vorrichtungen beinhaltet.
-
Detaillierte Beschreibung
der bevorzugten Ausführungsform
-
Ausführungsformen
der vorliegenden Erfindung schlagen Kombinieren oder Fusionieren
von Mehrfachberührungsabtastung
mit anderen Abtastmodalitäten
vor, um einen Vorteil zu gewinnen, wodurch die Effizienz und Leistungsfähigkeit
von Eingabehandlungen erhöht
werden.
-
In
Mehrfachberührungs-2D
Abtastung, wie sie als die primären
und sekundären
Mittel verwendet werden, um einem Benutzer zu ermöglichen,
die Funktion und den Betrieb einer elektronischen Vorrichtung zu
steuern, werden die Positionen aller Fingerspitzen in Kontakt oder
großer
Nähe zu
einer Abtastoberfläche
verfolgt und aufgezeichnet. Die Anordnung an Kontakten (z. B. Akkorde)
und die Bewegung der Kontakte (z. B. Gesten) auf oder Nahe der Abtastoberfläche werden
von der elektronischen Vorrichtung als Befehle von dem Benutzer
interpretiert, die eine Funktion, die von der elektronischen Vorrichtung
ausgeführt
wird, modifizieren, initiieren oder beenden sollen.
-
Während die
Fingerspitzenakkord- und Bewegungsdaten einen starken Satz von Benutzersteuermitteln
darstellen, könnten
zusätzliche
Information von anderen Abtastmitteln, wenn sie mit den Akkord- und
Bewegungsdaten kombiniert oder fusioniert werden, die interpretativen
Fähigkeiten
der elektronischen Vorrichtung signifikant verbessern und/oder signifikant
die Bequemlichkeit der Verwendung verbessern, sowie Eingabehandlungen
für den
Benutzer rationalisieren. Deshalb schlagen Ausführungsformen der Erfindung
das Konzept der MT Datenfusion vor, welche als die Kombination von
Daten von einem oder mehreren unabhängigen Abtastmitteln mit Akkord-
und Bewegungsdaten von einem MT Sensor definiert ist, um die Bedienung
und Verwendung einer elektronischen Vorrichtung zu verbessern.
-
Es
gibt eine Anzahl an unabhängigen
Abtastmodalitäten,
die, wenn sie mit Mehrfachberührungsakkordbildungs-
und Bewegungsdaten fusioniert werden, verbesserte Leistungsfähigkeit
und Bedienbarkeit von elektronischen Vorrichtungen bereitstellen.
Die Quellen an unabhängigen
Abtastdaten fallen in mehrere Kategorien: (1) jene, die einen Aspekt
des Körperzustandes
des Benutzers messen, (2) jene, die Daten von der Umgebung messen,
was Abtastdaten von anderen Individuen beinhalten könnte, (3)
jene, die irgendeinen Aspekt des Zustandes der elektronischen Vorrichtung
messen. Beispielhaft können die
Abtastdaten beinhalten, aber sind nicht beschränkt auf die Fusion von Stimme,
Fingeridentifikation, Blickvektor, Gesichtsausdruck, Dynamik der tragbaren
Vorrichtung und Biometrien, wie z. B. Körpertemperatur, Herzschlag,
Hautimpedanz und Pupillengröße. Es sollte
beachtet werden, dass Ausführungsformen
dieser Erfindung nicht auf individuelle Abtastmittel gerichtet sind.
Stattdessen sind sie auf die temporäre Fusion von Daten von existierenden Abtastmitteln
mit Mehrfachberührungsbewegungs- und
Akkordbildungsdaten gerichtet, um die Bequemlichkeit der Verwendung
und Leistungsfähigkeit
einer elektronischen Vorrichtung zu verbessern.
-
In Übereinstimmung
mit einer Ausführungsform
können
eine oder mehrere dieser unabhängigen Datenquellen
temporär
mit Bewegungs- und Akkordbildungsdaten von einem Mehrfachberührungssensor
fusioniert werden, um die Leistungsfähigkeit und Verwendbarkeit
von elektronischen Vorrichtungen signifikant zu erhöhen. Generell
bedeutet temporäre Fusion
ein ersichtliches zeitliches Zusammenkommen einzelner Ereignisse
(mehrere Datensätze)
innerhalb eines einzigen individuellen Kontextes (Computeranwendung,
Modus oder Plattform). Genauer werden in zeitlicher Fusion die Daten
von mehreren Quellen (MT + anderes Abtastmittel) in einer zeitkoherenten
Weise interpretiert. Die Informationen, die von den verschiedenen
Quellen strömen,
werden kombiniert oder fusioniert, so dass Ereignisse in jedem Datenstrom
zeitlich miteinander abgestimmt sind. Als solche können mehrfache
Datenströme
in Verbindung miteinander korrekt verstanden werden.
-
Einige
Beispiele von MT Datenfusion werden unten gegeben.
-
STIMMFUSION
-
Stimmeingabe,
Spracherkennung und Sprachverständnis
fallen alle unter das lang gesuchte Ziel, elektronische Vorrichtungen
in die Lage zu versetzen, ihre vorgesehenen Funktionen geführt von
menschlicher Sprache auszuführen.
In den letzten Jahren wurde viel Fortschritt gemacht, Spracherkennung
von elektronischen Vorrichtungen zu ermöglichen. Sprachverständnis, was
viel schwieriger ist, hat nicht dasselbe Maß an Erfolg genossen. Ausführungsformen
der hierin beschriebenen Erfindung beschäftigen sich nicht damit, wie
Stimmdaten erkannt oder verstanden werden. Ausführungsformen dieser Erfindung
verwenden lediglich Resultate der Stimmerkennung und – irgendwann
einmal – Sprachverständnis als
unabhängige
Abtasteingaben, die mit Mehrfachberührungsbewegungsdaten in solch
einer Weise fusioniert werden, dass die Leistungsfähigkeit einer
elektronischen Vorrichtung signifikant verbessert wird.
-
Es
gibt eine große
Anzahl an Beispielen, in denen Stimm- und Mehrfachberührung fusioniert werden
können,
um einen signifikanten Gewinn zu einer Anwendung hinzuzufügen. Der
größte Gewinn wird
erreicht, wenn Stimm- und Mehrfachberührungsbenutzung dorthin aufgeteilt
werden, wo sie maximal effektiv sind. In anderen Worten wird Stimmeingabe
auf Aktionen angewandt, die durch manuelle Eingaben schlecht bedient
werden, und manuelle Eingaben behandeln Aufgaben, die durch Stimme
schlecht bedient werden. Zum Beispiel werden Modusauswahl oder statische
Befehle effizienter unter Verwendung von Stimmeingabe ausgeführt, während Bewegen
von Objekten auf dem Bildschirm am besten manuell mit MT ausgeführt wird.
Ein Beispiel wird jetzt gegeben werden. Bei der Bearbeitung von
beispielsweise mechanischen Zeichnungen kann die Aufgabe sein, die
Objekte, die die Zeichnung darstellen, auszuwählen und zu modifizieren. Angenommen
die Modifizierung jedes Objektes beinhaltet Größenveränderung, Rotation und Farbänderung.
Es sei weiter angenommen, dass die Aufgabe nicht eine einfache Skalierung
oder Rotationsänderung
jedes Objektes ist. Der minimale Aufwand wird daher aufgewendet,
wenn die Größenveränderung und
Rotation unter Verwendung von Mehrfachberührungsgesten (d. h. manuell)
ausgeführt
wird, und wenn der Farbwechsel unter Verwendung von Stimmeingabe
ausgeführt
wird. Man betrachte die Alternative: Verwendung von Stimme, um jedes
Objekt in der Größe zu verändern und
zu Rotieren ist problematisch, weil eine verbale Beschreibung der
gewünschten
Größe und Rotation
schwierig auszudrücken
ist. Die Verwendung von Mehrfachberührung, um eine Farbe zu wählen, ist
typischerweise weniger effizient, als die Verwendung von Stimme,
weil die Farbe durch Durchlaufen einer Liste gewählt werden muss. Alternativ
oder zusätzlich
kann Stimmeingabe verwendet werden, um Text in das Objekt einzufügen.
-
FINGERIDENTIFIKATIONSFUSION
-
Fingeridentifikation
bedeutet, dass die Finger, die gerade die Mehrfachberührungs-Abtastoberfläche berühren oder
in großer
Nähe zu
ihr sind, ohne Zweideutigkeit in Bezug auf ihre Namen und die Hand
(d. h. rechte, linke, Besitzer), zu der sie gehören, identifiziert werden.
Es sei z. B. angenommen, dass der Zeige- und Mittelfinger der rechten
Hand in Kontakt mit einer Mehrfachberührungsoberfläche ist. Die
meisten, wenn nicht alle Mehrfachberührungssensoren, können die
in Kontakt stehenden Finger nicht eindeutig als Zeige- und Mittelfinger
von der rechten Hand einordnen. Die Verwendung von Kontaktgröße und Kontakttrennung
ermöglicht
es, dem Mehrfachberührungssystem,
Annahmen in Bezug auf die Fingeridentifizierung zu machen, aber
die Genauigkeit der Annahme ist typischerweise nicht gut, es sei
denn, dass eine ausreichende Anzahl an Fingern von einer Hand in
Kontakt mit der Oberfläche sind.
-
Die
Quelle an unabhängigen
Fingeridentifikationsdaten ist bereits verfügbar von einer Kamera, wie
etwa einer Über-der-Mehrfachberührungs-Oberflächenkamera.
Die Kameradaten zeigen, wo die Finger einer jeden Hand relativ zu
den Mehrfachberührungs-XY
Koordinaten sind. Die Kamera kann nicht notwendigerweise bestimmen,
ob die Finger in Kontakt mit der Berührungsoberfläche sind,
aber das ist nicht wichtig, weil die fusionierten Daten von der
Kamera und dem Mehrfachberührungssensor
eindeutige Fingerbewegungsdaten liefern werden, die die vertikale
(d. h. Z Dimension) Position eines jeden Fingers beinhalten. Eine
typische Ausführungsform
einer Über-der-Mehrfachberührungs-Oberflächenkamera
für einen
Laptopcomputer könnten
eine oder mehrere eingebettete iSight Kameras sein, jeweils mit
einem Schwenkspiegel, der es ermöglichen
würde,
beide Hände über einer
Mehrfachberührungsoberfläche aufzunehmen.
-
Fingermalen,
wobei jeder Finger eine zugeordnete Farbe, Strich oder andere Charakteristik
hat, ist ein einfaches Beispiel für eine Anwendung, die signifikant
verbessert werden würde,
im Vergleich zum Stand der Technik durch Verwendung von Fingeridentifikation
mit Mehrfachberührungsdatenfusion. Ohne
eindeutige Fingeridentifikation wäre die Anwendung, sei es Fingermalen
oder etwas anderes, nicht in der Lage, die richtige Zuordnung bestimmter Attribute,
die einem spezifischen Finger gegeben wurden, beizubehalten. Wenn
z. B. dem Zeigefinger der linken Hand die Farbe rot zugeordnet wurde
und den anderen Fingern unter schiedliche Farben zugeordnete wurden,
muss die Anwendung in der Lage sein, zu bestimmen, wann der Zeigefinger
der linken Hand in Kontakt mit der Oberfläche ist, um rot zu malen. Umgekehrt
muss die Anwendung in der Lage sein, zu bestimmen, wann der Finger,
dem rot zugeordnet ist, nicht in Kontakt mit der Oberfläche ist.
Die Fusion von Fingeridentifikationsdaten mit Mehrfachberührungsbewegungsdaten
ermöglicht
es der Anwendung ohne Fehler zu arbeiten.
-
BLICKVEKTORFUSION
-
Innerhalb
der letzten 20 Jahre gab es eine große Menge an Forschung und Entwicklung
in blickgesteuerten Benutzerschnittstellen. Die meisten Bemühungen richteten
sich darauf, Leuten mit Behinderungen, die nicht fähig sind,
eine Tastatur oder Maus zu bedienen, Computerschnittstellenlösungen zur Verfügung zu
stellen. Forschung wurde auch über
die Verwendung von Blicksteuerung in virtuelle-Realität-Anwendungen
gemacht. Wie bei den anderen Berührungsmitteln,
die in dieser Offenbarung diskutiert werden, kann die zeitweise
Fusion von Blicksteuerungsdaten mit Mehrfachberührungsbewegungsdaten dazu verwendet
werden, die Leistungsfähigkeit elektronischer
Geräte
zu erhöhen.
Daher werden das Erfassen von Blickvektordaten und die Verfahren zum
Berechnen von Blicksteuerung hier nicht diskutiert werden.
-
Es
gibt viele mögliche
Anwendungen, die von der zeitweisen Fusion von Blickvektoren mit Mehrfachberührungsbewegungsdaten
profitieren würden.
Als Beispiel wird hier eine einfache Anwendung diskutiert werden:
man betrachte einen typischen Computerbildschirm, auf dem mehrere
Fenster angezeigt sind. Man nehme an, dass der Benutzer das Fenster
in der unteren linken Ecke nach vorne bringen möchte, welches momentan unterhalb
von zwei anderen Fenstern ist. Ohne Blickvektorfusion gibt es zwei
Mittel, um dies zu tun, und beide bringen Bewegung der Hand in eine
andere Position mit sich. Das erste Mittel ist es, den Mauszeiger über das Fenster
von Interesse zu bewegen und die Maustaste zu klicken. Das zweite
Mittel ist es, eine Tastaturbefehlskombination zu verwenden, um durch
die Bildschirmfenster zu kreisen, bis dasjenige von Interesse nach
vorne gebracht ist. Stimmeingabe könnte auch verwendet werden,
aber sie wäre
weniger effizient als die anderen Eingabemittel. Mit Blickvektorfusion
wird die Aufgabe stark vereinfacht. Der Benutzer richtet seinen
Blick z. B. auf das Fenster von Interesse und tippt einen bestimmten
Akkord auf der Mehrfachberührungsoberfläche. Die
Operation erfordert keine Translation der Hände und kann sehr schnell ausgeführt werden.
-
Als
ein anderes Beispiel nehme man an, dass der Benutzer ein iTunes
Fenster, das sich oben links auf einem Anzeigebildschirm befindet,
in seiner Größe und seiner
Position verändern
möchte.
Dies kann durch die Verwendung eines Mehrfachberührungssystems erreicht werden,
indem der Mauszeiger in das iTunes Fenster bewegt wird, und eine
Geste ausgeführt
wird, die die Größe und Position
verändert.
Während
dieses Mittel bereits eine Verbesserung gegenüber der Verwendung nur einer
Maus ist, kann seine Effizienz durch die zeitweise Fusion von Blickvektordaten
weiter verbessert werden.
-
VORRICHTUNGSDYNAMIKSFUSION
-
Vorrichtungsdynamik
umfasst die Kräfte,
die auf eine mobile oder tragbare elektronische Vorrichtung einwirken
und die Verschiebungen im Raum und Drehungen um die Hauptachsen
der Vorrichtung bewirken. Drehungen um die Hauptachsen können als Rollen,
Kippen und Neigen beschrieben werden, während die Verschiebung einer
Vorrichtung relativ zum Körper
des Benutzers betrachtet werden kann.
-
Man
kann eine Anzahl an Anwendungen für mobile oder tragbare elektronische
Vorrichtungen vorhersehen, die von der zeitweisen Fusion von Vorrichtungsdynamik
mit Mehrfachberührungsbewegungsdaten
profitieren würden.
Diese Anwendungen würden
diejenigen beinhalten, aber sind nicht auf sie beschränkt, die
ein hohes Maß an
Interaktion zwischen dem Benutzer und der Anwendung ver langen, so
z. B. bei Spielen. Nicht-Spielanwendungen können auch von der Fusion von
Vorrichtungsdynamik mit Mehrfachberührungsbewegungsdaten profitieren.
Zum Beispiel, während
versucht wird, eine Mehrfachberührungsbenutzerschnittstelle
unter stark dynamischen Bedingungen zu verwenden, so wie sie vorgefunden
werden, wenn man in einem Flugzeug fliegt oder geht. In Fällen wie
diesen könnte
die Fusion von Vorrichtungsdynamik mit Mehrfachberührungsbewegungsdaten
in einem Glätten
(d. h. verbesserten Filtern) unbeabsichtigter Fingerbewegung aufgrund
der Fortbewegungsmittel (z. B. Vibrationen und Stöße) resultieren.
-
Als
ein weiteres Beispiel zitieren wir eine Anwendung, die die zeitweise
Fusion der Position der Vorrichtung relativ zum Körper des
Benutzers mit Mehrfachberührungssensordaten
mit sich bringt. Die Beispielanwendung ist ein Mehrfachberührungsmobiltelefon,
bei dem die benutzerseitige Oberfläche fast vollständig durch
einen Mehrfachberührungssensor
eingenommen wird. Die Aufgabe ist es, zu bestimmen, ob das Mobiltelefon
relativ zum Körper
des Benutzers ist, um die richtige Vorrichtungsfunktion zu aktivieren.
Wenn z. B. das Telefon weit vom Ohr des Benutzers entfernt ist,
und in einer Position mit seiner Oberseite nach oben gehalten wird,
würde sie
Mehrfachberührungssensoreingabe
als Fingerbewegungsdaten interpretiert werden, die dazu verwendet werden,
irgendeinen Aspekt der Vorrichtung zu steuern, z. B. die Lautstärke oder
Auswahl aus einer Liste. In anderen Positionen, z. B. wenn die Vorrichtung nahe
am Ohr ist, würde
die Mehrfachberührungssensoreingabe
als Bilddaten interpretiert werden und könnte verwendet werden, um Bewegungssteuerung zu
sperren. Alternativ könnten
die Bilddaten der Vorrichtung nahe am Ohr verwendet werden, um irgendeinen
Vorrichtungsaspekt, wie etwa die Ausgabelautstärke einzustellen, die abhängig davon,
wie nahe das Ohr an der Mehrfachberührungsoberfläche ist,
geändert
werden könnte.
-
BIOMETRIEFUSION
-
Biometrieeingaben
beinhalten – aber
sind nicht begrenzt auf – Handgröße, Fingerabdruckseingabe,
Körpertemperatur,
Herzfrequenz, Hautimpedanz und Pupillengröße. Typische Anwendungen, die
von der Fusion von Biometriedaten mit Mehrfachberührungsbewegungsdaten
profitieren könnten, würden Spiele,
Sicherheit und fitnessbezogene Aktivitäten einschließen.
-
Handcharakteristiken,
wie etwa Größe, Form und
allgemeine Morphologie können
verwendet werden, um eine Person zu identifizieren, mit dem Zweck,
Zugang zu gesicherten Bereichen zu ermöglichen, einschließlich Computersystemen.
Während Handcharakteristika
alleine keinen ausreichenden Grad an Identifikationsverifikation
bieten würden, könnte es
die erste Türe
sein, durch die ein Benutzer gehen muss, bevor andere Sicherheitsmaßnahmen angewendet
werden. Die Fusion von physikalischen Handcharakteristika mit Mehrfachberührungsbewegungsdaten
(z. B. eine Bewegungsbahnunterschrift) würde dem anfänglichen Aussiebungsprozess
eines typischen Sicherheitssystems Vorteile bieten.
-
GESICHTSAUSDRUCKSFUSION
-
Wie
bei Sprache, gibt es viel Forschung über die Maschinenanalyse und
Interpretation von Gesichtsausdrücken.
Wie die anderen Abtastmittel schlagen Ausführungsformen der Erfindung
die Fusion von Gesichtsausdrucksdaten mit Mehrfachberührungsbewegungsdaten
vor, und nicht die verwendeten analytischen Methoden. Gesichtsausdrücke übertragen
emotionalen Zustand, der vorteilhaft mit Mehrfachberührungsbewegungsdaten,
während
kreativer Aktivitäten,
wie etwa dem Komponieren von Musik, vorteilhaft fusioniert werden
könnten.
Andere Aktivitäten,
wie etwa die Erkennung bevorstehender Probleme über Gesichtserkennung, könnten mit Mehrfachberührungsdaten
fusioniert werden, um den Lauf der Dinge, wie in dem folgenden Beispiel
zu korrigieren.
-
Ein
einfaches Beispiel für
den Vorteil, der von der Fusion von Emotionszustand, wie er durch
Gesichtsausdruck identifiziert wird, mit Mehrfachberührungsbewe gungsdaten
abgeleitet wird, schildert die mögliche
Verwendung dieses Verfahrens. Wie bei allen Computersystemen und
vielen elektronischen Geräten
gibt es insbesondere für
neue Benutzer einen gewissen Grad an Frustration, wenn er versucht, irgendeine
Operation auszuführen.
Die Quelle dieser Frustration kann den Fehlern in der Anwendung
dem Nichtwissen des Benutzers oder beiden zugeordnet werden. Wenn
die Frustration nur vom Nichtwissen des Benutzers herrührt, würde er sich
typischerweise seiner Rolle im Verursachen des Problems nicht bewusst
sein. Anstatt die Schuld der Maschine oder ihm selber zu geben,
würde der
typische Benutzer meistens daran interessiert sein, das Problem
zu lösen und
fortzufahren, die Anwendung auszuführen, die er begonnen hat.
Abhilfemaßnahmen
durch die Maschine könnten
automatisch initiiert werden, wenn nur die Maschine den emotionalen
Zustand des Benutzers erkennen würde.
-
Wie
oben diskutiert, kann ein Neulingsbenutzer von Zeit zu Zeit Frustration
erfahren, beim Lernen, wie irgendeine Anwendung auf einer elektronischen
Vorrichtung durchzuführen
ist. Man nehme z. B. an, dass der Benutzer versucht, durch ein Dokument
zu scrollen unter Verwendung einer zweifinger-vertikalen Bewegung
(Geste). Scrollen funktioniert jedoch nicht für ihn, weil er, ohne es zu
wissen, die Oberfläche
mit drei Fingern anstelle der benötigten zwei berührt. Er
wird mit der "Fehlfunktion" der Vorrichtung
frustriert. In diesem Fall erkennt das System jedoch die Frustration
und auf die Analyse der Mehrfachberührungs-bewegungsdaten hin,
kommt sie zu dem Schluss, dass er versucht, mit drei Fingern zu
scrollen. An diesem Punkt könnte
die Vorrichtung den Benutzer auf das Problem mit dem zusätzlichen
Finger aufmerksam machen, oder sie könnte entscheiden, den zusätzlichen
Finger zu ignorieren und mit dem Scrollen zu beginnen. Nachfolgende Emotionsdaten über Gesichtserkennung
würden dem
System bestätigen,
dass die richtige Abhilfemaßnahme
getroffen wurde.
-
Es
sollte verstanden werden, dass diese Ausführungsformen/Beispiele beispielhaft
gegeben werden, und nicht einschränkend. Andere Abtastmittel
können
verwendet werden, wie z. B. Kraftabtastung. Kraftabtastung könnte verwendet
werden, um harte und leichte Berührungen
zu interpretieren, um einen fallen gelassenen Finger, der nicht
Teil eines Akkords oder einer Geste ist, unberücksichtigt zu lassen oder auszufiltern.
Weil der fallen gelassene Finger einfach das ist, wendet er nicht
so viel Kraft auf, wie der Finger, der die Geste ausführt. Kraftabtastung
könnte
auch in 3D Modellierungsanwendungen verwendet werden, um die Z Position
irgendeines Objekts anzupassen.
-
Es
sollte auch erwähnt
werden, dass andere Beispiele für
jede der oben genannten Fusionsausführungsformen betrachtet werden
können.
Zum Beispiel kann der Blickvektor verwendet werden, um ein angezeigtes
Objekt auszuwählen,
während
MT Abtastung verwendet werden kann, um einen Befehl einzugeben,
der das angezeigte Objekt modifiziert. In einem Beispiel kann der
Computer eine Gruppierung von Fotos zur Verfügung stellen. Der Benutzer
kann auf ein bestimmtes Foto blicken, und eine Findegeste durchführen, die
die Anwendung veranlasst, nach Fotos mit ähnlichen Charakteristika oder
Attributen zu suchen.
-
Es
sollte weiterhin erwähnt
werden, dass Ausführungsformen
der Erfindung nicht nur auf ein fusioniertes Abtastmittel begrenzt
sind, und dass mehrere Abtastmittel verwendet werden können. Zum
Beispiel kann Blickabtastung und Stimmeingabe verwendet werden,
um MT Daten während
einer Eingabesequenz zu ergänzen.
Während
z. B. ein erstes Objekt mit MT Daten manipuliert wird, kann ein Benutzer
auf ein anderes Objekt schauen und grün sagen, um eine Farbänderung
des zweiten Objekts zu veranlassen.
-
Ausführungsformen
der Erfindung sind auf Verbesserungen der Ausführung gerichtet und verwenden
berührungsempfindliche
Vorrichtungen, wie etwa Einfachberührungs- und Mehrfachberührungs-(multi-touch
MT)Vorrichtungen. MT Vorrichtungen sind so konfiguriert, dass sie
mehrere Kontaktpunkte auf oder nahe einer Oberfläche gleichzeitig erkennen.
Die Anordnung von Kontakten, die manchmal Akkorde genannt wird,
und deren Bewegungen, die manchmal Gesten genannt werden, können verwendet
werden, um eine große
Anzahl an Eingaben zu erzeugen, einschließlich z. B. statischer oder
manipulativer Befehle.
-
MT
Vorrichtungen haben Vorteile gegenüber herkömmlichen Einzelpunktabtastungs-Berührungsvorrichtungen,
in der Hinsicht, dass sie zwischen mehr als einem Objekt (Finger)
unterscheiden können.
Einzelpunktvorrichtungen sind einfach nicht in der Lage, mehrere
Objekte zu unterscheiden. In den meisten Fällen überwachen MT Vorrichtungen
eine Abtastoberfläche
im Bezug auf eine Berührung
oder eine Fast-Berührung
und bestimmen, wenn eine Berührung
auftritt, die unterschiedlichen Kontaktgebiete und identifizieren
die Kontakte über
ihre geometrischen Eigenschaften und geometrische Anordnung. Sobald
sie identifiziert oder klassifiziert sind, werden die Kontakte im
Hinblick auf verschiedene Bewegungen, Aktionen oder Ereignisse überwacht.
Die Kontakte und ihre Bewegungen werden dann in Eingaben zur Steuerung
irgendeines Aspekts einer elektronischen Vorrichtung umgewandelt.
-
MT
Vorrichtungen können
in verschiedenen Formen ausgeführt
werden, einschließlich – aber nicht
beschränkt
auf – Standardberührungsfelder, große erweiterte
Handflächenfelder,
Berührungsbildschirme,
berührungssensitive
Gehäuse,
usw. Weiterhin können
MT Vorrichtungen in verschiedenen elektronischen Vorrichtungen untergebracht
werden, einschließlich – aber nicht
beschränkt
auf – Computer, wie
etwa Tabletcomputern, Laptopcomputern, Desktopcomputern und handgehaltene
Computervorrichtungen, wie etwa Media Players (z. B. Musik, Video, Spiele),
PDAs, Mobiltelefone, Kameras, Fernbedienungen und/oder ähnliches.
Die MT Vorrichtungen können
auch auf dedizierte Eingabevorrichtungen platziert werden, wie etwa
Touch-Screen-Bildschirmen, Tastaturen, Navigationsfeldern, Tablets,
Mäusen
und ähnlichen.
Im Wesentlichen können
MT Vorrichtungen auf jede Oberfläche
angewandt werden, und können
in jeden Unterhaltungselektronikprodukt gefunden werden, das Eingaben
benötigt.
-
Weil
MT Vorrichtungen eine Fülle
von eingebenden Operationen an einem einzigen Ort (Eingabeoberfläche) zur
Verfügung
stellen, kann das Eingeben mit MT Vorrichtungen sehr effizient sein.
Der Benutzer kann seine Hand/Hände
auf der MT Oberfläche
lassen, ohne seine Hand/Hände
bewegen zu müssen,
um irgendwelche anderen Eingabevorrichtungen anzusteuern. Zum Beispiel
beinhalten herkömmliche
Systeme typischerweise eine Tastatur und eine getrennte Maus. Um
die Maus zu benutzen muss der Benutzer seine Hand von der Tastatur
weg und auf die Maus bewegen. Um effizient zu Tippen (beide Hände), muss
der Benutzer seine Hand von der Maus zur Tastatur bewegen. Diese
Eingabesequenz ist sehr ineffizient. Zum einen kann nur eine Vorrichtung
gleichzeitig effektiv benutzt werden. Zum anderen gibt es Zeitverschwendung
zwischen jedem Eingabeschritt. Im Gegensatz dazu kann der Benutzer
mit MT Oberflächen
sowohl statische Befehle (z. B. Tippen) als auch manipulative Befehle
(z. B. Nachverfolgen) von derselben Stelle aus und zur gleichen Zeit
erzeugen. Der Benutzer muss daher seine Hände nicht bewegen, um verschiedene
Eingabeaufgaben durchzuführen.
Der Benutzer liefert einfach verschiedene Akkorde oder Fingerbewegungen,
um eine Fülle
von Eingaben entweder sequentiell oder simultan zu erzeugen. In
einem Beispiel kann der Benutzer Tastenbefehle mit Tippen auf bestimmten
Stellen auf der MT Oberfläche
liefern, während
Nachverfolgung von allen Stellen der MT Oberfläche ermöglicht wird.
-
Obwohl
Eingabeeffizienz mit MT Vorrichtungen stark verbessert wird, haben
MT Vorrichtungen immer noch einige Beschränkungen. Zum einen können MT
Abtastungen Daten erzeugen, die zweideutig oder unklar sind. Während sie
z. B. großartig
darin sein mag, die Anzahl an Kontakten zu bestimmen, kann sie Schwierigkeiten
haben, beim Ermitteln der exakten Identität des Kontakts, z. B. welcher
Finger. Dies gilt insbesondere, wenn es nur eine beschränkte Anzahl
an ermittelten Kontakten gibt. Zum anderen gibt es in MT Operationen
typischerweise eine Höchstzahl
an Eingaben, die auf verschiedenen Akkorden und Fingerbewegungen
basieren.
-
Daher
schlägt
in Übereinstimmung
mit einer Ausführungsform
die Erfindung vor, sekundäre
Abtastung oder Eingabemechanismen oder -Systeme zu verwenden, um
die MT Daten zu interpretieren zu helfen. Dadurch können die
damit assoziierten Eingaben verbessert und sogar erweitert werden.
Indem z. B. jeder Kontakt in einer Anordnung von Kontakten klar
identifiziert wird, können
mehr Akkorde und Gesten erzeugt werden. Die Eingabesprache ist nicht mehr
auf die Anzahl an Kontakten begrenzt und kann erweitert werden,
um spezifische Finger oder eine Fingeranordnung (z. B. Daumen, Ringfinger,
Mittelfinger, kleiner Finger, Handfläche, usw.) zu umfassen.
-
Darüber hinaus
können
in manchen Situationen die MT Abtastdaten nicht so präzise sein,
wie sie sollten oder müssen,
um fehlerfrei zu arbeiten. Zum Beispiel kann ungenaue oder grobe
Erkennung von Kontakten und Bewegungen zu unerwünschten Ergebnissen führen. Zum
Beispiel kann die Handlung des Benutzers als etwas interpretiert
werden, das sie nicht ist. Der Benutzer kann verärgert werden oder der Vorrichtung
nicht trauen und als ein Ergebnis aufhören, die Vorrichtung zu verwenden.
Daher können sekundäre Abtastvorrichtungen
verwendet werden, um die MT Daten zu korrigieren, filtern, glätten oder anderweitig
positiv zu verbessern, um die Leistungsfähigkeit der durch die MT Vorrichtung
gelieferten Eingaben zu verbessern.
-
In Übereinstimmung
mit einer anderen Ausführungsform
schlägt
die Erfindung vor, sekundäre Abtastungs-
oder Eingabemechanismen oder Systeme zum Ergänzen von MT Operationen zu
verwenden, um die gesamte MT Eingabeerfahrung zu verbessern. Zum
Beispiel kann die Anzahl an Eingaben weiterhin erhöht werden.
Wie erwähnt,
ermöglichen es
MT Vorrichtungen einem Benutzer, eine Fülle von Eingaben durchzuführen. Um
dies zu tun behält
der Benutzer jedoch typischerweise seine Hände nahe oder auf der MT Oberfläche. Eine
Hand/Hände
von der Oberfläche
wegzubewegen verringert die Anzahl an verfügbaren Eingaben und damit die
Effizienz. Daher können
sekundäre
Abtastungs- oder Eingabemechanismen oder Systeme verwendet werden,
die es der Hand/den Händen
ermöglicht, nahe
der MT Oberfläche
zu bleiben. Zum Beispiel Mechanismen oder Systeme entweder (1) in
der Lage nahe der MT Oberfläche
abzutasten und/oder (2) in der Lage, etwas anderes als eine Hand
(handloses Eingeben) abzutasten. Beispiele für ersteres können z.
B. Kraftabtastung, Bildabtastung, optische Abtastung, Positionsabtastung,
Bewegungsabtastung, biometrische Abtastung und/oder ähnliches
an der MT Oberfläche
umfassen. Beispiele für
letzteres umfassen Stimmerkennungssysteme, Blickvektorsysteme, biometrische
Systeme, Vorrichtungsdynamikabtastung, Umgebungsabtastung und/oder ähnliches.
-
Weitere
Details über
Implementierungen von Berührungsvorrichtungen,
die MT Vorrichtungen und deren Durchführungsverfahren umfassen, werden geliefert
in: (1) U.S. Patentanmeldung Nr. 10/654,108, eingereicht am 2. September
2003, mit dem Titel "BEIDHÄNDIGE MAUS"; (2) U.S. Patentanmeldung
Nr. 10/789,676, eingereicht 27. Februar 2004, mit dem Titel "FORMERKENNENDE EINGABEVORRICHTUNG"; (3) U.S. Patentanmeldung
Nr. 10/840,862, eingereicht am 6. Mai 2004, mit dem Titel "MEHRPUNKTBERÜHRUNGSBILDSCHIRM"; (4) U.S. Patentanmeldung
Nr. 11/115,539, eingereicht am 26. April 2005, mit dem Titel "TRAGBARE ELEKTRONISCHE
VORRICHTUNG MIT MEHRFACHBERÜHRUNGS-ABTASTUNGSVORRICHTUNGEN"; (5) U.S. Patentanmeldung
Nr. 11/241,839, eingereicht am 30. Juli 2004, mit dem Titel "NÄHEDETEKTOR IN TRAGBARER VORRICHTUNG"; (6) U.S. vorläufige Patentanmeldung
Nr. 60/658,777, eingereicht am 4. März 2005, mit dem Titel "MULTIFUNKTIONALE
TRAGBARE VORRICHTUNG";
(7) U.S. Patentanmeldung Nr. 10/903,964, eingereicht am 30. Juli
2004, mit dem Titel "GESTEN FÜR BERÜHRUNGSSENSITIVE
EINGABEVORRICHTUNGEN" (8)
U.S. Patentanmeldung Nr. 11/038,590, eingereicht am 18. Januar 2005,
mit dem Titel "MODUS-BASIERTE
GRAPHISCHE BENUTZERSCHNITTSTELLE FÜR BERÜHRUNGSSENSITIVE EINGABEVORRICHTUNGEN"; (9) U.S. Patentanmeldung
Nr. 11/048,264, eingereicht am 31. Januar 2005, mit dem Titel "GESTEN FÜR BERÜHRUNGS-SENSITIVE
EINGABEVORRICHTUNGEN";
(10) U.S. Patentanmeldung Nr. 11/228,737, eingereicht am 16. September
2005, mit dem Titel "AKTIVIEREN
VIRTUELLER TASTEN EINER VIRTUELLEN BERÜHRUNGSBILDSCHIRM-TASTATUR"; (11) U.S. Patentanmeldung
Nr. 11/228,758, eingereicht am 16. September 2005, mit dem Titel "ANORDNUNG EINER VIRTUELLEN
EINGABEVORRICHTUNG AUF EINER BERÜHRUNGSBILDSCHIRM-BENUTZERSCHNITTSTELLE;
(12) U.S. Patentanmeldung Nr. 11/228,700, eingereicht am 16. September
2005, mit dem Titel "OPERATION
EINES COMPUTERS MIT BERÜHRUNGSBILDSCHIRMSCHNITTSTELLE"; (13) U.S. Patentanmeldung
Nr. 10/927,925, eingereicht am 26. August 2004, mit dem Titel "VISUELLER EXPANDER"; (14) U.S. Patentanmeldung
Nr. 10/927,575, eingereicht am 25. August 2004, mit dem Titel "BREITES BERÜHRUNGSFELD
AUF EINEM TRAGBAREN COMPUTER",
(15) U.S. Patentanmeldung Nr. 11/015,434, eingereicht am 17. Dezember
2004, mit dem Titel "VERFAHREN
UND VORRICHTUNG ZUM INTEGRIEREN MANUELLER EINGABE", (16) U.S. Patentanmeldung
Nr. 6,323,846, (17) vorläufige
U.S. Patentanmeldung Nr. 60/072,509, eingereicht am 26. Januar 1998,
(18) vorläufige
U.S. Patentanmeldung Nr. 60/763,605, eingereicht am 30. Januar 2006,
mit dem Titel "GESTIKULIEREN
MIT EINER MULTIPUNKTABTASTVORRICHTUNG" (19) U.S. Patentanmeldung Nr. 11/057,050,
eingereicht am 11. Februar 2005, mit dem Titel "ANZEIGEAKTUATOR," (20) U.S. Patentanmeldung Nr. 6,677,932,
(21) U.S. Patent Nr. 6,570,557, (20) U.S. Patent Nr. 7,030,861, (22)
U.S. Patent Nr. 6,888,536, die alle hierin durch Verweisung enthalten
sind.
-
Diese
und andere Aspekte der Ausführungsformen
der Erfindung werden unten mit Bezug auf die 1 bis 25 diskutiert.
Die Fachleute werden jedoch leicht erkennen, dass die detaillierte
Beschreibung, die hier mit Bezug auf diese Figuren gegeben wird,
nur beispielhaften Zwecken dient, da die Erfindung über diese
begrenzten Ausführungsformen
hinausgeht.
-
1 ist
ein Blockdiagramm einer elektronischen Vorrichtung oder eines Systems 50,
in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfin dung. Die elektronische Vorrichtung 50 kann
einem Computer entsprechen, wie etwa Desktop, Laptop, Tablet- oder
handgehaltenen Computer. Die elektronische Vorrichtung kann auch
anderen in der Hand gehaltenen Computervorrichtungen entsprechen,
wie etwa Mobiltelefonen, PDAs, Mediaplayers, Medienspeichervorrichtung,
Kamera, Fernbedienung und/oder ähnliches.
Die elektronische Vorrichtung kann auch eine multifunktionelle Vorrichtung
sein, die zwei oder mehr dieser Vorrichtungsfunktionalitäten in einer
einzigen Vorrichtung kombiniert. Beispiele für multifunktionale Vorrichtungen können in
der U.S. vorläufigen
Patentanmeldung Nr. 60/658,777 gefunden werden, eingereicht am 4. März 2005,
mit dem Titel "MULTIFUNKTIONALE HANDGEHALTENE
VORRICHTUNG", die
hierin durch Verweis eingebunden wird.
-
Die
beispielhafte elektronische Vorrichtung 50 enthält einen
Prozessor 56, der so konfiguriert ist, dass er Anweisungen
ausführt
und Operationen durchführt,
die mit der elektronischen Vorrichtung 50 verbunden sind.
Zum Beispiel kann der Prozessor 56 unter Verwendung von
Anweisungen, die z. B. aus dem Speicher bezogen werden, den Empfang
und die Manipulation von Eingabe- und Ausgabedaten zwischen Komponenten
der elektronischen Vorrichtung steuern. Der Prozessor 56 kann
auf einem einzigen Chip, mehreren Chips oder mehreren elektronischen
Komponenten implementiert sein. Zum Beispiel können verschiedene Architekturen
für den
Prozessor 56 verwendet werden, einschließlich einem dedizierten
oder eingebetteten Prozessor, einem Prozessor mit einer einzigen
Funktion, einem Controller, ASIC, und so weiter. Der Prozessor kann
z. B. Mikroprozessoren, DSP, A/D Wandler, D/A Wandler, Komprimierung,
Dekomprimierung, usw. umfassen.
-
In
den meisten Fällen
arbeitet der Prozessor 56 mit einem Betriebssystem zusammen,
um Computercode auszuführen
und Daten zu erzeugen und zu verwenden. Betriebssysteme sind allgemein
wohl bekannt und werden nicht in weiterem Detail beschrieben. Das
Betriebssystem kann z. B. OSX, OS/2, DOS, Unix, Linux, Palm OS und ähnlichem entsprechen.
Das Betriebssystem kann auch ein Betriebs system für einen
speziellen Zweck sein, so wie es für Haushaltsgerät-artige
Computervorrichtungen für
einen begrenzten Zweck verwendet werden kann. Das Betriebssystem,
anderer Computercode und Daten können
sich innerhalb eines Speicherblocks 58 befinden, der operativ
mit dem Prozessor 56 verbunden ist. Speicherblock 58 liefert
in der Regel einen Ort, um Computercode und Daten zu speichern,
die durch das Computersystem 50 verwendet werden. Der Speicherblock 58 kann
z. B. Nur-Lese-Speicher (Read-Only Memory ROM), Hauptspeicher (Random-Access
Memory RAM), Flash Speicher, Festplattenlaufwerk und/oder ähnliches
umfassen. Die Information könnten
sich auch in einem entfernbaren Speichermedium befinden und auf
das Computersysteme 50 bei Bedarf geladen oder installiert
werden. Entfernbare Speichermedien umfassen z. B. CD-ROM, PC-CARD,
Speicherkarte, Floppy Disk, Magnetband und eine Netzwerkkomponente.
-
Die
elektronische Vorrichtung 50 enthält auch eine Anzeigevorrichtung 68,
die operativ mit dem Prozessor 56 verbunden ist. Die Anzeigevorrichtung 68 kann
eine Flüssigkristallanzeige
(LCD) sein. Alternativ kann die Anzeigevorrichtung 68 ein Monitor,
wie etwa eine monochrome Anzeige, Color Graphics Adapter (CGA) Anzeige,
Enhanced Graphics Adapter (EGA) Anzeige, Variable Graphics Array
(VGA) Anzeige, Super VGA Anzeige, Bildröhrenanzeige (Cathode Ray Tube
CRT) und ähnliches sein.
Die Anzeigevorrichtung kann auch einem Plasmabildschirm, einer Anzeige,
die mit elektronischen Tinten implementiert ist oder einer organisches-lichtemittierende-Dioden
(OLED) Anzeige entsprechen. Die Anzeigevorrichtung 68 kann
in die elektronische Vorrichtung 50 integriert sein, oder
es können
getrennte Komponenten sein (z. B. Peripherievorrichtungen). In manchen
Fällen
kann die Anzeigevorrichtung 68 mit der elektronischen Vorrichtung 50 durch verdrahtete
Verbindungen (z. B. Drähte/Kabel/Anschlüsse) verbunden
sein. In anderen Fällen
kann die Anzeigevorrichtung 68 mit der elektronischen Vorrichtung 50 durch
drahtlose Verbindungen verbunden sein. Die Datenverbindung kann
z. B. PS/2, USB, IR, RF, Bluetooth oder ähnlichem (unter anderem) entsprechen.
-
Die
Anzeigevorrichtung 68 ist im Allgemeinen so konfiguriert,
dass sie eine graphische Benutzerschnittstelle (graphical user inferface
GUI) 69 anzeigt, die eine einfach zu benutzende Schnittstelle zwischen
einem Benutzer des Computersystems und dem Betriebssystem oder darauf
laufenden Anwendung zur Verfügung
stellt. Allgemein repräsentiert
die GUI 69 Programme, Dateien und Betriebsoptionen mit
graphischen Bildern. Die graphischen Bilder können Fenster, Felder, Dialogboxen,
Menüs,
Icons, Schaltflächen,
Cursor, Scrollleisten usw. beinhalten. Solche Bilder können in
vordefinierten Layouts angeordnet sein, oder sie können dynamisch
erzeugt werden, um speziellen Aktionen zu dienen, die durch einen
Benutzer gemacht werden. Während
des Betriebs kann der Benutzer verschiedene graphische Bilder wählen und
aktivieren, um Funktionen und damit verbundene Aufgaben einzuleiten.
Ein Benutzer kann z. B. eine Schaltfläche auswählen, die ein Fenster öffnet, schließt, minimalisiert
oder maximalisiert, oder ein Icon, das ein bestimmtes Programm startet. Die
GUI 69 kann darüber
hinaus oder alternativ Informationen, wie etwa nicht-interaktiven
Text und Graphiken für
den Benutzer auf der Anzeigevorrichtung 68 anzeigen.
-
Die
elektronische Vorrichtung 50 umfasst auch eine Eingabeanordnung 70,
die operativ mit dem Prozessor 56 verbunden ist. Die Eingabeanordnung 70 ist
so konfiguriert, dass sie Daten von der Außenwelt in die elektronische
Vorrichtung 50 überträgt. Die
Eingabeanordnung 70 kann z. B. verwendet werden, um Nachverfolgung
durchzuführen
und Auswahl in Bezug auf die GUI 69 auf der Anzeige 68 zu
machen. Die Eingabeanordnung 70 kann auch verwendet werden,
um Befehle in die elektronische Vorrichtung 50 auszugeben.
Die Eingabeanordnung 70 kann in die elektronische Vorrichtung 50 integriert sein,
oder es können
getrennte Komponenten (z. B. Peripherievorrichtungen) sein. In manchen
Fällen kann
die Eingabeanordnung 70 mit der elektronischen Vorrichtung 50 durch
Drahtverbindungen (z. B. Drähte/Kabel/Anschlüsse) verbunden
sein. In anderen Fällen
kann die Eingabeanordnung 70 mit der elektronischen Vorrichtung 50 durch
drahtlose Verbindungen verbunden sein. Die Datenverbindung kann
z. B. PS/2, USB, IR, RF, Bluetooth oder ähnlichen (unter anderem) entsprechen.
-
In Übereinstimmung
mit einer Ausführungsform
umfasst die Eingabeanordnung 70 mindestens ein MT Datenfusionseingabesystem.
Mehrfachberührungsdatenfusion
ist das Konzept des Vereinens, Zusammenführens oder Vermischens von
MT Abtastung mit anderen Abtastungsmitteln, um einen neuen Ansatz
für das
Eingeben zu schaffen. Sie wird im Allgemeinen auf synergetische
Weise erreicht (kooperative Aktion von zwei oder mehr Aktionen).
MT Datenfusion kann definiert werden als die Kombination von Daten
von einem oder mehreren unabhängigen Abtast-
oder Eingabemitteln mit MT Daten von einer MT Vorrichtung, um den
Betrieb und die Verwendung einer elektronischen Vorrichtung zu verbessern.
Wie gezeigt, umfasst das MT Datenfusionseingabesystem eine MT Vorrichtung 72 und
eine oder mehrere MT Datenfusionsvorrichtungen 74.
-
Die
MT Vorrichtung 72 ist so konfiguriert, dass sie Eingabe
von einer Berührung
des Benutzers empfängt
und diese Informationen an den Prozessor 56 schickt. Die
MT Vorrichtung 72 kann z. B. einem Berührungsfeld, einem Berührungsbildschirm,
einem berührungssensitiven
Gehäuse
oder einer anderen verwandten Berührungsvorrichtung entsprechen. Wie
erwähnt
ist MT Abtastung in der Lage, mehrere Berührungen, die zur gleichen Zeit
auftreten, zu unterscheiden. Im Allgemeinen erkennt die MT Vorrichtung 72 Berührungen,
so wie die Position und die Größenordnung
von Berührungen
auf einer Mehrfachberührungs-sensitiven
Oberfläche.
Die MT Vorrichtung 72 berichtet die Berührungen dem Prozessor 56,
und der Prozessor 56 interpretiert die Berührungen
in Übereinstimmung
mit seiner Programmierung. Der Prozessor 56 kann z. B.
eine Anwendung in Übereinstimmung
mit einer bestimmten Berührung oder
einem Berührungsereignis
einleiten. Der Prozessor kann auch einen Satz an Anweisungen enthalten,
der das Auftreten von Akkorden und deren Bewegungen erkennt und
einen oder mehrere Softwareagenten darüber informiert, welche Aktion(en)
in Antwort auf die Akkorde und Bewegung vorzunehmen ist/sind. Ein
dedizierter Prozessor kann verwendet wer den, um Berührungen
lokal zu verarbeiten und die Anforderung für den Hauptprozessor der elektronischen
Vorrichtung zu verringern. Die MT Datenfusionsvorrichtungen 74 sind
so konfiguriert, dass sie sekundäre
Informationen oder Daten, die mit den MT Daten fusioniert werden
können,
zur Verfügung stellen,
um Eingabeoperationen für
den Benutzer signifikant zu verstärken und zu verbessern. Die
sekundären
können
durch eine große
Vielzahl von Quellen zur Verfügung
gestellt werden. Zum Beispiel können
die Quellen eine Vielzahl von Sensoren umfassen, welche biometrische
Sensoren, Audiosensoren, optische Sensoren, Schallsensoren, Vibrationssensoren,
Bewegungssensoren, Positionssensoren, Lichtsensoren, Bildsensoren,
akustische Sensoren, Sensoren eines elektrischen Feldes, Schocksensoren,
Umgebungssensoren, Ausrichtungssensoren, Drucksensoren, Kraftsensoren,
Temperatursensoren und/oder ähnliche
umfassen, aber nicht auf diese beschränkt sind.
-
Die
Sensoren können
sich an einer großen Vielzahl
von Stellen relativ zur MT Oberfläche befinden. In manchen Fällen darüber angeordnet,
in anderen Fällen
darunter angeordnet. Die Sensoren können sogar auf einer Ebene
mit der MT Oberfläche sein.
Die Sensoren können
sich um den Rand der MT Oberfläche
herum befinden, oder sie können
innerhalb der Ebene der MT Oberfläche gefunden werden. In einem
Beispiel werden pixelartige oder lokalisierte Sensoren in der MT
Oberfläche
eingebettet oder mit dieser geschichtet. Zum Beispiel können temperaturempfindliche
dünne Filmwiderstände über die
Fläche verteilt
werden, um Temperaturdaten in lokalisierten Gebieten der MT Oberfläche zu liefern.
-
In
spezifischen Beispielen können
die eine oder die mehreren MT Datenfusionsvorrichtungen von Stimmerkennung,
Bilderkennung, Blickerkennung, Gemütserkennung, biometrische,
Umgebungs-, Vorrichtungsdynamik und/oder ähnlichem ausgewählt werden.
-
Das
Fusionieren kann mit dem Prozessor erreicht werden, oder alternativ
einem getrennten dedizierten Prozessor, der Teil des MT Datenfusionseingabesystems ist.
Wann und wo die Daten fusioniert werden kann stark unterschiedlich
sein. Integration kann z. B. früh,
spät oder
gleichzeitig kommen.
-
Im
Allgemeinen führt
die MT Datenfusionsvorrichtung irgendeine Operation wie etwa Abtasten durch
und kann Verarbeitungskomponenten zum Verarbeiten irgendwelcher
Daten umfassen. Die MT Datenfusionsvorrichtung berichtet sekundäre Daten dem
Prozessor 56, und der Prozessor 56 interpretiert die
sekundären
Daten im Kontext der MT Daten in Übereinstimmung mit seiner Programmierung.
In einer Ausführungsform
können
die sekundären
Daten verwendet werden, um zu helfen, MT Daten zu interpretieren.
Zusätzlich
oder alternativ können
die sekundären
Daten dazu verwendet werden, die MT Daten zu ergänzen, um die Eingabeoperationen
zu rationalisieren. Die sekundären
Daten können
z. B. Multitasking, Verkettung und ununterbrochene Stromeingabe
ermöglichen.
Zusätzlich,
oder alternativ dazu können
die sekundären
Daten verwendet werden, um eine ganz neue Eingabe zu erzeugen. Das
heißt: MT
Daten + sekundäre
Daten = Befehl.
-
Der
Prozessor kann einen Übersetzer
haben, der beide Abtastdaten empfängt und auf eine Datenbank
Bezug nimmt, um das korrekte Vorgehen zu bestimmen. Die Sprachabbildung
kann einen Satz an Instruktionen umfassen, der sowohl eine Anordnung
von Kontakten auf einer MT Oberfläche als auch andere Abtastdaten
erkennt, das Auftreten der Ereignisse erkennt und einen oder mehrere
Softwareagenten über
die Ereignisse informiert, und/oder darüber, welche Handlung in Antwort
auf die Ereignisse durchzuführen
ist.
-
In
einer Ausführungsform
können
die sekundären
Daten und MT Daten zeitweise fusioniert werden. Im Allgemeinen bedeutet
zeitweise Fusion ein ersichtliches zeitliches Zusammenkommen mehrerer Ereignisse
(mehrere Datensätze)
innerhalb eines einzigen individuellen Kontexts (Computeranwendung,
Modus oder Plattform). Genauer werden in zeitlicher Fusion die Daten
von mehreren Quellen (MT + andere Abtastmittel) in einer zeitkohärenten Weise
interpretiert. Die In formationen, die von verschiedenen Quellen
strömen,
werden kombiniert oder fusioniert, so dass Ereignisse in jedem Datenstrom
zeitlich miteinander abgestimmt sind. Als solche können die
mehrfachen Datenströme
in Verbindung miteinander korrekt verstanden werden.
-
2 ist
ein Mehrfachberührungs-
MT Datenfusionsverfahren 100. Das Verfahren 100 umfasst den
Block 102, wo MT Abtastungsoperationen durchgeführt werden.
Das Verfahren 100 umfasst auch den Block 104,
wo sekundäre
Abtastoperationen durchgeführt
werden. Das Verfahren 100 umfasst auch den Block 106,
wo die Abtastdaten zeitweise mit den MT Daten fusioniert werden.
-
3 ist
ein Mehrfachberührungs-
(MT) Datenfusionsverfahren 120. Das Verfahren 120 umfasst den
Block 122, wo ein MT Datenstrom erzeugt wird. Das Verfahren 120 umfasst
auch den Block 124, wo ein oder mehrere sekundäre Datenströme erzeugt werden.
Der sekundäre
Datenstrom wird enthalten, um die MT Daten zu ergänzen oder
zu interpretieren. Das Verfahren 120 umfasst auch den Block 126,
wo Ereignisse in jedem Datenstrom zeitlich abgestimmt werden, so
dass MT Ereignisse in Verbindung mit den sekundären Ereignissen korrekt verstanden
werden.
-
4 ist
ein Verfahren zum Eingeben 140. Das Verfahren 140 umfasst
den Block 142, wo MT Abtastdaten gesammelt werden. Das
Verfahren 140 umfasst auch den Block 144, wo sekundäre Abtastdaten
gesammelt werden. Das Verfahren 140 umfasst darüber hinaus
den Block 146, wo auf zeitkohärente Weise Ereignisse von
Abtastdaten mit Ereignissen von MT Daten kombiniert werden, um eine
Aktion einzuleiten.
-
5 ist
ein Verfahren, zum Eingeben 160. Das Verfahren 160 umfasst
den Block 162, wo MT Abtastdaten gesammelt werden. Das
Verfahren 160 umfasst auch den Block 164, wo sekundäre Abtastdaten
gesammelt werden. Das Verfahren 160 umfasst darüber hinaus
den Block 166, wo auf eine zeitkohärente Weise die Abtastdaten
verwendet werden, um die MT Daten (simultan oder nacheinander) zu
ergänzen,
so dass eine Eingabesitzung fließend, nahtlos und effizient
ist.
-
6 ist
ein Verfahren zum Eingeben 180. Das Verfahren 180 umfasst
den Block 182, wo MT Abtastdaten gesammelt werden. Das
Verfahren 180 umfasst auch den Block 184, wo sekundäre Abtastdaten
gesammelt werden. Obwohl sie als aufeinanderfolgende Blöcke gezeigt
werden, sollte bemerkt werden, dass die Blöcke typischerweise im gleichen Zeitbereich
durchgeführt
werden, so dass Ereignisse in einem Ereignissen in dem anderen entsprechen. Das
Verfahren 180 umfasst darüber hinaus den Block 186,
wo auf eine zeitkohärente
Weise die Abtastdaten verwendet werden, um die MT Daten zu interpretieren,
so dass MT Operationen erweitert und verbessert werden können. Die
sekundären
Daten können z.
B. verwendet werden, um Annahmen über die MT Daten zu treffen,
MT Daten vorherzusagen, Vorkehrungen für MT Daten zu treffen, MT Daten
zu korrigieren, MT Daten zu filtern, usw. In einer Variante werden
sekundäre
Daten verwendet, um Eigenschaften, Attribute oder Verhaltensweisen,
die mit einzelnen Kontakten, spezifischen Anordnungen von Kontakten,
Bewegungen von einem oder mehreren Kontakten, Bewegungen von Kontakten
relativ zueinander, usw. verbunden sind, besser zu bestimmen oder
zu definieren. Zum Beispiel können
die sekundären
Daten zusätzliche
Kontaktinformationen in Bezug auf die Z Größenordnung oder Druck, die
x Koordinate, die y Koordinate, ID, Winkel, Gebiet liefern. Die
sekundären
Daten können
auch Informationen in Bezug auf die Akkordgruppierung, Entfernung
zwischen Kontakten, Schwerpunkt der Kontaktanordnung, Druck der
Kontaktanordnung, Rotation oder Verschiebung von Kontakten relativ
zueinander oder als eine Gruppe von Kontakten, Geschwindigkeit einzelner
Kontakte, Geschwindigkeit einer Anordnung von Kontakten, relative
Geschwindigkeit zwischen Kontakten, usw. liefern.
-
7 ist
ein Eingabeverfahren 200. Das Verfahren 200 umfasst
den Block 202, wo eine Anwendung, ein System oder eine
Plattform aktiv ist. Das Verfahren umfasst auch den Block 204,
wo MT Abtastung durchgeführt
wird und wo Akkord- und
Bewegungsdaten erkannt werden. Das Verfahren 200 umfasst
auch den Block 206, wo Aktionen, die mit den Akkordbildungs-
und Bewegungsdaten verbunden sind, eingeleitet werden. Das Verfahren 200 umfasst auch
den Block 208, wo Stimmerkennung durchgeführt wird,
und Stimmmuster erkannt werden. Das Verfahren 200 umfasst
auch den Block 210, wo Aktionen, die mit den Stimmmustern
verbunden sind, eingeleitet werden.
-
8 ist
ein Verfahren zum Eingeben 210. Das Verfahren beginnt bei
Block 212, wo ein angezeigtes Objekt während MT Eingabe ausgewählt oder
erzeugt wird. Wenn kein Objekt ausgewählt oder erzeugt wird, dann
wartet das Verfahren 210. Wenn ein Objekt ausgewählt oder
erzeugt wird, geht das Verfahren 210 zwei simultan ablaufende
Blöcke 214 und 216 nach
unten. In Block 214 wird eine Bestimmung gemacht, ob ein
Stimmmodifizierungsbefehl erkannt wird oder nicht, während das
Objekt ausgewählt
oder erschaffen wird. Wenn das der Fall ist, geht das Verfahren 210 zu
Block 218 weiter, wo das ausgewählte oder erschaffene Objekt
in Übereinstimmung
mit dem Befehl modifiziert wird. Wenn nicht, fließt das Verfahren 210 zurück nach
Block 212. In Block 216 wird eine Bestimmung gemacht,
ob ein MT Befehl erkannt wird oder nicht, während das Objekt ausgewählt oder
erzeugt wird. Wenn das der Fall ist, geht das Verfahren 210 weiter
nach Block 220, wo das ausgewählte oder erzeugte Objekt in Übereinstimmung
mit dem Befehl modifiziert wird. Wenn nicht, fließt das Verfahren
zurück
nach Block 212.
-
9A bis 9E sind
diagrammhafte Darstellungen von Fusionsstimmdaten mit MT Daten in Übereinstimmung
mit Ausführungsformen
der Erfindung. Wie in 9A gezeigt, greift ein Benutzer
ein angezeigtes Objekt 230 mit mehreren Fingern 232 und 234.
Dies wählt
im Wesentlichen das angezeigte Objekt 230 für Anpassungen
oder Veränderungen aus.
Wie in 9B gezeigt, rotiert der Benutzer
die Finger 232 und 234, um das angezeigte Objekt 230 zu
rotieren (z. B. rotiert das Objekt simultan mit der Rotation der
Finger). Wie in 9C gezeigt, lässt der Benutzer
seine Finger 232 und 234 zusammen über die
angezeigte Oberfläche gleiten,
um das angezeigte Objekt 230 von einer Stelle an eine neue
Stelle im Darstellungsbereich oder auf einer angezeigten Seite zu
bewegen. Wie in den 9D und 9E gezeigt, verändert der
Benutzer die Größe des angezeigten Objekts
durch Zusammendrücken
seiner Finger 232 und 234 oder Auseinanderspreizen
seiner Finger 232 und 234.
-
Zu
jeder Zeit während
dieser Operationen kann der Benutzer das angezeigte Objekt 230 weiter mit
Stimmbefehlen modifizieren. Zum Beispiel kann der Benutzer einfach
eine Farbe rufen, um die Farbe des Objekts zu ändern. Alternativ kann der
Benutzer "Text eingeben" sagen, und dann
wird danach Sprache innerhalb des angezeigten Objekts 230 eingegeben.
Wie erkannt werden sollte, ermöglichen
Stimmbefehle dem Benutzer, MT Eingabe ohne Unterbrechung fortzuführen. Zusätzlich oder
alternativ kann der Benutzer Blickerkennung verwenden, um die Eingabeoperation
weiter zu verbessern. Zum Beispiel kann der Benutzer auf ein anderes
Objekt blicken und nachfolgend auf eine neue Stelle blicken, um
ein zweites Objekt 231 an diese Stelle zu bewegen. Wiederum
kann diese durchgeführt
werden, während
der Benutzer MT Eingabe am ersten Objekt 230 durchführt. Als
ein Ergebnis kann Eingeben effizienter sein.
-
10 ist
ein weiteres Diagramm, das die Fusion von Spracherkennung und MT
Operationen gemäß Ausführungsformen
der Erfindung zeigt. In dieser Ausführungsform erzeugt der Benutzer
ein Liniensegment 240 durch Ziehen von zwei Fingern 234 und 235 über den
Bildschirm. Zu jeden Zeitpunkt während
dieser Erzeugung kann der Benutzer Befehle rufen, um das Liniensegment 240 zu
modifizieren. Zum Beispiel kann der Benutzer "grün" rufen, um die Linienfarbe
des Liniensegments 240 nach grün zu ändern. Er kann auch "5 Punkte" rufen, um die Dicke des
Liniensegments 240 zu ändern.
Der Benutzer kann auch "gestrichelt" rufen, um das Liniensegment 240 in
eine gestrichelte Linie zu verändern.
In all diesen Beispielen kann der Benutzer mit dem MT Eingeben fortfahren,
wodurch er das Eingeben effizienter macht.
-
Es
sollte bemerkt werden, dass Ausführungsformen
der Erfindung nicht auf Farbänderungen
und Texteingabebefehle beschränkt
sind, sondern dass andere Befehle verwendet werden können (z.
B. öffnen,
schließen,
usw.).
-
11 ist
ein Verfahren 250 zur eindeutigen Fingeridentifikation.
Das Verfahren 250 umfasst den Block 252, wo ein
Handprofil durch einen ersten Abtastmechanismus während der
Eingabeanwendung erzeugt wird. Das Handprofil zeigt bestimmte Finger der
Hand und ihren Ort innerhalb einer Ebene an. Der Ort kann spezifisch
für eine
einzelne Achse oder für mehrere
Achsen, wie z. B. die X und Y Achse der Ebene sein. Das Handprofil
kann von unterhalb, auf einer Ebene mit oder überhalb der Ebene erzeugt werden.
Das Handprofil kann z. B. durch eine Aufnahmevorrichtung, wie etwa
einen Bildsensor erzeugt werden. Das Verfahren 250 umfasst
auch den Block 254, wo ein Kontaktprofil mittels eines
zweiten Abtastmechanismus während
der Eingabeanwendung erzeugt wird. Das Kontaktprofil zeigt einen
oder mehrere Kontaktbereiche an, die durch Finger verursacht werden,
die eine Oberfläche
berühren,
und deren Ort innerhalb der Ebene. Der Ort kann spezifisch für eine einzige
Achse oder für
mehrere Achsen sein, wie z. B. die X und Y Achse der Ebene. Wenn
eine einzelne Achse verwendet wird, dann entspricht sie zumindest
der Achse, die für
das Handprofil verwendet wird. In den meisten Fällen wird die Achse verwendet,
die die Finger kreuzt oder im Wesentlichen rechtwinklig zu ihnen
ist. Das Kontaktprofil kann unter Verwendung einer MT Vorrichtung
erzeugt werden, die Berührungen
auf einer Oberfläche
oder Ebene abtastet. Das Verfahren 250 umfasst weiterhin
Block 256, wo Identität
der Kontakte durch Korrelieren oder in Übereinstimmung-Bringen des
Handprofils mit dem Kontaktprofil bestimmt wird. Dies kann durch Vergleichen
des Orts der Finger mit dem Ort der Kontakte erreicht werden. Das
Handprofil kann z. B. Finger an spezifischen X Orten anzeigen, und
das Kontaktprofil kann Kontakte an spezifischen X Orten anzeigen.
Der Kontaktort, der am besten auf den Fingerort passt, kann als
dieser Finger identifiziert werden. Im Wesentlichen gibt es zwei
Datensätze,
und man schaut, wo diese übereinstimmen.
Verschiedene Verfahren können
implementiert werden, einschließlich Übereinstimmungsfiltern
und räumliche Korrelation.
-
12 ist
ein Verfahren 270 zur eindeutigen Fingeridentifikation.
Das Verfahren 270 umfasst den Block 272, wo ein
Bild der Hand, das Finger umfasst, die sich über der MT Oberfläche befinden,
erhalten wird. Das Verfahren 270 umfasst auch den Block 274,
wo das Handbild analysiert wird, um Identität von Fingern zu bestimmen.
Das Verfahren 270 umfasst auch den Block 276,
wo Bilder von Fingern in Kontakt mit der MT Oberfläche erhalten
werden. Das Verfahren 270 umfasst zusätzlich den Block 278,
wo das Handbild und Kontaktbild in Beziehung gesetzt werden, um
Identität
von Kontakten zu bestimmen. Obwohl der Ausdruck "Bild" verwendet
und gezeigt wird, sollte bemerkt werden, dass die Daten in anderen
Formen kommen können
(z. B. Signale oder mathematische Funktionen).
-
13 ist
ein Eingabeverfahren 280. Das Eingabeverfahren 280 beginnt
bei Block 282, wo eine Bestimmung darüber gemacht wird, ob eine Berührung detektiert
wird, oder nicht. Wenn eine Berührung detektiert
wird, geht das Verfahren 280 weiter zu den Blöcken 284 und 286.
In Block 284 wird/werden die Hand/Hände, die über der MT Oberfläche positioniert ist/sind,
mit einem Bildsensor aufgenommen. Der Bildsensor kann in der MT
Oberfläche
eingebettet sein, an der Außenseite
oder um die Ränder
der MT Oberfläche
herum, oder an einer Stelle oberhalb der MT Oberfläche. In
Block 286 werden die Finger, die in Kontakt mit der MT
Oberfläche
sind, aufgenommen. Den beiden Blöcken 284 und 286 folgen
die Blöcke 288 und 290.
In Block 288 wird das Handbild analysiert, um Fingeridentität und ihre
Stelle innerhalb der MT Oberflächenebene
zu bestimmen. In Block 290 wird das Kontaktbild analysiert,
um Kontaktstelle innerhalb der MT Oberflächenebene zu bestimmen. Danach,
in Block 292, werden die Kontakte mit den Fingern in Übereinstimmung
gebracht, so dass die Identitäten
der Kontakte bekannt werden. Obwohl der Ausdruck "Bild" verwendet und gezeigt wird,
sollte bemerkt werden, dass die Daten in anderen Formen kommen können, z.
B. Signale oder andere mathematische Funktionen.
-
14A ist eine Darstellung eines beispielhaften
Bildes 300 eines Paars von Händen, die über einer MT Oberfläche positioniert
sind, und 14B ist eine Darstellung eines
beispielhaften Bildes 302 einer Anordnung von Kontakten
auf der MT Oberfläche.
Wie in 14A gezeigt, wird das Bild 300 der Hände verarbeitet,
um die Finger zu identifizieren und die X Position eines jeden dieser
Finger zu bestimmen. Das Bild kann ein moduliertes Muster von Erhebungen
in der X Koordinate liefern. Das Bildsystem kann Zwischenräume zwischen
Erhebungen detektieren, um zu bestimmen, welcher Finger den Kontakt
schafft. Das Bildsystem kann den Farbton der Finger untersuchen,
den Kontrast zwischen Fingern untersuchen (leuchtende helle Flecken),
die Größe eines
jeden Fingers untersuchen, oder nach Fingernägeln und/oder ähnlichem
suchen. Die Daumennägel
können
im Vergleich zu den anderen Fingern leicht identifizierbar sein,
weil der Daumen im Verhältnis
zu den anderen Fingern typischerweise proniert ist (damit haben
sie eine unterschiedliche Form). Wie in 14B gezeigt,
wird das Bild 302 der Kontakte verarbeitet, um die X Position
eines jeden der Kontakte zu bestimmen. Sobald die X Positionen gefunden
sind, werden sie mit den X Positionen der Finger verglichen, um
die Identität
der Kontakte zu bestimmen. Es sollte bemerkt werden, dass dies typischerweise
keine exakte Übereinstimmung
ist, und somit ein Algorithmus der besten Übereinstimmung angewendet werden
kann, um zu bestimmen zu helfen, welche Kontakte die wahrscheinlichen Übereinstimmungen
für die
Finger sind. Im dargestellten Beispiel befindet sich ein erster
Kontakt bei X1, was dem linken kleinen Finger bei X1 entspricht,
der zweite Kontakt befindet sich bei X2, was dem linken Ringfinger
entspricht, und ein dritter Kontakt befindet sich bei X7, was dem
rechten Zeigefinger entspricht. Obwohl der Ausdruck "Bild" verwendet und gezeigt
wird, sollte bemerkt werden, dass die Daten in anderen Formen kommen
können
(z. B. Signale oder andere mathematische Funktionen).
-
Die
Handprofile können
verwendet werden, um dynamische Zugvorlagen zu erzeugen. In einem Fall
kann die minimale Summe der Entfernung im Quadrat verwendet werden,
um zu identifizieren, welcher Kontakt zu welchem Finger gehört.
-
Die 15A und 15B sind
Diagramme einer elektronischen Vorrichtung 310 in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung. Die elektronische Vorrichtung 310 umfasst eine
MT Oberfläche 312 zum
Erhalten von Kontaktinformationen, die den Fingern zugeordnet sind,
die in Kontakt mit der MT Oberfläche 312 stehen,
und eine Aufnahmevorrichtung 314 zum Erhalten von Bildern der
Hand/Hände,
die über
die MT Oberfläche 312 schwebt/schweben.
Wie gezeigt, ist der Bildsensor 314 über den Händen relativ zur Ebene und
an der oberen Kante der MT Oberfläche 312 positioniert.
Er ist so konfiguriert, dass er ein Bild der Hand/Hände relativ
zur X Achse erzeugt. Darüber
hinaus ist der Bildsensor 314 unterhalb oder vertieft hinter
der oberen Oberfläche
der elektronischen Vorrichtung 310 eingebettet. Er ist
konfiguriert, die Hand durch ein optisches Glied 316 aufzunehmen,
das an der oberen Oberfläche
der elektronischen Vorrichtung 310 angeordnet ist. In manchen
Fällen
kann das optische Glied 316 so konfiguriert sein, dass
es den Bildsensor 314 vor Blicken verbirgt, wie z. B. hinter
einer Blende oder einem lichtundurchlässigen Abschnitt. In einer
Ausführungsform
ist der Bildsensor 314 relativ zur oberen Oberfläche (wie
gezeigt) so ausgerichtet, dass er die Hände aufnehmen kann, aber unterhalb eines
Blendenabschnitts 318 verborgen werden kann. Zum Beispiel
kann er 30 Grad relativ zur oberen Oberfläche angewinkelt sein.
-
16 ist
ein Diagramm einer elektronischen Vorrichtung 320 in Übereinstimmung
mit einer weiteren Ausführungsform
der vorliegenden Erfindung. In dieser Ausführungsform ist die elektronische Vorrichtung 320 ein
Laptopcomputer, der eine Basis 322 und eine schwenkbare
Abdeckung 324 hat. Die Basis 322 umfasst eine
MT Oberfläche 326,
während die
Abdeckung 324 eine Anzeige 328 umfasst, die von
einer Blende 330 umgeben ist. Innerhalb der Blende 330 befindet
sich ein Bildsensor 332, der hoch über der MT Oberfläche 326 gelegen
ist und der in der Lage ist, die MT Oberfläche 326 aufzunehmen. Als
solches können
Handprofile gesammelt werden. Weil der Winkel der Abdeckung 324 sich
während des
Gebrauchs relativ zur Basis 322 ändert, kann der Bildsensor 332 einen
Servo zum Kippen des Bildsensors 332 in die Richtung der
MT Oberfläche 326 umfassen.
In einem Fall kann auch ein Sensor zur Verfügung gestellt werden, der den
Winkel der Abdeckung relativ zur MT Oberfläche überwacht. Der Servo kann korrekt
zum Aufnehmen der Oberfläche
positioniert werden, in dem auf den gemessenen Winkel Bezug genommen
wird. Alternativ kann ein schwenkbarer Spiegel verwendet werden,
anstatt den Bildsensor zu schwenken. Der Bildsensor kann andere
Funktionen haben, einschließlich
Webkamera. Der Bildsensor kann z. B. eine i-Sight Kamera sein, die Teil des Macbooks
ist, das von Apple Inc. aus Cupertino, CA, hergestellt wird.
-
Weitere
Details zum Schwenken eines Bildsensors zu einer Abdeckung können in
der Patentanmeldung Nr. 10/800,166 gefunden werden, eingereicht
am 12. März
2004, mit dem Titel KAMERARIEGEL, die hierin per Verweis mit aufgenommen wird.
-
Wie
in 17 gezeigt, kann der Bildsensor 332 auch
in einer Anzeige oder einem alles integrierenden Computer 340 angeordnet
sein, wie etwa dem iMac, hergestellt von Apple Inc. aus Cupertino, CA.
In einer Ausführungsform
kann der Bildsensor so konfiguriert sein, dass er das Gebiet unterhalb
und vor der Anzeige aufnimmt, um die MT Oberfläche zu finden und sich anschließend selber
wie benötigt ausrichtet.
-
Mit
Bezug auf die oben genannten Ausführungsformen sollte bemerkt
werden, dass, obwohl ein Bildsensor wie ein CCD oder CMOS Sensor
beschrieben ist, andere Abtastmittel verwendet werden können, um
die Hand aufzunehmen. Zum Beispiel können Laserscanner oder ein
Mikroradar verwendet werden. Weiterhin kann in manchen Fällen der Bildsensor
eine pixelartige Bildoberfläche
sein, die geschichtet sein kann und möglicherweise durch die MT Oberfläche hindurch
arbeiten kann.
-
18 ist
ein Eingabeverfahren 350. Das Eingabeverfahren 350 fusioniert
einen Blickvektor mit MT Abtastung. Das Verfahren 350 umfasst
den Block 352, wo die Position eines Blicks relativ zu
einem Anzeigebildschirm bestimmt wird. Das Verfahren 350 umfasst
auch den Block 354, wo eine spezifische Anordnung von Kontakten
und möglicherweise deren
Bewegungen erkannt werden. Das Verfahren 350 umfasst darüber hinaus
den Block 356, wo eine Aktion, die mit der Anordnung von
Kontakten verbunden ist, an der Position des Blicks ausgeführt wird.
-
19 ist
ein Eingabeverfahren 370. Das Verfahren 370 startet
bei Block 372, wo ein Objekt auf einem Anzeigebildschirm
dargestellt wird. Das Verfahren 370 geht weiter nach Block 374,
wo eine Bestimmung gemacht wird, ob ein Blick auf ein Objekt gerichtet
ist oder nicht. Wenn nicht, wird das Verfahren 370 in Wartestellung
gebracht. Wenn ja, geht das Verfahren 370 nach Block 376,
wo das Objekt in Übereinstimmung
mit einem Akkord oder einer Geste modifiziert wird, der oder die
mit MT Abtastung verbunden ist.
-
20 ist
ein Eingabeverfahren 380. Das Verfahren 380 umfasst
den Block 382, wo Daten, die mit Bewegung der elektronischen
Vorrichtung verbunden sind, gesammelt werden. Das Verfahren 380 umfasst
auch den Block 384, wo MT Daten gesammelt werden. Das Verfahren 380 umfasst
darüber
hinaus den Block 386, wo Daten, die mit der Bewegung der
Vorrichtung verbunden sind, von den MT Daten ausgefiltert werden.
Dieses Verfahren kann z. B. verwendet werden, wenn der Benutzer
in Bewegung ist (z. B. in einem Auto, Jogging, usw.). In diesen
Fällen kann
die Empfindlichkeit der MT Fläche
verringert werden, um ein falsches Auslösen von Flächengebieten zu vermeiden.
-
Beispiele
von Bewegungsdetektion und Filterung von Berührungsdaten können in
der U.S. Patentanmeldung Nr. 10/997,479 gefunden werden, eingereicht
am 24. November 2004, mit dem Titel "MUSIKSYNCHRONISATIONSANORDNUNG", U.S. Patentanmeldung
Nr. 10/722,948, eingereicht am 25. No vember 2003, mit dem Titel "BERÜHRUNGSFELD
FÜR HANDGEHALTENE
VORRICHTUNG", welche
beide hierin per Verweis mit eingebunden werden.
-
21 ist
ein Betriebsverfahren 400. Das Verfahren 400 umfasst
den Block 402, wo MT Operationen an einer elektronischen
Vorrichtung durchgeführt
werden, wie etwa eine handgehaltene Vorrichtung. Das Verfahren 400 umfasst
auch den Block 404, wo Ausrichtung und/oder Position der
Vorrichtung relativ zu einem Benutzer bestimmt werden. Das Verfahren 400 umfasst
auch den Block 406, wo die MT Daten als erste Daten interpretiert
werden, wenn die Vorrichtung in einer ersten Ausrichtung und/oder Position
ist. Das Verfahren 400 umfasst zusätzlich den Block 408,
wo die MT Daten als zweite Daten interpretiert werden, wenn die
Vorrichtung in einer zweiten Ausrichtung und/oder Position ist,
wenn z. B. die Vorrichtung sich vom Benutzer weg befindet, beispielsweise
wenn der Benutzer die Vorrichtung vor sich hält, kann die MT Abtastung als
Akkordbildungs- und Bewegungsdaten interpretiert werden, und wenn sich
die Vorrichtung nahe am Benutzer befindet, kann die MT Abtastung
als Aufnahmedaten interpretiert werden. Die Bilddaten können verwendet
werden, um Umgebung sowie Objekte abzutasten. Sie können z.
B. verwendet werden, um abzutasten, dass die Vorrichtung nahe am
Gesicht ist. Die Aufnahmedaten können
verwendet werden, um Aktionen einzuleiten. Wenn z. B. die Seite
des Gesichts detektiert wird, dann können Mobilfunkaktionen eingeleitet
werden.
-
22 ist
ein Eingabeverfahren 420. Das Verfahren 420 umfasst
den Block 422, wo Handeigenschaften unter Verwendung eines
oder mehrerer biometrischer Sensoren bestimmt werden. Das Verfahren 420 umfasst
auch den Block 424, wo eine Bewegungsbahnunterschrift erkannt
wird, wenn MT Operationen durchgeführt werden. Das Verfahren 420 umfasst
zusätzlich
den Block 426, wo der Benutzer auf der Grundlage von Handeigenschaften
und Bewegungsbahnunterschrift identifiziert wird.
-
23 ist
ein Betriebsverfahren 440. Das Verfahren 440 umfasst
den Block 442, wo emotionale Daten gesammelt werden durch Überwachung
der Gesichtsausdrücke.
Das Verfahren 440 umfasst auch den Block 444,
wo MT Operationen durchgeführt
werden. Das Verfahren 440 umfasst weiterhin den Block 446,
wo der emotionale Zustand des Benutzers aus den emotionalen Daten
ermittelt wird. Das Verfahren 440 umfasst zusätzlich den
Block 448, wo MT Daten in Übereinstimmung mit emotionalem Zustand
analysiert werden. Das Verfahren 440 umfasst auch den Block 450,
wo bestimmt wird, ob MT Eingaben das gewünschte Ergebnis hervorbringen. Wenn
z. B. der emotionale Zustand Frustration während Eingabe mit der MT Vorrichtung
anzeigt, dann kann die Frustration auf unerwünschte Ergebnisse vom Eingeben
zurückzuführen sein.
Das Verfahren 440 umfasst darüber hinaus den Block 452,
wo eine Korrekturaktion eingeleitet wird, wenn das wahrgenommene
erwünschte
Ergebnis nicht erreicht wird. Wenn z. B. das Analysieren bestimmt,
dass die Frustration auf einen inkorrekten Akkord oder eine inkorrekte
Bewegung zurückzuführen ist,
dann kann ein Hilfemenü angezeigt
werden, das den möglichen
Benutzerfehler beschreibt, und/oder die Aktion die mit der Eingabe
verbunden ist, kann angepasst werden.
-
24 ist
ein Eingabeverfahren 460. Das Verfahren 460 umfasst
den Block 462, wo MT Operationen durchgeführt werden.
Das Verfahren 460 umfasst auch den Block 464,
wo Kräfte
auf der MT Oberfläche
während
MT Operationen gemessen werden. Das Verfahren 466 umfasst
weiterhin Interpretieren der MT Daten auf der Basis von Kraftdaten.
Zum Beispiel können
harte Berührungen
in das Feld von Kontakten aufgenommen werden, während weiche Berührungen
ausgefiltert werden können.
Alternativ kann Kraftabtastung als eine Art der Eingabe verwendet
werden. Zum Beispiel können
leichte Berührungen
(oder Schweben) verwendet werden, um eine Funktion hervorzuheben,
anstelle einer Funktion zu markieren. Zum Beispiel kann eine leichte
Berührung verwendet
werden, um eine virtuelle Taste oder einen Knopf hervorzuheben,
obwohl der Finger nicht wirklich gedrückt wird (harte Berührung).
-
25 ist
ein Eingabeverfahren 480. Das Verfahren 480 umfasst
den Block 482, wo MT Abtastung auf einer Oberfläche mit
einer ersten MT Vorrichtung durchgeführt wird. Das Verfahren 480 umfasst
auch den Block 484, wo MT Abtastung simultan auf der Oberfläche mit
einer zweiten MT Vorrichtung durchgeführt wird. Das Verfahren 480 umfasst
weiterhin den Block 486, wo die Ergebnisse der ersten und
der zweiten MT Vorrichtung in der Zeitdomäne verglichen werden. Das Verfahren 480 umfasst
weiterhin den Block 488, wo die entsprechenden MT Daten
zur Verwendung für
Eingabe bestimmt werden. In einem Beispiel werden zwei Signale gemittelt.
In einem anderen Beispiel wird eines der Signale ausgewählt, während das
andere verworfen wird. Andere sekundäre Daten können verwendet werden, um beide
Datensätze
zu interpretieren.
-
Die
verschiedenen Aspekte, Merkmale, Ausführungsformen oder Implementierungen
der oben beschriebenen Erfindung können alleine oder in verschiedenen
Kombinationen verwendet werden.
-
Ausführungsformen
der Erfindung werden vorzugsweise durch Hardware, Software oder
eine Kombination aus Hardware und Software implementiert. Die Software
kann auch als computerlesbarer Code auf einem computerlesbaren Medium
ausgeführt
werden. Das computerlesbare Medium ist irgendeine Datenspeichervorrichtung,
die Daten speichern kann, die danach durch ein Computersystem gelesen
werden können.
Beispiele für
computerlesbare Medien umfassen Nur-Lese-Speicher, Lese-Schreib-Speicher,
CD-Roms, DVDs, Magnetband, optische Datenspeichervorrichtungen und
Trägerwellen.
Das computerlesbare Medium kann auch über netzwerkgekoppelte Computersysteme
verteilt werden, so dass der computerlesbare Code auf verteilte
Weise gespeichert und ausgeführt
wird.
-
Während Ausführungsformen
dieser Erfindung in Bezug auf mehrere bevorzugte Ausführungsformen
beschrieben wurden, gibt es Abwandlungen, Permutationen und Äquivalente,
die innerhalb des Bereichs der Ausführungsformen dieser Erfindung fallen.
Eine andere Anwendung zum Kombinieren einer Kamera mit MT Abtastung
ist z. B. das Ermöglichen
von 3D Handgesten durch die Kamera, wenn der Benutzer nur einen
Teil der Hand die MT Oberfläche
zu irgendeinem Zeitpunkt während
der Geste berühren
lässt.
Dies macht das Problem der Handgestenerkennung über Kamera leichter lösbar, weil
man weiß,
warm eine Geste beginnt oder endet. Die meisten Demonstrationen
von Handgestenerkennung über
eine Kamera verlangen, dass man einen "Geste Starten" Knopf drückt. Wenn der Anfang (oder
das Ende) nur ein nahtloser Teil der Geste selber wäre, könnte es
das Merkmal auf derzeitigen CPUs leichter erreichbar machen. In
anderen Anwendungen kann die MT Oberfläche erweitert werden, um einen
ganzen Schreibtisch oder Arbeitsplatz abzudecken, so dass mehrere
Benutzer dieselbe MT Oberfläche
zur gleichen Zeit benutzen können.
In Fällen
wie diesen kann die Kamera zusätzliche
Informationen bereitstellen, einschließlich der Identität der Personen,
die an der MT Oberfläche
arbeiten. Zum Beispiel können die
Bilder verwendet werden, um die Benutzer zu identifizieren und dann
die Finger eines jeden Benutzers zu identifizieren. Es sollte auch
bemerkt werden, dass es viele alternative Möglichkeiten der Implementierung
der Verfahren und Geräte
von Ausführungsformen
der vorliegenden Erfindung gibt. Zum Beispiel können die sekundären Abtastmittel
als Modifizierer für
die Akkorde und Bewegungsdaten verwendet werden. Zum Beispiel kann
das sekundäre Abtastmittel
den Eingabemodus so ändern,
dass derselbe Akkord unterschiedliche Funktionalität hat. Es ist
daher beabsichtigt, dass die folgenden angehängten Ansprüche so interpretiert werden,
dass sie all diese Abwandlungen, Permutationen und Äquivalente,
wie sie innerhalb des wahren Geists und den Bereich von Ausführungsformen
der vorliegenden Erfindung fallen beinhalten.