DE202008000261U1

DE202008000261U1 - Vielfach-Berührungsdatenfussionssystem

Info

Publication number: DE202008000261U1
Application number: DE202008000261U
Authority: DE
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2007-01-07
Filing date: 2008-01-07
Publication date: 2008-06-19
Anticipated expiration: 2018-01-08
Also published as: US20230055434A1; US20200042168A1; WO2008085759A3; US10437459B2; US20080211766A1; US11481109B2; US20240036724A1; WO2008085759A2; US11816329B2

Abstract

Mehrfachberührungs-(MT)Datenfusionsystem umfassend:
eine MT Abtastvorrichtung, konfiguriert zum Empfangen von mehrfachen Berührungseingaben, die etwa zur gleichen Zeit auftreten und erste Berührungsdaten erzeugen;
eine oder mehrere MT Datenfusionsvorrichtungen, konfiguriert zum Liefern von sekundären Daten; und
einen Prozessor, der mit der MT Abtastvorrichtung und der einen oder den mehreren MT Datenfusionsvorrichtungen gekoppelt ist, wobei der Prozessor zum Kombinieren sowohl der ersten Berührungsdaten als auch der sekundären Daten programmiert ist, um Operationen auf einer elektronischen Vorrichtung durchzuführen.

Description

Querverweis auf verwandte Anmeldungen
Diese Anmeldung beansprucht die Priorität der vorläufigen U.S. Anmeldung („Provisional Application") No. 60/879,152, eingereicht am 7. Januar 2007, die hier in ihrer Gesamtheit speziell per Verweis mit eingebunden wird.
Gebiet der Erfindung
Dies bezieht sich auf Systeme, die mehrfachberührungsempfindliche Eingabevorrichtungen und andere Eingabevorrichtungen verwenden, und genauer auf das Kombinieren von Mehrfachberührungseingabedaten mit Daten von anderen Eingabevorrichtungen, um einen Vorteil zu gewinnen, wodurch die Effizienz und Leistungsfähigkeit von Eingabeoperationen erhöht wird.
Hintergrund der Erfindung
Systeme können mehrere Eingabemittel aufweisen. Jedoch wird jedes der Eingabemittel typischerweise unabhängig voneinander auf nicht nahtlose Art betrieben. Es gibt zwischen ihnen keine Synergie. Sie arbeiten nicht zusammen oder kooperieren für ein gemeinsames Ziel, wie z. B. Verbessern der Eingabeerfahrung.
Zusammenfassung der Erfindung
Während die Fingerspitzenakkord- und Bewegungsdaten, die von Mehrfachberührungseingabevorrichtungen erzeugt werden, einen starken Satz von Benutzersteu erungsmitteln bereitstellen können, können zusätzliche Informationen von anderen Abtastmitteln, wenn sie mit den Akkord- und Bewegungsdaten kombiniert oder fusioniert werden, die interpretativen Fähigkeiten der tragbaren Vorrichtung signifikant erhöhen und/oder signifikant den Bedienungskomfort verbessern, sowie Eingabehandlungen für den Benutzer rationalisieren. Deshalb schlagen Ausführungsformen der Erfindung das Konzept der MT (Mehrfachberührungs-, Multi Touch) Datenfusion vor, welche als die Kombination von Daten von einem oder mehreren unabhängigen Abtastmitteln mit Akkord- und Bewegungsdaten von einem MT Sensor definiert ist, um die Bedienung und Verwendung einer elektronischen Vorrichtung zu verbessern.
Es gibt eine Anzahl an unabhängigen Abtastmitteln, die, wenn mit Mehrfachberührungsakkordbildung und Bewegungsdaten fusioniert, verbesserte Leistungsfähigkeit und Verwendung von elektronischen Vorrichtungen bereitstellen. Die Quellen von unterschiedlichen Abtastdaten fallen in mehrere Kategorien: (1) jene, die irgendeinen Aspekt des Körperzustandes des Benutzers messen, (2) jene, die Daten von der Umgebung messen, was Abtastdaten von anderen Individuen beinhalten könnte, und (3) jene, die irgendeinen Aspekt des Zustandes der elektronischen Vorrichtung messen.
In Übereinstimmung mit einer Ausführungsform können eine oder mehrere dieser unabhängigen Datenquellen temporär mit Bewegungs- und Akkorddaten von einem Mehrfachberührungssensor fusioniert werden, um die Leistungsfähigkeit und Verwendung der elektronischen Vorrichtungen signifikant zu verbessern. Die Informationen, die von den verschiedenen Quellen zufließen, können kombiniert oder fusioniert werden, so dass Ereignisse in jedem Datenstrom zeitlich miteinander abgestimmt sind. Als solche können die mehreren Datenströme richtig in Verbindung mit den anderen verstanden werden.
In Übereinstimmung mit anderen Ausführungsformen können die Ergebnisse der Stimmerkennung und Sprachverständnis so mit Mehrfachberührungsbewegungs daten fusioniert werden, dass sie die Leistungsfähigkeit einer elektronischen Vorrichtung signifikant verbessern. Die Kontaktgröße und Kontakttrennung von Bewegungsdaten zusammen mit Fingeridentifikationsdaten (z. B. von einer Kamera) kann es dem Mehrfachberührungssystem ermöglichen, Schätzungen zu machen, die Fingeridentifikation der Berührungsdaten betreffen. Blickvektordaten (die Bestimmung eines Blickes eines Benutzers) können mit Berührungsdaten und/oder Objekten, die auf einer Anzeige erscheinen, fusioniert werden, um verschiedene Handlungen auszuführen, wie z. B. Objektbewegung oder -wahl. Die Fusion dynamischer Daten einer Vorrichtung (z. B. Bewegungsdaten) mit Mehrfachberührungsbewegungsdaten kann zu einem Glätten (d. h. verbesserten Filtern) unbeabsichtigter Fingerbewegung aufgrund der Fortbewegungsmittel (z. B. Vibrationen und Schocks) führen.
Biometrische Eingaben umfassen, aber sind nicht begrenzt auf Handgröße, Fingerabdruckeingabe, Körpertemperatur, Herzfrequenz, Hautimpedanz und Pupillengröße. Typische Anwendungen, die von der Fusion von biometrischen Daten mit Mehrfachberührungsbewegungsdaten profitieren könnten, würden Spiele, Sicherheits- und Fitness-bezogene Aktivitäten einschließen. Gesichtsausdrücke, die emotionale Zustände übermitteln, können auch vorteilhaft mit Mehrfachberührungsbewegungsdaten fusioniert werden, während kreativer Aktivitäten, wie z. B. Musikkomposition.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm einer elektronischen Vorrichtung oder eines Systems, das Mehrfachberührungs- (MT) Datenfusion verwendet, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
2 ist ein MT Datenfusionsverfahren, das MT Abtastung und sekundäre Abtastung beinhaltet.
3 ist ein MT Datenfusionsverfahren, das die Erzeugung von MT und sekundären Datenströmen beinhaltet.
4 ist ein Eingabeverfahren, das das Sammeln und Kombinieren von MT und sekundären Abtastdaten auf eine zeitkoherente Weise beinhaltet.
5 ist ein Eingabeverfahren, wobei die sekundären Abtastdaten verwendet werden, um die MT Daten auf eine zeitkoherente Weise zu ergänzen.
6 ist ein Eingabeverfahren, wobei die sekundären Abtastdaten verwendet werden, um die MT Daten auf eine zeitkoherente Weise zu interpretieren.
7 ist ein Eingabeverfahren, das Stimmerkennung umfasst, die Aktionen auslöst, die mit Akkord- und Bewegungsdaten zusammenhängen.
8 ist ein Eingabeverfahren, wobei ein Stimmmodifizierungsbefehl Aktionen auf einem Objekt auslöst.
9A bis 9E sind diagrammhafte Darstellungen des Fusionierens von Stimmdaten mit MT Daten, gemäß einer Ausführungsform der Erfindung.
10 stellt die Fusion von Stimmerkennung und MT Operationen gemäß Ausführungsformen der Erfindung dar.
11 ist ein Verfahren zur eindeutigen Fingeridentifikation.
12 ist ein anderes Verfahren zur eindeutigen Fingeridentifikation.
13 ist ein Eingabeverfahren, das den Abgleich von Fingern zu Kontakten beinhaltet.
14A ist eine Darstellung eines beispielhaften Bildes eines Paares von Händen, die über eine MT Oberfläche positioniert sind, und 14B ist eine Darstellung eines beispielhaften Bildes einer Anordnung an Kontakten, an der MT Oberfläche.
15A und 15B sind Diagramme einer elektronischen Vorrichtung, die eine MT Oberfläche und eine bildgebende Vorrichtung beinhaltet, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
16 ist ein Diagramm einer elektronischen Vorrichtung, die eine MT Oberfläche und einen Bildsensor beinhaltet, in Übereinstimmung mit einer anderen Ausführungsform der vorliegenden Erfindung.
17 stellt einen Bildsensor dar, der in einer Anzeige oder einem alles integrierenden Computer 340 angeordnet ist, in Übereinstimmung mit einer anderen Ausführungsform der vorliegenden Erfindung.
18 ist ein Eingabeverfahren, das die Fusion eines Blickvektors mit MT Abtastung beinhaltet.
19 ist ein Eingabeverfahren, das das Vornehmen einer Aktion auf einem Objekt basierend auf einen Blick beinhaltet.
20 ist ein Eingabeverfahren, das das Filtern von MT Daten basierend auf Bewegungsdaten beinhaltet.
21 ist ein Betriebsverfahren, wobei MT Daten unterschiedlich abhängig von Orientierungsdaten interpretiert werden können.
22 ist ein Eingabeverfahren, das biometrische Abtastung beinhaltet.
23 ist ein Betriebsverfahren, das Sammeln emotionaler Daten und Vornehmen von Aktionen basierend auf den emotionalen Daten beinhaltet.
24 ist ein Eingabeverfahren, das Kraftabtastung beinhaltet.
25 ist ein Eingabeverfahren, das Aufnehmen und Vergleichen von MT Daten von verschiedenen Vorrichtungen beinhaltet.
Detaillierte Beschreibung der bevorzugten Ausführungsform
Ausführungsformen der vorliegenden Erfindung schlagen Kombinieren oder Fusionieren von Mehrfachberührungsabtastung mit anderen Abtastmodalitäten vor, um einen Vorteil zu gewinnen, wodurch die Effizienz und Leistungsfähigkeit von Eingabehandlungen erhöht werden.
In Mehrfachberührungs-2D Abtastung, wie sie als die primären und sekundären Mittel verwendet werden, um einem Benutzer zu ermöglichen, die Funktion und den Betrieb einer elektronischen Vorrichtung zu steuern, werden die Positionen aller Fingerspitzen in Kontakt oder großer Nähe zu einer Abtastoberfläche verfolgt und aufgezeichnet. Die Anordnung an Kontakten (z. B. Akkorde) und die Bewegung der Kontakte (z. B. Gesten) auf oder Nahe der Abtastoberfläche werden von der elektronischen Vorrichtung als Befehle von dem Benutzer interpretiert, die eine Funktion, die von der elektronischen Vorrichtung ausgeführt wird, modifizieren, initiieren oder beenden sollen.
Während die Fingerspitzenakkord- und Bewegungsdaten einen starken Satz von Benutzersteuermitteln darstellen, könnten zusätzliche Information von anderen Abtastmitteln, wenn sie mit den Akkord- und Bewegungsdaten kombiniert oder fusioniert werden, die interpretativen Fähigkeiten der elektronischen Vorrichtung signifikant verbessern und/oder signifikant die Bequemlichkeit der Verwendung verbessern, sowie Eingabehandlungen für den Benutzer rationalisieren. Deshalb schlagen Ausführungsformen der Erfindung das Konzept der MT Datenfusion vor, welche als die Kombination von Daten von einem oder mehreren unabhängigen Abtastmitteln mit Akkord- und Bewegungsdaten von einem MT Sensor definiert ist, um die Bedienung und Verwendung einer elektronischen Vorrichtung zu verbessern.
Es gibt eine Anzahl an unabhängigen Abtastmodalitäten, die, wenn sie mit Mehrfachberührungsakkordbildungs- und Bewegungsdaten fusioniert werden, verbesserte Leistungsfähigkeit und Bedienbarkeit von elektronischen Vorrichtungen bereitstellen. Die Quellen an unabhängigen Abtastdaten fallen in mehrere Kategorien: (1) jene, die einen Aspekt des Körperzustandes des Benutzers messen, (2) jene, die Daten von der Umgebung messen, was Abtastdaten von anderen Individuen beinhalten könnte, (3) jene, die irgendeinen Aspekt des Zustandes der elektronischen Vorrichtung messen. Beispielhaft können die Abtastdaten beinhalten, aber sind nicht beschränkt auf die Fusion von Stimme, Fingeridentifikation, Blickvektor, Gesichtsausdruck, Dynamik der tragbaren Vorrichtung und Biometrien, wie z. B. Körpertemperatur, Herzschlag, Hautimpedanz und Pupillengröße. Es sollte beachtet werden, dass Ausführungsformen dieser Erfindung nicht auf individuelle Abtastmittel gerichtet sind. Stattdessen sind sie auf die temporäre Fusion von Daten von existierenden Abtastmitteln mit Mehrfachberührungsbewegungs- und Akkordbildungsdaten gerichtet, um die Bequemlichkeit der Verwendung und Leistungsfähigkeit einer elektronischen Vorrichtung zu verbessern.
In Übereinstimmung mit einer Ausführungsform können eine oder mehrere dieser unabhängigen Datenquellen temporär mit Bewegungs- und Akkordbildungsdaten von einem Mehrfachberührungssensor fusioniert werden, um die Leistungsfähigkeit und Verwendbarkeit von elektronischen Vorrichtungen signifikant zu erhöhen. Generell bedeutet temporäre Fusion ein ersichtliches zeitliches Zusammenkommen einzelner Ereignisse (mehrere Datensätze) innerhalb eines einzigen individuellen Kontextes (Computeranwendung, Modus oder Plattform). Genauer werden in zeitlicher Fusion die Daten von mehreren Quellen (MT + anderes Abtastmittel) in einer zeitkoherenten Weise interpretiert. Die Informationen, die von den verschiedenen Quellen strömen, werden kombiniert oder fusioniert, so dass Ereignisse in jedem Datenstrom zeitlich miteinander abgestimmt sind. Als solche können mehrfache Datenströme in Verbindung miteinander korrekt verstanden werden.
Einige Beispiele von MT Datenfusion werden unten gegeben.
STIMMFUSION
Stimmeingabe, Spracherkennung und Sprachverständnis fallen alle unter das lang gesuchte Ziel, elektronische Vorrichtungen in die Lage zu versetzen, ihre vorgesehenen Funktionen geführt von menschlicher Sprache auszuführen. In den letzten Jahren wurde viel Fortschritt gemacht, Spracherkennung von elektronischen Vorrichtungen zu ermöglichen. Sprachverständnis, was viel schwieriger ist, hat nicht dasselbe Maß an Erfolg genossen. Ausführungsformen der hierin beschriebenen Erfindung beschäftigen sich nicht damit, wie Stimmdaten erkannt oder verstanden werden. Ausführungsformen dieser Erfindung verwenden lediglich Resultate der Stimmerkennung und – irgendwann einmal – Sprachverständnis als unabhängige Abtasteingaben, die mit Mehrfachberührungsbewegungsdaten in solch einer Weise fusioniert werden, dass die Leistungsfähigkeit einer elektronischen Vorrichtung signifikant verbessert wird.
Es gibt eine große Anzahl an Beispielen, in denen Stimm- und Mehrfachberührung fusioniert werden können, um einen signifikanten Gewinn zu einer Anwendung hinzuzufügen. Der größte Gewinn wird erreicht, wenn Stimm- und Mehrfachberührungsbenutzung dorthin aufgeteilt werden, wo sie maximal effektiv sind. In anderen Worten wird Stimmeingabe auf Aktionen angewandt, die durch manuelle Eingaben schlecht bedient werden, und manuelle Eingaben behandeln Aufgaben, die durch Stimme schlecht bedient werden. Zum Beispiel werden Modusauswahl oder statische Befehle effizienter unter Verwendung von Stimmeingabe ausgeführt, während Bewegen von Objekten auf dem Bildschirm am besten manuell mit MT ausgeführt wird. Ein Beispiel wird jetzt gegeben werden. Bei der Bearbeitung von beispielsweise mechanischen Zeichnungen kann die Aufgabe sein, die Objekte, die die Zeichnung darstellen, auszuwählen und zu modifizieren. Angenommen die Modifizierung jedes Objektes beinhaltet Größenveränderung, Rotation und Farbänderung. Es sei weiter angenommen, dass die Aufgabe nicht eine einfache Skalierung oder Rotationsänderung jedes Objektes ist. Der minimale Aufwand wird daher aufgewendet, wenn die Größenveränderung und Rotation unter Verwendung von Mehrfachberührungsgesten (d. h. manuell) ausgeführt wird, und wenn der Farbwechsel unter Verwendung von Stimmeingabe ausgeführt wird. Man betrachte die Alternative: Verwendung von Stimme, um jedes Objekt in der Größe zu verändern und zu Rotieren ist problematisch, weil eine verbale Beschreibung der gewünschten Größe und Rotation schwierig auszudrücken ist. Die Verwendung von Mehrfachberührung, um eine Farbe zu wählen, ist typischerweise weniger effizient, als die Verwendung von Stimme, weil die Farbe durch Durchlaufen einer Liste gewählt werden muss. Alternativ oder zusätzlich kann Stimmeingabe verwendet werden, um Text in das Objekt einzufügen.
FINGERIDENTIFIKATIONSFUSION
Fingeridentifikation bedeutet, dass die Finger, die gerade die Mehrfachberührungs-Abtastoberfläche berühren oder in großer Nähe zu ihr sind, ohne Zweideutigkeit in Bezug auf ihre Namen und die Hand (d. h. rechte, linke, Besitzer), zu der sie gehören, identifiziert werden. Es sei z. B. angenommen, dass der Zeige- und Mittelfinger der rechten Hand in Kontakt mit einer Mehrfachberührungsoberfläche ist. Die meisten, wenn nicht alle Mehrfachberührungssensoren, können die in Kontakt stehenden Finger nicht eindeutig als Zeige- und Mittelfinger von der rechten Hand einordnen. Die Verwendung von Kontaktgröße und Kontakttrennung ermöglicht es, dem Mehrfachberührungssystem, Annahmen in Bezug auf die Fingeridentifizierung zu machen, aber die Genauigkeit der Annahme ist typischerweise nicht gut, es sei denn, dass eine ausreichende Anzahl an Fingern von einer Hand in Kontakt mit der Oberfläche sind.
Die Quelle an unabhängigen Fingeridentifikationsdaten ist bereits verfügbar von einer Kamera, wie etwa einer Über-der-Mehrfachberührungs-Oberflächenkamera. Die Kameradaten zeigen, wo die Finger einer jeden Hand relativ zu den Mehrfachberührungs-XY Koordinaten sind. Die Kamera kann nicht notwendigerweise bestimmen, ob die Finger in Kontakt mit der Berührungsoberfläche sind, aber das ist nicht wichtig, weil die fusionierten Daten von der Kamera und dem Mehrfachberührungssensor eindeutige Fingerbewegungsdaten liefern werden, die die vertikale (d. h. Z Dimension) Position eines jeden Fingers beinhalten. Eine typische Ausführungsform einer Über-der-Mehrfachberührungs-Oberflächenkamera für einen Laptopcomputer könnten eine oder mehrere eingebettete iSight Kameras sein, jeweils mit einem Schwenkspiegel, der es ermöglichen würde, beide Hände über einer Mehrfachberührungsoberfläche aufzunehmen.
Fingermalen, wobei jeder Finger eine zugeordnete Farbe, Strich oder andere Charakteristik hat, ist ein einfaches Beispiel für eine Anwendung, die signifikant verbessert werden würde, im Vergleich zum Stand der Technik durch Verwendung von Fingeridentifikation mit Mehrfachberührungsdatenfusion. Ohne eindeutige Fingeridentifikation wäre die Anwendung, sei es Fingermalen oder etwas anderes, nicht in der Lage, die richtige Zuordnung bestimmter Attribute, die einem spezifischen Finger gegeben wurden, beizubehalten. Wenn z. B. dem Zeigefinger der linken Hand die Farbe rot zugeordnet wurde und den anderen Fingern unter schiedliche Farben zugeordnete wurden, muss die Anwendung in der Lage sein, zu bestimmen, wann der Zeigefinger der linken Hand in Kontakt mit der Oberfläche ist, um rot zu malen. Umgekehrt muss die Anwendung in der Lage sein, zu bestimmen, wann der Finger, dem rot zugeordnet ist, nicht in Kontakt mit der Oberfläche ist. Die Fusion von Fingeridentifikationsdaten mit Mehrfachberührungsbewegungsdaten ermöglicht es der Anwendung ohne Fehler zu arbeiten.
BLICKVEKTORFUSION
Innerhalb der letzten 20 Jahre gab es eine große Menge an Forschung und Entwicklung in blickgesteuerten Benutzerschnittstellen. Die meisten Bemühungen richteten sich darauf, Leuten mit Behinderungen, die nicht fähig sind, eine Tastatur oder Maus zu bedienen, Computerschnittstellenlösungen zur Verfügung zu stellen. Forschung wurde auch über die Verwendung von Blicksteuerung in virtuelle-Realität-Anwendungen gemacht. Wie bei den anderen Berührungsmitteln, die in dieser Offenbarung diskutiert werden, kann die zeitweise Fusion von Blicksteuerungsdaten mit Mehrfachberührungsbewegungsdaten dazu verwendet werden, die Leistungsfähigkeit elektronischer Geräte zu erhöhen. Daher werden das Erfassen von Blickvektordaten und die Verfahren zum Berechnen von Blicksteuerung hier nicht diskutiert werden.
Es gibt viele mögliche Anwendungen, die von der zeitweisen Fusion von Blickvektoren mit Mehrfachberührungsbewegungsdaten profitieren würden. Als Beispiel wird hier eine einfache Anwendung diskutiert werden: man betrachte einen typischen Computerbildschirm, auf dem mehrere Fenster angezeigt sind. Man nehme an, dass der Benutzer das Fenster in der unteren linken Ecke nach vorne bringen möchte, welches momentan unterhalb von zwei anderen Fenstern ist. Ohne Blickvektorfusion gibt es zwei Mittel, um dies zu tun, und beide bringen Bewegung der Hand in eine andere Position mit sich. Das erste Mittel ist es, den Mauszeiger über das Fenster von Interesse zu bewegen und die Maustaste zu klicken. Das zweite Mittel ist es, eine Tastaturbefehlskombination zu verwenden, um durch die Bildschirmfenster zu kreisen, bis dasjenige von Interesse nach vorne gebracht ist. Stimmeingabe könnte auch verwendet werden, aber sie wäre weniger effizient als die anderen Eingabemittel. Mit Blickvektorfusion wird die Aufgabe stark vereinfacht. Der Benutzer richtet seinen Blick z. B. auf das Fenster von Interesse und tippt einen bestimmten Akkord auf der Mehrfachberührungsoberfläche. Die Operation erfordert keine Translation der Hände und kann sehr schnell ausgeführt werden.
Als ein anderes Beispiel nehme man an, dass der Benutzer ein iTunes Fenster, das sich oben links auf einem Anzeigebildschirm befindet, in seiner Größe und seiner Position verändern möchte. Dies kann durch die Verwendung eines Mehrfachberührungssystems erreicht werden, indem der Mauszeiger in das iTunes Fenster bewegt wird, und eine Geste ausgeführt wird, die die Größe und Position verändert. Während dieses Mittel bereits eine Verbesserung gegenüber der Verwendung nur einer Maus ist, kann seine Effizienz durch die zeitweise Fusion von Blickvektordaten weiter verbessert werden.
VORRICHTUNGSDYNAMIKSFUSION
Vorrichtungsdynamik umfasst die Kräfte, die auf eine mobile oder tragbare elektronische Vorrichtung einwirken und die Verschiebungen im Raum und Drehungen um die Hauptachsen der Vorrichtung bewirken. Drehungen um die Hauptachsen können als Rollen, Kippen und Neigen beschrieben werden, während die Verschiebung einer Vorrichtung relativ zum Körper des Benutzers betrachtet werden kann.
Man kann eine Anzahl an Anwendungen für mobile oder tragbare elektronische Vorrichtungen vorhersehen, die von der zeitweisen Fusion von Vorrichtungsdynamik mit Mehrfachberührungsbewegungsdaten profitieren würden. Diese Anwendungen würden diejenigen beinhalten, aber sind nicht auf sie beschränkt, die ein hohes Maß an Interaktion zwischen dem Benutzer und der Anwendung ver langen, so z. B. bei Spielen. Nicht-Spielanwendungen können auch von der Fusion von Vorrichtungsdynamik mit Mehrfachberührungsbewegungsdaten profitieren. Zum Beispiel, während versucht wird, eine Mehrfachberührungsbenutzerschnittstelle unter stark dynamischen Bedingungen zu verwenden, so wie sie vorgefunden werden, wenn man in einem Flugzeug fliegt oder geht. In Fällen wie diesen könnte die Fusion von Vorrichtungsdynamik mit Mehrfachberührungsbewegungsdaten in einem Glätten (d. h. verbesserten Filtern) unbeabsichtigter Fingerbewegung aufgrund der Fortbewegungsmittel (z. B. Vibrationen und Stöße) resultieren.
Als ein weiteres Beispiel zitieren wir eine Anwendung, die die zeitweise Fusion der Position der Vorrichtung relativ zum Körper des Benutzers mit Mehrfachberührungssensordaten mit sich bringt. Die Beispielanwendung ist ein Mehrfachberührungsmobiltelefon, bei dem die benutzerseitige Oberfläche fast vollständig durch einen Mehrfachberührungssensor eingenommen wird. Die Aufgabe ist es, zu bestimmen, ob das Mobiltelefon relativ zum Körper des Benutzers ist, um die richtige Vorrichtungsfunktion zu aktivieren. Wenn z. B. das Telefon weit vom Ohr des Benutzers entfernt ist, und in einer Position mit seiner Oberseite nach oben gehalten wird, würde sie Mehrfachberührungssensoreingabe als Fingerbewegungsdaten interpretiert werden, die dazu verwendet werden, irgendeinen Aspekt der Vorrichtung zu steuern, z. B. die Lautstärke oder Auswahl aus einer Liste. In anderen Positionen, z. B. wenn die Vorrichtung nahe am Ohr ist, würde die Mehrfachberührungssensoreingabe als Bilddaten interpretiert werden und könnte verwendet werden, um Bewegungssteuerung zu sperren. Alternativ könnten die Bilddaten der Vorrichtung nahe am Ohr verwendet werden, um irgendeinen Vorrichtungsaspekt, wie etwa die Ausgabelautstärke einzustellen, die abhängig davon, wie nahe das Ohr an der Mehrfachberührungsoberfläche ist, geändert werden könnte.
BIOMETRIEFUSION
Biometrieeingaben beinhalten – aber sind nicht begrenzt auf – Handgröße, Fingerabdruckseingabe, Körpertemperatur, Herzfrequenz, Hautimpedanz und Pupillengröße. Typische Anwendungen, die von der Fusion von Biometriedaten mit Mehrfachberührungsbewegungsdaten profitieren könnten, würden Spiele, Sicherheit und fitnessbezogene Aktivitäten einschließen.
Handcharakteristiken, wie etwa Größe, Form und allgemeine Morphologie können verwendet werden, um eine Person zu identifizieren, mit dem Zweck, Zugang zu gesicherten Bereichen zu ermöglichen, einschließlich Computersystemen. Während Handcharakteristika alleine keinen ausreichenden Grad an Identifikationsverifikation bieten würden, könnte es die erste Türe sein, durch die ein Benutzer gehen muss, bevor andere Sicherheitsmaßnahmen angewendet werden. Die Fusion von physikalischen Handcharakteristika mit Mehrfachberührungsbewegungsdaten (z. B. eine Bewegungsbahnunterschrift) würde dem anfänglichen Aussiebungsprozess eines typischen Sicherheitssystems Vorteile bieten.
GESICHTSAUSDRUCKSFUSION
Wie bei Sprache, gibt es viel Forschung über die Maschinenanalyse und Interpretation von Gesichtsausdrücken. Wie die anderen Abtastmittel schlagen Ausführungsformen der Erfindung die Fusion von Gesichtsausdrucksdaten mit Mehrfachberührungsbewegungsdaten vor, und nicht die verwendeten analytischen Methoden. Gesichtsausdrücke übertragen emotionalen Zustand, der vorteilhaft mit Mehrfachberührungsbewegungsdaten, während kreativer Aktivitäten, wie etwa dem Komponieren von Musik, vorteilhaft fusioniert werden könnten. Andere Aktivitäten, wie etwa die Erkennung bevorstehender Probleme über Gesichtserkennung, könnten mit Mehrfachberührungsdaten fusioniert werden, um den Lauf der Dinge, wie in dem folgenden Beispiel zu korrigieren.
Ein einfaches Beispiel für den Vorteil, der von der Fusion von Emotionszustand, wie er durch Gesichtsausdruck identifiziert wird, mit Mehrfachberührungsbewe gungsdaten abgeleitet wird, schildert die mögliche Verwendung dieses Verfahrens. Wie bei allen Computersystemen und vielen elektronischen Geräten gibt es insbesondere für neue Benutzer einen gewissen Grad an Frustration, wenn er versucht, irgendeine Operation auszuführen. Die Quelle dieser Frustration kann den Fehlern in der Anwendung dem Nichtwissen des Benutzers oder beiden zugeordnet werden. Wenn die Frustration nur vom Nichtwissen des Benutzers herrührt, würde er sich typischerweise seiner Rolle im Verursachen des Problems nicht bewusst sein. Anstatt die Schuld der Maschine oder ihm selber zu geben, würde der typische Benutzer meistens daran interessiert sein, das Problem zu lösen und fortzufahren, die Anwendung auszuführen, die er begonnen hat. Abhilfemaßnahmen durch die Maschine könnten automatisch initiiert werden, wenn nur die Maschine den emotionalen Zustand des Benutzers erkennen würde.
Wie oben diskutiert, kann ein Neulingsbenutzer von Zeit zu Zeit Frustration erfahren, beim Lernen, wie irgendeine Anwendung auf einer elektronischen Vorrichtung durchzuführen ist. Man nehme z. B. an, dass der Benutzer versucht, durch ein Dokument zu scrollen unter Verwendung einer zweifinger-vertikalen Bewegung (Geste). Scrollen funktioniert jedoch nicht für ihn, weil er, ohne es zu wissen, die Oberfläche mit drei Fingern anstelle der benötigten zwei berührt. Er wird mit der "Fehlfunktion" der Vorrichtung frustriert. In diesem Fall erkennt das System jedoch die Frustration und auf die Analyse der Mehrfachberührungs-bewegungsdaten hin, kommt sie zu dem Schluss, dass er versucht, mit drei Fingern zu scrollen. An diesem Punkt könnte die Vorrichtung den Benutzer auf das Problem mit dem zusätzlichen Finger aufmerksam machen, oder sie könnte entscheiden, den zusätzlichen Finger zu ignorieren und mit dem Scrollen zu beginnen. Nachfolgende Emotionsdaten über Gesichtserkennung würden dem System bestätigen, dass die richtige Abhilfemaßnahme getroffen wurde.
Es sollte verstanden werden, dass diese Ausführungsformen/Beispiele beispielhaft gegeben werden, und nicht einschränkend. Andere Abtastmittel können verwendet werden, wie z. B. Kraftabtastung. Kraftabtastung könnte verwendet werden, um harte und leichte Berührungen zu interpretieren, um einen fallen gelassenen Finger, der nicht Teil eines Akkords oder einer Geste ist, unberücksichtigt zu lassen oder auszufiltern. Weil der fallen gelassene Finger einfach das ist, wendet er nicht so viel Kraft auf, wie der Finger, der die Geste ausführt. Kraftabtastung könnte auch in 3D Modellierungsanwendungen verwendet werden, um die Z Position irgendeines Objekts anzupassen.
Es sollte auch erwähnt werden, dass andere Beispiele für jede der oben genannten Fusionsausführungsformen betrachtet werden können. Zum Beispiel kann der Blickvektor verwendet werden, um ein angezeigtes Objekt auszuwählen, während MT Abtastung verwendet werden kann, um einen Befehl einzugeben, der das angezeigte Objekt modifiziert. In einem Beispiel kann der Computer eine Gruppierung von Fotos zur Verfügung stellen. Der Benutzer kann auf ein bestimmtes Foto blicken, und eine Findegeste durchführen, die die Anwendung veranlasst, nach Fotos mit ähnlichen Charakteristika oder Attributen zu suchen.
Es sollte weiterhin erwähnt werden, dass Ausführungsformen der Erfindung nicht nur auf ein fusioniertes Abtastmittel begrenzt sind, und dass mehrere Abtastmittel verwendet werden können. Zum Beispiel kann Blickabtastung und Stimmeingabe verwendet werden, um MT Daten während einer Eingabesequenz zu ergänzen. Während z. B. ein erstes Objekt mit MT Daten manipuliert wird, kann ein Benutzer auf ein anderes Objekt schauen und grün sagen, um eine Farbänderung des zweiten Objekts zu veranlassen.
Ausführungsformen der Erfindung sind auf Verbesserungen der Ausführung gerichtet und verwenden berührungsempfindliche Vorrichtungen, wie etwa Einfachberührungs- und Mehrfachberührungs-(multi-touch MT)Vorrichtungen. MT Vorrichtungen sind so konfiguriert, dass sie mehrere Kontaktpunkte auf oder nahe einer Oberfläche gleichzeitig erkennen. Die Anordnung von Kontakten, die manchmal Akkorde genannt wird, und deren Bewegungen, die manchmal Gesten genannt werden, können verwendet werden, um eine große Anzahl an Eingaben zu erzeugen, einschließlich z. B. statischer oder manipulativer Befehle.
MT Vorrichtungen haben Vorteile gegenüber herkömmlichen Einzelpunktabtastungs-Berührungsvorrichtungen, in der Hinsicht, dass sie zwischen mehr als einem Objekt (Finger) unterscheiden können. Einzelpunktvorrichtungen sind einfach nicht in der Lage, mehrere Objekte zu unterscheiden. In den meisten Fällen überwachen MT Vorrichtungen eine Abtastoberfläche im Bezug auf eine Berührung oder eine Fast-Berührung und bestimmen, wenn eine Berührung auftritt, die unterschiedlichen Kontaktgebiete und identifizieren die Kontakte über ihre geometrischen Eigenschaften und geometrische Anordnung. Sobald sie identifiziert oder klassifiziert sind, werden die Kontakte im Hinblick auf verschiedene Bewegungen, Aktionen oder Ereignisse überwacht. Die Kontakte und ihre Bewegungen werden dann in Eingaben zur Steuerung irgendeines Aspekts einer elektronischen Vorrichtung umgewandelt.
MT Vorrichtungen können in verschiedenen Formen ausgeführt werden, einschließlich – aber nicht beschränkt auf – Standardberührungsfelder, große erweiterte Handflächenfelder, Berührungsbildschirme, berührungssensitive Gehäuse, usw. Weiterhin können MT Vorrichtungen in verschiedenen elektronischen Vorrichtungen untergebracht werden, einschließlich – aber nicht beschränkt auf – Computer, wie etwa Tabletcomputern, Laptopcomputern, Desktopcomputern und handgehaltene Computervorrichtungen, wie etwa Media Players (z. B. Musik, Video, Spiele), PDAs, Mobiltelefone, Kameras, Fernbedienungen und/oder ähnliches. Die MT Vorrichtungen können auch auf dedizierte Eingabevorrichtungen platziert werden, wie etwa Touch-Screen-Bildschirmen, Tastaturen, Navigationsfeldern, Tablets, Mäusen und ähnlichen. Im Wesentlichen können MT Vorrichtungen auf jede Oberfläche angewandt werden, und können in jeden Unterhaltungselektronikprodukt gefunden werden, das Eingaben benötigt.
Weil MT Vorrichtungen eine Fülle von eingebenden Operationen an einem einzigen Ort (Eingabeoberfläche) zur Verfügung stellen, kann das Eingeben mit MT Vorrichtungen sehr effizient sein. Der Benutzer kann seine Hand/Hände auf der MT Oberfläche lassen, ohne seine Hand/Hände bewegen zu müssen, um irgendwelche anderen Eingabevorrichtungen anzusteuern. Zum Beispiel beinhalten herkömmliche Systeme typischerweise eine Tastatur und eine getrennte Maus. Um die Maus zu benutzen muss der Benutzer seine Hand von der Tastatur weg und auf die Maus bewegen. Um effizient zu Tippen (beide Hände), muss der Benutzer seine Hand von der Maus zur Tastatur bewegen. Diese Eingabesequenz ist sehr ineffizient. Zum einen kann nur eine Vorrichtung gleichzeitig effektiv benutzt werden. Zum anderen gibt es Zeitverschwendung zwischen jedem Eingabeschritt. Im Gegensatz dazu kann der Benutzer mit MT Oberflächen sowohl statische Befehle (z. B. Tippen) als auch manipulative Befehle (z. B. Nachverfolgen) von derselben Stelle aus und zur gleichen Zeit erzeugen. Der Benutzer muss daher seine Hände nicht bewegen, um verschiedene Eingabeaufgaben durchzuführen. Der Benutzer liefert einfach verschiedene Akkorde oder Fingerbewegungen, um eine Fülle von Eingaben entweder sequentiell oder simultan zu erzeugen. In einem Beispiel kann der Benutzer Tastenbefehle mit Tippen auf bestimmten Stellen auf der MT Oberfläche liefern, während Nachverfolgung von allen Stellen der MT Oberfläche ermöglicht wird.
Obwohl Eingabeeffizienz mit MT Vorrichtungen stark verbessert wird, haben MT Vorrichtungen immer noch einige Beschränkungen. Zum einen können MT Abtastungen Daten erzeugen, die zweideutig oder unklar sind. Während sie z. B. großartig darin sein mag, die Anzahl an Kontakten zu bestimmen, kann sie Schwierigkeiten haben, beim Ermitteln der exakten Identität des Kontakts, z. B. welcher Finger. Dies gilt insbesondere, wenn es nur eine beschränkte Anzahl an ermittelten Kontakten gibt. Zum anderen gibt es in MT Operationen typischerweise eine Höchstzahl an Eingaben, die auf verschiedenen Akkorden und Fingerbewegungen basieren.
Daher schlägt in Übereinstimmung mit einer Ausführungsform die Erfindung vor, sekundäre Abtastung oder Eingabemechanismen oder -Systeme zu verwenden, um die MT Daten zu interpretieren zu helfen. Dadurch können die damit assoziierten Eingaben verbessert und sogar erweitert werden. Indem z. B. jeder Kontakt in einer Anordnung von Kontakten klar identifiziert wird, können mehr Akkorde und Gesten erzeugt werden. Die Eingabesprache ist nicht mehr auf die Anzahl an Kontakten begrenzt und kann erweitert werden, um spezifische Finger oder eine Fingeranordnung (z. B. Daumen, Ringfinger, Mittelfinger, kleiner Finger, Handfläche, usw.) zu umfassen.
Darüber hinaus können in manchen Situationen die MT Abtastdaten nicht so präzise sein, wie sie sollten oder müssen, um fehlerfrei zu arbeiten. Zum Beispiel kann ungenaue oder grobe Erkennung von Kontakten und Bewegungen zu unerwünschten Ergebnissen führen. Zum Beispiel kann die Handlung des Benutzers als etwas interpretiert werden, das sie nicht ist. Der Benutzer kann verärgert werden oder der Vorrichtung nicht trauen und als ein Ergebnis aufhören, die Vorrichtung zu verwenden. Daher können sekundäre Abtastvorrichtungen verwendet werden, um die MT Daten zu korrigieren, filtern, glätten oder anderweitig positiv zu verbessern, um die Leistungsfähigkeit der durch die MT Vorrichtung gelieferten Eingaben zu verbessern.
In Übereinstimmung mit einer anderen Ausführungsform schlägt die Erfindung vor, sekundäre Abtastungs- oder Eingabemechanismen oder Systeme zum Ergänzen von MT Operationen zu verwenden, um die gesamte MT Eingabeerfahrung zu verbessern. Zum Beispiel kann die Anzahl an Eingaben weiterhin erhöht werden. Wie erwähnt, ermöglichen es MT Vorrichtungen einem Benutzer, eine Fülle von Eingaben durchzuführen. Um dies zu tun behält der Benutzer jedoch typischerweise seine Hände nahe oder auf der MT Oberfläche. Eine Hand/Hände von der Oberfläche wegzubewegen verringert die Anzahl an verfügbaren Eingaben und damit die Effizienz. Daher können sekundäre Abtastungs- oder Eingabemechanismen oder Systeme verwendet werden, die es der Hand/den Händen ermöglicht, nahe der MT Oberfläche zu bleiben. Zum Beispiel Mechanismen oder Systeme entweder (1) in der Lage nahe der MT Oberfläche abzutasten und/oder (2) in der Lage, etwas anderes als eine Hand (handloses Eingeben) abzutasten. Beispiele für ersteres können z. B. Kraftabtastung, Bildabtastung, optische Abtastung, Positionsabtastung, Bewegungsabtastung, biometrische Abtastung und/oder ähnliches an der MT Oberfläche umfassen. Beispiele für letzteres umfassen Stimmerkennungssysteme, Blickvektorsysteme, biometrische Systeme, Vorrichtungsdynamikabtastung, Umgebungsabtastung und/oder ähnliches.
Weitere Details über Implementierungen von Berührungsvorrichtungen, die MT Vorrichtungen und deren Durchführungsverfahren umfassen, werden geliefert in: (1) U.S. Patentanmeldung Nr. 10/654,108, eingereicht am 2. September 2003, mit dem Titel "BEIDHÄNDIGE MAUS"; (2) U.S. Patentanmeldung Nr. 10/789,676, eingereicht 27. Februar 2004, mit dem Titel "FORMERKENNENDE EINGABEVORRICHTUNG"; (3) U.S. Patentanmeldung Nr. 10/840,862, eingereicht am 6. Mai 2004, mit dem Titel "MEHRPUNKTBERÜHRUNGSBILDSCHIRM"; (4) U.S. Patentanmeldung Nr. 11/115,539, eingereicht am 26. April 2005, mit dem Titel "TRAGBARE ELEKTRONISCHE VORRICHTUNG MIT MEHRFACHBERÜHRUNGS-ABTASTUNGSVORRICHTUNGEN"; (5) U.S. Patentanmeldung Nr. 11/241,839, eingereicht am 30. Juli 2004, mit dem Titel "NÄHEDETEKTOR IN TRAGBARER VORRICHTUNG"; (6) U.S. vorläufige Patentanmeldung Nr. 60/658,777, eingereicht am 4. März 2005, mit dem Titel "MULTIFUNKTIONALE TRAGBARE VORRICHTUNG"; (7) U.S. Patentanmeldung Nr. 10/903,964, eingereicht am 30. Juli 2004, mit dem Titel "GESTEN FÜR BERÜHRUNGSSENSITIVE EINGABEVORRICHTUNGEN" (8) U.S. Patentanmeldung Nr. 11/038,590, eingereicht am 18. Januar 2005, mit dem Titel "MODUS-BASIERTE GRAPHISCHE BENUTZERSCHNITTSTELLE FÜR BERÜHRUNGSSENSITIVE EINGABEVORRICHTUNGEN"; (9) U.S. Patentanmeldung Nr. 11/048,264, eingereicht am 31. Januar 2005, mit dem Titel "GESTEN FÜR BERÜHRUNGS-SENSITIVE EINGABEVORRICHTUNGEN"; (10) U.S. Patentanmeldung Nr. 11/228,737, eingereicht am 16. September 2005, mit dem Titel "AKTIVIEREN VIRTUELLER TASTEN EINER VIRTUELLEN BERÜHRUNGSBILDSCHIRM-TASTATUR"; (11) U.S. Patentanmeldung Nr. 11/228,758, eingereicht am 16. September 2005, mit dem Titel "ANORDNUNG EINER VIRTUELLEN EINGABEVORRICHTUNG AUF EINER BERÜHRUNGSBILDSCHIRM-BENUTZERSCHNITTSTELLE; (12) U.S. Patentanmeldung Nr. 11/228,700, eingereicht am 16. September 2005, mit dem Titel "OPERATION EINES COMPUTERS MIT BERÜHRUNGSBILDSCHIRMSCHNITTSTELLE"; (13) U.S. Patentanmeldung Nr. 10/927,925, eingereicht am 26. August 2004, mit dem Titel "VISUELLER EXPANDER"; (14) U.S. Patentanmeldung Nr. 10/927,575, eingereicht am 25. August 2004, mit dem Titel "BREITES BERÜHRUNGSFELD AUF EINEM TRAGBAREN COMPUTER", (15) U.S. Patentanmeldung Nr. 11/015,434, eingereicht am 17. Dezember 2004, mit dem Titel "VERFAHREN UND VORRICHTUNG ZUM INTEGRIEREN MANUELLER EINGABE", (16) U.S. Patentanmeldung Nr. 6,323,846, (17) vorläufige U.S. Patentanmeldung Nr. 60/072,509, eingereicht am 26. Januar 1998, (18) vorläufige U.S. Patentanmeldung Nr. 60/763,605, eingereicht am 30. Januar 2006, mit dem Titel "GESTIKULIEREN MIT EINER MULTIPUNKTABTASTVORRICHTUNG" (19) U.S. Patentanmeldung Nr. 11/057,050, eingereicht am 11. Februar 2005, mit dem Titel "ANZEIGEAKTUATOR," (20) U.S. Patentanmeldung Nr. 6,677,932, (21) U.S. Patent Nr. 6,570,557, (20) U.S. Patent Nr. 7,030,861, (22) U.S. Patent Nr. 6,888,536, die alle hierin durch Verweisung enthalten sind.
Diese und andere Aspekte der Ausführungsformen der Erfindung werden unten mit Bezug auf die 1 bis 25 diskutiert. Die Fachleute werden jedoch leicht erkennen, dass die detaillierte Beschreibung, die hier mit Bezug auf diese Figuren gegeben wird, nur beispielhaften Zwecken dient, da die Erfindung über diese begrenzten Ausführungsformen hinausgeht.
1 ist ein Blockdiagramm einer elektronischen Vorrichtung oder eines Systems 50, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfin dung. Die elektronische Vorrichtung 50 kann einem Computer entsprechen, wie etwa Desktop, Laptop, Tablet- oder handgehaltenen Computer. Die elektronische Vorrichtung kann auch anderen in der Hand gehaltenen Computervorrichtungen entsprechen, wie etwa Mobiltelefonen, PDAs, Mediaplayers, Medienspeichervorrichtung, Kamera, Fernbedienung und/oder ähnliches. Die elektronische Vorrichtung kann auch eine multifunktionelle Vorrichtung sein, die zwei oder mehr dieser Vorrichtungsfunktionalitäten in einer einzigen Vorrichtung kombiniert. Beispiele für multifunktionale Vorrichtungen können in der U.S. vorläufigen Patentanmeldung Nr. 60/658,777 gefunden werden, eingereicht am 4. März 2005, mit dem Titel "MULTIFUNKTIONALE HANDGEHALTENE VORRICHTUNG", die hierin durch Verweis eingebunden wird.
Die beispielhafte elektronische Vorrichtung 50 enthält einen Prozessor 56, der so konfiguriert ist, dass er Anweisungen ausführt und Operationen durchführt, die mit der elektronischen Vorrichtung 50 verbunden sind. Zum Beispiel kann der Prozessor 56 unter Verwendung von Anweisungen, die z. B. aus dem Speicher bezogen werden, den Empfang und die Manipulation von Eingabe- und Ausgabedaten zwischen Komponenten der elektronischen Vorrichtung steuern. Der Prozessor 56 kann auf einem einzigen Chip, mehreren Chips oder mehreren elektronischen Komponenten implementiert sein. Zum Beispiel können verschiedene Architekturen für den Prozessor 56 verwendet werden, einschließlich einem dedizierten oder eingebetteten Prozessor, einem Prozessor mit einer einzigen Funktion, einem Controller, ASIC, und so weiter. Der Prozessor kann z. B. Mikroprozessoren, DSP, A/D Wandler, D/A Wandler, Komprimierung, Dekomprimierung, usw. umfassen.
In den meisten Fällen arbeitet der Prozessor 56 mit einem Betriebssystem zusammen, um Computercode auszuführen und Daten zu erzeugen und zu verwenden. Betriebssysteme sind allgemein wohl bekannt und werden nicht in weiterem Detail beschrieben. Das Betriebssystem kann z. B. OSX, OS/2, DOS, Unix, Linux, Palm OS und ähnlichem entsprechen. Das Betriebssystem kann auch ein Betriebs system für einen speziellen Zweck sein, so wie es für Haushaltsgerät-artige Computervorrichtungen für einen begrenzten Zweck verwendet werden kann. Das Betriebssystem, anderer Computercode und Daten können sich innerhalb eines Speicherblocks 58 befinden, der operativ mit dem Prozessor 56 verbunden ist. Speicherblock 58 liefert in der Regel einen Ort, um Computercode und Daten zu speichern, die durch das Computersystem 50 verwendet werden. Der Speicherblock 58 kann z. B. Nur-Lese-Speicher (Read-Only Memory ROM), Hauptspeicher (Random-Access Memory RAM), Flash Speicher, Festplattenlaufwerk und/oder ähnliches umfassen. Die Information könnten sich auch in einem entfernbaren Speichermedium befinden und auf das Computersysteme 50 bei Bedarf geladen oder installiert werden. Entfernbare Speichermedien umfassen z. B. CD-ROM, PC-CARD, Speicherkarte, Floppy Disk, Magnetband und eine Netzwerkkomponente.
Die elektronische Vorrichtung 50 enthält auch eine Anzeigevorrichtung 68, die operativ mit dem Prozessor 56 verbunden ist. Die Anzeigevorrichtung 68 kann eine Flüssigkristallanzeige (LCD) sein. Alternativ kann die Anzeigevorrichtung 68 ein Monitor, wie etwa eine monochrome Anzeige, Color Graphics Adapter (CGA) Anzeige, Enhanced Graphics Adapter (EGA) Anzeige, Variable Graphics Array (VGA) Anzeige, Super VGA Anzeige, Bildröhrenanzeige (Cathode Ray Tube CRT) und ähnliches sein. Die Anzeigevorrichtung kann auch einem Plasmabildschirm, einer Anzeige, die mit elektronischen Tinten implementiert ist oder einer organisches-lichtemittierende-Dioden (OLED) Anzeige entsprechen. Die Anzeigevorrichtung 68 kann in die elektronische Vorrichtung 50 integriert sein, oder es können getrennte Komponenten sein (z. B. Peripherievorrichtungen). In manchen Fällen kann die Anzeigevorrichtung 68 mit der elektronischen Vorrichtung 50 durch verdrahtete Verbindungen (z. B. Drähte/Kabel/Anschlüsse) verbunden sein. In anderen Fällen kann die Anzeigevorrichtung 68 mit der elektronischen Vorrichtung 50 durch drahtlose Verbindungen verbunden sein. Die Datenverbindung kann z. B. PS/2, USB, IR, RF, Bluetooth oder ähnlichem (unter anderem) entsprechen.
Die Anzeigevorrichtung 68 ist im Allgemeinen so konfiguriert, dass sie eine graphische Benutzerschnittstelle (graphical user inferface GUI) 69 anzeigt, die eine einfach zu benutzende Schnittstelle zwischen einem Benutzer des Computersystems und dem Betriebssystem oder darauf laufenden Anwendung zur Verfügung stellt. Allgemein repräsentiert die GUI 69 Programme, Dateien und Betriebsoptionen mit graphischen Bildern. Die graphischen Bilder können Fenster, Felder, Dialogboxen, Menüs, Icons, Schaltflächen, Cursor, Scrollleisten usw. beinhalten. Solche Bilder können in vordefinierten Layouts angeordnet sein, oder sie können dynamisch erzeugt werden, um speziellen Aktionen zu dienen, die durch einen Benutzer gemacht werden. Während des Betriebs kann der Benutzer verschiedene graphische Bilder wählen und aktivieren, um Funktionen und damit verbundene Aufgaben einzuleiten. Ein Benutzer kann z. B. eine Schaltfläche auswählen, die ein Fenster öffnet, schließt, minimalisiert oder maximalisiert, oder ein Icon, das ein bestimmtes Programm startet. Die GUI 69 kann darüber hinaus oder alternativ Informationen, wie etwa nicht-interaktiven Text und Graphiken für den Benutzer auf der Anzeigevorrichtung 68 anzeigen.
Die elektronische Vorrichtung 50 umfasst auch eine Eingabeanordnung 70, die operativ mit dem Prozessor 56 verbunden ist. Die Eingabeanordnung 70 ist so konfiguriert, dass sie Daten von der Außenwelt in die elektronische Vorrichtung 50 überträgt. Die Eingabeanordnung 70 kann z. B. verwendet werden, um Nachverfolgung durchzuführen und Auswahl in Bezug auf die GUI 69 auf der Anzeige 68 zu machen. Die Eingabeanordnung 70 kann auch verwendet werden, um Befehle in die elektronische Vorrichtung 50 auszugeben. Die Eingabeanordnung 70 kann in die elektronische Vorrichtung 50 integriert sein, oder es können getrennte Komponenten (z. B. Peripherievorrichtungen) sein. In manchen Fällen kann die Eingabeanordnung 70 mit der elektronischen Vorrichtung 50 durch Drahtverbindungen (z. B. Drähte/Kabel/Anschlüsse) verbunden sein. In anderen Fällen kann die Eingabeanordnung 70 mit der elektronischen Vorrichtung 50 durch drahtlose Verbindungen verbunden sein. Die Datenverbindung kann z. B. PS/2, USB, IR, RF, Bluetooth oder ähnlichen (unter anderem) entsprechen.
In Übereinstimmung mit einer Ausführungsform umfasst die Eingabeanordnung 70 mindestens ein MT Datenfusionseingabesystem. Mehrfachberührungsdatenfusion ist das Konzept des Vereinens, Zusammenführens oder Vermischens von MT Abtastung mit anderen Abtastungsmitteln, um einen neuen Ansatz für das Eingeben zu schaffen. Sie wird im Allgemeinen auf synergetische Weise erreicht (kooperative Aktion von zwei oder mehr Aktionen). MT Datenfusion kann definiert werden als die Kombination von Daten von einem oder mehreren unabhängigen Abtast- oder Eingabemitteln mit MT Daten von einer MT Vorrichtung, um den Betrieb und die Verwendung einer elektronischen Vorrichtung zu verbessern. Wie gezeigt, umfasst das MT Datenfusionseingabesystem eine MT Vorrichtung 72 und eine oder mehrere MT Datenfusionsvorrichtungen 74.
Die MT Vorrichtung 72 ist so konfiguriert, dass sie Eingabe von einer Berührung des Benutzers empfängt und diese Informationen an den Prozessor 56 schickt. Die MT Vorrichtung 72 kann z. B. einem Berührungsfeld, einem Berührungsbildschirm, einem berührungssensitiven Gehäuse oder einer anderen verwandten Berührungsvorrichtung entsprechen. Wie erwähnt ist MT Abtastung in der Lage, mehrere Berührungen, die zur gleichen Zeit auftreten, zu unterscheiden. Im Allgemeinen erkennt die MT Vorrichtung 72 Berührungen, so wie die Position und die Größenordnung von Berührungen auf einer Mehrfachberührungs-sensitiven Oberfläche. Die MT Vorrichtung 72 berichtet die Berührungen dem Prozessor 56, und der Prozessor 56 interpretiert die Berührungen in Übereinstimmung mit seiner Programmierung. Der Prozessor 56 kann z. B. eine Anwendung in Übereinstimmung mit einer bestimmten Berührung oder einem Berührungsereignis einleiten. Der Prozessor kann auch einen Satz an Anweisungen enthalten, der das Auftreten von Akkorden und deren Bewegungen erkennt und einen oder mehrere Softwareagenten darüber informiert, welche Aktion(en) in Antwort auf die Akkorde und Bewegung vorzunehmen ist/sind. Ein dedizierter Prozessor kann verwendet wer den, um Berührungen lokal zu verarbeiten und die Anforderung für den Hauptprozessor der elektronischen Vorrichtung zu verringern. Die MT Datenfusionsvorrichtungen 74 sind so konfiguriert, dass sie sekundäre Informationen oder Daten, die mit den MT Daten fusioniert werden können, zur Verfügung stellen, um Eingabeoperationen für den Benutzer signifikant zu verstärken und zu verbessern. Die sekundären können durch eine große Vielzahl von Quellen zur Verfügung gestellt werden. Zum Beispiel können die Quellen eine Vielzahl von Sensoren umfassen, welche biometrische Sensoren, Audiosensoren, optische Sensoren, Schallsensoren, Vibrationssensoren, Bewegungssensoren, Positionssensoren, Lichtsensoren, Bildsensoren, akustische Sensoren, Sensoren eines elektrischen Feldes, Schocksensoren, Umgebungssensoren, Ausrichtungssensoren, Drucksensoren, Kraftsensoren, Temperatursensoren und/oder ähnliche umfassen, aber nicht auf diese beschränkt sind.
Die Sensoren können sich an einer großen Vielzahl von Stellen relativ zur MT Oberfläche befinden. In manchen Fällen darüber angeordnet, in anderen Fällen darunter angeordnet. Die Sensoren können sogar auf einer Ebene mit der MT Oberfläche sein. Die Sensoren können sich um den Rand der MT Oberfläche herum befinden, oder sie können innerhalb der Ebene der MT Oberfläche gefunden werden. In einem Beispiel werden pixelartige oder lokalisierte Sensoren in der MT Oberfläche eingebettet oder mit dieser geschichtet. Zum Beispiel können temperaturempfindliche dünne Filmwiderstände über die Fläche verteilt werden, um Temperaturdaten in lokalisierten Gebieten der MT Oberfläche zu liefern.
In spezifischen Beispielen können die eine oder die mehreren MT Datenfusionsvorrichtungen von Stimmerkennung, Bilderkennung, Blickerkennung, Gemütserkennung, biometrische, Umgebungs-, Vorrichtungsdynamik und/oder ähnlichem ausgewählt werden.
Das Fusionieren kann mit dem Prozessor erreicht werden, oder alternativ einem getrennten dedizierten Prozessor, der Teil des MT Datenfusionseingabesystems ist. Wann und wo die Daten fusioniert werden kann stark unterschiedlich sein. Integration kann z. B. früh, spät oder gleichzeitig kommen.
Im Allgemeinen führt die MT Datenfusionsvorrichtung irgendeine Operation wie etwa Abtasten durch und kann Verarbeitungskomponenten zum Verarbeiten irgendwelcher Daten umfassen. Die MT Datenfusionsvorrichtung berichtet sekundäre Daten dem Prozessor 56, und der Prozessor 56 interpretiert die sekundären Daten im Kontext der MT Daten in Übereinstimmung mit seiner Programmierung. In einer Ausführungsform können die sekundären Daten verwendet werden, um zu helfen, MT Daten zu interpretieren. Zusätzlich oder alternativ können die sekundären Daten dazu verwendet werden, die MT Daten zu ergänzen, um die Eingabeoperationen zu rationalisieren. Die sekundären Daten können z. B. Multitasking, Verkettung und ununterbrochene Stromeingabe ermöglichen. Zusätzlich, oder alternativ dazu können die sekundären Daten verwendet werden, um eine ganz neue Eingabe zu erzeugen. Das heißt: MT Daten + sekundäre Daten = Befehl.
Der Prozessor kann einen Übersetzer haben, der beide Abtastdaten empfängt und auf eine Datenbank Bezug nimmt, um das korrekte Vorgehen zu bestimmen. Die Sprachabbildung kann einen Satz an Instruktionen umfassen, der sowohl eine Anordnung von Kontakten auf einer MT Oberfläche als auch andere Abtastdaten erkennt, das Auftreten der Ereignisse erkennt und einen oder mehrere Softwareagenten über die Ereignisse informiert, und/oder darüber, welche Handlung in Antwort auf die Ereignisse durchzuführen ist.
In einer Ausführungsform können die sekundären Daten und MT Daten zeitweise fusioniert werden. Im Allgemeinen bedeutet zeitweise Fusion ein ersichtliches zeitliches Zusammenkommen mehrerer Ereignisse (mehrere Datensätze) innerhalb eines einzigen individuellen Kontexts (Computeranwendung, Modus oder Plattform). Genauer werden in zeitlicher Fusion die Daten von mehreren Quellen (MT + andere Abtastmittel) in einer zeitkohärenten Weise interpretiert. Die In formationen, die von verschiedenen Quellen strömen, werden kombiniert oder fusioniert, so dass Ereignisse in jedem Datenstrom zeitlich miteinander abgestimmt sind. Als solche können die mehrfachen Datenströme in Verbindung miteinander korrekt verstanden werden.
2 ist ein Mehrfachberührungs- MT Datenfusionsverfahren 100. Das Verfahren 100 umfasst den Block 102, wo MT Abtastungsoperationen durchgeführt werden. Das Verfahren 100 umfasst auch den Block 104, wo sekundäre Abtastoperationen durchgeführt werden. Das Verfahren 100 umfasst auch den Block 106, wo die Abtastdaten zeitweise mit den MT Daten fusioniert werden.
3 ist ein Mehrfachberührungs- (MT) Datenfusionsverfahren 120. Das Verfahren 120 umfasst den Block 122, wo ein MT Datenstrom erzeugt wird. Das Verfahren 120 umfasst auch den Block 124, wo ein oder mehrere sekundäre Datenströme erzeugt werden. Der sekundäre Datenstrom wird enthalten, um die MT Daten zu ergänzen oder zu interpretieren. Das Verfahren 120 umfasst auch den Block 126, wo Ereignisse in jedem Datenstrom zeitlich abgestimmt werden, so dass MT Ereignisse in Verbindung mit den sekundären Ereignissen korrekt verstanden werden.
4 ist ein Verfahren zum Eingeben 140. Das Verfahren 140 umfasst den Block 142, wo MT Abtastdaten gesammelt werden. Das Verfahren 140 umfasst auch den Block 144, wo sekundäre Abtastdaten gesammelt werden. Das Verfahren 140 umfasst darüber hinaus den Block 146, wo auf zeitkohärente Weise Ereignisse von Abtastdaten mit Ereignissen von MT Daten kombiniert werden, um eine Aktion einzuleiten.
5 ist ein Verfahren, zum Eingeben 160. Das Verfahren 160 umfasst den Block 162, wo MT Abtastdaten gesammelt werden. Das Verfahren 160 umfasst auch den Block 164, wo sekundäre Abtastdaten gesammelt werden. Das Verfahren 160 umfasst darüber hinaus den Block 166, wo auf eine zeitkohärente Weise die Abtastdaten verwendet werden, um die MT Daten (simultan oder nacheinander) zu ergänzen, so dass eine Eingabesitzung fließend, nahtlos und effizient ist.
6 ist ein Verfahren zum Eingeben 180. Das Verfahren 180 umfasst den Block 182, wo MT Abtastdaten gesammelt werden. Das Verfahren 180 umfasst auch den Block 184, wo sekundäre Abtastdaten gesammelt werden. Obwohl sie als aufeinanderfolgende Blöcke gezeigt werden, sollte bemerkt werden, dass die Blöcke typischerweise im gleichen Zeitbereich durchgeführt werden, so dass Ereignisse in einem Ereignissen in dem anderen entsprechen. Das Verfahren 180 umfasst darüber hinaus den Block 186, wo auf eine zeitkohärente Weise die Abtastdaten verwendet werden, um die MT Daten zu interpretieren, so dass MT Operationen erweitert und verbessert werden können. Die sekundären Daten können z. B. verwendet werden, um Annahmen über die MT Daten zu treffen, MT Daten vorherzusagen, Vorkehrungen für MT Daten zu treffen, MT Daten zu korrigieren, MT Daten zu filtern, usw. In einer Variante werden sekundäre Daten verwendet, um Eigenschaften, Attribute oder Verhaltensweisen, die mit einzelnen Kontakten, spezifischen Anordnungen von Kontakten, Bewegungen von einem oder mehreren Kontakten, Bewegungen von Kontakten relativ zueinander, usw. verbunden sind, besser zu bestimmen oder zu definieren. Zum Beispiel können die sekundären Daten zusätzliche Kontaktinformationen in Bezug auf die Z Größenordnung oder Druck, die x Koordinate, die y Koordinate, ID, Winkel, Gebiet liefern. Die sekundären Daten können auch Informationen in Bezug auf die Akkordgruppierung, Entfernung zwischen Kontakten, Schwerpunkt der Kontaktanordnung, Druck der Kontaktanordnung, Rotation oder Verschiebung von Kontakten relativ zueinander oder als eine Gruppe von Kontakten, Geschwindigkeit einzelner Kontakte, Geschwindigkeit einer Anordnung von Kontakten, relative Geschwindigkeit zwischen Kontakten, usw. liefern.
7 ist ein Eingabeverfahren 200. Das Verfahren 200 umfasst den Block 202, wo eine Anwendung, ein System oder eine Plattform aktiv ist. Das Verfahren umfasst auch den Block 204, wo MT Abtastung durchgeführt wird und wo Akkord- und Bewegungsdaten erkannt werden. Das Verfahren 200 umfasst auch den Block 206, wo Aktionen, die mit den Akkordbildungs- und Bewegungsdaten verbunden sind, eingeleitet werden. Das Verfahren 200 umfasst auch den Block 208, wo Stimmerkennung durchgeführt wird, und Stimmmuster erkannt werden. Das Verfahren 200 umfasst auch den Block 210, wo Aktionen, die mit den Stimmmustern verbunden sind, eingeleitet werden.
8 ist ein Verfahren zum Eingeben 210. Das Verfahren beginnt bei Block 212, wo ein angezeigtes Objekt während MT Eingabe ausgewählt oder erzeugt wird. Wenn kein Objekt ausgewählt oder erzeugt wird, dann wartet das Verfahren 210. Wenn ein Objekt ausgewählt oder erzeugt wird, geht das Verfahren 210 zwei simultan ablaufende Blöcke 214 und 216 nach unten. In Block 214 wird eine Bestimmung gemacht, ob ein Stimmmodifizierungsbefehl erkannt wird oder nicht, während das Objekt ausgewählt oder erschaffen wird. Wenn das der Fall ist, geht das Verfahren 210 zu Block 218 weiter, wo das ausgewählte oder erschaffene Objekt in Übereinstimmung mit dem Befehl modifiziert wird. Wenn nicht, fließt das Verfahren 210 zurück nach Block 212. In Block 216 wird eine Bestimmung gemacht, ob ein MT Befehl erkannt wird oder nicht, während das Objekt ausgewählt oder erzeugt wird. Wenn das der Fall ist, geht das Verfahren 210 weiter nach Block 220, wo das ausgewählte oder erzeugte Objekt in Übereinstimmung mit dem Befehl modifiziert wird. Wenn nicht, fließt das Verfahren zurück nach Block 212.
9A bis 9E sind diagrammhafte Darstellungen von Fusionsstimmdaten mit MT Daten in Übereinstimmung mit Ausführungsformen der Erfindung. Wie in 9A gezeigt, greift ein Benutzer ein angezeigtes Objekt 230 mit mehreren Fingern 232 und 234. Dies wählt im Wesentlichen das angezeigte Objekt 230 für Anpassungen oder Veränderungen aus. Wie in 9B gezeigt, rotiert der Benutzer die Finger 232 und 234, um das angezeigte Objekt 230 zu rotieren (z. B. rotiert das Objekt simultan mit der Rotation der Finger). Wie in 9C gezeigt, lässt der Benutzer seine Finger 232 und 234 zusammen über die angezeigte Oberfläche gleiten, um das angezeigte Objekt 230 von einer Stelle an eine neue Stelle im Darstellungsbereich oder auf einer angezeigten Seite zu bewegen. Wie in den 9D und 9E gezeigt, verändert der Benutzer die Größe des angezeigten Objekts durch Zusammendrücken seiner Finger 232 und 234 oder Auseinanderspreizen seiner Finger 232 und 234.
Zu jeder Zeit während dieser Operationen kann der Benutzer das angezeigte Objekt 230 weiter mit Stimmbefehlen modifizieren. Zum Beispiel kann der Benutzer einfach eine Farbe rufen, um die Farbe des Objekts zu ändern. Alternativ kann der Benutzer "Text eingeben" sagen, und dann wird danach Sprache innerhalb des angezeigten Objekts 230 eingegeben. Wie erkannt werden sollte, ermöglichen Stimmbefehle dem Benutzer, MT Eingabe ohne Unterbrechung fortzuführen. Zusätzlich oder alternativ kann der Benutzer Blickerkennung verwenden, um die Eingabeoperation weiter zu verbessern. Zum Beispiel kann der Benutzer auf ein anderes Objekt blicken und nachfolgend auf eine neue Stelle blicken, um ein zweites Objekt 231 an diese Stelle zu bewegen. Wiederum kann diese durchgeführt werden, während der Benutzer MT Eingabe am ersten Objekt 230 durchführt. Als ein Ergebnis kann Eingeben effizienter sein.
10 ist ein weiteres Diagramm, das die Fusion von Spracherkennung und MT Operationen gemäß Ausführungsformen der Erfindung zeigt. In dieser Ausführungsform erzeugt der Benutzer ein Liniensegment 240 durch Ziehen von zwei Fingern 234 und 235 über den Bildschirm. Zu jeden Zeitpunkt während dieser Erzeugung kann der Benutzer Befehle rufen, um das Liniensegment 240 zu modifizieren. Zum Beispiel kann der Benutzer "grün" rufen, um die Linienfarbe des Liniensegments 240 nach grün zu ändern. Er kann auch "5 Punkte" rufen, um die Dicke des Liniensegments 240 zu ändern. Der Benutzer kann auch "gestrichelt" rufen, um das Liniensegment 240 in eine gestrichelte Linie zu verändern. In all diesen Beispielen kann der Benutzer mit dem MT Eingeben fortfahren, wodurch er das Eingeben effizienter macht.
Es sollte bemerkt werden, dass Ausführungsformen der Erfindung nicht auf Farbänderungen und Texteingabebefehle beschränkt sind, sondern dass andere Befehle verwendet werden können (z. B. öffnen, schließen, usw.).
11 ist ein Verfahren 250 zur eindeutigen Fingeridentifikation. Das Verfahren 250 umfasst den Block 252, wo ein Handprofil durch einen ersten Abtastmechanismus während der Eingabeanwendung erzeugt wird. Das Handprofil zeigt bestimmte Finger der Hand und ihren Ort innerhalb einer Ebene an. Der Ort kann spezifisch für eine einzelne Achse oder für mehrere Achsen, wie z. B. die X und Y Achse der Ebene sein. Das Handprofil kann von unterhalb, auf einer Ebene mit oder überhalb der Ebene erzeugt werden. Das Handprofil kann z. B. durch eine Aufnahmevorrichtung, wie etwa einen Bildsensor erzeugt werden. Das Verfahren 250 umfasst auch den Block 254, wo ein Kontaktprofil mittels eines zweiten Abtastmechanismus während der Eingabeanwendung erzeugt wird. Das Kontaktprofil zeigt einen oder mehrere Kontaktbereiche an, die durch Finger verursacht werden, die eine Oberfläche berühren, und deren Ort innerhalb der Ebene. Der Ort kann spezifisch für eine einzige Achse oder für mehrere Achsen sein, wie z. B. die X und Y Achse der Ebene. Wenn eine einzelne Achse verwendet wird, dann entspricht sie zumindest der Achse, die für das Handprofil verwendet wird. In den meisten Fällen wird die Achse verwendet, die die Finger kreuzt oder im Wesentlichen rechtwinklig zu ihnen ist. Das Kontaktprofil kann unter Verwendung einer MT Vorrichtung erzeugt werden, die Berührungen auf einer Oberfläche oder Ebene abtastet. Das Verfahren 250 umfasst weiterhin Block 256, wo Identität der Kontakte durch Korrelieren oder in Übereinstimmung-Bringen des Handprofils mit dem Kontaktprofil bestimmt wird. Dies kann durch Vergleichen des Orts der Finger mit dem Ort der Kontakte erreicht werden. Das Handprofil kann z. B. Finger an spezifischen X Orten anzeigen, und das Kontaktprofil kann Kontakte an spezifischen X Orten anzeigen. Der Kontaktort, der am besten auf den Fingerort passt, kann als dieser Finger identifiziert werden. Im Wesentlichen gibt es zwei Datensätze, und man schaut, wo diese übereinstimmen. Verschiedene Verfahren können implementiert werden, einschließlich Übereinstimmungsfiltern und räumliche Korrelation.
12 ist ein Verfahren 270 zur eindeutigen Fingeridentifikation. Das Verfahren 270 umfasst den Block 272, wo ein Bild der Hand, das Finger umfasst, die sich über der MT Oberfläche befinden, erhalten wird. Das Verfahren 270 umfasst auch den Block 274, wo das Handbild analysiert wird, um Identität von Fingern zu bestimmen. Das Verfahren 270 umfasst auch den Block 276, wo Bilder von Fingern in Kontakt mit der MT Oberfläche erhalten werden. Das Verfahren 270 umfasst zusätzlich den Block 278, wo das Handbild und Kontaktbild in Beziehung gesetzt werden, um Identität von Kontakten zu bestimmen. Obwohl der Ausdruck "Bild" verwendet und gezeigt wird, sollte bemerkt werden, dass die Daten in anderen Formen kommen können (z. B. Signale oder mathematische Funktionen).
13 ist ein Eingabeverfahren 280. Das Eingabeverfahren 280 beginnt bei Block 282, wo eine Bestimmung darüber gemacht wird, ob eine Berührung detektiert wird, oder nicht. Wenn eine Berührung detektiert wird, geht das Verfahren 280 weiter zu den Blöcken 284 und 286. In Block 284 wird/werden die Hand/Hände, die über der MT Oberfläche positioniert ist/sind, mit einem Bildsensor aufgenommen. Der Bildsensor kann in der MT Oberfläche eingebettet sein, an der Außenseite oder um die Ränder der MT Oberfläche herum, oder an einer Stelle oberhalb der MT Oberfläche. In Block 286 werden die Finger, die in Kontakt mit der MT Oberfläche sind, aufgenommen. Den beiden Blöcken 284 und 286 folgen die Blöcke 288 und 290. In Block 288 wird das Handbild analysiert, um Fingeridentität und ihre Stelle innerhalb der MT Oberflächenebene zu bestimmen. In Block 290 wird das Kontaktbild analysiert, um Kontaktstelle innerhalb der MT Oberflächenebene zu bestimmen. Danach, in Block 292, werden die Kontakte mit den Fingern in Übereinstimmung gebracht, so dass die Identitäten der Kontakte bekannt werden. Obwohl der Ausdruck "Bild" verwendet und gezeigt wird, sollte bemerkt werden, dass die Daten in anderen Formen kommen können, z. B. Signale oder andere mathematische Funktionen.
14A ist eine Darstellung eines beispielhaften Bildes 300 eines Paars von Händen, die über einer MT Oberfläche positioniert sind, und 14B ist eine Darstellung eines beispielhaften Bildes 302 einer Anordnung von Kontakten auf der MT Oberfläche. Wie in 14A gezeigt, wird das Bild 300 der Hände verarbeitet, um die Finger zu identifizieren und die X Position eines jeden dieser Finger zu bestimmen. Das Bild kann ein moduliertes Muster von Erhebungen in der X Koordinate liefern. Das Bildsystem kann Zwischenräume zwischen Erhebungen detektieren, um zu bestimmen, welcher Finger den Kontakt schafft. Das Bildsystem kann den Farbton der Finger untersuchen, den Kontrast zwischen Fingern untersuchen (leuchtende helle Flecken), die Größe eines jeden Fingers untersuchen, oder nach Fingernägeln und/oder ähnlichem suchen. Die Daumennägel können im Vergleich zu den anderen Fingern leicht identifizierbar sein, weil der Daumen im Verhältnis zu den anderen Fingern typischerweise proniert ist (damit haben sie eine unterschiedliche Form). Wie in 14B gezeigt, wird das Bild 302 der Kontakte verarbeitet, um die X Position eines jeden der Kontakte zu bestimmen. Sobald die X Positionen gefunden sind, werden sie mit den X Positionen der Finger verglichen, um die Identität der Kontakte zu bestimmen. Es sollte bemerkt werden, dass dies typischerweise keine exakte Übereinstimmung ist, und somit ein Algorithmus der besten Übereinstimmung angewendet werden kann, um zu bestimmen zu helfen, welche Kontakte die wahrscheinlichen Übereinstimmungen für die Finger sind. Im dargestellten Beispiel befindet sich ein erster Kontakt bei X1, was dem linken kleinen Finger bei X1 entspricht, der zweite Kontakt befindet sich bei X2, was dem linken Ringfinger entspricht, und ein dritter Kontakt befindet sich bei X7, was dem rechten Zeigefinger entspricht. Obwohl der Ausdruck "Bild" verwendet und gezeigt wird, sollte bemerkt werden, dass die Daten in anderen Formen kommen können (z. B. Signale oder andere mathematische Funktionen).
Die Handprofile können verwendet werden, um dynamische Zugvorlagen zu erzeugen. In einem Fall kann die minimale Summe der Entfernung im Quadrat verwendet werden, um zu identifizieren, welcher Kontakt zu welchem Finger gehört.
Die 15A und 15B sind Diagramme einer elektronischen Vorrichtung 310 in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung. Die elektronische Vorrichtung 310 umfasst eine MT Oberfläche 312 zum Erhalten von Kontaktinformationen, die den Fingern zugeordnet sind, die in Kontakt mit der MT Oberfläche 312 stehen, und eine Aufnahmevorrichtung 314 zum Erhalten von Bildern der Hand/Hände, die über die MT Oberfläche 312 schwebt/schweben. Wie gezeigt, ist der Bildsensor 314 über den Händen relativ zur Ebene und an der oberen Kante der MT Oberfläche 312 positioniert. Er ist so konfiguriert, dass er ein Bild der Hand/Hände relativ zur X Achse erzeugt. Darüber hinaus ist der Bildsensor 314 unterhalb oder vertieft hinter der oberen Oberfläche der elektronischen Vorrichtung 310 eingebettet. Er ist konfiguriert, die Hand durch ein optisches Glied 316 aufzunehmen, das an der oberen Oberfläche der elektronischen Vorrichtung 310 angeordnet ist. In manchen Fällen kann das optische Glied 316 so konfiguriert sein, dass es den Bildsensor 314 vor Blicken verbirgt, wie z. B. hinter einer Blende oder einem lichtundurchlässigen Abschnitt. In einer Ausführungsform ist der Bildsensor 314 relativ zur oberen Oberfläche (wie gezeigt) so ausgerichtet, dass er die Hände aufnehmen kann, aber unterhalb eines Blendenabschnitts 318 verborgen werden kann. Zum Beispiel kann er 30 Grad relativ zur oberen Oberfläche angewinkelt sein.
16 ist ein Diagramm einer elektronischen Vorrichtung 320 in Übereinstimmung mit einer weiteren Ausführungsform der vorliegenden Erfindung. In dieser Ausführungsform ist die elektronische Vorrichtung 320 ein Laptopcomputer, der eine Basis 322 und eine schwenkbare Abdeckung 324 hat. Die Basis 322 umfasst eine MT Oberfläche 326, während die Abdeckung 324 eine Anzeige 328 umfasst, die von einer Blende 330 umgeben ist. Innerhalb der Blende 330 befindet sich ein Bildsensor 332, der hoch über der MT Oberfläche 326 gelegen ist und der in der Lage ist, die MT Oberfläche 326 aufzunehmen. Als solches können Handprofile gesammelt werden. Weil der Winkel der Abdeckung 324 sich während des Gebrauchs relativ zur Basis 322 ändert, kann der Bildsensor 332 einen Servo zum Kippen des Bildsensors 332 in die Richtung der MT Oberfläche 326 umfassen. In einem Fall kann auch ein Sensor zur Verfügung gestellt werden, der den Winkel der Abdeckung relativ zur MT Oberfläche überwacht. Der Servo kann korrekt zum Aufnehmen der Oberfläche positioniert werden, in dem auf den gemessenen Winkel Bezug genommen wird. Alternativ kann ein schwenkbarer Spiegel verwendet werden, anstatt den Bildsensor zu schwenken. Der Bildsensor kann andere Funktionen haben, einschließlich Webkamera. Der Bildsensor kann z. B. eine i-Sight Kamera sein, die Teil des Macbooks ist, das von Apple Inc. aus Cupertino, CA, hergestellt wird.
Weitere Details zum Schwenken eines Bildsensors zu einer Abdeckung können in der Patentanmeldung Nr. 10/800,166 gefunden werden, eingereicht am 12. März 2004, mit dem Titel KAMERARIEGEL, die hierin per Verweis mit aufgenommen wird.
Wie in 17 gezeigt, kann der Bildsensor 332 auch in einer Anzeige oder einem alles integrierenden Computer 340 angeordnet sein, wie etwa dem iMac, hergestellt von Apple Inc. aus Cupertino, CA. In einer Ausführungsform kann der Bildsensor so konfiguriert sein, dass er das Gebiet unterhalb und vor der Anzeige aufnimmt, um die MT Oberfläche zu finden und sich anschließend selber wie benötigt ausrichtet.
Mit Bezug auf die oben genannten Ausführungsformen sollte bemerkt werden, dass, obwohl ein Bildsensor wie ein CCD oder CMOS Sensor beschrieben ist, andere Abtastmittel verwendet werden können, um die Hand aufzunehmen. Zum Beispiel können Laserscanner oder ein Mikroradar verwendet werden. Weiterhin kann in manchen Fällen der Bildsensor eine pixelartige Bildoberfläche sein, die geschichtet sein kann und möglicherweise durch die MT Oberfläche hindurch arbeiten kann.
18 ist ein Eingabeverfahren 350. Das Eingabeverfahren 350 fusioniert einen Blickvektor mit MT Abtastung. Das Verfahren 350 umfasst den Block 352, wo die Position eines Blicks relativ zu einem Anzeigebildschirm bestimmt wird. Das Verfahren 350 umfasst auch den Block 354, wo eine spezifische Anordnung von Kontakten und möglicherweise deren Bewegungen erkannt werden. Das Verfahren 350 umfasst darüber hinaus den Block 356, wo eine Aktion, die mit der Anordnung von Kontakten verbunden ist, an der Position des Blicks ausgeführt wird.
19 ist ein Eingabeverfahren 370. Das Verfahren 370 startet bei Block 372, wo ein Objekt auf einem Anzeigebildschirm dargestellt wird. Das Verfahren 370 geht weiter nach Block 374, wo eine Bestimmung gemacht wird, ob ein Blick auf ein Objekt gerichtet ist oder nicht. Wenn nicht, wird das Verfahren 370 in Wartestellung gebracht. Wenn ja, geht das Verfahren 370 nach Block 376, wo das Objekt in Übereinstimmung mit einem Akkord oder einer Geste modifiziert wird, der oder die mit MT Abtastung verbunden ist.
20 ist ein Eingabeverfahren 380. Das Verfahren 380 umfasst den Block 382, wo Daten, die mit Bewegung der elektronischen Vorrichtung verbunden sind, gesammelt werden. Das Verfahren 380 umfasst auch den Block 384, wo MT Daten gesammelt werden. Das Verfahren 380 umfasst darüber hinaus den Block 386, wo Daten, die mit der Bewegung der Vorrichtung verbunden sind, von den MT Daten ausgefiltert werden. Dieses Verfahren kann z. B. verwendet werden, wenn der Benutzer in Bewegung ist (z. B. in einem Auto, Jogging, usw.). In diesen Fällen kann die Empfindlichkeit der MT Fläche verringert werden, um ein falsches Auslösen von Flächengebieten zu vermeiden.
Beispiele von Bewegungsdetektion und Filterung von Berührungsdaten können in der U.S. Patentanmeldung Nr. 10/997,479 gefunden werden, eingereicht am 24. November 2004, mit dem Titel "MUSIKSYNCHRONISATIONSANORDNUNG", U.S. Patentanmeldung Nr. 10/722,948, eingereicht am 25. No vember 2003, mit dem Titel "BERÜHRUNGSFELD FÜR HANDGEHALTENE VORRICHTUNG", welche beide hierin per Verweis mit eingebunden werden.
21 ist ein Betriebsverfahren 400. Das Verfahren 400 umfasst den Block 402, wo MT Operationen an einer elektronischen Vorrichtung durchgeführt werden, wie etwa eine handgehaltene Vorrichtung. Das Verfahren 400 umfasst auch den Block 404, wo Ausrichtung und/oder Position der Vorrichtung relativ zu einem Benutzer bestimmt werden. Das Verfahren 400 umfasst auch den Block 406, wo die MT Daten als erste Daten interpretiert werden, wenn die Vorrichtung in einer ersten Ausrichtung und/oder Position ist. Das Verfahren 400 umfasst zusätzlich den Block 408, wo die MT Daten als zweite Daten interpretiert werden, wenn die Vorrichtung in einer zweiten Ausrichtung und/oder Position ist, wenn z. B. die Vorrichtung sich vom Benutzer weg befindet, beispielsweise wenn der Benutzer die Vorrichtung vor sich hält, kann die MT Abtastung als Akkordbildungs- und Bewegungsdaten interpretiert werden, und wenn sich die Vorrichtung nahe am Benutzer befindet, kann die MT Abtastung als Aufnahmedaten interpretiert werden. Die Bilddaten können verwendet werden, um Umgebung sowie Objekte abzutasten. Sie können z. B. verwendet werden, um abzutasten, dass die Vorrichtung nahe am Gesicht ist. Die Aufnahmedaten können verwendet werden, um Aktionen einzuleiten. Wenn z. B. die Seite des Gesichts detektiert wird, dann können Mobilfunkaktionen eingeleitet werden.
22 ist ein Eingabeverfahren 420. Das Verfahren 420 umfasst den Block 422, wo Handeigenschaften unter Verwendung eines oder mehrerer biometrischer Sensoren bestimmt werden. Das Verfahren 420 umfasst auch den Block 424, wo eine Bewegungsbahnunterschrift erkannt wird, wenn MT Operationen durchgeführt werden. Das Verfahren 420 umfasst zusätzlich den Block 426, wo der Benutzer auf der Grundlage von Handeigenschaften und Bewegungsbahnunterschrift identifiziert wird.
23 ist ein Betriebsverfahren 440. Das Verfahren 440 umfasst den Block 442, wo emotionale Daten gesammelt werden durch Überwachung der Gesichtsausdrücke. Das Verfahren 440 umfasst auch den Block 444, wo MT Operationen durchgeführt werden. Das Verfahren 440 umfasst weiterhin den Block 446, wo der emotionale Zustand des Benutzers aus den emotionalen Daten ermittelt wird. Das Verfahren 440 umfasst zusätzlich den Block 448, wo MT Daten in Übereinstimmung mit emotionalem Zustand analysiert werden. Das Verfahren 440 umfasst auch den Block 450, wo bestimmt wird, ob MT Eingaben das gewünschte Ergebnis hervorbringen. Wenn z. B. der emotionale Zustand Frustration während Eingabe mit der MT Vorrichtung anzeigt, dann kann die Frustration auf unerwünschte Ergebnisse vom Eingeben zurückzuführen sein. Das Verfahren 440 umfasst darüber hinaus den Block 452, wo eine Korrekturaktion eingeleitet wird, wenn das wahrgenommene erwünschte Ergebnis nicht erreicht wird. Wenn z. B. das Analysieren bestimmt, dass die Frustration auf einen inkorrekten Akkord oder eine inkorrekte Bewegung zurückzuführen ist, dann kann ein Hilfemenü angezeigt werden, das den möglichen Benutzerfehler beschreibt, und/oder die Aktion die mit der Eingabe verbunden ist, kann angepasst werden.
24 ist ein Eingabeverfahren 460. Das Verfahren 460 umfasst den Block 462, wo MT Operationen durchgeführt werden. Das Verfahren 460 umfasst auch den Block 464, wo Kräfte auf der MT Oberfläche während MT Operationen gemessen werden. Das Verfahren 466 umfasst weiterhin Interpretieren der MT Daten auf der Basis von Kraftdaten. Zum Beispiel können harte Berührungen in das Feld von Kontakten aufgenommen werden, während weiche Berührungen ausgefiltert werden können. Alternativ kann Kraftabtastung als eine Art der Eingabe verwendet werden. Zum Beispiel können leichte Berührungen (oder Schweben) verwendet werden, um eine Funktion hervorzuheben, anstelle einer Funktion zu markieren. Zum Beispiel kann eine leichte Berührung verwendet werden, um eine virtuelle Taste oder einen Knopf hervorzuheben, obwohl der Finger nicht wirklich gedrückt wird (harte Berührung).
25 ist ein Eingabeverfahren 480. Das Verfahren 480 umfasst den Block 482, wo MT Abtastung auf einer Oberfläche mit einer ersten MT Vorrichtung durchgeführt wird. Das Verfahren 480 umfasst auch den Block 484, wo MT Abtastung simultan auf der Oberfläche mit einer zweiten MT Vorrichtung durchgeführt wird. Das Verfahren 480 umfasst weiterhin den Block 486, wo die Ergebnisse der ersten und der zweiten MT Vorrichtung in der Zeitdomäne verglichen werden. Das Verfahren 480 umfasst weiterhin den Block 488, wo die entsprechenden MT Daten zur Verwendung für Eingabe bestimmt werden. In einem Beispiel werden zwei Signale gemittelt. In einem anderen Beispiel wird eines der Signale ausgewählt, während das andere verworfen wird. Andere sekundäre Daten können verwendet werden, um beide Datensätze zu interpretieren.
Die verschiedenen Aspekte, Merkmale, Ausführungsformen oder Implementierungen der oben beschriebenen Erfindung können alleine oder in verschiedenen Kombinationen verwendet werden.
Ausführungsformen der Erfindung werden vorzugsweise durch Hardware, Software oder eine Kombination aus Hardware und Software implementiert. Die Software kann auch als computerlesbarer Code auf einem computerlesbaren Medium ausgeführt werden. Das computerlesbare Medium ist irgendeine Datenspeichervorrichtung, die Daten speichern kann, die danach durch ein Computersystem gelesen werden können. Beispiele für computerlesbare Medien umfassen Nur-Lese-Speicher, Lese-Schreib-Speicher, CD-Roms, DVDs, Magnetband, optische Datenspeichervorrichtungen und Trägerwellen. Das computerlesbare Medium kann auch über netzwerkgekoppelte Computersysteme verteilt werden, so dass der computerlesbare Code auf verteilte Weise gespeichert und ausgeführt wird.
Während Ausführungsformen dieser Erfindung in Bezug auf mehrere bevorzugte Ausführungsformen beschrieben wurden, gibt es Abwandlungen, Permutationen und Äquivalente, die innerhalb des Bereichs der Ausführungsformen dieser Erfindung fallen. Eine andere Anwendung zum Kombinieren einer Kamera mit MT Abtastung ist z. B. das Ermöglichen von 3D Handgesten durch die Kamera, wenn der Benutzer nur einen Teil der Hand die MT Oberfläche zu irgendeinem Zeitpunkt während der Geste berühren lässt. Dies macht das Problem der Handgestenerkennung über Kamera leichter lösbar, weil man weiß, warm eine Geste beginnt oder endet. Die meisten Demonstrationen von Handgestenerkennung über eine Kamera verlangen, dass man einen "Geste Starten" Knopf drückt. Wenn der Anfang (oder das Ende) nur ein nahtloser Teil der Geste selber wäre, könnte es das Merkmal auf derzeitigen CPUs leichter erreichbar machen. In anderen Anwendungen kann die MT Oberfläche erweitert werden, um einen ganzen Schreibtisch oder Arbeitsplatz abzudecken, so dass mehrere Benutzer dieselbe MT Oberfläche zur gleichen Zeit benutzen können. In Fällen wie diesen kann die Kamera zusätzliche Informationen bereitstellen, einschließlich der Identität der Personen, die an der MT Oberfläche arbeiten. Zum Beispiel können die Bilder verwendet werden, um die Benutzer zu identifizieren und dann die Finger eines jeden Benutzers zu identifizieren. Es sollte auch bemerkt werden, dass es viele alternative Möglichkeiten der Implementierung der Verfahren und Geräte von Ausführungsformen der vorliegenden Erfindung gibt. Zum Beispiel können die sekundären Abtastmittel als Modifizierer für die Akkorde und Bewegungsdaten verwendet werden. Zum Beispiel kann das sekundäre Abtastmittel den Eingabemodus so ändern, dass derselbe Akkord unterschiedliche Funktionalität hat. Es ist daher beabsichtigt, dass die folgenden angehängten Ansprüche so interpretiert werden, dass sie all diese Abwandlungen, Permutationen und Äquivalente, wie sie innerhalb des wahren Geists und den Bereich von Ausführungsformen der vorliegenden Erfindung fallen beinhalten.

Claims

Mehrfachberührungs-(MT)Datenfusionsystem umfassend: eine MT Abtastvorrichtung, konfiguriert zum Empfangen von mehrfachen Berührungseingaben, die etwa zur gleichen Zeit auftreten und erste Berührungsdaten erzeugen; eine oder mehrere MT Datenfusionsvorrichtungen, konfiguriert zum Liefern von sekundären Daten; und einen Prozessor, der mit der MT Abtastvorrichtung und der einen oder den mehreren MT Datenfusionsvorrichtungen gekoppelt ist, wobei der Prozessor zum Kombinieren sowohl der ersten Berührungsdaten als auch der sekundären Daten programmiert ist, um Operationen auf einer elektronischen Vorrichtung durchzuführen.
MT Datenfusionssystem gemäß Anspruch 1, wobei der Prozessor weiterhin zum Durchführen zeitweiser Fusion programmiert ist, durch zeitliches Ausrichten der ersten Berührungsdaten und der sekundären Daten und Interpretieren der kombinierten Daten auf eine zeitkohärente Weise.
MT Datenfusionssystem gemäß Anspruch 1, wobei der Prozessor weiterhin zum Verfeinern der ersten Berührungsdaten in Übereinstimmung mit den zweiten Berührungsdaten programmiert ist.
MT Datenfusionssystem gemäß Anspruch 1, wobei der Prozessor weiterhin zum Interpretieren der sekundären Daten in Übereinstimmung mit den ersten Berührungsdaten programmiert ist.
MT Datenfusionssystem gemäß Anspruch 1, wobei der Prozessor weiterhin zum Kombinieren sowohl der ersten Berührungsdaten als auch der zweiten Berührungsdaten programmiert ist, um einen neuen Befehl zu erzeugen.
MT Datenfusionssystem gemäß Anspruch 1, weiterhin aufweisend Speicher, der zum Speichern einer Datenbank konfiguriert ist, wobei der Prozessor weiterhin zur Bezugnahme auf die Datenbank in Anbetracht der kombinierten ersten Berührungsdaten und sekundären Daten programmiert ist, um eine Handlungsweise zu bestimmen.
MT Datenfusionssystem gemäß Anspruch 1, wobei der Prozessor weiterhin programmiert ist zum: Verbinden der ersten Berührungsdaten mit einem angezeigten Objekt; und Modifizieren einer Eigenschaft des angezeigten Objekts in Übereinstimmung mit sekundären Daten, die von einem Audiosensor empfangen werden.
MT Datenfusionssystem gemäß Anspruch 7, wobei die sekundären Daten, die vom Audiosensor empfangen werden, einen Sprachbefehl umfassen.
MT Datenfusionssystem gemäß Anspruch 1, wobei die sekundären Daten Blickerkennungsdaten umfassen, wobei der Prozessor weiterhin zum Durchführen einer Operation auf einem angezeigten Objekt in Übereinstimmung mit den Blickerkennungsdaten programmiert ist.
MT Datenfusionssystem gemäß Anspruch 1, wobei die eine oder die mehreren MT Datenfusionsvorrichtungen eine Aufnahmevorrichtung umfassen, die zur Erzeugung eines Handprofils konfiguriert ist, wobei der Prozessor weiterhin zum Korrelieren des Handprofils mit den ersten Berührungsdaten programmiert ist, um Finger zu identifizieren, die den Kontak ten zugeordnet sind, die durch die ersten Berührungsdaten ermittelt werden.
MT Datenfusionssystem gemäß Anspruch 1, wobei die sekundären Daten Bewegungsdaten umfassen, wobei der Prozessor weiterhin zum Filtern einer Bewegung einer elektronischen Vorrichtung aus den ersten Berührungsdaten in Übereinstimmung mit den Bewegungsdaten programmiert ist.
MT Datenfusionssystem gemäß Anspruch 1, wobei die eine oder die mehreren MT Datenfusionsvorrichtungen einen Ausrichtungssensor zum Erzeugen von Ausrichtungsdaten umfassen, wobei der Prozessor weiterhin zum Interpretieren der ersten Berührungsdaten als erste Daten oder zweite Daten in Übereinstimmung mit den Ausrichtungsdaten programmiert ist.
MT Datenfusionssystem gemäß Anspruch 1, wobei die eine oder die mehreren MT Datenfusionsvorrichtungen einen biometrischen Sensor zum Bestimmen von Handeigenschaften umfassen, wobei der Prozessor weiterhin zum Erkennen einer Bewegungsbahnunterschrift von den ersten Berührungsdaten programmiert ist, und zum Identifizieren eines Benutzers auf der Grundlage der Handeigenschaften und der Bewegungsbahnunterschrift.
MT Datenfusionssystem gemäß Anspruch 1, wobei die sekundären Daten emotionale Daten umfassen, wobei der Prozessor weiterhin zum Analysieren der ersten Berührungsdaten und Einleiten einer korrigierenden Handlung in Übereinstimmung mit den emotionalen Daten programmiert ist.
MT Datenfusionssystem gemäß Anspruch 1, wobei die eine oder die mehreren MT Datenfusionsvorrichtungen einen Kraftsensor zum Erzeugen von Kraftdaten umfassen, wobei der Prozessor weiterhin zum Modifizieren der ersten Berührungsdaten in Übereinstimmung mit den Kraftdaten programmiert ist.
MT Datenfusionssystem gemäß Anspruch 1, wobei die eine oder die mehreren MT Datenfusionsvorrichtungen eine zweite MT Abtastvorrichtung zum Erzeugen zweiter Berührungsdaten umfassen, wobei der Prozessor weiterhin zum Vergleichen der ersten Berührungsdaten und der zweiten Berührungsdaten in einer zeitlichen Domäne und Bestimmen dritter Berührungsdaten aus dem Vergleich programmiert ist.
MT Datenfusionssystem gemäß Anspruch 1, wobei die eine oder die mehreren MT Datenfusionsvorrichtungen einen oder mehrere Sensoren umfassen, die aus der Gruppe ausgewählt sind, die aus biometrischen Sensoren, Audiosensoren, optischen Sensoren, Sonarsensoren, Bildsensoren, akustischen Sensoren, Sensoren für elektrische Felder, Schocksensoren, Umgebungssensoren, Ausrichtungssensoren, Drucksensoren, Kraftsensoren und Temperatursensoren besteht.
Elektronische Vorrichtung umfassend das MT Datenfusionssystem gemäß Anspruch 1.