DE112017003723B4

DE112017003723B4 - Verbesserte Steuerung einer robotischen Prothese durch ein kognitives System

Info

Publication number: DE112017003723B4
Application number: DE112017003723.9T
Authority: DE
Inventors: Sarbajit Rakshit; John Ganci Jr.; James Bostick; Martin Keen; Craig Trim
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2016-10-28
Filing date: 2017-10-05
Publication date: 2020-08-06
Anticipated expiration: 2037-10-06
Also published as: CN110023043A; GB2570095B; DE112017003723T5; CN110023043B; GB201907096D0; JP6990700B2; JP2020504633A; GB2570095A; WO2018078471A1; US9717607B1

Abstract

Verfahren (300), das aufweist:einen oder mehrere Prozessoren (404), die eine Eingabe empfangen, die Bilddaten eines Objekts (160; 190) beinhaltet;einen oder mehrere Prozessoren (404), die Bildattribute des Objekts auf Grundlage einer Bildanalyse der Bilddaten des Objekts ermitteln (310);einen oder mehrere Prozessoren (404), die ermitteln (315; 325; 315, 235), ob die Bildattribute des Objekts mit einem identifizierten Objekt einer Wissensdatenbank (110; 120; 110, 120) übereinstimmen, die eine Mehrzahl von identifizierten Objekten und Manipulationsdaten beinhaltet, die jeweils der Mehrzahl von identifizierten Objekten entsprechen; undals Reaktion auf ein Feststellen (315; 325; 315, 325), dass die Bildattribute des Objekts mit dem identifizierten Objekt der Wissensdatenbank übereinstimmen, einen oder mehrere Prozessoren (404), die Manipulationsdaten, die dem identifizierten Objekt der Wissensdatenbank entsprechen, an eine mobile Steuereinheit (140) übermitteln, zur Manipulation (335) des Objekts mit den Manipulationsdaten.

Description

Die vorliegende Erfindung bezieht sich im Allgemeinen auf den Bereich von Prothesensteuerungen und insbesondere auf eine angewandte Wahrscheinlichkeit einer Prothesensteuerung durch ein kognitives System.
Eine Protheseneinheit, auch als Prothese bezeichnet, wird verwendet, um ein fehlendes Körperteil zu ersetzen oder ein nichtfunktionierendes Körperteil zu ergänzen. Seit langem schon werden verschiedene Protheseneinheiten verwendet, und durch die Weiterentwicklung der Prothesentechnologie können Menschen, die durch ein Trauma oder eine Krankheit Gliedmaßen nicht mehr gebrauchen können, oder Menschen, denen von Geburt an die Funktion eines Körperglieds fehlt, aufgrund technologisch unterstützter Prothesen ein gewisses Maß an beweglicher Funktion zurückgewinnen.
Einige moderne Prothesen nutzen eine elektromechanische Funktionsweise und in einigen Fällen eine biomechanische Steuerung, um den Benutzer beim Ausführen der Grundfunktion zu unterstützen. Den technologisch unterstützten Prothesen mangelt es oft an feinmotorischer Steuerung, Genauigkeit und Geschwindigkeit der Interaktion, die ihre biologischen Pendants durch wiederholtes Anwenden und Lernen erreichen.
Die DE 11 2013 005 623 T5 betrifft eine Exoskeletttechnologie. Eine solche Technologie umfasst, ist aber nicht darauf beschränkt, Exoskelette, Exoskelettsteuerungen, Verfahren zur Steuerung eines Exoskeletts und Kombinationen daraus. Die Exoskeletttechnologie kann die natürliche Mobilität eines Benutzers über eine Kombination aus Sensorelementen, Verarbeitungs-/Steuerungselementen und Betätigungselementen erleichtern, verstärken und/oder ersetzen. Die Bewegung des Benutzers kann durch elektrische Stimulierung der Muskeln des Benutzers, durch Betätigung einer oder mehrerer mechanischer Komponenten oder durch eine Kombination daraus ausgelöst werden. In einigen Ausführungsformen kann die Exoskeletttechnologie in Reaktion auf gemessene Eingaben wie z. B. Bewegungen oder von einem Benutzer erzeugte elektrische Signale anpassen. Auf diese Weise kann die Exoskeletttechnologie bekannte Eingaben interpretieren und neue Eingaben lernen, was zu einer überganglosen Erfahrung für den Benutzer führen kann.
Die US 9 002 098 B1 bettiffz ein robotergestütztes visuelles Wahrnehmungssystem zur Bestimmung einer Position und Pose eines dreidimensionalen Objekts. Das System erhält eine externe Eingabe zur Auswahl eines zu interessierenden Objekts. Das System empfängt auch visuelle Eingaben von einem Sensor einer Robotersteuerung, der das zu interessierende Objekt abtastet. Rotationsinvariante Formmerkmale und Aussehen werden aus dem erfassten zu interessierenden Objekt und einem Satz von Objektvorlagen extrahiert. Anhand von Formmerkmalen wird eine Übereinstimmung zwischen dem abgetasteten Objekt und einer Objektvorlage identifiziert. Die Übereinstimmung zwischen dem abgetasteten Objekt und der Objektvorlage wird anhand von Erscheinungsmerkmalen bestätigt. Das abgetastete Objekt wird dann identifiziert, und es wird eine dreidimensionale Pose des abgetasteten zu interessierenden Objekts bestimmt. Auf der Grundlage der ermittelten dreidimensionalen Pose des abgetasteten Objekts wird die Robotersteuerung zum Greifen und Manipulieren des abgetasteten Objekts von Interesse verwendet.
Die US 2015 / 0 199 824 A1 betrifft eine Vorrichtung und ein Verfahren zur Erkennung einer Vielzahl von Armen und Händen unter Verwendung eines dreidimensionalen (3D) Bildes. Die Vorrichtung umfasst eine Bildeingabeeinheit, die so konfiguriert ist, dass sie ein 3D-Bild eines Objekts erfasst, eine Armerfassungseinheit, die so konfiguriert ist, dass sie eine oder mehrere Kandidatenregionen der Komponenteneinheit des Objekts in dem 3D-Bild erfasst und eine oder mehrere Armregionen unter Verwendung von Armerfassungsmerkmalinformationen, die aus jeder der Kandidatenregionen extrahiert werden, und eines Mustererkennungsalgorithmus erfasst, und eine Handerfassungseinheit, die so konfiguriert ist, dass sie eine Position einer Hand und eine Position eines Handgelenks in jeder der von der Armerfassungseinheit erfassten Armregionen berechnet und eine Handregion unter Verwendung der Position der Hand und der Position des Handgelenks erfasst.
Die US 2014 / 0 371 871 A1 betrifft eine Steuereinheit zum elektrischen Steuern einer elektrisch steuerbaren Gliedmaßenvorrichtung in Form einer künstlichen Gliedmaße für einen Menschen oder einer Robotergliedmaße, wobei die Gliedmaßenvorrichtung eine Vielzahl von Aktoren aufweist, die Steuereinheit eine erste Schnittstelle zum Anschließen der Steuereinheit an die Gliedmaßenvorrichtung aufweist, die Steuereinheit eine zweite Schnittstelle zum Anschließen der Steuereinheit an eine Datenerfassungsvorrichtung mit einer oder mehreren Sensorvorrichtungen aufweist, die Steuereinheit eine Rechnereinheit aufweist, die zumindest auf den durch die Datenerfassungsvorrichtung erfassten Daten basierend zum Steuern der Gliedmaßenvorrichtung eingerichtet ist, wobei die Steuereinheit zum Ausgeben eines einzelnen durch die Rechnereinheit auf Basis von von der Datenerfassungsvorrichtung empfangenen ersten Daten oder einer ersten Datenkombination errechneten Steuerungsschrittes an die Aktoren der Gliedmaßenvorrichtung eingerichtet ist, und die Steuereinheit zum Ausgeben einer Vielzahl von durch die Rechnereinheit auf Basis von von der Datenerfassungsvorrichtung empfangenen zweiten Daten oder einer zweiten Datenkombination errechneten Steuerungsschritten an die Aktoren der Gliedmaßenvorrichtung eingerichtet ist, wobei die zweiten Daten oder die zweite Datenkombination sich von den ersten Daten oder der ersten Datenkombination unterscheiden, wobei die Vielzahl von Steuerungsschritten eine komplexere automatische Bewegung der Gliedmaßenvorrichtung als der eine einzelne Steuerungsschritt veranlasst.
Die US 7 826 894 B2 betrifft neuronale Prothesen, bei denen Steuersignale auf der kognitiven Aktivität des Prothesenträgers basieren. Die Steuersignale können zur Steuerung einer Vielzahl von externen Geräten wie Prothesen, Computersystemen und Sprachsynthesizern verwendet werden. Die aus den Bewegungsabsichten von Affen gewonnenen Daten wurden aufgezeichnet, mit einem Computeralgorithmus dekodiert und zur Positionierung von Cursoren auf einem Computerbildschirm verwendet. Nicht nur die beabsichtigten Ziele, sondern auch der Wert der Belohnung, die die Tiere am Ende jedes Versuchs erhalten sollten, wurden aus den Aufzeichnungen dekodiert. Die Ergebnisse deuten darauf hin, dass die Gehirnaktivität im Zusammenhang mit kognitiven Variablen eine brauchbare Quelle von Signalen für die Steuerung einer kognitiv-basierten neuronalen Prothese sein kann.
Die US 5 845 048 A betrifft ein System zur Erkennung eines Objektzustands (die Art, Position, Haltung). Das System erhält Beobachtungsobjektinformationen und erkennt ein natürlich vorkommendes Objekt, für das keine einfachen Regeln gefunden werden können. Dieses System gibt einen Zustandsvorhersagewert für ein Zielobjekt aus kognitiven Objektbeobachtungsdaten, einen Beobachtungsdaten-Vorhersagewert für gezielte Teilmerkmale gemäß dieser Ausgabe, eine Teilmerkmal-Vorhersageposition in den Ergebnissen der Zielbeobachtung gemäß einer Zustandsbewertungswertausgabe aus und erkennt das Objekt durch Modifizieren einer Ausgabe der Ausgabeeinheit des Zustandsvorhersagewertes. Viele natürlich vorkommende Objekte, für die keine einfachen Regeln gefunden werden können, können modelliert werden, und ein Erkennungssystem, das unter realistischeren Umständen verwendet werden kann, kann konstruiert werden. Es wird eine objektbasierte Sicht und eine beobachterbasierte Sicht als Darstellungsmethode für 3D-Objektmodelle bereitgestellt, und die für die Erkennung erforderlichen Lernmuster werden durch die Verwendung eines sichtbar-unsichtbaren Bestimmungsmoduls bei der automatischen Ermittlung des 3D-Objektmodells effektiv erzielt.
Der Erfindung liegt die Aufgabe zugrunde ein Verfahren, ein Computerprogrammprodukt, ein Computerprogramm sowie ein Computersystem zur verbesserten Steuerung eines robotischen Objektes zu schaffen.
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Ausführungsformen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
Gemäß einem ersten Aspekt wird ein Verfahren bereitgestellt, das aufweist: einen oder mehrere Prozessoren, die eine Eingabe empfangen, die Bilddaten eines Objekts beinhaltet; einen oder mehrere Prozessoren, die Bildattribute des Objekts auf Grundlage einer Bildanalyse der Bilddaten des Objekts ermitteln; einen oder mehrere Prozessoren, die ermitteln, ob die Bildattribute des Objekts mit einem identifizierten Objekt einer Wissensdatenbank übereinstimmen, die eine Mehrzahl von identifizierten Objekten und Manipulationsdaten beinhaltet, die jeweils der Mehrzahl von identifizierten Objekten entsprechen; und als Reaktion auf ein Feststellen, dass die Bildattribute des Objekts mit dem identifizierten Objekt der Wissensdatenbank übereinstimmen, einen oder mehrere Prozessoren, die Manipulationsdaten, die dem identifizierten Objekt der Wissensdatenbank entsprechen, an eine mobile Steuereinheit übermitteln, zur Manipulation des Objekts mit den Manipulationsdaten.
Gemäß einem zweiten Aspekt wird ein Verfahren bereitgestellt, das aufweist: einen oder mehrere Prozessoren, die Bilddaten eines von einem Benutzer einer Protheseneinheit ausgewählten Objekts empfangen; einen oder mehrere Prozessoren, die Bildattribute des ausgewählten Objekts auf Grundlage einer Bildanalyse der Bilddaten ermitteln; einen oder mehrere Prozessoren, die ermitteln, ob die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt einer Wissensdatenbank übereinstimmen, die eine Mehrzahl von identifizierten Objekten beinhaltet, wobei ein identifiziertes Objekt der Mehrzahl von identifizierten Objekten der Wissensdatenbank Bildattribute und Manipulationsdaten beinhaltet, die dem identifizierten Objekt entsprechen; und als Reaktion auf ein Feststellen, dass die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt der Wissensdatenbank übereinstimmen, einen oder mehrere Prozessoren, die Manipulationsdaten, die den Bildattributdaten des identifizierten Objekts entsprechen, das mit dem ausgewählten Objekt übereinstimmt, an eine mobile Steuereinheit übermitteln, die zum Zwecke der Datenübertragung mit der Protheseneinheit verbunden ist, wobei die mobile Steuereinheit die Manipulationsdaten, die dem identifizierten Objekt entsprechen, bei der Protheseneinheit zu deren Manipulation anwendet.
Gemäß einem dritten Aspekt wird ein Computerprogramm bereitgestellt, das ein Programmcodemittel aufweist, das geeignet ist, das Verfahren des ersten oder zweiten Aspekts durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
Gemäß einem vierten Aspekt wird ein Computerprogrammprodukt bereitgestellt, das aufweist: ein oder mehrere durch einen Computer lesbare Speichermedien mit darauf enthaltenen Programmanweisungen, wobei die Programmanweisungen durch einen Computerprozessor ausführbar sind, wobei die Programmanweisungen aufweisen: Programmanweisungen, um Bilddaten eines von einem Benutzer einer Protheseneinheit ausgewählten Objekts zu empfangen; Programmanweisungen, um Bildattribute des ausgewählten Objekts auf Grundlage einer Bildanalyse der Bilddaten zu ermitteln; Programmanweisungen, um zu ermitteln, ob die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt einer Wissensdatenbank übereinstimmen, die eine Mehrzahl von identifizierten Objekten beinhaltet, wobei ein identifiziertes Objekt der Mehrzahl von identifizierten Objekten der Wissensdatenbank Bildattribute und Manipulationsdaten beinhaltet, die dem identifizierten Objekt entsprechen; und als Reaktion auf ein Feststellen, dass die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt der Wissensdatenbank übereinstimmen, Programmanweisungen, um Manipulationsdaten, die dem identifizierten Objekt entsprechen, das mit den Bildattributdaten des ausgewählten Objekts übereinstimmt, an eine mobile Steuereinheit zu übermitteln, die zum Zwecke der Datenübertragung mit der Protheseneinheit verbunden ist, wobei die mobile Steuereinheit die Manipulationsdaten, die dem identifizierten Objekt entsprechen, bei der Protheseneinheit zu deren Manipulation anwendet.
Gemäß einem fünften Aspekt wird ein System bereitgestellt, das aufweist: einen oder mehrere Computerprozessoren; ein oder mehrere durch einen Computer lesbare Speichermedien; Programmanweisungen, die auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien zum Ausführen durch den einen und/oder die mehreren Prozessoren gespeichert sind, wobei die Programmanweisungen aufweisen: Programmanweisungen, um eine Eingabe zu empfangen, die Bilddaten eines Objekts beinhaltet; Programmanweisungen, um Bildattribute des Objekts auf Grundlage einer Bildanalyse der Bilddaten des Objekts zu ermitteln; Programmanweisungen, um zu ermitteln, ob die Bildattribute des Objekts mit einem identifizierten Objekt einer Wissensdatenbank übereinstimmen, die eine Mehrzahl von identifizierten Objekten und Manipulationsdaten beinhaltet, die jeweils der Mehrzahl von identifizierten Objekten entsprechen; und als Reaktion auf ein Feststellen, dass die Bildattribute des Objekts mit dem identifizierten Objekt der Wissensdatenbank übereinstimmen, Programmanweisungen, um Manipulationsdaten, die dem identifizierten Objekt der Wissensdatenbank entsprechen, an eine mobile Steuereinheit zu übermitteln, zur Manipulation des Objekts mit den Manipulationsdaten.
Gemäß einem sechsten Aspekt wird ein Computersystem bereitgestellt, das aufweist: einen oder mehrere Computerprozessoren; ein oder mehrere durch einen Computer lesbare Speichermedien; Programmanweisungen, die auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien zum Ausführen durch den einen und/oder die mehreren Prozessoren gespeichert sind, wobei die Programmanweisungen aufweisen: Programmanweisungen, um Bilddaten eines von einem Benutzer einer Protheseneinheit ausgewählten Objekts zu empfangen; Programmanweisungen, um Bildattribute des ausgewählten Objekts auf Grundlage einer Bildanalyse der Bilddaten zu ermitteln; Programmanweisungen, um zu ermitteln, ob die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt einer Wissensdatenbank übereinstimmen, die eine Mehrzahl von identifizierten Objekten beinhaltet, wobei ein identifiziertes Objekt der Mehrzahl von identifizierten Objekten der Wissensdatenbank Bildattribute und Manipulationsdaten beinhaltet, die dem identifizierten Objekt entsprechen; und als Reaktion auf ein Feststellen, dass das ausgewählte Objekt mit einem identifizierten Objekt der Wissensdatenbank übereinstimmt, Programmanweisungen, um Manipulationsdaten, die dem identifizierten Objekt entsprechen, das mit dem vom Benutzer ausgewählten Objekt übereinstimmt, an eine mobile Steuereinheit zu übermitteln, die zum Zwecke der Datenübertragung mit der Protheseneinheit verbunden ist, wobei die mobile Steuereinheit die Manipulationsdaten, die dem identifizierten Objekt entsprechen, bei der Protheseneinheit zu deren Manipulation anwendet.
Ausführungsformen der vorliegenden Erfindung offenbaren ein Verfahren, ein Computerprogrammprodukt und ein System, das für einen oder mehrere Prozessoren ein Empfangen von Bilddaten eines von einem Benutzer ausgewählten Objekts bereitstellt. Ein oder mehrere Prozessoren ermitteln Bildattribute des ausgewählten Objekts auf Grundlage einer Bildanalyse der Bilddaten. Ein oder mehrere Prozessoren ermitteln, ob die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt einer Wissensdatenbank übereinstimmen, die eine Mehrzahl von identifizierten Objekten beinhaltet, wobei ein identifiziertes Objekt der Mehrzahl von identifizierten Objekten der Wissensdatenbank Bildattribute und Manipulationsdaten beinhaltet, die dem identifizierten Objekt entsprechen; und als Reaktion auf ein Feststellen, dass das vom Benutzer der Protheseneinheit ausgewählte Objekt mit einem identifizierten Objekt der Wissensdatenbank übereinstimmt, übermittelt/übermitteln ein oder mehrere Prozessoren Manipulationsdaten, die dem identifizierten Objekt entsprechen, das mit dem vom Benutzer ausgewählten Objekt übereinstimmt, an eine mobile Steuereinheit, die zum Zwecke der Datenübertragung mit der Protheseneinheit verbunden ist, wobei die mobile Steuereinheit die Manipulationsdaten, die dem identifizierten Objekt entsprechen, bei der Protheseneinheit zu deren Manipulation anwendet.
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung lediglich als Beispiel mit Bezug auf die beigefügten Zeichnungen beschrieben:

1 ist ein funktionelles Blockschaubild, das gemäß einer Ausführungsform der vorliegenden Erfindung eine verteilte Datenverarbeitungsumgebung zeigt.
2 veranschaulicht gemäß einer Ausführungsform der vorliegenden Erfindung Arbeitsschritte eines Objektdatenprogramms.
3 veranschaulicht gemäß einer Ausführungsform der vorliegenden Erfindung Arbeitsschritte eines Manipulationsprogramms.
4 zeigt gemäß einer Ausführungsform der vorliegenden Erfindung ein Blockschaubild von Komponenten eines Systems, zu dem eine Datenverarbeitungseinheit gehört, die das Objektdatenprogramm und das Manipulationsprogramm funktionsmäßig ausführen und Zugriff auf Objektmanipulationsdaten bereitstellen kann.

Ausführungsformen der vorliegenden Erfindung tragen dem Umstand Rechnung, dass beim Verwenden von Protheseneinheiten langwierige Anpassungen und Versuche zum Greifen und Manipulieren von Objekten erforderlich sein können, um einen funktionellen Satz von Parametern zu erhalten, sodass das Objekt erfolgreich verwendet werden kann. Für ein Objekt kann ein gewisses Maß an Druck, Empfindlichkeit in Bezug auf seine Beschaffenheit und Hebekraft notwendig sein, damit das Objekt richtig gegriffen und manipuliert werden kann. In einigen Fällen kann sich der Parametersatz ändern, der als Attribute eines Musters für die Manipulation eines Objekts wie beispielsweise das Greifen eines Objekts angesehen wird, um das Objekt weitergehend zu manipulieren. Verschiedene Objekte, die ein Benutzer greift, können jeweils einen bestimmten Satz von Manipulationsparametern haben, wobei die Parametersätze stark variieren. Benutzer von Protheseneinheiten haben möglicherweise Probleme mit der Einschätzung und den Anpassungen, die erforderlich sind, um die feinmotorische Steuerung, Genauigkeit und Geschwindigkeit bei der Verwendung der Protheseneinheit zu erreichen.
In einigen Ausführungsformen der vorliegenden Erfindung wird eine Verwendung einer robotischen Protheseneinheit durch eine mobile Verbindung mit einem entfernt angeordneten kognitiven System erweitert, das Manipulationsintelligenz bereitstellt und die Manipulation eines Objekts verbessert, darunter verbesserte feinmotorischen Steuerung, Greifempfindlichkeit, Genauigkeit und Geschwindigkeit der Manipulation des Objekts. Das kognitive System führt eine Bildanalyse durch, um ein Objekt in einem Kamerabild zu identifizieren, und besitzt die Fähigkeit, eine Wissensdatenbank mit zahlreichen definierten Objekten zu durchsuchen, um eine Übereinstimmung eines bestimmten Objekts auf Grundlage der Bildanalyse zu ermitteln. Ausführungsformen der vorliegenden Erfindung verwenden eine Wissensdatenbank, die Daten für die Manipulation eines der Bildanalyse entsprechenden Objekts durch eine Protheseneinheit beinhaltet. Augenfokus, Gesichtsausdruck, Körperbewegung, Biometrie und haptische Rückmeldung des lokalen Sensors werden verwendet, um das Objekt und die von einem Benutzer einer Protheseneinheit beabsichtigte Aufgabe zu ermitteln. Das kognitive System ermittelt, ob ein Vertrauensschwellenwert überschritten wird, indem ein Objektbild mit einem definierten Objekt in der Wissensdatenbank abgeglichen wird, und reagiert auf ein Überschreiten des Schwellenwerts, indem die Manipulationsdaten, die dem identifizierten Objekt entsprechen, an eine mobile Einheit übermittelt werden, die die Protheseneinheit steuert.
In einigen Ausführungsformen der vorliegenden Erfindung stellen die Manipulationsdaten für eine Protheseneinheit eine verbesserte Unterstützung für die Manipulation eines erkannten Objekts und die Aufgabe eines Benutzers bereit. In Ausführungsformen, in denen ein Objekt nicht in einer Wissensdatenbank identifiziert wird oder eine Benutzeraufgabe nicht erkannt wird, wird die robotische Protheseneinheit von einer anderen Quelle betätigt; die Bild- und Manipulationsdaten in Verbindung mit der Betätigung durch die andere Quelle werden jedoch für maschinelle Lernverfahren verwendet, um die Objektidentifikationsdaten und Manipulationsdaten in der Wissensdatenbank zu ergänzen und/oder zu verbessern und eine nachfolgende erweiterte Manipulationsunterstützung zu ermöglichen.
Einige Ausführungsformen der vorliegenden Erfindung beinhalten eine personalisierte Wissensdatenbank, die sich lokal auf der mobilen Steuereinheit der Prothese befindet und Manipulationsdaten für Objekte enthält, die für die jeweilige Protheseneinheit und ihren Benutzer verfeinert wurden. Die in der personalisierten Wissensdatenbank enthaltenen Manipulationsdaten werden durch maschinelles Lernen verfeinert, das bei Daten von zahlreichen Iterationen eines Objekts im Laufe der Zeit durchgeführt wird. In einigen Ausführungsformen der vorliegenden Erfindung werden ständig Manipulationsdaten empfangen und an das kognitive System übermittelt, um kontinuierlich maschinell zu lernen und die Manipulationsdaten, die zu einem bestimmten Objekt gehören, zu verfeinern.
Einige Ausführungsformen der vorliegenden Erfindung können sich auf eine Manipulationseinheit beziehen, die unter Umständen nicht direkt als Protheseneinheit funktioniert, aber in der Lage ist, übermittelte Manipulationsdaten eines ausgewählten Objekts aus einem Datendepot oder einer Wissensdatenbank zu empfangen und anzuwenden, die eine Mehrzahl von identifizierten Objekten und entsprechende Manipulationsdaten enthält, die zuvor für die einzelnen identifizierten Objekte der Mehrzahl von identifizierten Objekten erzeugt wurden.
Die vorliegende Erfindung wird nun mit Bezug auf die Figuren ausführlich beschrieben. 1 ist ein funktionelles Blockschaubild, das gemäß einer Ausführungsform der vorliegenden Erfindung eine verteilte Datenverarbeitungsumgebung zeigt, die allgemein mit 100 gekennzeichnet ist. 1 stellt lediglich eine Veranschaulichung einer Umsetzung bereit und impliziert keine Beschränkungen in Bezug auf die Umgebungen, in denen verschiedene Ausführungsformen umgesetzt werden können. Fachleute können zahlreiche Änderungen an der dargestellten Umgebung vornehmen, ohne vom Umfang der Erfindung wie in den Ansprüchen niedergelegt abzuweichen.
Die verteilte Datenverarbeitungsumgebung 100 beinhaltet die Drahtlosverbindung 130, die mobile Steuereinheit 140, die robotische Unterstützungseinheit 160, die Kamera 170, die Augmented-Reality-Brille 180 (augmented reality (AR) = erweiterte Realität), den Sendeempfänger 185 der AR-Brille, die Kamera 187 der AR-Brille, die robotische Protheseneinheit 190 und den Server 101, der weiterhin das kognitive System 105 beinhaltet. Das kognitive System 105 wird in einigen Ausführungsformen so dargestellt, dass es entfernt mit der mobilen Steuereinheit 140 zusammenarbeitet und die Master-Wissensdatenbank 110, die personalisierte Wissensdatenbank 120, das Objektdatenprogramm 200 und das Manipulationsprogramm 300 beinhaltet. In einigen Ausführungsformen der vorliegenden Erfindung ist die mobile Steuereinheit 140 drahtlos mit der Drahtlosverbindung 130 verbunden, und in einigen Ausführungsformen der vorliegenden Erfindung ist sie drahtlos mit der robotischen Protheseneinheit 190 verbunden, und in anderen Ausführungsformen ist sie drahtlos mit der robotischen Unterstützungseinheit 160 verbunden. In einigen Ausführungsformen der vorliegenden Erfindung ist die personalisierte Wissensdatenbank 120 in der mobilen Steuereinheit 140 enthalten. Das kognitive System 105, die Master-Wissensdatenbank 110, die personalisierte Wissensdatenbank 120, die Drahtlosverbindung 130, die Kamera 170 und der Sendempfänger 185 der AR-Brille sind alle über das Netzwerk 150 miteinander verbunden.
Bei dem Netzwerk 150 kann es sich beispielsweise um ein lokales Netzwerk (LAN), ein Telekommunikationsnetzwerk, ein Weitverkehrsnetzwerk (WAN) wie beispielsweise das Internet, ein virtuelles lokales Netzwerk (VLAN), eine Busverbindung einer integrierten Einheit oder eine beliebige Kombination handeln, die drahtgebundene, drahtlose oder optische Verbindungen beinhalten kann. Das Netzwerk 150 kann ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke wie beispielsweise eine Verbindung zur Drahtlosverbindung 130 beinhalten, die in der Lage sind, Daten, Text, Sprache, Bilder, Programmanweisungen und/oder Videosignale zu empfangen und zu übermitteln, darunter Multimediasignale, die Text-, Sprach-, Daten- und Videoinformationen beinhalten. Im Allgemeinen kann es sich bei dem Netzwerk 150 um eine beliebige Kombination von Verbindungen und Protokollen handeln, die Datenübertragungen zwischen dem auf dem Server 101 beherbergten kognitiven System 105, dem Sendeempfänger 185 der AR-Brille, der Drahtlosverbindung 130, der mobilen Steuereinheit 140 und der Kamera 170 unterstützen.
Die Drahtlosverbindung 130 stellt die Datenübertragung zwischen der mobilen Steuereinheit 140 und dem Sendeempfänger 185 der AR-Brille sowie der Kamera 170 über das Netzwerk 150 mit dem kognitiven System 105 bereit. Die Drahtlosverbindung 130 kann bei geeigneter Konfigurierung eine drahtlose Verbindung beispielsweise über BLUETOOTH®, WLAN, Funk, ZigBee® oder Infrarot-Technologie bereitstellen (ZigBee ist eine eingetragene Marke von ZigBee Alliance in den USA und anderen Ländern weltweit; BLUETOOTH ist eine Marke der Bluetooth Special Interest Group (SIG), Inc. in den USA und anderen Ländern weltweit). In einigen Ausführungsformen kann die Drahtlosverbindung 130 die WiMAXO-Technologie verwenden (WiMAX ist eine eingetragene Marke von WiMAX Forum in den USA und anderen Ländern weltweit) oder eine Konfiguration zur Nutzung von 3G, 4G oder zukünftigen Erweiterungen solcher drahtlosen Netzwerktechnologien beinhalten, um die mobile Steuereinheit 140 mit der robotischen Protheseneinheit 190, der robotischen Unterstützungseinheit 160 oder den Signal- und Sensoreingaben des Sendeempfängers 185 der AR-Brille und der Kamera 170 zu verbinden.
Die mobile Steuereinheit 140 empfängt Manipulationsdaten vom kognitiven System 105, die aus der personalisierten Wissensdatenbank (WDB) 120 oder der Master-Wissensdatenbank (WDB) 110 abgerufen werden, und führt eine funktionsmäßige motorische Steuerung einer Protheseneinheit wie beispielsweise der robotischen Protheseneinheit 190 durch, mit der sie drahtlos verbunden ist. Die mobile Steuereinheit 140 ist mit der Drahtlosverbindung 130 verbunden und überträgt über das Netzwerk 150 Daten an das kognitive System 105. In einigen Ausführungsformen der vorliegenden Erfindung befindet sich die mobile Steuereinheit 140 in der Nähe des Benutzers der robotischen Protheseneinheit wie beispielsweise der robotischen Protheseneinheit 190. In einigen Ausführungsformen kann die mobile Steuereinheit 140 am Benutzer angebracht oder von diesem getragen werden. Die mobile Steuereinheit 140 beinhaltet die Datenverarbeitungsfähigkeit, um Anweisungen für Motoren und andere elektronische Komponenten zu verarbeiten, die die Bewegungsfähigkeit und Manipulation der Protheseneinheit ermöglichen. In einigen Ausführungsformen der vorliegenden Erfindung handelt es sich bei der mobilen Steuereinheit 140 um ein Smartphone, das mit Speicher und Verarbeitungsleistung so konfiguriert ist, dass es Manipulationsdaten vom kognitiven System 105 empfängt und die Motoren und elektronischen Komponenten drahtlos betätigt, was eine genaue sensorische Eingabe und Bewegung der robotische Protheseneinheit 190 ermöglicht. In weiteren Ausführungsformen ist die mobile Steuereinheit 140 speziell konzipiert, um Manipulationsdaten für die Prothesensteuerung drahtlos zu empfangen und die Daten in spezifische Anweisungen für die Betätigungskomponenten der Protheseneinheit umzuwandeln. In einigen Ausführungsformen der vorliegenden Erfindung nutzt die mobile Steuereinheit 140 die Steuerung einer Protheseneinheit wie beispielsweise der robotischen Protheseneinheit 190 gemeinsam und stellt eine verfeinerte motorische Steuerung und einen genauen Tastdruck sowie eine genaue Hebekraft bereit, die auf Manipulationsdaten für ein bestimmtes Objekt, die von einer Wissensdatenbank des kognitiven Systems 105 empfangen werden, sowie auf sensorischer Rückmeldung beruhen. In einigen Ausführungsformen bleibt die manuell ausgelöste Steuerung der Protheseneinheit funktionsbereit und kann die mobile Steuereinheit 140 nach Ermessen des Benutzers der Prothese unterbrechen oder außer Kraft setzen.
Die robotische Unterstützungseinheit 160 stützt in der Darstellung einen menschlichen Arm, dem die motorische Funktion, Kraft oder Steuerung fehlt, um normale Aktivitäten auszuführen. In einigen Ausführungsformen der vorliegenden Erfindung handelt es sich bei der robotischen Unterstützungseinheit 160 um eine Art Protheseneinheit, die Motoren und Komponenten beinhaltet, die eine unterstützte Bewegung des gestützten Armes ermöglichen. In solchen Ausführungsformen wird die robotische Unterstützungseinheit 160 drahtlos von der mobilen Steuereinheit 140 gesteuert.
Die Kamera 170 befindet sich in der Nähe eines Benutzers einer robotischen Protheseneinheit wie beispielsweise der robotischen Protheseneinheit 190. In einigen Ausführungsformen der vorliegenden Erfindung ist die Kamera 170 außerhalb von Benutzer und Prothese angebracht und liefert eine Ansicht eines unmittelbaren Umgebungsbereichs des Benutzers, einschließlich des Benutzers und der Objekte innerhalb des Sichtfeldes. Die Kamera 170 ist funktionsmäßig mit dem kognitiven System 105 verbunden und erzeugt Bilder und übermittelt die Bilder über das Netzwerk 150 an das kognitive System 105; davon ausgehend führt das kognitive System 105 eine Analyse des Bildes durch, um ein Objekt im Bild zu ermitteln. Das kognitive System 105 verwendet Attribute des Objekts, um eine Wissensdatenbank nach einer Übereinstimmung zu durchsuchen; wobei ein Vertrauensprozentsatz der Übereinstimmung zwischen dem analysierten Objektbild und den in der Wissensdatenbank gespeicherten Attributen eines Objekts festgelegt wird. In einigen Ausführungsformen der vorliegenden Erfindung kann es sich bei der Kamera 170 um eine oder eine Reihe von Videokameras handeln, von denen ein oder mehrere Bilder zur Analyse an das kognitive System 105 übermittelt werden können. In einigen Ausführungsformen der vorliegenden Erfindung liefert die Kamera 170 eine Ansicht der Gesichtsausdrücke und anderer Positionen von Körper und Gliedmaßen des Benutzers sowie der Prothese des Benutzers. Die Kamera 170 kann Bilddaten bereitstellen, die verwendet werden, um den Fokus des Benutzers zu ermitteln, wenn der Benutzer seinen Augenfokus auf ein Objekt im unmittelbaren Bereich der Kamera 170 richtet, und die Kamera 170 kann während der Manipulation der Prothese eine Rückmeldung des Gesichtsausdrucks bereitstellen.
In einigen Ausführungsformen der vorliegenden Erfindung kann die Augmented-Reality-Brille 180 (AR-Brille) vom Benutzer der robotischen Protheseneinheit 190 getragen werden. Die AR-Brille 180 ermöglicht es dem Benutzer, ein Objekt in unmittelbarer Nähe zu sehen und die Auswahl des Objekts anzugeben, das durch die robotische Protheseneinheit 190 manipuliert wird. In einigen Ausführungsformen der vorliegenden Erfindung kann die AR-Brille 180 eine Interaktion mit der mobilen Steuereinheit 140 ermöglichen, beispielsweise eine Unterbrechung der Manipulationsinteraktion mit einem Objekt, wobei Daten des kognitiven Systems 105 verwendet werden. In weiteren Ausführungsformen ermöglicht die AR-Brille 180 eine Benutzereingabe und die Steuerung einer Protheseneinheit über die mobile Steuereinheit 140. Zu der AR-Brille 180 kann die Kamera 187 der AR-Brille gehören, die mit dem kognitiven System 105 funktionsmäßig verbunden ist, das die Bilderfassung eines Objekts für die Auswahl ermöglicht, und die Bilder für das kognitive System 105 zum analytischen Verarbeiten und zur Objektidentifikation bereitstellen kann. Die AR-Brille 180 ist mit dem Sendeempfänger 185 der AR-Brille verbunden, der eine drahtlose Verbindung der AR-Brille 180 und der Kamera 187 der AR-Brille über die Drahtlosverbindung 130 und das Netzwerk 150 mit dem kognitiven System 105 und der mobilen Steuereinheit 140 bereitstellt. In weiteren Ausführungsformen können Bilder, die von der Kamera 187 der AR-Brille während der manuell durchgeführten Manipulation eines Objekts empfangen werden, in maschinelle Lernprozesse integriert und in die personalisierte Wissensdatenbank 120 und/oder die Master-Wissensdatenbank 110 aufgenommen werden.
In einigen Ausführungsformen der vorliegenden Erfindung gelten die Kamera 170 und die Kamera 187 der AR-Brille als „funktionsmäßig“ mit dem kognitiven System 105 „verbunden“, wobei es sich um eine oder mehrere Kameras in unmittelbarer Nähe des Benutzers der Protheseneinheit und des zu manipulierenden Objekts von Interesse handeln kann. Eine oder mehrere Kameras stellen eine Ansicht der Gesichtsausdrücke des Benutzers, des Augenfokus sowie der Körperposition und -bewegung als Rückmeldung von Auswahl und Manipulation bereit. In anderen Ausführungsformen können Kameras, die funktionsmäßig mit dem kognitiven System 105 verbunden sind, mit der Protheseneinheit verbunden sein. So kann beispielsweise eine Kamera auf das manipulierbare Ende der Einheit für Auswahl- und Manipulationsbilder gerichtet werden, und eine andere Kamera kann auf den Benutzer gerichtet werden und eine Rückmeldung aufnehmen. In noch einer weiteren Ausführungsform ist es möglich, Bilder des Objekts und der Protheseneinheit durch tragbare Kameras wie beispielsweise die AR-Brille 180 zu erhalten, die die Kamera 187 der AR-Brille beinhaltet. Die AR-Brille 180 kann auch Bilder des Augenfokus des Benutzers aufnehmen, um ein Erkennen der Objektauswahl zu unterstützen.
Die robotische Protheseneinheit 190 wird als Arm- und Handprothese dargestellt und steht ansonsten stellvertretend für Protheseneinheiten für Gliedmaße oder Teile von Gliedmaßen. Die robotische Protheseneinheit 190 enthält Motoren und Komponenten, die eine robotische, unterstützte Bewegung eines der Folgenden oder einer Kombination aus Arm-, Handgelenk-, Hand- und Fingerteilen der Prothese ermöglichen. In einigen Ausführungsformen der vorliegenden Erfindung ist die robotische Protheseneinheit 190 mit mindestens einer Kamera (nicht dargestellt) funktionsmäßig verbunden, sodass die Sicht des Benutzers der robotischen Protheseneinheit 190 ermöglicht wird. In einigen Ausführungsformen der vorliegenden Erfindung ermöglicht mindestens eine Kamera, die mit der robotischen Protheseneinheit 190 funktionsmäßig verbunden ist, Sehen und Auswählen eines Objekts durch den Benutzer und stellt eine Rückmeldung über die Manipulationsaktivität bereit (alternativ oder zusätzlich zur Kamera 187 der AR-Brille). In weiteren Ausführungsformen ermöglicht die robotische Protheseneinheit 190 die robotische, unterstützte Bewegung von Zehen-, Fuß-, Unterschenkel- und Oberschenkelprothesen (nicht dargestellt). Die robotische Protheseneinheit 190 empfängt Manipulationsdaten von der mobilen Steuereinheit 140, die Steueranweisungen zum Manipulieren von Komponenten der Protheseneinheit übermittelt, auf die beispielsweise über die personalisierte Wissensdatenbank 120 oder die Master-Wissensdatenbank 110 zugegriffen werden kann. Ausführungsformen der vorliegenden Erfindung verwenden das kognitive System 105 und die Manipulationsdaten der personalisierten Wissensdatenbank 120 und der Master-Wissensdatenbank 110, um im Vergleich zu einer manuellen oder auf Entdeckung beruhenden Betätigung eine bessere Steuerung, Genauigkeit, einen besseren Druck, bessere Hebekraft und größere Geschwindigkeit zum Manipulieren einer Protheseneinheit bereitzustellen.
In der Darstellung enthält der Server 101 das kognitive System 105, das über die Komponenten Bildanalyse 125, Manipulationsprogramm 300, Objektdatenprogramm 200, Master-Wissensdatenbank 100 und personalisierte Wissensdatenbank 120 verfügt. In einigen Ausführungsformen der vorliegenden Erfindung kann es sich bei dem Server 101 um einen Managementserver, einen Webserver, eine mobile Datenverarbeitungseinheit oder eine andere elektronische Einheit oder ein anderes Datenverarbeitungssystem handeln, das in der Lage ist, Daten zu empfangen, zu senden und zu verarbeiten und die Betriebsfunktionen des Objektdatenprogramms 200 und des Manipulationsprogramms 300 zu unterstützen. In anderen Ausführungsformen kann der Server 101 ein Server-Datenverarbeitungssystem darstellen, das mehrere Computer als Serversystem wie beispielsweise in einer Cloud-Computing-Umgebung verwendet. In noch weiteren Ausführungsformen kann der Server 101 ein Laptop-Computer, ein Tablet-Computer, ein Netbook-Computer, ein Personal Computer (PC), ein Desktop-Computer, ein Personal Digital Assistant (PDA), ein Smartphone oder eine programmierbare elektronische Einheit sein, die in der Lage ist, programmierbare Anweisungen des Objektdatenprogramms 200 und des Manipulationsprogramms 300 auszuführen und den Zugriff auf Daten zu und von dem kognitiven System 105, der mobilen Steuereinheit 140, dem Sendeempfänger 185 der AR-Brille, der Kamera 170 und der Drahtlosverbindung 130 in einer verteilten Netzwerkverarbeitungsumgebung 100 über das Netzwerk 150 zu ermöglichen. In einer weiteren Ausführungsform stellt der Server 101 ein Datenverarbeitungssystem dar, das Cluster-Computer und Komponenten (z.B. Datenbank-Servercomputer, Anwendungsservercomputer usw.) verwendet, die beim Zugriff innerhalb der verteilten Netzwerkverarbeitungsumgebung 100 als ein einzelner Pool nahtloser Ressourcen fungieren. Der Server 101 kann wie in 4 dargestellt und näher beschrieben interne und externe Hardwarekomponenten enthalten.
Das kognitive System 105 durchsucht eine Wissensdatenbank, um ein Objekt der Wissensdatenbank mit einem ausgewählten Objekt abzugleichen, das auf Grundlage der empfangenen Bildanalysedaten identifiziert wird, und ordnet bestimmte Manipulationsdaten für eine Protheseneinheit zu, um das identifizierte Objekt mit einer feineren, genaueren und schnelleren motorischen Steuerung zu manipulieren. Das kognitive System 105 führt auch maschinelles Lernen anhand der Rückmeldung der manuellen und robotischen Manipulierung von Objekten durch und legt dabei Interaktionsmuster fest, um neue Manipulationsdaten zu einer Wissensdatenbank wie beispielsweise der Master-Wissensdatenbank 110 hinzuzufügen oder bestehende Manipulationsdaten kontinuierlich zu verbessern. Manipulationsdaten vom kognitiven System 105 stellen eine genauere Zielerfassung, genaueren Greifdruck und genauere Hebekraft bei höherer Betätigungsgeschwindigkeit als manuelle oder alternative Steuerungsverfahren bereit. Das kognitive System 105 enthält die Bildanalyse 125, die Master-Wissensdatenbank 110, die personalisierte Wissensdatenbank 120, das Objektdatenprogramm 200 und das Manipulationsprogramm 300.
Die Bildanalyse 125 beinhaltet Objekterkennungstechnologie und Techniken zum Erkennen und Identifizieren von Objekten in einem Bild. In einigen Ausführungsformen der vorliegenden Erfindung ist die Bildanalyse 125 ein integrierter Bestandteil des kognitiven Systems 105, während die Bildanalyse 125 in anderen Ausführungsformen entweder direkt oder über das Netzwerk 150 (nicht dargestellt) funktionsfähig mit dem kognitiven System 105 verbunden ist. Die Bildanalyse 125 empfängt ein digitalisiertes Bild und führt eine Objekterkennungsanalyse des Bildes durch. Die Erkennung eines oder mehrerer Objekte in einem Bild beinhaltet eine Vertrauensmaßzahl, typischerweise einen Prozentsatz eines Grades an Gewissheit, dass das Bildobjekt das erkannte Objekt ist. Der Gewissheitsgrad der Objekterkennung wird vom kognitiven System 105 verwendet, um zu ermitteln, ob ein in einer Wissensdatenbank wie der Master-Wissensdatenbank 110 identifiziertes Objekt mit dem im Bild ermittelten Objekt übereinstimmt. In einigen Ausführungsformen der vorliegenden Erfindung wird der Vertrauensgrad einer Übereinstimmung zwischen dem bei einem Durchsuchen der Wissensdatenbank identifizierten Objekt und dem erkannten Bildobjekt mit einem vom Benutzer festgelegten Gewissheitsschwellenwert verglichen. Wird der Schwellenwert erreicht oder überschritten, werden die zu dem identifizierten Objekt gehörigen Manipulationsdaten an die mobile Steuereinheit 140 übermittelt, um die Prothese zu betätigen und das Objekt zu manipulieren; dies geschieht mit größerer Geschwindigkeit, Genauigkeit, Präzision und Effizienz als bei manueller oder alternativer Steuerung.
In einigen Ausführungsformen empfängt das kognitive System 105 eine biometrische und bildbezogene Rückmeldung, die einen Grad des Erfolgs oder der Zufriedenheit mit einer bestimmten Manipulationsaktivität eines Objekts angibt, und verwendet die Rückmeldung zusammen mit dem jeweiligen Satz von Manipulationsdaten als Eingabe, um maschinelles Lernen von optimierten Manipulationsdaten für das Objekt durchzuführen.
Die Master-Wissensdatenbank 110 ist eine Sammlung von bestimmten Interaktionsmustern, die auf ein bestimmtes Objekt abgebildet werden. Die Interaktionsmusterdaten beinhalten Manipulationsdaten, die für eine Protheseneinheit und ein Objekt spezifisch sind. Die Master-Wissensdatenbank 110 enthält einen Satz von Daten über ein Objekt, das vom kognitiven System 105 verwendet wird, um Objekterkennungsdaten von der Bildanalyse 125 abzugleichen. Das kognitive System 105 durchsucht die Master-Wissensdatenbank 110, um eine Übereinstimmung zwischen einem in einem empfangenen Bild erkannten Objekt und einem entsprechenden Satz von Objektdaten in der Master-Wissensdatenbank 110 zu ermitteln. In einigen Ausführungsformen der vorliegenden Erfindung wird die Master-Wissensdatenbank 110 von mehr als einem Benutzer einer bestimmten Art von Protheseneinheit gemeinsam genutzt.
Die personalisierte Wissensdatenbank 120 dient als zusätzliche oder alternative Wissensdatenbank und funktioniert ähnlich wie die Master-Wissensdatenbank 110; die personalisierte Wissensdatenbank 120 wird jedoch nicht von mehreren Benutzern gemeinsam genutzt, sie befindet sich lokal auf der mobilen Steuereinheit 140 und empfängt eine Verfeinerung bestimmter Manipulationsdaten, die für die Protheseneinheit sowie die Präferenzen des Benutzers der Protheseneinheit spezifisch sind. In einigen Ausführungsformen der vorliegenden Erfindung kann die personalisierte Wissensdatenbank 120 Manipulationsdaten empfangen, auf die über die Master-Wissensdatenbank 110 zugegriffen wird, und sie erhält weiterhin Datenanpassungen, die auf maschinellem Lernen anhand der wiederholten Verwendung der empfangenen Manipulationsdaten sowie anhand von Gesichtsausdruck, Augenfokus, Körperbewegung, Biometrie, Ton und haptischer Rückmeldung des lokalen Sensors beruhen.
Das Objektdatenprogramm 200 sammelt und ermittelt optimierte Manipulationsdaten für ein Objekt, das nicht im Rahmen eines zuvor festgelegten Vertrauensgrads in der personalisierten Wissensdatenbank 120 oder der Master-Wissensdatenbank 110 identifiziert wird. In einigen Ausführungsformen wird das Objektdatenprogramm 200 durch das Manipulationsprogramm 300 gestartet, wenn ein ausgewähltes Objekt nicht erkannt oder identifiziert wird. Das Objektdatenprogramm 200 sammelt Daten, die durch nichtautomatische robotische oder manuelle Manipulation eines Objekts erzeugt wurden, das vom kognitiven System 105 nicht identifiziert wird oder für das die personalisierte Wissensdatenbank 120 oder die Master-Wissensdatenbank 110 keine Manipulationsdaten für das Objekt enthält.
In einigen Ausführungsformen der vorliegenden Erfindung ermöglicht das Objektdatenprogramm 200 ein Feststellen einer Identität des Objekts und sammelt verfügbare Sensordaten von robotischen und/oder manuellen Manipulationen. Die Eingabe von Manipulationsdaten sowie Sensor-, Kamera-, Audio- und biometrischen Daten wird für maschinelle Lerntechniken verwendet, um optimale Manipulationsdaten für das Objekt zu ermitteln. Die Eingabe beinhaltet auch ein Bereitstellen einer Identifizierung des Objekts und kann in einigen Ausführungsformen auch die Eingabe von Klassifizierungsdaten beinhalten, was effektivere Suchergebnisse für die spätere Objektidentifikation ermöglicht. In einigen Ausführungsformen der vorliegenden Erfindung kann die Eingabe von Manipulationsdaten, Objektdaten und Rückmeldedaten die Verwendung eines Klassifizierungssystems von Objekten beinhalten, um die spätere Identifizierung zu verbessern. Das Klassifizierungssystem kann auf Objekterkennungsdaten von empfangenen Bildern, Form und Größe beruhen und weiterhin Tastdaten, Oberflächenattribute und Gewichtsverteilung (mit einem nichtoffensichtlichen Schwerpunkt), verfügbare Biometrie, Kamerabilder und Audiodaten beinhalten. Die Rückmelde- und Antwortdaten von der Manipulationsaktivität spiegeln die Reaktionen des Benutzers auf Versuche und Wiederholungen der Manipulation des Objekts und das Ergebnis von Manipulationsversuchen wider (z.B. Fallenlassen des Objekts, Beschädigung des Objekts, übermäßige oder ungenügende Manipulation, Verrutschen und Schwierigkeiten bei der Ausrichtung des Objekts).
Das Objektdatenprogramm 200 fügt die optimierten Objektmanipulationsdaten zu der personalisierten Wissensdatenbank 120 hinzu und ermittelt in einigen Ausführungsformen, ob die Objektmanipulationsdaten zu der Master-Wissensdatenbank 110 hinzugefügt werden sollen, deren Objektidentifikations- und Manipulationsdaten von anderen Benutzern, die auf die Master-Wissensdatenbank 110 zugreifen, gemeinsam genutzt werden können. In einigen Ausführungsformen der vorliegenden Erfindung ermittelt das Objektdatenprogramm 200, ob die neu ermittelten Objektmanipulationsdaten zu der Master-Wissensdatenbank 110 hinzugefügt werden; dies kann entweder als Benutzereinstellung vorgesehen werden, um ein automatisches Hinzufügen (oder Nichthinzufügen) der Objektmanipulationsdaten zur Master-Wissensdatenbank 110 zu ermöglichen, oder als Benutzerentscheidung für jedes Objekt, das neu erzeugte Manipulationsdaten aufweist.
Das Manipulationsprogramm 300 ermittelt, ob Manipulationsdaten für ein identifiziertes ausgewähltes Objekt verfügbar sind, und stellt die Daten der mobilen Steuereinheit 140 bereit, um Manipulationsoperationen des identifizierten Objekts durchzuführen. Das Manipulationsprogramm 300 ermittelt eine Auswahl eines Objekts, indem es den Augenfokus des Prothesenbenutzers anhand der Kamera 187 der AR-Brille 180 oder anhand extern angeordneter Kameras in der Nähe des Objekts und des Benutzers ermittelt, die über das Netzwerk 150 mit dem kognitiven System 105 verbunden sind. Ein Bild des ausgewählten Objekts wird an das kognitive System 105 übermittelt, und die Bildanalyse 125 wendet Objekterkennungstechniken bei dem empfangenen Bild an, um das ausgewählte Objekt zu identifizieren. Die Identität eines erkannten Objekts wird verwendet, um zunächst in der personalisierten Wissensdatenbank 120 nach Manipulationsdaten zu suchen, die zu dem Objekt für den jeweiligen Benutzer gehören. Der Suche nach Manipulationsdaten, die für einen bestimmten Benutzer personalisiert sind, wird Vorrang eingeräumt, da die personalisierten Manipulationsdaten für die jeweilige Prothese und den Benutzer optimiert sind. Wenn keine Manipulationsdaten für das identifizierte Objekt in der personalisierten Wissensdatenbank 120 gefunden werden, führt das Manipulationsprogramm 300 eine Suche in der Master-Wissensdatenbank 110 durch. Als Reaktion darauf, dass das Manipulationsprogramm 300 Manipulationsdaten für das Zielobjekt in der personalisierten Wissensdatenbank 120 oder der Master-Wissensdatenbank 110 findet, ruft das Manipulationsprogramm 300 die Manipulationsdaten ab und wendet sie bei der Protheseneinheit an, um das Objekt automatisch mit größerer Genauigkeit, Präzision, geeigneter Tastkraft und Geschwindigkeit zu manipulieren. Während der Manipulation des Objekts werden alle vom Benutzer der Protheseneinheit vorgenommenen Manipulationsanpassungen in die gesammelten Daten aufgenommen und für das maschinelle Lernen im Zusammenhang mit dem identifizierten Objekt verwendet, wobei die Manipulationsdaten des Objekts kontinuierlich anhand von Iterationen der empfangenen Eingabe von Objektmanipulationsdaten optimiert werden. In Ausführungsformen der vorliegenden Erfindung, in denen das ausgewählte Objekt nicht identifiziert wird, startet das Manipulationsprogramm 300 das Objektdatenprogramm 200 (gekennzeichnet durch „A“ in 4). Wenn wiederum weder in der personalisierten Wissensdatenbank 120 noch in der Master-Wissensdatenbank 110 Manipulationsdaten eines identifizierten Objekts vorhanden sind, geht das Manipulationsprogramm 300 zum Objektdatenprogramm 200 weiter, um nichtautomatische Manipulationsdaten zu sammeln und einen Satz von Manipulationsparametern für das Objekt in die personalisierte Wissensdatenbank 120 aufzunehmen, die anhand zahlreicher Iterationen der Objektmanipulation optimiert werden, und wenn die Manipulationsdaten in einer Einstellungsdatei entsprechend aktiviert sind, leitet sie das Objektdatenprogramm 200 an die Master-Wissensdatenbank 110 weiter.
2 zeigt gemäß einer Ausführungsform der vorliegenden Erfindung Arbeitsschritte des Objektdatenprogramms 200. Das Objektdatenprogramm 200 startet, wenn das Manipulationsprogramm 300 feststellt, dass ein ausgewähltes Objekt nicht identifiziert wird, oder für den Fall, dass es identifiziert wird, startet es, wenn das Manipulationsprogramm 300 feststellt, dass weder in der personalisierten Wissensdatenbank 120 noch der Master-Wissensdatenbank 110 Manipulationsdaten vorhanden sind. In einigen Ausführungsformen kann einem Benutzer eine Anfrage zum Starten des Objektdatenprogramms 200 als Nachricht oder Mitteilung vorgelegt werden, um mit dem Sammeln von Manipulationsdaten eines Objekts zu beginnen, von dem bekannt ist, dass es in Objektidentifikationsdatenbanken nicht vorhanden ist.
In Schritt 210 fordert das Objektdatenprogramm 200 eine Eingabe, um einen Vertrauensgrad zu definieren, bei dem ein in einem Bild erkanntes Objekt als Übereinstimmung angesehen wird, wenn es mit einem in einer Datenbank oder einer Wissensdatenbank von Objekten wie beispielsweise der Master-Wissensdatenbank 110 oder der personalisierten Wissensdatenbank 120 enthaltenen Objekt verglichen wird. Wenn bei einigen Ausführungsformen ein in einem Bild erkanntes Objekt nicht in der Master-Wissensdatenbank 110 oder der personalisierten Wissensdatenbank 120 identifiziert wird, kann das Objektdatenprogramm 200 im Internet zugängliche Ressourcen durchsuchen, um das Objekt zu identifizieren und einen Vertrauensgrad für eine Übereinstimmung der Identifizierung aufzunehmen. In einigen Ausführungsformen der vorliegenden Erfindung kann das Objektdatenprogramm 200 einem Benutzer eine Nachrichtenanforderung übermitteln, um den Schwellenwert des Vertrauensgrads einzustellen, der eine bestätigte Übereinstimmung festlegt. Wurde zuvor ein Vertrauensgrad eingestellt, kann das Objektdatenprogramm 200 durch eine Nachricht auf einer Anzeigeeinheit oder eine akustische Nachricht fragen, ob der Benutzer den aktuellen Schwellenwert des Vertrauensgrads bearbeiten möchte.
Nachdem dem Benutzer mitgeteilt wurde, dass das ausgewählte Objekt nicht identifiziert wurde oder dass keine Manipulationsdaten in der personalisierten Wissensdatenbank 120 oder der Master-Wissensdatenbank 110 zur Verfügung stehen, sammelt das Objektdatenprogramm 200 in Schritt 220 Objektattributdaten und ermöglicht ein Identifizieren des ausgewählten Objekts. In einigen Ausführungsformen der vorliegenden Erfindung ermittelt und speichert das Objektdatenprogramm 200 die Größe, Form und andere physische Attribute, die von Bildern der Kamera 187 der AR-Brille und/oder der Kamera 170 in Bezug auf das ausgewählte Objekt erkennbar sind. In weiteren Ausführungsformen sammelt das Objektdatenprogramm 200 Daten, die der Benutzer eingibt, um dem ausgewählten Objekt eine Identität hinzuzufügen. Die Objektattribute und Identität werden in der personalisierten Wissensdatenbank 120 gespeichert. In einigen Ausführungsformen nimmt die Protheseneinheit Verbindung mit dem Objekt auf (z.B. als Technik zum Auswählen des Objekts), und Sensoren, die in oder auf der Protheseneinheit enthalten sind, messen und senden Daten über physische Attribute des Objekts wie Oberflächenrauheit, Beschaffenheit, Härte und Gleichmäßigkeit zurück. In einigen Ausführungsformen ermittelt das Objektdatenprogramm 200 das Gewicht des Objekts und lernt empirisch die Greifkraft, die zum Halten und Manipulieren des Objekts erforderlich ist, und/oder deren Grenzen zum Halten und Manipulieren des ausgewählten Objekts.
In Schritt 230 sammelt das Objektdatenprogramm 200 Daten von der robotischen Manipulation des Objekts durch den Benutzer mit Hilfe der Protheseneinheit wie beispielsweise der robotischen Protheseneinheit 190. Die Daten von der nichtautomatischen Manipulation der Protheseneinheit werden vom Objektdatenprogramm 200 gesammelt, zusammen mit entsprechenden Rückmeldedaten wie z.B. Gesichtserkennung von der Kamera 170, Audiorückmeldung, biometrische Rückmeldung von Sensoren, die mit dem Benutzer verbunden sind, und Objektmanipulationsergebnissen, die von der Kamera 187 der AR-Brille aufgezeichnet wurden. Die Manipulationsdaten und die entsprechenden Rückmeldedaten werden an das kognitive System 105 übermittelt und in die maschinelle Lernverarbeitung eingegeben, um erfolgreichere und weniger erfolgreiche Manipulationsparameter für das ausgewählte Objekt zu ermitteln. Die nichtautomatische Manipulation beinhaltet zahlreiche Iterationen der Manipulation des Objekts, wobei die zugehörigen Daten über das Netzwerk 150 in das kognitive System 105 eingegeben und durch maschinelles Lernen verarbeitet werden, um optimierte Manipulationsdaten für das ausgewählte Objekt zu ermitteln.
In Schritt 240 fügt das Objektdatenprogramm 200 die durch maschinelles Lernen optimierten Objektmanipulationsdaten zur personalisierten Wissensdatenbank 120 hinzu. Das Manipulationsprogramm 300 optimiert die Manipulationsdaten als Ergebnis von Wiederholungen der nichtautomatischen Manipulation des ausgewählten Objekts und übermittelt die Manipulationsbildergebnisse und die entsprechenden Manipulationsdaten an das kognitive System 105 für die maschinelle Lernverarbeitung. Das Objektdatenprogramm 200 fügt die optimierten Manipulationsdaten zu der personalisierten Wissensdatenbank 120 hinzu, die spezifische Manipulationsdaten bereitstellt, mit denen das ausgewählte Objekt bei einer späteren Gelegenheit wie in 3 im Detail erläutert automatisch manipuliert werden kann. In einigen Ausführungsformen der vorliegenden Erfindung kann das Manipulationsprogramm 300 die Manipulationsdaten, die dem ausgewählten Element entsprechen, kontinuierlich optimieren, da zusätzliche Manipulationsdaten und Manipulations-Rückmeldeergebnisse gesammelt und durch maschinelles Lernen des kognitiven Systems 105 verarbeitet werden. Die dem ausgewählten Objekt entsprechenden Manipulationsdaten beinhalten eine Identität, durch die das ausgewählte Objekt erkannt und mit Bildern des ausgewählten Objekts abgeglichen wird, die anschließend an das kognitive System 105 gesendet werden.
Nachdem das Objektdatenprogramm 200 die für das ausgewählte Objekt optimierten Manipulationsdaten zur personalisierten Wissensdatenbank 120 hinzugefügt hat, ermittelt es in Entscheidungsschritt 250, ob eine Funktion aktiviert ist, um die Manipulationsdaten des ausgewählten Objekts zur Master-Wissensdatenbank 110 hinzuzufügen. Wenn das Objektdatenprogramm 200 feststellt, dass es nicht in der Lage ist, die Manipulationsdaten zur Master-Wissensdatenbank 110 hinzuzufügen (Schritt 250, Verzweigung „NEIN“), endet das Objektdatenprogramm 200. Wenn das Objektdatenprogramm 200 feststellt, dass die Option zum Hinzufügen der Manipulationsdaten des ausgewählten Objekts zur Master-Wissensdatenbank 110 aktiviert ist (Schritt 250, Verzweigung „JA“), übermittelt das Objektdatenprogramm 200 in Schritt 260 die Manipulationsdaten des ausgewählten Objekts an die Master-Wissensdatenbank 110, dazu gehört auch ein Übermitteln von Daten zum Identifizieren des ausgewählten Objekts unter Verwendung von Objekterkennungstechniken, die bei Bildern angewendet werden.
In einigen Ausführungsformen der vorliegenden Erfindung werden die Manipulationsdaten, die zunächst zur personalisierten Wissensdatenbank 120 hinzugefügt werden, die später in die Master-Wissensdatenbank 110 aufgenommen wird, automatisch ausgeführt, ausgehend davon, ob die Option des Objektdatenprogramms 200, „neue“ Manipulationsdaten automatisch zur Master-Wissensdatenbank 110 hinzuzufügen, aktiviert ist. Das Hinzufügen von Manipulationsdaten zur Master-Wissensdatenbank 110 und zur personalisierten Wissensdatenbank 120 beruht auf einem Durchführen früherer Suchen, um Objekte abzugleichen, die von der Bildanalyse 125 in Bildern erkannt wurden (1) und nicht in der personalisierten Wissensdatenbank 120 oder der Master-Wissensdatenbank 110 gefunden wurden. In einigen Ausführungsformen kann die Option in einer Einstellungsdatei des Objektdatenprogramms 200 enthalten sein. In anderen Ausführungsformen kann einem Benutzer eine Optionsanfrage vorgelegt werden, nachdem zunächst ein bestimmter Satz von Manipulationsdaten eines ausgewählten Objekts zur personalisierten Wissensdatenbank 120 hinzugefügt wurde. In noch weiteren Ausführungsformen fragt das Objektdatenprogramm 200 den Benutzer nicht, sondern verlangt vom Benutzer eine Anweisung, die bestimmten Manipulationsdaten des ausgewählten Objekts zur Master-Wissensdatenbank 110 hinzuzufügen.
Nachdem die Manipulationsdaten des ausgewählten Objekts zur Master-Wissensdatenbank 110 hinzugefügt worden sind, endet das Objektdatenprogramm 200.
3 zeigt gemäß einer Ausführungsform der vorliegenden Erfindung Arbeitsschritte des Manipulationsprogramms 300. Das Manipulationsprogramm 300 ermittelt, ob ein ausgewähltes Objekt von Bildern des ausgewählten Objekts identifiziert wird, und zwar verglichen mit Objektidentifikationsdaten, die zu Manipulationsdaten wie beispielsweise Daten gehören, die in der Master-Wissensdatenbank 110 und/oder der personalisierten Wissensdatenbank 120 gespeichert sind. Wenn ein ausgewähltes Objektbild als identifiziertes Objekt in einer Wissensdatenbank erkannt wird, ermittelt das Manipulationsprogramm 300, ob Manipulationsdaten für das identifizierte Objekt vorhanden sind. Verfügbare Manipulationsdaten werden an eine lokale Steuereinheit der Protheseneinheit gesendet, um automatisch eine Manipulation des Objekts durchzuführen.
In Schritt 305 ermittelt das Manipulationsprogramm 300 ein ausgewähltes Objekt, das zum Manipulieren vorgesehen ist. In einigen Ausführungsformen der vorliegenden Erfindung verwendet das Manipulationsprogramm 300 Kamerabilder, um das jeweilige Objekt zu ermitteln, das von einem Benutzer der Protheseneinheit ausgewählt wurde. In weiteren Ausführungsformen werden externe Kameras verwendet, um das ausgewählte Objekt zu ermitteln, indem der Augenfokus des Benutzers und der sichtbare Bereich in unmittelbarer Nähe des Benutzers der Protheseneinheit überwacht werden. In einigen Ausführungsformen der vorliegenden Erfindung kann der Benutzer die Protheseneinheit verwenden, um sich dem ausgewählten Objekt zu nähern oder es zu berühren, und in weiteren Ausführungsformen kann die Auswahl des Objekts durch mündlichen Befehl erfolgen, der mit Hilfe von Techniken zur Verarbeitung natürlicher Sprache verarbeitet wird. In einigen Ausführungsformen der vorliegenden Erfindung bestätigt das Manipulationsprogramm 300 dem Benutzer der Protheseneinheit das ausgewählte Objekt.
In Entscheidungsschritt 310 ermittelt das Manipulationsprogramm 300, ob das ausgewählte Objekt identifiziert ist. In einigen Ausführungsformen der vorliegenden Erfindung erfolgt die Identifizierung des ausgewählten Objekts durch Suchen in einer Wissensdatenbank wie beispielsweise der personalisierten Wissensdatenbank 120 oder der Master-Wissensdatenbank 110 oder in einem anderen Datendepot (nicht in 1 dargestellt), das Objektdaten wie beispielsweise von Bilddaten ermittelte Objektattributdaten enthält, und durch Vergleichen von Attributen, die anhand eines Bildes des ausgewählten Objekts ermittelt werden, mit den gespeicherten Datenattributen von Objekten in der Wissensdatenbank oder einem anderen Datendepot. So kann beispielsweise ein Bild des ausgewählten Objekts von der Kamera 187 der AR-Brille für einen Benutzer mit AR-Brille 180 zur Verfügung stehen. Das Bild des ausgewählten Objekts wird an das kognitive System 105 gesendet und mit Hilfe von Objekterkennungstechniken verarbeitet, die von der Bildanalyse 125 durchgeführt werden, um Objekte im Bild des ausgewählten Objekts zu erkennen und zu identifizieren. Das identifizierte Objekt des Bildes wird verwendet, um eine Suche in einer Wissensdatenbank oder einem anderen Datendepot von identifizierten Objektdaten durchzuführen, sodass ein Vertrauensgrad einer Übereinstimmung festgelegt werden kann. In einigen Ausführungsformen der vorliegenden Erfindung kann eine Ähnlichkeitsfunktion wie beispielsweise eine Kosinus-Ähnlichkeitsfunktion verwendet werden, um eine Wahrscheinlichkeit oder einen Wert im Hinblick darauf festzulegen, ob das identifizierte Objekt der Wissensdatenbank innerhalb eines zuvor festgelegten Vertrauensgrads mit dem ausgewählten Objekt übereinstimmt. Der Vertrauensgrad einer Übereinstimmung gibt einen relativen Grad an Gewissheit an, dass das im Rahmen der Suche identifizierte Objekt mit dem Objekt übereinstimmt, das anhand der optischen Erkennung des Bildes des ausgewählten Objekts ermittelt wurde. Der Benutzer der Protheseneinheit legt einen Schwellenwert des Vertrauensgrads fest, bei dem oder über dem die Objekte als übereinstimmend angesehen werden. Bei Vertrauensgraden unterhalb des festgelegten Schwellenwerts gilt, dass das Suchergebnis keine Übereinstimmung findet.
In einigen Ausführungsformen der vorliegenden Erfindung wird der Vertrauensgrad durch die Attribute eines Objekts wie beispielsweise das Bild des ausgewählten Objekts festgelegt, die in dem anderen Objekt gleich sind, z.B. ein identifiziertes Objekt von Daten in einer Wissensdatenbank von Objekten. Das Manipulationsprogramm 300 kann so konfiguriert werden, dass es den für die Objektsuche bestimmten Vertrauensgrad anzeigt und in einigen Ausführungsformen eine Option für den Benutzer bereitstellt, um einen Vertrauensgrad unterhalb des aktuellen Schwellenwerts zu akzeptieren. Wenn eine Suche nach dem Objekt, das anhand des ausgewählten Objektbilds ermittelt wird, keine Übereinstimmung oder einen Vertrauensgrad unterhalb des Schwellenwerts einer Übereinstimmung ergibt (Schritt 310, Verzweigung „NEIN“), startet das Manipulationsprogramm 300 das Objektdatenprogramm 200 (A), um eine Identität des ausgewählten Objekts festzulegen und Manipulationsdaten zu sammeln, die dem ausgewählten Objekt entsprechen.
Wenn ein Objekt durch die Suche in einer Wissensdatenbank oder einem Datendepot von Objektdaten identifiziert wird (Schritt 310, Verzweigung „JA“), geht das Manipulationsprogramm 300 zu Entscheidungsschritt 315 weiter, um zu ermitteln, ob Manipulationsdaten für das ausgewählte Objekt in einer personalisierten Wissensdatenbank gefunden werden. In einigen Ausführungsformen der vorliegenden Erfindung wird die Identifizierung des ausgewählten Objekts verwendet, um die personalisierte Wissensdatenbank 120 zu durchsuchen, sodass ermittelt werden kann, ob Manipulationsdaten für das ausgewählte Objekt gefunden werden. In anderen Ausführungsformen kann die Suche zum Identifizieren des Objekts unter Verwendung der Master-Wissensdatenbank 110 oder eines anderen Datendepots von Objektdaten oder Internetressourcen durchgeführt werden. In einigen Ausführungsformen wird die anfängliche Suche zum Ermitteln, ob Manipulationsdaten für das identifizierte ausgewählte Objekt gefunden werden, mit Hilfe der personalisierten Wissensdatenbank 120 durchgeführt. Wenn das Manipulationsprogramm 300 feststellt, dass Manipulationsdaten in der personalisierten Wissensdatenbank 120 gefunden werden (Schritt 315, Verzweigung „JA“), ruft das Manipulationsprogramm 300 in Schritt 320 die Objektmanipulationsdaten aus der personalisierten Wissensdatenbank 120 ab. In einigen Ausführungsformen der vorliegenden Erfindung wird dem Abrufen von Manipulationsdaten aus der personalisierten Wissensdatenbank 120 dem Abrufen von Manipulationsdaten aus der Master-Wissensdatenbank 110 den Vorzug gegeben, da die aus der personalisierten Wissensdatenbank 120 abgerufenen Manipulationsdaten spezifisch für den jeweiligen Benutzer und die Protheseneinheit des Benutzers wie beispielsweise die robotische Protheseneinheit 190 sind und eine zusätzliche Verfeinerung und Präzision bei der Manipulation des ausgewählten Objekts bieten können. Nachdem die Manipulationsdaten für das ausgewählte Objekt abgerufen wurden, geht das Manipulationsprogramm 300 zu Schritt 335 weiter und führt Aktivitäten zum Manipulieren des ausgewählten Objekts durch.
Wenn das Manipulationsprogramm 300 feststellt, dass keine Manipulationsdaten in der personalisierten Wissensdatenbank 120 für das ausgewählte identifizierte Objekt gefunden werden (Schritt 315, Verzweigung „NEIN“), geht das Manipulationsprogramm 300 zu Entscheidungsschritt 325 weiter, um zu ermitteln, ob Manipulationsdaten für das ausgewählte identifizierte Objekt in einer Master-Wissensdatenbank wie beispielsweise der Master-Wissensdatenbank 110 gefunden werden. Das Manipulationsprogramm 300 durchsucht die Master-Wissensdatenbank 110 auf Grundlage der ermittelten Identifizierung des ausgewählten Objekts, und findet es keine Manipulationsdaten, die dem ausgewählten identifizierten Objekt entsprechen (Schritt 325, Verzweigung „NEIN“), startet das Manipulationsprogramm 300 das Objektdatenprogramm 200 (A), um eine Identität des ausgewählten Objekts festzulegen und Manipulationsdaten zu sammeln, die dem ausgewählten Objekt entsprechen, sodass das Sammeln von Manipulationsdaten ein Sammeln von Rückmeldedaten beinhaltet, die zu bestimmten manuell gesteuerten Manipulationsaktivitäten gehören. Das Objektdatenprogramm 200 sammelt Manipulationsdaten und Rückmeldedaten und gibt die Daten in das kognitive System 105 für die maschinelle Lernverarbeitung ein, um die Manipulationsdaten wie vorstehend in Bezug auf 2 beschrieben zu optimieren.
Wenn das Manipulationsprogramm 300 feststellt, dass Manipulationsdaten für das ausgewählte Objekt in der Master-Wissensdatenbank wie beispielsweise der Master-Wissensdatenbank 110 gefunden werden (Schritt 325, Verzweigung „JA“), geht das Manipulationsprogramm 300 zu Schritt 330 weiter und ruft die Objektmanipulationsdaten aus der Master-Wissensdatenbank ab. In einigen Ausführungsformen der vorliegenden Erfindung werden die Manipulationsdaten für das ausgewählte Objekt abgerufen und an eine lokale Steuereinheit der Protheseneinheit wie beispielsweise die mobile Steuereinheit 140 gesendet. In weiteren Ausführungsformen wird jede Manipulationsanweisung vom Manipulationsprogramm 300 verarbeitet und an die mobile Steuereinheit 140 gesendet, um den jeweiligen Manipulationsbefehl auszuführen.
Nachdem die Manipulationsdaten für das ausgewählte Objekt abgerufen wurden, führt das Manipulationsprogramm 300 in Schritt 335 eine Manipulation des ausgewählten Objekts durch. Das Manipulationsprogramm 300 empfängt die Manipulationsdaten und sendet die Anweisungen der Steuereinheit an die mobile Steuereinheit 140, die lokal an der Protheseneinheit wie beispielsweise der robotischen Protheseneinheit 190 angebracht ist. Die mobile Steuereinheit 140 empfängt die Manipulationsanweisungen von dem Manipulationsprogramm 300 und aktiviert wiederum die entsprechenden Motoren, Schalter und andere Einheiten, die die robotische Protheseneinheit 190 aktivieren. Die Leistungsfähigkeit der in der Master-Wissensdatenbank 110 gefundenen Manipulationsdaten ermöglicht die Manipulation des ausgewählten Objekts mit größerer Präzision, Genauigkeit und Geschwindigkeit und beinhaltet Tastdrücke, die für die ausgewählten Objektattribute geeignet sind.
Nachdem das Manipulationsprogramm 300 das ausgewählte Objekt unter Verwendung der in der Master-Wissensdatenbank 110 gefundenen Manipulationsdaten manipuliert hat, sammelt es in Schritt 340 Daten, die zur Manipulation des ausgewählten Objekts gehören. In einigen Ausführungsformen der vorliegenden Erfindung überwacht das Manipulationsprogramm 300 die Manipulation des ausgewählten Objekts und die zu den Manipulationsaktivitäten gehörenden Rückmeldedaten. In einigen Ausführungsformen der vorliegenden Erfindung kann der Benutzer der Protheseneinheit während der automatischen Verarbeitung von Manipulationsdaten eingreifen und Anpassungen oder Feinabstimmungen an einer bestimmten Manipulationsaktivität vornehmen. Die Daten werden vom Manipulationsprogramm 300 gesammelt, das die Anpassungen der automatischen Manipulationsdaten erfasst, die für die kontinuierliche Verfeinerung und Verbesserung der Manipulation des ausgewählten Objekts verwendet werden können.
In Schritt 345 verwendet das Manipulationsprogramm die während der Manipulation des ausgewählten Objekts gesammelten Manipulationsdaten für das maschinelle Lernen. Das Manipulationsprogramm 300 übermittelt die während der Manipulation des ausgewählten Objekts gesammelten Manipulationsdaten an das kognitive System 105, die in einer kontinuierlichen Optimierungsaktivität für das maschinelle Lernen verwendet werden. In einigen Ausführungsformen der vorliegenden Erfindung sind Anpassungen der automatischen Manipulationsdaten in den gesammelten Daten enthalten und werden in das maschinelle Lernen eingegeben, was Änderungen an den automatischen Manipulationsdaten für das ausgewählte Objekt beinhaltet; dies beruht auf zahlreichen Iterationen der Manipulation des ausgewählten Objekts und erfolgt unter Berücksichtigung von manuellen Anpassungen durch den Benutzer der Protheseneinheit. In einigen Ausführungsformen kann das Manipulationsprogramm 300 Manipulationsdaten sammeln, indem es das Objektdatenprogramm 200 startet, um die Manipulationsdaten und die zugehörigen Rückmeldedaten zu sammeln. In weiteren Ausführungsformen führt das Manipulationsprogramm 300 die Datensammelaktivitäten durch und übermittelt die Daten, die für das maschinelle Lernen verwendet werden, an das kognitive System 105.
4 zeigt gemäß einer Ausführungsform der vorliegenden Erfindung ein Blockschaubild von Komponenten eines Systems, zu dem eine Datenverarbeitungseinheit gehört, die das Objektdatenprogramm 200 und das Manipulationsprogramm 300 funktionsmäßig ausführen und Zugriff auf Objektmanipulationsdaten bereitstellen kann.
Die Datenverarbeitungseinheit 405 enthält gemäß einer veranschaulichenden Ausführungsform der vorliegenden Erfindung ähnliche Komponenten und Funktionsfähigkeiten wie der Server 101 und die mobile Steuereinheit 140 (1). Es sei darauf hingewiesen, dass 4 nur eine Veranschaulichung einer Umsetzung bereitstellt und keine Beschränkungen in Bezug auf die Umgebungen impliziert, in denen verschiedene Ausführungsformen umgesetzt werden können. An der dargestellten Umgebung können zahlreiche Änderungen vorgenommen werden.
Die Datenverarbeitungseinheit 405 enthält die Datenübertragungsstruktur 402, die Datenübertragungen zwischen einem oder mehreren Computerprozessoren 404, dem Speicher 406, dem Dauerspeicher 408, der Datenübertragungseinheit 410 und einer oder mehreren Eingabe-/Ausgabeschnittstellen (E/A-Schnittstellen) 412 bereitstellt. Die Datenübertragungsstruktur 402 kann mit einer beliebigen Architektur umgesetzt werden, die zum Übertragen von Daten und/oder Steuern von Daten zwischen Prozessoren (wie beispielsweise Mikroprozessoren, Datenübertragungs- und Netzwerkprozessoren usw.), dem Systemspeicher, Peripherieeinheiten und einer beliebigen anderen Hardware-Komponente in einem System ausgelegt wurde. Die Datenübertragungsstruktur 402 kann zum Beispiel mit einem oder mehreren Bussen umgesetzt werden.
Bei dem Speicher 406, dem Zwischenspeicher 416 und dem Dauerspeicher 408 handelt es sich um durch einen Computer lesbare Speichermedien. In dieser Ausführungsform enthält der Speicher 406 den Direktzugriffsspeicher (RAM) 414. Im Allgemeinen kann der Speicher 406 jedes geeignete flüchtige oder nichtflüchtige durch einen Computer lesbare Speichermedium enthalten.
Das Objektdatenprogramm 200 und das Manipulationsprogramm 300 werden im Dauerspeicher 408 gespeichert, um von einem oder mehreren der jeweiligen Computerprozessoren 404 über einen oder mehrere Speicher des Speichers 406 ausgeführt zu werden. In dieser Ausführungsform beinhaltet der Dauerspeicher 408 ein magnetisches Festplattenlaufwerk. Alternativ oder zusätzlich zu einem magnetischen Festplattenlaufwerk kann der Dauerspeicher 408 einen Halbleiter-Datenträger, eine Halbleiterspeichereinheit, einen Nur-Lese-Speicher (ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM), einen Flash-Speicher und beliebige andere durch einen Computer lesbare Speichermedien enthalten, die Programmanweisungen oder digitale Informationen speichern können.
Bei den für den Dauerspeicher 408 verwendeten Medien kann es sich auch um Wechselmedien handeln. Für den Dauerspeicher 408 kann beispielsweise eine wechselbare Festplatte verwendet werden. Zu anderen Beispielen gehören optische und magnetische Platten, USB-Speichersticks und Chipkarten, die für die Übertragung auf ein anderes durch einen Computer lesbares Speichermedium, das ebenfalls Teil des Dauerspeichers 408 ist, in ein Laufwerk eingesteckt werden.
Durch die Datenübertragungseinheit 410 ist in diesen Beispielen ein Datenaustausch mit anderen Datenverarbeitungssystemen oder -einheiten und auch mit Ressourcen der verteilten Netzwerkverarbeitungsumgebung 100 möglich. In diesen Beispielen enthält die Datenübertragungseinheit 410 eine oder mehrere Netzwerkschnittstellenkarten. Die Datenübertragungseinheit 410 kann Datenübertragungen über physische und drahtlose Datenübertragungsverbindungen bereitstellen und zwar entweder über eine von beiden oder beide. Das Objektdatenprogramm 200 und das Manipulationsprogramm 300 können über die Datenübertragungseinheit 410 in den Dauerspeicher 408 heruntergeladen werden.
Die E/A-Schnittstelle(n) 412 ermöglicht/ermöglichen eine Ein- und Ausgabe von Daten in Verbindung mit anderen Einheiten, die mit dem Datenverarbeitungssystem 400 verbunden sein können. So kann beispielsweise die E/A-Schnittstelle 412 eine Verbindung zu den externen Einheiten 418 wie beispielsweise einer Tastatur, einem Tastenfeld, einem Touchscreen und/oder einer anderen geeigneten Eingabeeinheit bereitstellen. Zu den externen Einheiten 418 können auch tragbare, durch einen Computer lesbare Speichermedien wie z.B. USB-Speichersticks, tragbare optische oder magnetische Platten und Speicherkarten gehören. Software und Daten wie beispielsweise das Objektdatenprogramm 200 und das Manipulationsprogramm 300, die zum Realisieren von Ausführungsformen der vorliegenden Erfindung verwendet werden, können auf solchen tragbaren, durch einen Computer lesbare Speichermedien gespeichert und über die E/A-Schnittstelle(n) 412 in den Dauerspeicher 408 geladen werden. Die E/A-Schnittstelle(n) 412 ist/sind auch mit einer Anzeige 420 verbunden.
Die Anzeige 420 stellt einen Mechanismus bereit, um einem Benutzer Daten anzuzeigen, dabei kann es sich zum Beispiel um einen Computermonitor handeln.
Die hierin beschriebenen Programme werden auf Grundlage der Anmeldung identifiziert, für die sie in einer bestimmten Ausführungsform der Erfindung umgesetzt werden. Es ist jedoch zu beachten, dass eine bestimmte Programmnomenklatur hierin nur aus Gründen der Zweckmäßigkeit verwendet wird, daher sollte die Erfindung nicht darauf beschränkt sein, nur in einer bestimmten Anwendung verwendet zu werden, die durch diese Nomenklatur bezeichnet und/oder impliziert wird.
Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt handeln. Das Computerprogrammprodukt kann (ein) durch einen Computer lesbare(s) Speichermedium (oder -medien) beinhalten, auf dem/denen durch einen Computer lesbare Programmanweisungen gespeichert ist/sind, um einen Prozessor dazu zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine physische Einheit handeln, die Anweisungen zur Verwendung durch ein System zur Ausführung von Anweisungen behalten und speichern kann. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder jede geeignete Kombination daraus handeln, ohne auf diese beschränkt zu sein. Zu einer nicht erschöpfenden Liste spezifischerer Beispiele des durch einen Computer lesbaren Speichermediums gehören die Folgenden: eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM bzw. Flash-Speicher), ein statischer Direktzugriffsspeicher (SRAM), ein tragbarer Kompaktspeicherplatte-Nur-Lese-Speicher (CD-ROM), eine DVD (digital versatile disc), ein Speicher-Stick, eine Diskette, eine mechanisch kodierte Einheit wie zum Beispiel Lochkarten oder gehobene Strukturen in einer Rille, auf denen Anweisungen gespeichert sind, und jede geeignete Kombination daraus. Ein durch einen Computer lesbares Speichermedium soll in der Verwendung hierin nicht als flüchtige Signale an sich aufgefasst werden, wie zum Beispiel Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten (z.B. durch ein Glasfaserkabel geleitete Lichtimpulse) oder durch einen Draht übertragene elektrische Signale.
Hierin beschriebene, durch einen Computer lesbare Programmanweisungen können von einem durch einen Computer lesbaren Speichermedium auf jeweilige Datenverarbeitungs-/Verarbeitungseinheiten oder über ein Netzwerk wie zum Beispiel das Internet, ein lokales Netzwerk, ein Weitverkehrsnetz und/oder ein drahtloses Netzwerk auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenübertragungsleiter, drahtlose Übertragung, Leitwegrechner, Firewalls, Vermittlungseinheiten, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Datenverarbeitungs-/Verarbeitungseinheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der entsprechenden Datenverarbeitungs-/Verarbeitungseinheit weiter.
Bei durch einen Computer lesbaren Programmanweisungen zum Ausführen von Arbeitsschritten der vorliegenden Erfindung kann es sich um Assembler-Anweisungen, ISA-Anweisungen (Instruction-Set-Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandssetzende Daten oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben werden, darunter objektorientierte Programmiersprachen wie Smalltalk, C++ o.ä. sowie herkömmliche prozedurale Programmiersprachen wie die Programmiersprache „C“ oder ähnliche Programmiersprachen Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. In letzterem Fall kann der entfernt angeordnete Computer mit dem Computer des Benutzers durch eine beliebige Art Netzwerk verbunden sein, darunter ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetz (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel über das Internet unter Verwendung eines Internet-Dienstanbieters). In einigen Ausführungsformen können elektronische Schaltungen, darunter zum Beispiel programmierbare Logikschaltungen, vor Ort programmierbare Gatter-Anordnungen (FPGA, field programmable gate arrays) oder programmierbare Logikanordnungen (PLA, programmable logic arrays) die durch einen Computer lesbaren Programmanweisungen ausführen, indem sie Zustandsinformationen der durch einen Computer lesbaren Programmanweisungen nutzen, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen.
Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Ablaufpläne und/oder Blockschaltbilder bzw. Schaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass jeder Block der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder sowie Kombinationen von Blöcken in den Ablaufplänen und/oder den Blockschaltbildern bzw. Schaubildern mittels durch einen Computer lesbare Programmanweisungen ausgeführt werden können.
Diese durch einen Computer lesbaren Programmanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, so dass die über den Prozessor des Computers bzw. der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführten Anweisungen ein Mittel zur Umsetzung der in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktionen/Schritte erzeugen. Diese durch einen Computer lesbaren Programmanweisungen können auch auf einem durch einen Computer lesbaren Speichermedium gespeichert sein, das einen Computer, eine programmierbare Datenverarbeitungsvorrichtung und/oder andere Einheiten so steuern kann, dass sie auf eine bestimmte Art funktionieren, so dass das durch einen Computer lesbare Speichermedium, auf dem Anweisungen gespeichert sind, ein Herstellungsprodukt aufweist, darunter Anweisungen, welche Aspekte der/des in dem Block bzw. den Blöcken des Ablaufplans und/oder der Blockschaltbilder bzw. Schaubilder angegebenen Funktion/Schritts umsetzen.
Die durch einen Computer lesbaren Programmanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder eine andere Einheit geladen werden, um ein Ausführen einer Reihe von Prozessschritten auf dem Computer bzw. der anderen programmierbaren Vorrichtung oder anderen Einheit zu verursachen, um einen auf einem Computer ausgeführten Prozess zu erzeugen, so dass die auf dem Computer, einer anderen programmierbaren Vorrichtung oder einer anderen Einheit ausgeführten Anweisungen die in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktionen/Schritte umsetzen.
Die Ablaufpläne und die Blockschaltbilder bzw. Schaubilder in den Figuren veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Ausführungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Ablaufplänen oder Blockschaltbildern bzw. Schaubildern ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, die eine oder mehrere ausführbare Anweisungen zur Ausführung der bestimmten logischen Funktion(en) aufweisen. In einigen alternativen Ausführungen können die in dem Block angegebenen Funktionen in einer anderen Reihenfolge als in den Figuren gezeigt stattfinden. Zwei nacheinander gezeigte Blöcke können zum Beispiel in Wirklichkeit im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal je nach entsprechender Funktionalität in umgekehrter Reihenfolge ausgeführt werden. Es ist ferner anzumerken, dass jeder Block der Blockschaltbilder bzw. Schaubilder und/oder der Ablaufpläne sowie Kombinationen aus Blöcken in den Blockschaltbildern bzw. Schaubildern und/oder den Ablaufplänen durch spezielle auf Hardware beruhende Systeme umgesetzt werden können, welche die festgelegten Funktionen oder Schritte durchführen, oder Kombinationen aus Spezial-Hardware und Computeranweisungen ausführen.

Claims

Verfahren (300), das aufweist: einen oder mehrere Prozessoren (404), die eine Eingabe empfangen, die Bilddaten eines Objekts (160; 190) beinhaltet; einen oder mehrere Prozessoren (404), die Bildattribute des Objekts auf Grundlage einer Bildanalyse der Bilddaten des Objekts ermitteln (310); einen oder mehrere Prozessoren (404), die ermitteln (315; 325; 315, 235), ob die Bildattribute des Objekts mit einem identifizierten Objekt einer Wissensdatenbank (110; 120; 110, 120) übereinstimmen, die eine Mehrzahl von identifizierten Objekten und Manipulationsdaten beinhaltet, die jeweils der Mehrzahl von identifizierten Objekten entsprechen; und als Reaktion auf ein Feststellen (315; 325; 315, 325), dass die Bildattribute des Objekts mit dem identifizierten Objekt der Wissensdatenbank übereinstimmen, einen oder mehrere Prozessoren (404), die Manipulationsdaten, die dem identifizierten Objekt der Wissensdatenbank entsprechen, an eine mobile Steuereinheit (140) übermitteln, zur Manipulation (335) des Objekts mit den Manipulationsdaten.
Verfahren nach Anspruch 1, wobei die mobile Steuereinheit zum Zwecke der Datenübertragung mit einer Manipulationseinheit verbunden ist, die in der Lage ist, der Manipulation des Objekts durchzuführen, indem die von dem oder den mehreren Prozessoren übermittelten Manipulationsdaten verwendet werden, wobei das Objekt, für das die empfangene Eingabe die Bilddaten des Objekts beinhaltet, von einem Benutzer der Manipulationseinheit ausgewählt wird.
Verfahren nach Anspruch 1, das weiterhin aufweist: einen oder mehrere Prozessoren (404), die eine Rückmeldung einer Manipulationseinheit empfangen (340), die die Manipulation des Objekts auf Grundlage der Manipulationsdaten des identifizierten Objekts der Wissensdatenbank durchführt, wobei die Rückmeldung sensorische Daten von der Manipulationseinheit und eine Bildrückmeldung des Benutzers der Manipulationseinheit während der Manipulation des vom Benutzer ausgewählten Objekts beinhaltet; einen oder mehrere Prozessoren (404), die maschinelles Lernen (345) in Verbindung mit der Manipulation des ausgewählten Objekts auf Grundlage der Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Manipulationseinheit und der Rückmeldung des Benutzers während der Manipulation des vom Benutzer ausgewählten Objekts durchführen; und einen oder mehrere Prozessoren, die die Manipulationsdaten für das vom Benutzer ausgewählte Objekt auf Grundlage eines Durchführens von maschinellem Lernen anpassen, das auf der Rückmeldung der sensorischen Daten der Manipulationseinheit und der Rückmeldung des Benutzers während der Manipulation des vom Benutzer ausgewählten Objekts beruht.
Verfahren nach Anspruch 1, wobei das Ermitteln einer Übereinstimmung zwischen den Bilddaten des Objekts und dem identifizierten Objekt der Wissensdatenbank auf einem Durchführen einer Ähnlichkeitsfunktion beruht, bei der ein Ähnlichkeitswert erzeugt wird, der einen zuvor definierten Vertrauensgrad überschreitet, indem die Bildattribute des Objekts mit dem identifizierten Objekt des Wissensdatenbank verglichen werden.
Verfahren nach Anspruch 1, das weiterhin aufweist: einen oder mehrere Prozessoren (404), die eine Rückmeldung von einer Manipulationseinheit empfangen (340), die die Manipulation des Objekts durchführt, wobei ein Benutzer der Manipulationseinheit Anpassungen an der Manipulation des Objekts durchführt, um die Manipulation des Objekts zu verbessern, wobei die Rückmeldung auf den Manipulationsdaten beruht, die dem empfangenen identifizierten Objekt der Wissensdatenbank entsprechen, und die Rückmeldung sensorische Daten von Sensoren beinhaltet, die mit der Manipulationseinheit verbunden sind, sowie eine Bildrückmeldung der Manipulationseinheit von einer oder mehreren Kameras (170, 187), die die Manipulationseinheit während der Manipulation des Objekts sehen; einen oder mehrere Prozessoren (404), die maschinelles Lernen (345) in Verbindung mit der Manipulation des Objekts auf Grundlage der Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von den Sensoren, die mit der Manipulationseinheit verbunden sind, und der Bildrückmeldung von der oder den mehreren Kameras, die die Manipulationseinheit während der Manipulation des Objekts sehen, durchführen; und einen oder mehrere Prozessoren (404), die die Manipulationsdaten für das Objekt auf Grundlage des maschinellen Lernens anpassen, das für die Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts angewendet wird, sowie der Rückmeldung der sensorischen Daten von den Sensoren, die mit der Manipulationseinheit verbunden sind, und der Bildrückmeldung der Manipulationseinheit von der oder den mehreren Kameras, die die Manipulationseinheit während der Manipulation des Objekts sehen.
Verfahren nach Anspruch 1, wobei das Objekt von einem Benutzer einer Protheseneinheit ausgewählt wird und ein identifiziertes Objekt der Mehrzahl von identifizierten Objekten der Wissensdatenbank Bildattribute beinhaltet und wobei der Schritt eines Übermittels von Manipulationsdaten durch den oder die mehreren Prozessoren aufweist, dass Manipulationsdaten, die den Bildattributdaten des identifizierten Objekts entsprechen, das mit dem ausgewählten Objekt übereinstimmt, an die mobile Steuereinheit übermittelt werden, wobei die mobile Einheit zum Zwecke der Datenübertragung mit der Protheseneinheit verbunden ist, wobei die mobile Steuereinheit die Manipulationsdaten, die dem identifizierten Objekt entsprechen, bei der Protheseneinheit anwendet.
Verfahren nach Anspruch 6, das weiterhin aufweist: einen oder mehrere Prozessoren (404), die Bilddaten der Richtung des Augenfokus, des Gesichtsausdrucks und der Körperbewegung des Benutzers der Protheseneinheit von einer oder mehreren Kameras (170, 187) empfangen, wobei sich die Bilddaten von Augenfokus, Gesichtsausdruck und Körperbewegung auf ein Objekt im Sichtfeld des Benutzers beziehen; einen oder mehrere Prozessoren (404), die ein Bild des Objekts im Sichtfeld des Benutzers der Protheseneinheit empfangen; und einen oder mehrere Prozessoren (404), die auf Grundlage der Bilddaten von Augenfokus, Gesichtsausdruck und Körperbewegung des Benutzers feststellen, dass das Objekt im Sichtfeld des Benutzers der Protheseneinheit das vom Benutzer ausgewählte Objekt ist.
Verfahren nach Anspruch 6, das weiterhin aufweist: einen oder mehrere Prozessoren (404), die eine Rückmeldung der Protheseneinheit empfangen (340), die die Manipulation des Objekts auf Grundlage der Manipulationsdaten des identifizierten Objekts der Wissensdatenbank durchführt, wobei die Rückmeldung sensorische Daten von der Protheseneinheit und eine Bildrückmeldung des Benutzers während der Manipulation des ausgewählten Objekts beinhaltet; einen oder mehrere Prozessoren (404), die maschinelles Lernen (345) in Verbindung mit der Manipulation des ausgewählten Objekts auf Grundlage der Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Protheseneinheit und der Rückmeldung des Benutzers während der Manipulation des ausgewählten Objekts durchführen; und einen oder mehrere Prozessoren, die die Manipulationsdaten für das ausgewählte Objekt auf Grundlage des Durchführens von maschinellem Lernen in Verbindung mit den Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Protheseneinheit und der Rückmeldung des Benutzers während der Manipulation des ausgewählten Objekts anpassen.
Verfahren nach Anspruch 8, wobei die für das ausgewählte Objekt angepassten Manipulationsdaten zu einer zweiten Wissensdatenbank (120) hinzugefügt werden, die speziell für den Benutzer und die Protheseneinheit des Benutzers angepasste Manipulationsdaten aufweist.
Verfahren nach Anspruch 6, wobei ein oder mehrere Prozessoren (404) feststellen, dass das ausgewählte Objekt nicht mit einem identifizierten Objekt der Wissensdatenbank übereinstimmt, die eine Mehrzahl von identifizierten Objekten beinhaltet, wobei ein oder mehrere Prozessoren dem Benutzer der Protheseneinheit eine Mitteilung bereitstellen und eine oder mehrere Iterationen von nichtautomatischen Manipulationsdaten, die dem ausgewählten Objekt entsprechen, in die maschinelle Lernverarbeitung eingeben.
Verfahren nach Anspruch 6, wobei die Bilddaten von einer oder mehreren Kameras (170, 187) empfangen werden, die mit der Protheseneinheit und funktionsmäßig mit einem kognitiven System verbunden sind, das eine Bildanalyse der von der oder den mehreren Kameras empfangenen Bilddaten durchführt.
Verfahren nach Anspruch 6, wobei das Ermitteln einer Übereinstimmung zwischen dem vom Benutzer der Protheseneinheit ausgewählten Objekt und dem identifizierten Objekt der Wissensdatenbank ein Ermitteln beinhaltet, ob ein Vertrauensgrad des vom Benutzer der Protheseneinheit ausgewählten Objekts und des identifizierten Objekts der Wissensdatenbank einen zuvor festgelegten Schwellenwert überschreitet.
Verfahren (300), das aufweist: einen oder mehrere Prozessoren (404), die Bilddaten eines Objekts (190) empfangen, das von einem Benutzer einer Protheseneinheit ausgewählt wurde; einen oder mehrere Prozessoren (404), die Bildattribute des ausgewählten Objekts auf Grundlage einer Bildanalyse der Bilddaten ermitteln (310); einen oder mehrere Prozessoren (404), die ermitteln (315, 325; 315, 325), ob die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt einer Wissensdatenbank (110, 120; 110, 120) übereinstimmen, die eine Mehrzahl von identifizierten Objekten beinhaltet, wobei ein identifiziertes Objekt der Mehrzahl von identifizierten Objekten der Wissensdatenbank Bildattribute und Manipulationsdaten enthält, die dem identifizierten Objekt entsprechen; und als Reaktion auf ein Feststellen (315; 235; 315, 325), dass die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt der Wissensdatenbank übereinstimmen, einen oder mehrere Prozessoren (404), die Manipulationsdaten, die den Bildattributdaten des identifizierten Objekts entsprechen, das mit dem ausgewählten Objekt übereinstimmt, an eine mobile Steuereinheit (140) übermitteln, die zum Zwecke der Datenübertragung mit der Protheseneinheit verbunden ist, wobei die mobile Steuereinheit die Manipulationsdaten, die dem identifizierten Objekt entsprechen, bei der Protheseneinheit zu deren Manipulation (335) anwendet.
Verfahren nach Anspruch 13, das weiterhin aufweist: einen oder mehrere Prozessoren (404), die Bilddaten der Richtung des Augenfokus, des Gesichtsausdrucks und der Körperbewegung des Benutzers der Protheseneinheit von einer oder mehreren Kameras (170, 187) empfangen, wobei sich die Bilddaten von Augenfokus, Gesichtsausdruck und Körperbewegung auf ein Objekt im Sichtfeld des Benutzers beziehen; einen oder mehrere Prozessoren (404), die ein Bild des Objekts im Sichtfeld des Benutzers der Protheseneinheit empfangen; und einen oder mehrere Prozessoren (404), die auf Grundlage der Bilddaten von Augenfokus, Gesichtsausdruck und Körperbewegung des Benutzers feststellen, dass das Objekt im Sichtfeld des Benutzers der Protheseneinheit das vom Benutzer ausgewählte Objekt ist.
Verfahren nach Anspruch 13, das weiterhin aufweist: einen oder mehrere Prozessoren (404), die eine Rückmeldung der Protheseneinheit empfangen (340), die die Manipulation des Objekts auf Grundlage der Manipulationsdaten des identifizierten Objekts der Wissensdatenbank durchführt, wobei die Rückmeldung sensorische Daten von der Protheseneinheit und eine Bildrückmeldung des Benutzers während der Manipulation des ausgewählten Objekts beinhaltet; einen oder mehrere Prozessoren (404), die maschinelles Lernen (345) in Verbindung mit der Manipulation des ausgewählten Objekts auf Grundlage der Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Protheseneinheit und der Rückmeldung des Benutzers während der Manipulation des ausgewählten Objekts durchführen; und einen oder mehrere Prozessoren (404), die die Manipulationsdaten für das ausgewählte Objekt auf Grundlage des Durchführens von maschinellem Lernen in Verbindung mit den Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Protheseneinheit und der Rückmeldung des Benutzers während der Manipulation des ausgewählten Objekts anpassen.
Verfahren nach Anspruch 15, wobei die für das ausgewählte Objekt angepassten Manipulationsdaten zu einer zweiten Wissensdatenbank (120) hinzugefügt werden, die speziell für den Benutzer und die Protheseneinheit des Benutzers angepasste Manipulationsdaten aufweist.
Verfahren nach Anspruch 13, wobei ein oder mehrere Prozessoren (404) feststellen, dass das ausgewählte Objekt nicht mit einem identifizierten Objekt der Wissensdatenbank übereinstimmt, die eine Mehrzahl von identifizierten Objekten beinhaltet, wobei ein oder mehrere Prozessoren dem Benutzer der Protheseneinheit eine Mitteilung bereitstellen und eine oder mehrere Iterationen von nichtautomatischen Manipulationsdaten, die dem ausgewählten Objekt entsprechen, in die maschinelle Lernverarbeitung eingeben.
Verfahren nach Anspruch 13, wobei die Bilddaten von einer oder mehreren Kameras (170, 187) empfangen werden, die mit der Protheseneinheit und funktionsmäßig mit einem kognitiven System verbunden sind, das eine Bildanalyse der von der oder den mehreren Kameras empfangenen Bilddaten durchführt.
Verfahren nach Anspruch 13, wobei das Ermitteln einer Übereinstimmung zwischen dem vom Benutzer der Protheseneinheit ausgewählten Objekt und dem identifizierten Objekt der Wissensdatenbank ein Ermitteln beinhaltet, ob ein Vertrauensgrad des vom Benutzer der Protheseneinheit ausgewählten Objekts und des identifizierten Objekts der Wissensdatenbank einen zuvor festgelegten Schwellenwert überschreitet.
Computerprogramm, das ein Programmcodemittel aufweist, das geeignet ist, das Verfahren der Ansprüche 1 bis 19 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
Computerprogrammprodukt, das aufweist: ein oder mehrere durch einen Computer (101; 405) lesbare Speichermedien mit darauf enthaltenen Programmanweisungen, wobei die Programmanweisungen durch einen Computerprozessor ausführbar sind, wobei die Programmanweisungen aufweisen: Programmanweisungen, um Bilddaten eines Objekts (190) zu empfangen, das von einem Benutzer einer Protheseneinheit ausgewählt wurde; Programmanweisungen, um Bildattribute des ausgewählten Objekts auf Grundlage einer Bildanalyse der Bilddaten zu ermitteln (310); Programmanweisungen, um zu ermitteln (315, 325; 315, 325), ob die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt einer Wissensdatenbank (110, 120; 110, 120) übereinstimmen, die eine Mehrzahl von identifizierten Objekten beinhaltet, wobei ein identifiziertes Objekt der Mehrzahl von identifizierten Objekten der Wissensdatenbank Bildattribute und Manipulationsdaten enthält, die dem identifizierten Objekt entsprechen; und als Reaktion auf ein Feststellen (315, 325; 315, 325), dass die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt der Wissensdatenbank übereinstimmen, Programmanweisungen, um Manipulationsdaten, die dem identifizierten Objekt entsprechen, das mit den Bildattributdaten des ausgewählten Objekts übereinstimmt, an eine mobile Steuereinheit (140) zu übermitteln, die zum Zwecke der Datenübertragung mit der Protheseneinheit verbunden ist, wobei die mobile Steuereinheit die Manipulationsdaten, die dem identifizierten Objekt entsprechen, bei der Protheseneinheit zu deren Manipulation (335) anwendet.
Computerprogrammprodukt nach Anspruch 21, das weiterhin aufweist: Programmanweisungen, um Bilddaten der Richtung des Augenfokus, des Gesichtsausdrucks und der Körperbewegung eines Benutzers einer Protheseneinheit von einer oder mehreren Kameras (170, 187) zu empfangen, wobei sich die Bilddaten von Augenfokus, Gesichtsausdruck und Körperbewegung auf ein Objekt im Sichtfeld des Benutzers beziehen; Programmanweisungen, um ein Bild des Objekts im Sichtfeld des Benutzers zu empfangen; und Programmanweisungen, um auf Grundlage der Bilddaten von Augenfokus, Gesichtsausdruck und Körperbewegung des Benutzers festzustellen, dass das Objekt im Sichtfeld des Benutzers das vom Benutzer ausgewählte Objekt ist.
Computerprogrammprodukt nach Anspruch 21, das weiterhin aufweist: Programmanweisungen, um eine Rückmeldung der Protheseneinheit zu empfangen (340), die die Manipulation des ausgewählten Objekts auf Grundlage der Manipulationsdaten des identifizierten Objekts der Wissensdatenbank durchführt, wobei die Rückmeldung sensorische Daten von der Protheseneinheit und eine Bildrückmeldung des Benutzers während der Manipulation des ausgewählten Objekts beinhaltet; Programmanweisungen, um maschinelles Lernen (345) in Verbindung mit der Manipulation des ausgewählten Objekts auf Grundlage der Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Protheseneinheit und der Rückmeldung des Benutzers während der Manipulation des ausgewählten Objekts durchzuführen; und Programmanweisungen, um die Manipulationsdaten für das ausgewählte Objekt auf Grundlage eines Durchführens von maschinellem Lernen in Verbindung mit den Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Protheseneinheit und des Benutzers während der Manipulation des ausgewählten Objekts anzupassen.
Computerprogrammprodukt nach Anspruch 23, wobei die für das ausgewählte Objekt angepassten Manipulationsdaten zu einer zweiten Wissensdatenbank hinzugefügt werden, die speziell für den Benutzer und eine bestimmte Protheseneinheit des Benutzers angepasste Manipulationsdaten aufweist.
Computerprogrammprodukt nach Anspruch 21, das als Reaktion auf ein Feststellen durch Programmanweisungen, dass das ausgewählte Objekt nicht mit einem identifizierten Objekt der Wissensdatenbank übereinstimmt, die eine Mehrzahl von identifizierten Objekten beinhaltet, Programmanweisungen aufweist, um dem Benutzer der Protheseneinheit eine Mitteilung bereitzustellen und eine oder mehrere Iterationen von nichtautomatischen Manipulationsdaten, die dem ausgewählten Objekt entsprechen, für die maschinelle Lernverarbeitung einzugeben.
Computerprogrammprodukt nach Anspruch 21, wobei die Bilddaten von einer oder mehreren Kameras (170, 187) empfangen werden, die mit der Protheseneinheit und funktionsmäßig mit einem kognitiven System verbunden sind, das eine Bildanalyse der von der oder den mehreren Kameras empfangenen Bilddaten durchführt.
Computerprogrammprodukt nach Anspruch 21, wobei Programmanweisungen, um eine Übereinstimmung zwischen dem ausgewählten Objekt und dem identifizierten Objekt der Wissensdatenbank zu ermitteln, Programmanweisungen beinhalten, um zu ermitteln, ob ein Vertrauensgrad des ausgewählten Objekts und des identifizierten Objekts der Wissensdatenbank einen zuvor festgelegten Schwellenwert überschreitet.
Computersystem (101; 405), das aufweist: einen oder mehrere Computerprozessoren (404); ein oder mehrere durch einen Computer lesbare Speichermedien (408); Programmanweisungen, die auf dem oder den mehreren durch einen Computer lesbaren Speichermedien zum Ausführen durch den einen Prozessor und/oder die mehreren Prozessoren gespeichert sind, wobei die Programmanweisungen aufweisen: Programmanweisungen, um eine Eingabe zu empfangen, die Bilddaten eines Objekts (160; 190) enthält; Programmanweisungen, um Bildattribute des Objekts auf Grundlage einer Bildanalyse der Bilddaten des Objekts zu ermitteln; Programmanweisungen, um zu ermitteln (315, 325; 315, 325), ob die Bildattribute des Objekts mit einem identifizierten Objekt einer Wissensdatenbank (110; 120; 120, 110) übereinstimmen, die eine Mehrzahl von identifizierten Objekten und Manipulationsdaten enthält, die jeweils der Mehrzahl von identifizierten Objekten entsprechen; und als Reaktion auf ein Feststellen (315, 325; 315, 325), dass die Bildattribute des Objekts mit dem identifizierten Objekt der Wissensdatenbank übereinstimmen, Programmanweisungen, um Manipulationsdaten, die dem identifizierten Objekt der Wissensdatenbank entsprechen, an eine mobile Steuereinheit (140) zu übermitteln, zur Manipulation (335) des Objekts mit den Manipulationsdaten.
Computersystem nach Anspruch 28, wobei das Objekt von einem Benutzer einer Protheseneinheit ausgewählt wird und ein identifiziertes Objekt der Mehrzahl von identifizierten Objekten der Wissensdatenbank Bildattribute enthält und wobei die Programmanweisungen zum Übermitteln von Manipulationsdaten Programmanweisungen aufweisen, um Manipulationsdaten, die den Bildattributdaten des identifizierten Objekts entsprechen, das mit dem ausgewählten Objekt übereinstimmt, an die mobile Steuereinheit zu übermitteln, wobei die mobile Einheit zum Zwecke der Datenübertragung mit der Protheseneinheit verbunden ist, wobei die mobile Steuereinheit die Manipulationsdaten, die dem identifizierten Objekt entsprechen, bei der Protheseneinheit anwendet.
Computersystem nach Anspruch 29, das weiterhin aufweist: Programmanweisungen, um Bilddaten einer Richtung des Augenfokus, des Gesichtsausdrucks und der Körperbewegung eines Benutzers einer Protheseneinheit von einer oder mehreren Kameras (170, 187) zu empfangen, wobei sich die Bilddaten von Augenfokus, Gesichtsausdruck und Körperbewegung auf ein Objekt im Sichtfeld des Benutzers beziehen; Programmanweisungen, um ein Bild des Objekts im Sichtfeld des Benutzers zu empfangen; und Programmanweisungen, um auf Grundlage der Bilddaten von Augenfokus, Gesichtsausdruck und Körperbewegungen des Benutzers festzustellen, dass das Objekt im Sichtfeld des Benutzers das ausgewählte Objekt ist.
Computersystem nach Anspruch 29, das weiterhin aufweist: Programmanweisungen, um eine Rückmeldung der Protheseneinheit zu empfangen (340), die die Manipulation des ausgewählten Objekts auf Grundlage der Manipulationsdaten des identifizierten Objekts der Wissensdatenbank durchführt, wobei die Rückmeldung sensorische Daten von der Protheseneinheit und eine Bildrückmeldung des Benutzers während der Manipulation des ausgewählten Objekts beinhaltet; Programmanweisungen, um maschinelles Lernen (345) in Verbindung mit der Manipulation des ausgewählten Objekts auf Grundlage der Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Protheseneinheit und der Rückmeldung des Benutzers während der Manipulation des ausgewählten Objekts durchzuführen; und Programmanweisungen, um die Manipulationsdaten für das ausgewählte Objekt auf Grundlage des Durchführens von maschinellem Lernen in Verbindung mit den Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Protheseneinheit und des Benutzers während der Manipulation des ausgewählten Objekts anzupassen.
Computersystem nach Anspruch 31, wobei die für das ausgewählte Objekt angepassten Manipulationsdaten zu einer zweiten Wissensdatenbank (120) hinzugefügt werden, die speziell für den Benutzer und die Protheseneinheit des Benutzers angepasste Manipulationsdaten aufweist.
Computersystem nach Anspruch 29, wobei die Bilddaten von einer oder mehreren Kameras (170, 187) empfangen werden, die mit der Protheseneinheit und funktionsmäßig mit einem kognitiven System verbunden sind, das eine Bildanalyse der von der oder den mehreren Kameras empfangenen Bilddaten durchführt.
Computersystem nach Anspruch 29, wobei Programmanweisungen, um eine Übereinstimmung zwischen dem ausgewählten Objekt und dem identifizierten Objekt der Wissensdatenbank zu ermitteln, Programmanweisungen beinhalten, um zu ermitteln, ob ein Vertrauensgrad des ausgewählten Objekts und des identifizierten Objekts der Wissensdatenbank einen zuvor festgelegten Schwellenwert überschreitet.
Computersystem (101; 405), das aufweist: einen oder mehrere Computerprozessoren (404); ein oder mehrere durch einen Computer lesbare Speichermedien (408); Programmanweisungen, die auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien zum Ausführen durch den einen Prozessor und/oder die mehreren Prozessoren gespeichert sind, wobei die Programmanweisungen aufweisen: Programmanweisungen, um Bilddaten eines Objekts (190) zu empfangen, das von einem Benutzer einer Protheseneinheit ausgewählt wurde; Programmanweisungen, um Bildattribute des ausgewählten Objekts auf Grundlage einer Bildanalyse der Bilddaten zu ermitteln; Programmanweisungen, um zu ermitteln (315, 325; 315, 325), ob die Bildattribute des ausgewählten Objekts mit einem identifizierten Objekt einer Wissensdatenbank übereinstimmen, die eine Mehrzahl von identifizierten Objekten enthält, wobei ein identifiziertes Objekt der Mehrzahl von identifizierten Objekten der Wissensdatenbank Bildattribute und Manipulationsdaten enthält, die dem identifizierten Objekt entsprechen; und als Reaktion auf ein Feststellen (315, 325; 315, 325), dass das ausgewählte Objekt mit einem identifizierten Objekt der Wissensdatenbank übereinstimmt, Programmanweisungen, um Manipulationsdaten, die dem identifizierten Objekt entsprechen, das mit dem vom Benutzer ausgewählten Objekt übereinstimmt, an eine mobile Steuereinheit (140) zu übermitteln, die zum Zwecke der Datenübertragung mit der Protheseneinheit verbunden ist, wobei die mobile Steuereinheit die Manipulationsdaten, die dem identifizierten Objekt entsprechend, bei der Protheseneinheit zu deren Manipulation (335) anwendet.
Computersystem nach Anspruch 35, das weiterhin aufweist: Programmanweisungen, um Bilddaten einer Richtung des Augenfokus, des Gesichtsausdrucks und der Körperbewegung eines Benutzers einer Protheseneinheit von einer oder mehreren Kameras (170, 187) zu empfangen, wobei sich die Bilddaten von Augenfokus, Gesichtsausdruck und Körperbewegung auf ein Objekt im Sichtfeld des Benutzers beziehen; Programmanweisungen, um ein Bild des Objekts im Sichtfeld des Benutzers zu empfangen; und Programmanweisungen, um auf Grundlage der Bilddaten von Augenfokus, Gesichtsausdruck und Körperbewegung des Benutzers festzustellen, dass das Objekt im Sichtfeld des Benutzers das ausgewählte Objekt ist.
Computersystem nach Anspruch 35, das weiterhin aufweist: Programmanweisungen, um eine Rückmeldung der Protheseneinheit zu empfangen (340), die die Manipulation des ausgewählten Objekts auf Grundlage der Manipulationsdaten des identifizierten Objekts der Wissensdatenbank durchführt, wobei die Rückmeldung sensorische Daten von der Protheseneinheit und eine Bildrückmeldung des Benutzers während der Manipulation des ausgewählten Objekts beinhaltet; Programmanweisungen, um maschinelles Lernen (345) in Verbindung mit der Manipulation des ausgewählten Objekts auf Grundlage der Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Protheseneinheit und der Rückmeldung des Benutzers während der Manipulation des ausgewählten Objekts durchzuführen; und Programmanweisungen, um die Manipulationsdaten für das ausgewählte Objekt auf Grundlage des Durchführens von maschinellem Lernen in Verbindung mit den Manipulationsdaten des von der Wissensdatenbank empfangenen identifizierten Objekts, der Rückmeldung der sensorischen Daten von der Protheseneinheit und des Benutzers während der Manipulation des ausgewählten Objekts anzupassen.
Computersystem nach Anspruch 37, wobei die für das ausgewählte Objekt angepassten Manipulationsdaten zu einer zweiten Wissensdatenbank (120) hinzugefügt werden, die speziell für den Benutzer und die Protheseneinheit des Benutzers angepasste Manipulationsdaten aufweist.
Computersystem nach Anspruch 35, wobei die Bilddaten von einer oder mehreren Kameras (170, 187) empfangen werden, die mit der Protheseneinheit und funktionsmäßig mit einem kognitiven System verbunden sind, das eine Bildanalyse der von der oder den mehreren Kameras empfangenen Bilddaten durchführt.
Computersystem nach Anspruch 35, wobei Programmanweisungen zum Ermitteln einer Übereinstimmung zwischen dem ausgewählten Objekt und dem identifizierten Objekt der Wissensdatenbank Programmanweisungen beinhalten, um zu ermitteln, ob ein Vertrauensgrad des ausgewählten Objekts und des identifizierten Objekts der Wissensdatenbank einen zuvor festgelegten Schwellenwert überschreitet.