DE102022112703A1

DE102022112703A1 - Multimodale absichtserkennung für telepräsenzroboter

Info

Publication number: DE102022112703A1
Application number: DE102022112703.6A
Authority: DE
Inventors: Sangeeta Manepalli; Siew Wen Chin
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2021-06-23
Filing date: 2022-05-20
Publication date: 2022-12-29
Also published as: US20210316462A1

Abstract

Hier werden Systeme und Verfahren zur Steuerung eines Telepräsenzroboters, manchmal auch als Empfänger bezeichnet, offenbart. Die Systeme und Verfahren können das Erhalten von Umgebungsdaten umfassen, die mit dem Empfänger und/oder einem Bediener des Telepräsenzroboters, manchmal auch als Sender bezeichnet, zugeordnet sind. Ein Modell, das eine menschliche Absicht definiert, kann empfangen werden, und eine Absicht eines Menschen in der Nähe des Empfängers und/oder des Senders kann anhand des Modells bestimmt werden. Ein erstes Signal kann an den Empfänger übertragen werden. Das erste Signal kann wirksam sein, den Empfänger dazu zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Menschen und/oder des Senders zu ändern.

Description

GEBIET DER OFFENBARUNG
Der vorliegende Gegenstand bezieht sich auf Telepräsenzroboter. Speziell bezieht sich die vorliegende Offenbarung auf die multimodale Absichtserkennung zur Unterstützung nahtloser Navigation und auto-visueller (AV) Erfahrungen für Telepräsenzroboter.
Hintergrund
In der sich ständig wandelnden Arbeitswelt von heute arbeiten die Menschen immer häufiger aus der Ferne. Die Arbeit aus der Ferne bringt neue Herausforderungen mit sich, da die Menschen nicht mehr in der Nähe zueinander sind. Die fehlende Nähe kann zu Missverständnissen führen, weil man nicht in der Lage ist, die Emotionen und andere soziale Signale anderer zu beurteilen. Ein Telepräsenzroboter kann ein Roboter sein, der von einem Benutzer gesteuert wird, um es dem Benutzer zu ermöglichen, andere einzubeziehen, während sich der Benutzer an einem anderen Ort befindet. Kurz gesagt, ein Telepräsenzroboter ermöglicht es einem Benutzer, an einem Ort anwesend zu sein, während dies dem Benutzer gewissermaßen ermöglicht, besser mit anderen zu interagieren, als wäre der Benutzer physisch an dem Ort anwesend.
Figurenliste
In den Zeichnungen, die nicht zwingend maßstabsgetreu sind, können gleiche Bezugszeichen ähnliche Komponenten in unterschiedlichen Ansichten beschreiben. Gleiche Bezugszeichen, die unterschiedliche Buchstabenendungen aufweisen, können unterschiedliche Beispiele ähnlicher Komponenten repräsentieren. Die Zeichnungen stellen im Allgemeinen beispielhaft, aber nicht einschränkend, verschiedene, in dem vorliegenden Dokument erörterte Ausführungsbeispiele dar.

1 zeigt ein Beispielsystem gemäß zumindest einem Beispiel dieser Offenbarung.
2 zeigt ein Beispielverfahren gemäß zumindest einem Beispiel dieser Offenbarung.
3 zeigt ein Beispielverfahren gemäß zumindest einem Beispiel dieser Offenbarung.
4 zeigt ein Beispielverfahren gemäß zumindest einem Beispiel dieser Offenbarung.
5 zeigt ein Blockdiagramm, das eine Beispielmaschine veranschaulicht, auf der irgendeine eine oder mehrere der hierin erörterten Techniken (z. B. Methodologien) gemäß zumindest einem Beispiel dieser Offenbarung ausgeführt werden können.

Detaillierte Beschreibung
Menschen sind in der Lage, die Absichten anderer durch nonverbale Kommunikation, die Umgebungsveränderungen einbeziehen kann, zu antizipieren. Die Mensch-Roboter-Kollaboration, zum Beispiel über Telepräsenzroboter, in gemeinschaftlich verwendeter Autonomie kann Rückschlüsse auf die Absichten des menschlichen Partners erfordern, der manchmal als ein Sender oder Kollaborator (collaborator) bezeichnet wird. Die Autonomie muss möglicherweise das beabsichtigte Ziel des menschlichen Kollaborators korrekt vorhersagen und/oder ableiten, um sinnvolle Hilfe bereitzustellen. Der größte Teil des Menschliche-Absicht-Verstehens für die Mensch-Roboter-Kollaboration basiert jedoch ausschließlich auf der Kollaboratoranalytik (collaborator analytics), die manchmal auch als Minimal- oder Basisanalyse (minimal or basic analysis) bezeichnet wird, zum Beispiel visueller und/oder Sprachanalytik, weist aber keine Korrelation mit Umgebungsveränderungen im Umfeld der Autonomie auf. Dies kann dazu führen, dass eine realistische Antwort auf die menschliche Absicht verpasst wird.
Bezug nehmend auf die vorangehend erwähnten Herausforderungen ermöglichen die hierin offenbarten Systeme und Verfahren die Berücksichtigung von Sensordaten, semantischen Informationen, historischen Antwortreaktionen usw. für ein Bereitstellen einer gemeinschaftlich verwendeten Autonomie (z. B. wo ein Telepräsenzroboter autonom handeln kann, jedoch mit Eingabe von Umgebungsdaten). Die hierin offenbarten Systeme und Verfahren stellen die Abbildung von Benutzeraktionen des entfernten Benutzers (d. h. des Senders) bereit, wie beispielsweise Navigation, Sicht (Vision) und Sprache, zu Umgebungsdaten, um dem Sender Aktionen oder einen möglichen nächsten Satz von Aktionen nahezulegen. Die nahegelegten Aktionen können für das Publikum, das sich in der Nähe eines Telepräsenzroboters befindet, der hierin manchmal als ein Empfänger bezeichnet wird, förderlich sein, um die Standortpositionierung innerhalb eines Kollaborations-/Besprechungsraums, automatische Audio-/Video-(AV) Anpassungen an das unmittelbare Umfeld usw. zu optimieren.
Bei der herkömmlichen Navigation von Telepräsenzrobotern wird häufig vorab eine Abbildung in einen Speicher des Roboters geladen und der Sender kann ein Ziel auswählen. Der Roboter würde dann die schnellste Route wählen. Dies kann zwar die Laufzeit optimieren, aber die herkömmliche Navigation erfordert, dass der Roboter mögliche Navigationsrouten durch manuelles Training vorab erlernt oder mit diesen vorprogrammiert wird.
Wie hierin offenbart ermöglichen die hierin offenbarten Systeme und Verfahren die Verwendung von Sensoren und anderen Rückmeldeeingängen, um die Personendichte zu ermitteln, dynamische Routenänderungen aufgrund von Hindernissen, wie beispielsweise Wegen, die instandgesetzt werden oder anderweitig versperrt sind, zu identifizieren. Auf diese Weise können die Roboter ihre Wegplanung während der Fahrt feinabstimmen, ohne dass sie, wie bei der herkömmlichen Navigation von Telepräsenzrobotern, Routen vorinstalliert haben müssen.
Die hierin offenbarten Systeme und Verfahren ermöglichen eine multimodale Erkennung menschlicher Absichten, so dass Aktionen im Hinblick auf die Positionierung des Telepräsenzroboters, das Schwenken/Zoomen der Kamera, die automatische Anpassung von Audiomerkmalen usw. dynamisch in Echtzeit aktualisiert werden können. Sensorische Informationen können für das Umfeld sowohl des Roboters als auch des Senders erhalten werden. Diese sensorischen Daten können zwischen dem Ende-zu-Ende- (E2E-) Datenfluss (z. B. einem entfernten Server) oder am Senderende für ein Bereitstellen von Anregungen für die Bedienung des Roboters verarbeitet werden.
Wie hierin offenbart, kann die multimodale Erkennung menschlicher Absichten für Telepräsenzroboter ein besseres Gefühl der menschlichen Präsenz bereitstellen, um mit der Person aus der Ferne über den Telepräsenzroboter zu kommunizieren. Dies kann durch die Analyse bidirektionaler menschlicher Absichten erreicht werden, die der Umgebungsveränderung entsprechen können. Wie hierin offenbart, können Absichtserkennungs- und/oder -Abbildungsalgorithmen auch für Kollaborationsroboter verwendet werden.
Die vorangehende Erörterung soll einen Überblick über den Gegenstand der vorliegenden Patentanmeldung bereitstellen. Es ist nicht beabsichtigt, eine ausschließliche oder erschöpfende Erklärung bereitzustellen. Die nachstehende Beschreibung ist umfasst, um weitere Informationen bereitzustellen.
Bezugnehmend nun auf die Figuren, zeigt 1 ein System 100 für eine multimodale Erkennung menschlicher Absichten gemäß zumindest einem Beispiel dieser Offenbarung. Wie in 1 gezeigt, kann das System 100 einen menschlichen Kollaborator, der als Sender 102 bezeichnet wird, und eine entfernte autonome Vorrichtung, die als Empfänger 104 bezeichnet wird, umfassen. Beispiele für den Empfänger 104 umfassen, sind aber nicht beschränkt auf einen Telepräsenzroboter oder andere autonome Maschinen. Wie hierin offenbart, sind sowohl der Sender 102 als auch der Empfänger 104 zur multimodalen Datenerfassung unter Verwendung einer Vielzahl von Sensoren und anderer Datenerfassungsvorrichtungen in der Lage.
Der Sender 102 und der Empfänger 104 können über eine Menschliche-Absicht-Klassifikationskomponente 106 über ein Netzwerk kommunizieren. Die Menschliche-Absicht-Klassifikationskomponente 106 kann eine bidirektionale Komponente sein, die den Datenfluss sowohl zum als auch vom Sender 102 und Empfänger 104 ermöglicht. Unter Verwendung der Komponente zur Klassifizierung menschlicher Absichten 106 kann die Klassifizierung und Abbildung menschlicher Absichten erfolgen. Zum Beispiel kann, wie hierin offenbart, die Menschliche-Absicht-Klassifikation verwendet werden, um den Empfänger 104 dabei zu unterstützen, einem Publikum von Empfänger 104 sowie Sender 102 ein größeres Gefühl menschlicher Präsenz bereitzustellen.
Ein Beispielszenario kann eine Besprechung und/oder Kollaborationsveranstaltung umfassen. Andere Beispielszenarien können Einzelhandel, Gastgewerbe usw. umfassen, sind aber nicht darauf beschränkt. Wird das Besprechungsszenarios verwendet, kann der Sender 102 den Empfänger 104 durch eine Rechenvorrichtung 108 durch eine Umgebung, wie beispielsweise ein Büro, navigieren. Nicht einschränkende Beispiele für eine Rechenvorrichtung 108 können einen Computer, ein Smartphone, ein Tablet usw. umfassen. Der Sender 102 kann die Navigation des Empfängers 104 aus der Ferne steuern, um den Empfänger 104 zu einem Konferenzraum, einem Einzelbüro oder einem anderen Kollaborationsraum zu führen.
Wie hierin offenbart, kann sich der Empfänger 104, wenn der Empfänger 104 einen Raum abfährt, innerhalb des Kollaborationsbereichs mit Veränderungen von Video, Audio, Bewegung von anderen Teilnehmern usw. neu positionieren, um die Interaktion sowohl am Empfänger- als auch am Senderende zu unterstützen.
Die Menschliche-Absicht-Klassifikationskomponente 106 kann eine Komponente eines Netzwerks 110 sein, wobei es sich um eine Netzwerkschicht, einen Netzwerkrand oder eine Recheneinheit (compute) an der Netzwerkschicht handeln kann.
Das Netzwerk 110 kann in Verbindung mit der Menschliche-Absicht-Klassifikationskomponente 106 zusätzliche Möglichkeiten (capabilities) bereitstellen, die dem Sender 102 und/oder dem Empfänger 104 anderweitig möglicherweise nicht zur Verfügung stehen würden. Zum Beispiel kann das Netzwerk 110 größere Rechenressourcen aufweisen als der Empfänger 104 und die Rechenvorrichtung 108. Anders ausgedrückt, das Netzwerk 110, das sich zwischen Domänen von Sender 102 und Empfänger 104 befindet, um einen bidirektionalen Fluss von Daten bereitzustellen, um Kommunikationen zwischen sowohl dem Sender 102 als auch dem Empfänger 104 zu beschleunigen.
Die Menschliche-Absicht-Klassifikationskomponente 106 kann einen Bewegungskanal 111 benutzen, um eine bidirektionale Kommunikation zwischen dem Sender 102 und dem Empfänger 104 bereitzustellen. Die Menschliche-Absicht-Klassifikationskomponente 106 kann auch Eingaben aus Datenbanken 112 (einzeln als Datenbanken 112R und 112S bezeichnet) empfangen. Die Datenbanken 112 können durch Videovorrichtungen 114 (einzeln als Videovorrichtungen 114R und 114S bezeichnet) gesammelte Bilddaten, durch Audiovorrichtungen 116 (einzeln als Audiovorrichtungen 116R und 116S bezeichnet), tragbare Vorrichtungen (wearable devices) 118 (einzeln als tragbare Vorrichtungen 118R und 118S bezeichnet) und andere Eingabe-/Ausgabe- (I/O-) Vorrichtungen 120 (einzeln als I/O-Vorrichtungen 120R und 120S bezeichnet) gesammelte Audiosignale bereitstellen. Die Videovorrichtungen 114 und die Audiovorrichtungen 116 können auch Video- und Audiodaten rundsenden sowie Daten sammeln. Zum Beispiel können die Audiovorrichtungen 116 sowohl Lautsprecher als auch Mikrofone umfassen, um Tondaten sowohl zu sammeln als auch rundzusenden. Beispiele für andere I/O-Vorrichtungen 120 umfassen, sind aber nicht beschränkt auf Radiofrequenz-Sender, -Empfänger und/oder -Sendeempfänger, Laservorrichtungen, wie beispielsweise Lichtdetektions- und Abstandsmessungs- (LIDAR-; light detection and ranging) Vorrichtungen, und/oder akustische Vorrichtungen, die zum dreidimensionalen Abbilden von Räumen verwendet werden können. Unter Verwendung der verschiedenen I/O-Vorrichtungen 120 können dreidimensionale Projektionen eines Raums oder Bereichs erstellt und in eine zweidimensionale Ebene übersetzt werden, in der der Empfänger 104 dann navigieren kann. Die zweidimensionale Abbildung kann auch mit dem Sender 102 gemeinschaftlich verwendet werden, um eine Fernsteuerung des Empfängers 104 anstelle einer autonomen Steuerung oder als Ergänzung dazu zu ermöglichen.
Wie hierin offenbart, können die Videoquelle 114S, die Audioquelle 116S, die tragbare Vorrichtung 118S und die I/O-Vorrichtung 120S Umgebungsdaten sammeln, die dem Sender 102 zugeordnet sind. Die verschiedenen Komponenten der Daten können verwendet werden, um eine Absicht des Senders 102 zu bestimmen. Zum Beispiel kann ein Hintergrundrauschen in der Nähe des Senders 102 detektiert werden und eine Lautstärke, die Lautsprechern der Audiovorrichtung 116S zugeordnet ist, kann erhöht werden. Zusätzlich kann die Audiovorrichtung 116S Daten über Hintergrundrauschen an die Menschliche-Absicht-Klassifikationskomponente 106 senden, die die Daten verwenden kann, um das Hintergrundrauschen zu filtern oder anderweitig ein Rauschunterdrückungssignal an die Audiovorrichtung 116S zu senden, um den Sender 102 beim Hören von vom Empfänger 104 empfangenem Ton zu unterstützen. Das Gleiche kann mit dem Empfänger 104 erfolgen, der Audioinformationen an die Menschliche-Absicht-Klassifikationskomponente 106 sendet, um Hintergrundrauschen zu reduzieren oder die Audioqualität anderweitig zu verbessern.
Als weiteres Beispiel kann die Audiovorrichtung 116R ein Publikumsmitglied erfassen, das ein Schlüsselwort (z. B. „laut“, „lauter“ usw.) oder einen anderen Ausdruck sagt, was Schwierigkeiten beim Hören des Senders 102 anzeigt. Die Daten können an die Menschliche-Absicht-Klassifikationskomponente 106 übertragen werden, die eine Komponente eines Netzwerkrandes sein kann, zur Verarbeitung, um eine schnellere und verbesserte Kollaboration zu unterstützen sowie um Verzögerungs- und/oder Latenzzeiteffekte zu reduzieren. Sollte die Videovorrichtung 114S Bilder von Publikumsmitgliedern erfassen, die sich ständig die Ohren zuhalten, kann die Menschliche-Absicht-Klassifikationskomponente 106 ein Signal zum Verringern der Lautstärke an die Audiovorrichtung 116R senden. Bei einem anderen Beispiel kann, wenn der Empfänger 104 eine Geste/einen Blick/ein Verhalten von Publikumsmitgliedern detektiert, eine Empfindlichkeitseinstellung der Audiovorrichtung 116R verringert werden, da die Gesten/Verhalten implizieren, dass es die Absicht der Publikumsmitglieder ist, ein privateres Gespräch zu führen.
Als ein anderes Beispiel können, immer wenn die Absicht des Senders 102, ein Whiteboard (Weißwandtafel) zu betrachten, detektiert wird (z. B. Senderblick-/-gestennachführung), im Namen des Senders 102 Videoschwenk-/Zoom-Anfragen gestellt werden. Unter Verwendung anderer durch den Empfänger 104 gesammelter Daten kann eine Bestimmung der Distanz zwischen dem Empfänger 104 und dem Whiteboard mit den Zoom-Möglichkeiten der Videovorrichtung 114R berücksichtigt werden, um zu bestimmen, ob der Empfänger 104 sich für eine bessere optische Performance neu positionieren muss. Anders ausgedrückt, wenn die Menschliche-Absicht-Klassifikationskomponente 106 bestimmt, dass der Sender 102 eine bessere Sicht auf ein Whiteboard oder irgendein Objekt wünscht, kann sich der Empfänger 104 autonom neu positionieren, um eine bessere Sichtbarkeit ohne optische Verzerrung bereitzustellen. Optische-Zeichenerkennung- (OCR-; optical character recognition) Software und/oder Bildauflösungsstatistiken (z. B. Anzahl der Zeichen pro Pixel/Gesamtauflösung) können ebenfalls zum Identifizieren solcher Szenarien verwendet werden.
Für autonome Operationen kann der Sender 102 den Empfänger 104 anweisen, zu und von Besprechungsorten, Büros, Aufzügen usw. zu fahren (travel), ohne Eingaben vom Sender 102. Anders ausgedrückt kann das Netzwerk bei der Vorauswahl des Navigationsziels helfen oder den Empfänger 104 über die beste Route entscheiden lassen. Unter Verwendung der gesammelten Umgebungsdaten kann der Empfänger 104 die Route auf der Grundlage von Interaktionen mit Menschen oder anderen Objekten entlang der Route dynamisch anpassen. Zum Beispiel kann der Empfänger 104 Bilder von Menschen in der Nähe sammeln, die mobile Geräte fokussieren. Die Menschen bemerken den Empfänger 104 möglicherweise nicht. Um eine Kollision zu vermeiden, kann der Empfänger 104 von der Menschliche-Absicht-Klassifikationskomponente 106 Anweisungen zur Kursänderung empfangen.
Wie hierin offenbart, Video- (manchmal auch als Sicht bezeichnet), Audio-, RF- und/oder andere Sensoren, die verwendet werden können, um Daten zu sammeln, die zur Analyse menschlicher Absichten verwendet werden. Die verschiedenen im Laufe der Zeit gesammelten Daten können verwendet werden, um Modelle zur Erkennung menschlicher Absichten zu erzeugen und zu trainieren. Die Daten und Modelle können in einer Datenbank 122 gespeichert werden und die Menschliche-Absicht-Klassifikationskomponente 106 kann auf sie zugreifen. Die verschiedenen Daten können sowohl vom menschlichen Kollaborator (d. h. Sender 102) als auch von den Personen, die sich in der Nähe eines Telepräsenzroboters befinden (d. h. Empfänger 104), gesammelt werden.
Während der Navigation oder anderer Funktionen können die Sensorinformationen gesammelt werden. Unter Verwendung der Daten können die Modelle erzeugt und trainiert werden. Zusätzlich können die Daten während der Navigation in Verbindung mit den trainierten Modellen verwendet werden, um dem Sender 102 unterschiedliche Positionierungsoptionen zu empfehlen, indem dreidimensionale Routen auf einer zweidimensionalen Videozuspielung (video feed) abgebildet werden, die an den Sender 102 gesendet wird. Die Haltung und Kommunikationsweise des Empfängers 104 können ebenfalls adaptiv gemäß sowohl der erkannten menschlichen Absicht vom Senders 102 und Empfänger 104 durch die gesammelten Sensorinformationen angepasst werden.
Bezugnehmend nun auf 2 stellt 2 ein Verfahren 200 gemäß mindestens einem Beispiel dieser Offenbarung dar. Das Verfahren 200 kann in Schritt 202 beginnen, in dem eine Abbildung in einen Speicher eines Empfängers, wie beispielsweise des Empfängers 104, geladen werden kann. Die Abbildung kann eine zweidimensionale Darstellung eines Grundrisses eines Büroraums umfassen, wo der Empfänger arbeitet.
Sobald die Abbildung in den Speicher geladen ist, kann ein manuelles Trainieren der Route unter Verwendung einer „Folge mir“ („follow me“) -Führung (204) ausgeführt werden. Anders ausgedrückt, sobald die Abbildungen in den Empfänger geladen sind, kann der Empfänger dann einer Person folgen, um den Empfänger weiter zu trainieren. Dieses Training kann dem Empfänger helfen, Routendynamiken, Personendichtemuster usw. zu identifizieren, so dass der Empfänger Routen über die in den geladenen Abbildungen identifizierten Räume feinabstimmen kann.
Bezugnehmend nun auf 3 stellt 3 ein Verfahren 300 gemäß mindestens einem Beispiel dieser Offenbarung dar. Das Verfahren 300 kann in Schritt 302 beginnen, in dem Daten durch eine Rechenvorrichtung empfangen werden können, wie beispielsweise ein Computer-system 500, das in 5 offenbart ist, was die Menschliche-Absicht-Klassifikationskomponente 106 und den Bewegungskanal 111 implementieren kann. Zum Beispiel können Daten von mehreren Quellen, wie hierin offenbart, empfangen werden. Beispielsweise können Sensoren, wie beispielsweise im Hinblick auf 1 offenbart, Umgebungsdaten sammeln, die sowohl einem Sender, wie beispielsweise Sender 102, als auch einem Empfänger, wie beispielsweise Empfänger 104, zugeordnet sind. Die Umgebungsdaten können über ein Netzwerk gesendet werden, wie beispielsweise das Netzwerk 110 oder ein Netzwerk 526, das nachfolgend im Hinblick auf 5 offenbart wird.
Die empfangenen oder gesammelten Daten können biometrische Daten umfassen. Zum Beispiel kann der Sender eine getragene Vorrichtung (wearable), wie beispielsweise eine Smartwatch, tragen, die biometrische Daten aufzeichnen kann. Nicht einschränkende Beispiele für biometrische Daten können Herzfrequenz, Perspiration, Blutsauerstoffspiegel usw. umfassen. Andere Vorrichtungen, wie beispielsweise Kameras oder Audiovorrichtungen, können Augenbewegungen, Pupillenerweiterung, Armbewegungen und Rauschen, die vom Sender erzeugt werden, erfassen. Hintergrundrauschen, Temperatur und andere Umgebungsbedingungen können ebenfalls erfasst und an die Rechenvorrichtung gesendet werden.
Die dem Empfänger zugeordneten Umgebungsdaten können ebenfalls erfasst und an die Rechenvorrichtung gesendet werden. Zum Beispiel kann der Empfänger mit Sensoren zum Erfassen von Bewegungen von Menschen oder anderen Telepräsenzrobotern, die sich in der Nähe des Empfängers befinden, ausgestattet sein. Der Empfänger kann auch biometrische Daten von Menschen in der Nähe seines Standorts erfassen, indem er durch Teilnehmer über getragene Vorrichtungen oder andere Vorrichtungen gemeinschaftlich verwendete Daten erfasst.
Sobald die verschiedenen Daten empfangen werden, kann die Rechenvorrichtung eine Absicht eines oder mehrerer Menschen bestimmen (304). Zum Beispiel kann, als Teil des Empfangens der Daten, die Rechenvorrichtung ein oder mehrere Modelle vom Sender, vom Empfänger oder von einer entfernten Rechenvorrichtung empfangen haben. Die Rechenvorrichtung kann das Modell aus einer Datenbank oder einer anderen Datenstruktur, die auf einem lokalen Speicherungsmedium gespeichert ist, abgerufen haben. Unter Verwendung der Daten als Eingaben für das Modell kann die Rechenvorrichtung eine Absicht des Senders und/oder der Menschen, die sich in der Nähe des Empfängers befinden, bestimmen.
Die verschiedenen hierin offenbarten Modelle können ein oder mehrere statistische Modelle umfassen. Zum Beispiel kann auf der Grundlage eines bestimmten Datenpunkts oder einer Sammlung von Datenpunkten eine gegebene Absicht abgeleitet oder anderweitig vorhergesagt werden, für einen bestimmten Prozentsatz von Fällen. Zum Beispiel kann ein Mangel an Bewegung einer Person, die sich in der Nähe des Empfängers befindet, in 75 % der Zeit als eine Absicht abgeleitet werden, sich nicht aus dem Weg des Empfängers zu bewegen. Die verschiedenen Modelle können auch Konfidenzintervalle aufweisen, die ihnen zugeordnet sind. So kann beim Bestimmen einer Absicht einer Person das Konfidenzintervall als ein Kriterium für die Rangfolgeerstellung zu den Absichten verwendet werden, wenn mehr als eine Absicht abgeleitet werden kann. Wenn die Daten zum Beispiel anzeigen, dass die Absicht der Person „Absicht A“ mit einem Konfidenzintervall von 80 % und „Absicht B“ mit einem 60 %-Konfidenzintervall sein kann, kann Absicht A aufgrund des höheren Konfidenzintervalls als die bestimmte Absicht ausgewählt werden.
Die Modelle können eine Interaktion mit einem „stärkeren Gefühl der menschlichen Präsenz“ zwischen dem Sender und Menschen, die sich in der Nähe des Empfängers befinden, ermöglichen. Während sich der Sender zum Beispiel an einem anderen Ort befinden kann, wie beispielsweise in einer anderen Stadt, einem anderen Bundesland oder einem anderen Land, können die verschiedenen Daten in Verbindung mit den Modellen verwendet werden, so dass sich der Empfänger mehr wie der Sender verhält und/oder sich an die Umgebung anpasst, um es dem Sender zu ermöglichen, besser mit den Personen in Kontakt zu treten, die sich in der Nähe des Empfängers befinden.
Die Absicht des Senders kann sein, ein Whiteboard zu betrachten, das während einer Präsentation verwendet wird. Diese Absicht kann unter Verwendung von Bildern des Senders und ein Nachführen der Augenbewegungen bestimmt werden, um zu bestimmen, dass der Sender auf das Whiteboard blickt, das sich auf einem Anzeigebildschirm seines oder ihrer lokalen Rechenvorrichtung befindet. Andere beabsichtigte Verhalten können umfassen, dass Personen, die sich in der Nähe des Senders befinden, ein privateres Gespräch führen möchten. Diese Absicht kann durch eine Analyse der Lautstärke bestimmt werden, um zu bestimmen, dass die Personen flüstern. Andere Daten, die die Ableitung unterstützen können, könne umfassen, dass sich die Personen einander zuneigen. So können mehrere Datenpunkte in Verbindung mit ein oder mehreren Modellen zur Bestimmung der Absicht verwendet werden.
Sobald eine Absicht bestimmt ist, kann die Rechenvorrichtung ein oder mehrere Signale an den Sender und/oder Empfänger senden (306). Die Signale können wirksam sein, ein Verhalten eines Computers zu ändern, der vom Sender und/oder vom Empfänger verwendet wird. Zum Beispiel kann ein an den Sender gesendetes Signal eine dem Sender zugeordnete Videovorrichtung veranlassen, an einen bestimmten angezeigten Gegenstand heranzuzoomen oder von diesem wegzuzoomen. Ein an den Empfänger gesendetes Signal kann den Empfänger veranlassen, sich autonom neu zu positionieren, wie hierin offenbart.
Wie hierin offenbart, können Audiodaten in Schritt 302 empfangen werden. Die Absicht, die als den Daten entsprechend bestimmt wurde, kann sein, dass der Sender genauer zuhören möchte oder aufgrund von Hintergrundrauschen Schwierigkeiten beim Hören hat. So können die gesendeten Signale beim Sender und/oder beim Empfänger eine Audioänderung verursachen. Zum Beispiel kann das Signal die Lautstärkeeinstellung für einen Lautsprecher, der sich in der Nähe des Senders und/oder der Personen um den Empfänger befindet, auf der Grundlage von Hintergrundrauschen automatisch erhöhen oder verringern.
Audiodaten können Schlüsselwörter umfassen. Zum Beispiel eine Detektion von bestimmten Wörtern wie beispielsweise „lauter“ oder „laut“. Wenn ein Schlüsselwort allein oder in Verbindung mit anderen Daten gehört wird, kann die Lautsprecherlautstärke automatisch ohne Eingreifen des Senders angepasst werden.
Die Audiodaten können auch auf andere Weise verwendet werden. Zum Beispiel kann unter Verwendung visueller Daten bestimmt werden, dass der Sender zuhört, aber keine Notizen macht. So kann die Rechenvorrichtung eine Transkription des Gesprächs oder von Abschnitten des Gesprächs vorbereiten und die Transkription an den Sender übertragen. Die Transkription kann unter Verwendung von Optische-Zeichenerkennung- (OCR-) Techniken und visuellen, beispielsweise von einem Whiteboard gesammelten Daten, ergänzt werden, wie hierin offenbart.
Audioänderungen auf der Grundlage einer bestimmten Absicht am Senderende können durch eine tragbare Vorrichtung gesammelte Daten kombiniert mit durch den Empfänger empfangenen Daten zum Anpassen von Mikrofoneigenschaften umfassen. Um zum Beispiel die Audioqualität zu verbessern und/oder den Lautsprecher für den Empfang von Sprache vom entfernten Ende zu modifizieren, können die Mikrofoneinstellungen am Empfänger angepasst werden. Die Lautsprechereinstellungen (z. B. Höhen, Basis, Surround-Sound-Einstellungen usw.) für die Audiovorrichtungen der Sender können ebenfalls angepasst werden, um die Audioqualität zu verbessern. Zusätzliche Verbesserungen wie die Lautsprechertrennung, ausgeführt durch den Empfänger, können auch das gemeinschaftliche Verwenden unterschiedlicher Lautsprecherströme oder Sprache-zu-Text-Transformationen für eine verbesserte Kollaborationserfahrung unterstützen.
Videoänderungen können ebenfalls als Antwort auf die bestimmte Absicht implementiert werden. Zum Beispiel können automatische oder empfohlene Schwenk-/Zoom-Einstellungen ein Merkmal des Senders sein. In Fällen, in denen visuelle Hilfsmittel wie beispielsweise Whiteboards, physische Modelle oder andere Anzeigen für die Kollaboration verwendet werden, kann der Empfänger die Schwenk-/Zoom-Einstellungen anpassen, um dem Sender eine bessere Sicht zu ermöglichen.
OCR-Software, implementiert durch die Rechenvorrichtung, die am Netzwerkrand oder auf dem Roboter läuft, könnte versuchen, Zeichen auf dem Whiteboard vorzuverarbeiten und zu analysieren. Wenn die Ergebnisse unter einem bestimmten Genauigkeitsschwellenwert liegen, kann ein automatisches Schwenk-/Zoommerkmal auf der Grundlage mehrerer Niveaus implementiert werden (z. B. Ergebnis <30 %, Zoom = 30 %; Ergebnis <50 %, Zoom = 50 % usw.). Zusätzlich kann der Fokuspunkt des Whiteboards auf der Grundlage der per Geste/Blick detektierten Absicht sowohl von der Sender- als auch von der Empfängerseite angepasst werden. Zum Beispiel kann unter Verwendung der Objektnachführung und erfasster Bilder des Senders bestimmt werden, dass der Sender beabsichtigt, sich auf einen bestimmten Abschnitt des Whiteboards zu fokussieren. Unter Verwendung dieser Information kann der Empfänger Kameras einstellen, um den bestimmten Abschnitt des Whiteboards zu fokussieren, der für den Sender von Interesse ist.
Eine automatische Bildsammlung beim Verwenden eines Whiteboards kann ebenfalls ausgeführt werden. Zum Beispiel können Audio-Schlüsselwörter oder Aktionen, die von einer Person in der Nähe des Empfängers ausgeführt werden, eine Bildschirmaufnahme des Whiteboards auslösen. Die Bildschirmaufnahme kann ein Speichern verschiedener Einzelbilder einer Videozuspielung umfassen. Unter Verwendung verschiedener Einzelbilder aus der Videozuspielung kann die Rechenvorrichtung bestimmen, wenn eine Folie geändert wird oder ein Whiteboard gelöscht wird. Beispielsweise kann die Rechenvorrichtung Bildsubtraktion oder andere Bildvergleichsverfahren verwenden, um zu bestimmen, wann sich eine Mehrheit der Pixel, die mit Bildrahmen des Whiteboards zugeordnet sind, ändert. Nachdem die Veränderung bestimmt wurde, kann die Rechenvorrichtung ein Einzelbild des Videostroms (video stream) vor dem Bild, in dem die Veränderung detektiert wurde, speichern.
Der Empfänger kann auch Videos oder Standbilder auf der Grundlage von durch den Sender gemeinschaftlich verwendeten Inhalten an einen Bildschirm strömen lassen. Zum Beispiel kann der Empfänger über eine drahtlose Verbindung (z. B. Bluetooth) eine Verbindung zu einer Multimediavorrichtung oder einem elektronischen Whiteboard herstellen und sendet Medien auf der Grundlage einer Absicht des Senders. Zum Beispiel kann der Sender eine Whiteboard-App zum Strömen von Videos benutzen. Die Rechenvorrichtung kann bestimmen, dass der Sender beabsichtigt, sich auf einen bestimmten Abschnitt des Videos zu fokussieren, indem sie bestimmt, dass die Augen des Senders auf einen bestimmten Abschnitt (z. B. eine bestimmte Grafik oder ein Fensterzubehörgerät (Widget)) des Videos fokussiert sind.
Unter Verwendung der Audio- und Videodaten kann der Empfänger angepasst werden, falls irgendeine sensible Information gemeinschaftlich verwendet werden sollte und aufgrund einer am entfernten Ende identifizierten Störung oder Veränderung gestoppt oder entfernt werden muss. Zum Beispiel kann die Rechenvorrichtung auf der Grundlage der Audiodaten bestimmen, dass es in der Nähe des Senders, der möglicherweise zu Hause arbeitet, an einer Tür klopft, und die Veränderung kann sein, die Anzeige geschützter Informationen in einer durch den Sender gemeinschaftlich verwendeten Präsentation anzuhalten. Andere Veränderungen können umfassen, dass eine neue Person den Besprechungsraum betritt, was ein temporäres Anhalten einer Anzeige rechtfertigen kann usw.
Unter Verwendung biometrischer Daten, entweder allein oder in Verbindung mit Audio-/visuellen Daten, können Emotionsänderungen von Personen im Umfeld des Empfängers bestimmt werden. Zum Beispiel können unter Verwendung von nichtinvasiven Emotionserfassungsmechanismen, wie beispielsweise tragbaren Vorrichtungen, Herzschlag, Atmung usw. zusammen mit Gesten unter Verwendung von Beschleunigungssensoren und anderen Audio-/visuellen Verhalten detektiert werden. Diese emotionale Veränderung kann in ein Engagement-Niveau der Kollaboratoren übersetzt werden und dem Sender helfen, dementsprechend zu reagieren. Zum Beispiel können auf der Grundlage der Antwort eines Senderpublikums Bewegungstempo, Audioton, Gestik des Senders gemäß der Emotionsänderung am Sender-/Empfängerende angepasst werden.
Bezugnehmend nun auf 4, stellt 4 ein Verfahren 400 zur Neupositionierung eines Empfängers gemäß mindestens einem Beispiel dieser Offenbarung dar. Das Verfahren 400 kann in der Phase 202 beginnen, in der Daten durch eine Rechenvorrichtung empfangen werden können, wie beispielsweise ein Computersystem 600, das in 6 offenbart ist, was die Menschliche-Absicht-Klassifikationskomponente 106 und den Bewegungskanal 111 implementieren kann. Zum Beispiel können Daten von mehreren Quellen, wie hierin offenbart, empfangen werden. Beispielsweise können Sensoren, wie beispielsweise im Hinblick auf 1 offenbart, Umgebungsdaten sammeln, die sowohl einem Sender, wie beispielsweise Sender 102, als auch einem Empfänger, wie beispielsweise Empfänger 104, zugeordnet sind. Die Umgebungsdaten können über ein Netzwerk gesendet werden, wie beispielsweise das Netzwerk 110 oder ein Netzwerk 626, das nachfolgend im Hinblick auf 6 offenbart wird.
Die empfangenen oder gesammelten Daten können biometrische Daten umfassen. Zum Beispiel kann der Sender eine getragene Vorrichtung, wie beispielsweise eine Smartwatch, tragen, die biometrische Daten aufzeichnen kann. Nicht einschränkende Beispiele für biometrische Daten können Herzfrequenz, Perspiration, Blutsauerstoffspiegel usw. umfassen. Andere Vorrichtungen, wie beispielsweise Kameras oder Audiovorrichtungen, können Augenbewegungen, Pupillenerweiterung, Armbewegungen und Rauschen, die vom Sender erzeugt werden, erfassen. Hintergrundrauschen, Temperatur und andere Umgebungsbedingungen können ebenfalls erfasst und an die Rechenvorrichtung gesendet werden.
Die dem Empfänger zugeordneten Umgebungsdaten können ebenfalls erfasst und an die Rechenvorrichtung gesendet werden. Zum Beispiel kann der Empfänger mit Sensoren zum Erfassen von Bewegungen von Menschen oder anderen Telepräsenzrobotern, die sich in der Nähe des Empfängers befinden, ausgestattet sein. Der Empfänger kann auch biometrische Daten von Menschen in der Nähe seines Standorts erfassen, indem er durch Teilnehmer über getragene Vorrichtungen oder andere Vorrichtungen gemeinschaftlich verwendete Daten erfasst.
Sobald die verschiedenen Daten empfangen werden, kann die Rechenvorrichtung eine Absicht eines oder mehrerer Menschen bestimmen (404). Zum Beispiel kann, als Teil des Empfangens der Daten, die Rechenvorrichtung ein oder mehrere Modelle vom Sender, vom Empfänger oder von einer entfernten Rechenvorrichtung empfangen haben. Die Rechenvorrichtung kann das Modell aus einer Datenbank oder einer anderen Datenstruktur, die auf einem lokalen Speicherungsmedium gespeichert ist, abgerufen haben. Unter Verwendung der Daten als Eingaben für das Modell kann die Rechenvorrichtung eine Absicht des Senders und/oder der Menschen, die sich in der Nähe des Empfängers befinden, bestimmen.
Die verschiedenen hierin offenbarten Modelle können ein oder mehrere statistische Modelle umfassen. Zum Beispiel kann auf der Grundlage eines bestimmten Datenpunkts oder einer Sammlung von Datenpunkten eine gegebene Absicht abgeleitet oder anderweitig vorhergesagt werden für einen bestimmten Prozentsatz von Fällen. Zum Beispiel kann ein Mangel an Bewegung einer Person, die sich in der Nähe des Empfängers befindet, in 75 % der Zeit als eine Absicht abgeleitet werden, sich nicht aus dem Weg des Empfängers zu bewegen. Die verschiedenen Modelle können auch Konfidenzintervalle aufweisen, die ihnen zugeordnet sind. So kann beim Bestimmen einer Absicht einer Person das Konfidenzintervall als ein Kriterium für die Rangfolgeerstellung zu den Absichten verwendet werden, wenn mehr als eine Absicht abgeleitet werden kann. Wenn die Daten zum Beispiel anzeigen, dass die Absicht der Person „Absicht A“ mit einem Konfidenzintervall von 80 % und „Absicht B“ mit einem 60 %-Konfidenzintervall sein kann, kann Absicht A aufgrund des höheren Konfidenzintervalls als die bestimmte Absicht ausgewählt werden.
Die Modelle können eine Interaktion mit einem „stärkeren Gefühl der menschlichen Präsenz“ zwischen dem Sender und Menschen in der Nähe des Empfängers ermöglichen. Während sich der Sender zum Beispiel an einem anderen Ort befinden kann, wie beispielsweise in einer anderen Stadt, einem anderen Bundesland oder einem anderen Land, können die verschiedenen Daten in Verbindung mit den Modellen verwendet werden, so dass sich der Empfänger mehr wie der Sender verhält und/oder sich an die Umgebung anpasst, um es dem Sender zu ermöglichen, besser mit den Personen in Kontakt zu treten, die sich in der Nähe des Empfängers befinden.
Sobald eine Absicht bestimmt ist, kann die Rechenvorrichtung ein oder mehrere Signale an den Sender und/oder Empfänger senden (406). Die Signale können wirksam sein, ein Verhalten eines vom Sender und/oder vom Empfänger verwendeten Computers zu ändern. Zum Beispiel kann ein an den Sender gesendetes Signal eine dem Sender zugeordnete Videovorrichtung veranlassen, an einen bestimmten angezeigten Gegenstand heranzuzoomen oder von diesem wegzuzoomen. Ein an den Empfänger gesendetes Signal kann den Empfänger veranlassen, sich autonom neu zu positionieren, wie hierin offenbart.
Für eine Neupositionierung in autonomer Weise kann der Empfänger in Schritt 402 zusätzlich zu den hierin beschriebenen menschlichen Daten Daten in Bezug auf die physische Umgebung empfangen. Zum Beispiel können die empfangenen Umgebungsdaten räumliche Daten umfassen. Die räumlichen Daten können unter Verwendung von optischen und akustischen Sensoren gesammelt werden. Zum Beispiel können Laser-, Sonar-, LIDAR- und andere räumliche Systeme verwendet werden, um räumliche Daten zu sammeln. Die räumlichen Daten können verwendet werden, um physische Objekte zu identifizieren, die sich entlang des Fahrweges des Empfängers befinden können. Andere physische Objekte können dichte Personenansammlungen umfassen. Andere Sensoren wie beispielsweise Radiofrequenz-, Infrarot-, Feuchtigkeitssensoren usw. können verwendet werden, um die räumlichen Daten zu ergänzen.
Unter Verwendung der räumlichen Daten kann eine dreidimensionale Abbildung eines Raums erzeugt werden (408). Die dreidimensionale Abbildung kann eine dreidimensionale (3D-) Punktwolke sein. Ein Beispiel für ein Abbildungsprotokoll umfasst OpenGL-Orthogonale-Abbildung. Die Position des Empfängers innerhalb der 3D-Punktwolke kann bestimmt werden. Zum Beispiel können die räumlichen Daten Zeitwerte für Ton, Licht usw. umfassen, die in verschiedene Richtungen übertragen werden, um zum Empfänger zurückreflektiert zu werden. Unter Verwendung von Laufzeitberechnungen in Verbindung mit den Zeitwerten kann der Standort von physischen Objekten im Hinblick auf den Standort des Empfängers bestimmt werden. Unter Verwendung der verschiedenen Standorte von physischen Objekten kann eine dreidimensionale Abbildung erstellt werden. Die Abbildung kann verschiedene geordnete Triplets (ordered triplets) umfassen, die Begrenzungen von Objekten definieren können, die sich in der Nähe des Empfängers befinden. Anders ausgedrückt, können geordnete Triplets verwendet werden, um einen Standort von physischen Objekten innerhalb eines Umfeldbereichs des Empfängers zu definieren.
Die physischen Objekte können stationär oder mobil sein. Zum Beispiel können sich stationäre Objekte wie beispielsweise Möbel, Wände, Treppen usw. innerhalb eines vom Empfänger eingenommenen Raums befinden und wie hierin offenbart abgebildet werden. Mobile Objekte können Personen, andere Telepräsenzroboter oder bewegliche Möbel wie beispielsweise Stühle und/oder Wagen umfassen. So kann der Empfänger durchgehend räumliche Daten sammeln und die Daten an die Rechenvorrichtung senden, um dreidimensionale Abbildungen wie hierin offenbart zu erzeugen.
Die Rechenvorrichtung kann die dreidimensionale Abbildung auch in eine zweidimensionale Abbildung übersetzen (410). Um die dreidimensionale Abbildung in eine zweidimensionale Abbildung zu übersetzen, können Projektionen ausgeführt werden. Zum Beispiel kann eine große ebene Oberfläche als ein Boden bestimmt und als eine gegebene Referenzgröße verwendet werden. So kann der z-Wert der geordneten Triplets auf Null gesetzt oder anderweitig als die gegebene Referenzgröße verwendet werden.
Andere Gegenstände, die sich oberhalb der gegebenen Referenzgröße befinden, können auf die gegebene Referenzgröße oder irgendeinen beliebigen Ort oberhalb der gegebenen Referenzgröße projiziert werden. Die Projektion von Objekten kann verwendet werden, um eine Begrenzung zu schaffen, innerhalb derer der Empfänger bleiben sollte, um ein Treffen auf Obj ekte zu vermeiden. So kann ein Schrank oder ein anderes festes Inventar, der oder das sich oberhalb des Bodens befindet, projiziert werden, um die zweidimensionale Abbildung zu erstellen. Gegenstände, die sich in einem bestimmten Abstand oberhalb der gegebenen Referenzgröße befinden, werden möglicherweise nicht projiziert. Zum Beispiel reicht eine von der Decke hängende Leuchte möglicherweise nicht weit genug nach unten, damit der Empfänger auf die Leuchte treffen würde, wenn er unter ihr hindurchfährt. So wird die Leuchte möglicherweise nicht in die zweidimensionale Abbildung projiziert, da der Empfänger nicht auf sie treffen würde, wenn er unter ihr hindurchfährt.
Die zweidimensionale Abbildung kann eine Sammlung von geordneten Paaren sein. Die Abbildung kann eine Iteration durch die geordneten Triplets umfassen, umfassend die dreidimensionale Abbildung, um geordnete Triplets auszuwählen, die eine Begrenzung in einer zweidimensionalen Ebene definieren, in der der Empfänger fahren kann. Wenn zum Beispiel alle geordneten Triplets, die den Boden repräsentieren, einen Wert von (X, Y, 0) haben, dann kann irgendein Triplet mit einem Z-Wert größer als 0 und kleiner als H (z. B. die Höhe des Empfängers) verwendet werden, um die Begrenzung zu definieren.
Ein Beispiel für die dreidimensionale Abbildung kann eine Liste von geordneten Triplets produzieren. Die Übersetzung in zwei Dimensionen kann die Auswahl eines zufälligen geordneten Triplets oder eines geordneten Triplets eine Einheit vom Empfänger entfernt (wobei der Empfänger der Ursprung ist) mit einem Z-Wert von 0 und dann ein Gehen von einer Einheit in jeweils die X- und die Y-Richtung, bis ein Wert von Z größer als 0 oder kleiner als H gefunden wird, umfassen. Das Ergebnis können ein oder mehrere Routen sein, die der Empfänger abfahren kann, ohne auf etwas zu treffen.
Unter Verwendung der dreidimensionalen Abbildung oder der zweidimensionalen Abbildung können zwei oder mehr alternative Routen bestimmt werden (412). Die Navigationssysteme des Empfängers können es dem Empfänger ermöglichen, sich selbst autonom neu zu positionieren. So kann die Rechenvorrichtung die alternativen Routen unter Verwendung der Abbildung bestimmen. Um die Empfänger-Neupositionierung zu unterstützen, kann ein Navigationsalgorithmus die alternativen Routen bestimmen. Das Auswählen alternativer Routen kann ein Sicherstellen umfassen, dass es keine Fehler bei der Abbildung auf den 2D-Raum gibt, und ein Sicherstellen, dass Zielpunkte innerhalb einer nahen Ebene der 2D-Projektionen sind, für die beste Nutzungserfahrung durch den Sender. Die alternativen Routen können an den Sender gesendet werden (414).
Der Sender kann mindestens eine der alternativen Routen auswählen und die Auswahl an die Rechenvorrichtung senden (416). Ein Teil des Auswahlprozesses kann die Betrachtung einer Visualisierung der alternativen Routen umfassen. Zum Beispiel kann unter Verwendung der dreidimensionalen Daten und anderer Bilder, die durch den Empfänger erfasst werden, ein Rendering für jede der Routen erzeugt werden. Auf der Grundlage der Renderings kann der Sender eine der alternativen Routen auswählen. Das Auswählen der alternativen Routen kann auch ein Auflisten einer Teilmenge der alternativen Routen nach bevorzugter Route umfassen. Wenn zum Beispiel fünf alternative Routen erzeugt und dem Sender zur Verfügung gestellt werden, kann der Sender drei der Routen in der Reihenfolge der Präferenz in eine Rangfolge bringen.
Die ausgewählte alternative Route oder die Auflistung der bevorzugten Routen kann durch die Rechenvorrichtung an den Empfänger gesendet werden (418), um den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums umzuleiten. Der Empfänger kann dann die ausgewählte Route abfahren oder eine der aufgelisteten Routen zum Abfahren auswählen. Wenn zum Beispiel eine einzige alternative Route durch den Sender ausgewählt wird, dann kann der Empfänger die ausgewählten Routen abfahren. Wenn mehrere alternative Routen durch den Sender ausgewählt und in eine Rangfolge gebracht werden, kann der Empfänger jede unter Verwendung der empfangenen aktualisierten Daten auswerten und die optimalste Route befahren. In der Zeit zwischen der Auswahl der Routen durch den Sender kann zum Beispiel ein Hindernis entlang der vom Sender bevorzugten Route festgestellt werden. Wenn das Hindernis den Empfänger behindern würde, kann der Empfänger eine alternative Route aus den vom Sender ausgewählten Routen auswählen.
Ein Beispiel für ein Hindernis, das den Empfänger daran hindern könnte, eine ausgewählte Route zu befahren, kann eine große Anzahl von Personen umfassen, die plötzlich einen Korridor betreten und/oder in einem Korridor gehen, was den Empfänger dazu veranlassen könnte, nach anderen alternativen Routen zu suchen. Während der Empfänger die Route abfährt, können Daten gesammelt und gesendet werden, wie hierin offenbart, um ein Aktualisieren von Routen zu ermöglichen. Auf der Grundlage der Daten, die während des Abfahrens der Route durch den Empfänger gesammelt werden, kann eine Absicht der Personen zum Beispiel sein, sich nicht zu bewegen. So kann der Empfänger seine Bewegung verlangsamen. Wenn der Empfänger in einem autonomen Modus arbeitet, kann die Netzwerkauslastung als ein Vermittler fungieren, der den Zielpunkt aktualisiert und/oder eine langsamere Bewegung anzeigt, um den Sender über irgendwelche Veränderungen zu informieren.
Während die Verfahren 200, 300 und 400 in einer bestimmten Reihenfolge und mit verschiedenen Schritten beschrieben wurden, können die Verfahren 200, 300 und 400 mit den verschiedenen Schritten in unterschiedlicher Anordnung der Reihenfolgen und/oder ohne einen oder mehrere der Schritte implementiert werden. Zusätzlich können verschiedene Schritte von jedem der Verfahren 200, 300 und 400 in Verbindung mit oder als Ersatz für einen Schritt eines anderen Verfahrens sein. Wenn sich der Empfänger zum Beispiel in einem Konferenzraum befindet, können die verschiedenen Routenbestimmungsschritte weggelassen werden. In diesem Fall kann die Rechenvorrichtung auf die Erstellung von Routen verzichten und stattdessen Rechenressourcen für das Bestimmen der Absicht des Senders und der Personen, die sich in der Nähe des Empfängers befinden, verwenden, um die Audiolautstärken, die Zoom-/Schwenkeinstellungen usw. wie hierin offenbart anzupassen, um dem Sender und anderen eine natürlichere Interaktion miteinander bereitzustellen. Bei einem anderen Beispiel kann der Schritt 202 des Ladens von Abbildungen in einen Speicher zum Verfahren 400 hinzugefügt werden, um entweder die Erzeugung der dreidimensionalen Abbildung in Schritt 408 und/oder die Übersetzung der dreidimensionalen Abbildung in eine zweidimensionale Abbildung in Schritt 410 zu unterstützen.
Zusammenfassend können eine automatische Antwort des Empfängers oder Anregungen des Empfängers an den Sender auf kontextbezogenen Daten basieren, unterstützt ein Betriebsmodell, das die Ermüdung des Senders verringern, eine natürlichere Interaktion am Empfängerende bereitstellen und eine breite Nutzung der Telepräsenzroboter in der hybriden Umgebung ermöglichen kann.
Die verschiedenen hierin offenbarten Ausführungsbeispiele können in einer oder einer Kombination aus Hardware, Firmware und Software implementiert werden. Ausführungsbeispiele können auch als Anweisungen implementiert sein, die auf einer maschinenlesbaren Speicherungsvorrichtung gespeichert sind, die durch zumindest einen Prozessor gelesen und ausgeführt werden können, um die hierin beschriebenen Operationen durchzuführen. Eine maschinenlesbare Speicherungsvorrichtung kann irgendeinen nichtflüchtigen Mechanismus zum Speichern von Informationen in einer Form aufweisen, die durch eine Maschine (z. B. einen Computer) lesbar ist. Zum Beispiel kann eine maschinenlesbare Speicherungsvorrichtung einen Nur-Lese-Speicher (ROM), einen Direktzugriffspeicher (RAM), Magnetplattenspeicherungsmedien, optische Speicherungsmedien, Flash-Speichervorrichtungen und andere Speicherungsvorrichtungen und Medien umfassen.
Ein Prozessor-Teilsystem kann verwendet werden, um die Anweisung auf dem -lesbaren Medium auszuführen. Das Prozessor-Teilsystem kann einen oder mehrere Prozessoren, jeder mit einem oder mehreren Kernen, umfassen. Zusätzlich kann das Prozessor-Teilsystem auf einer oder mehreren physischen Vorrichtungen angeordnet sein. Das Prozessor-Teilsystem kann einen oder mehrere spezialisierte Prozessoren umfassen, wie beispielsweise eine Grafikverarbeitungseinheit (GPU; graphics processing unit), einen digitalen Signalprozessor (DSP; digital signal processor), ein feld-programmierbares Gate-Array (FPGA; field programmable gate array), oder einen Prozessor mit fester Funktion.
Beispiele, wie hierin beschrieben, können Logik oder eine Anzahl von Komponenten, Modulen oder Mechanismen umfassen oder basierend auf denselben arbeiten. Module oder ähnliche Komponenten oder Mechanismen können Hardware, Software oder Firmware sein, die kommunikativ mit einem oder mehreren Prozessoren gekoppelt sind, um die hier beschriebenen Operationen durchzuführen. Module oder ähnliche Komponenten oder Mechanismen können Hardware-Entitäten sein und können als greifbare Entitäten betrachtet werden, die in der Lage sind, bestimmte Operationen auszuführen und in einer bestimmten Weise konfiguriert oder angeordnet sein können. Bei einem Beispiel können Schaltungen auf eine bestimmte Weise als ein Modul angeordnet sein (z. B. intern oder im Hinblick auf externe Einheiten, z. B. andere Schaltungen). Bei einem Beispiel kann das ganze oder ein Teil von einem oder mehreren Computersystemen (z. B. ein alleinstehendes, Client- oder Server-Computersystem) oder ein oder mehrere Hardware-Prozessoren durch Firmware oder Software (z. B. Anweisungen, einen Anwendungsabschnitt oder eine Anwendung) als ein Modul, eine Komponente oder ein Mechanismus konfiguriert sein, das arbeitet, um bestimmte Operationen auszuführen. Bei einem Beispiel kann die Software auf einem maschinenlesbaren Medium vorliegen. Bei einem Beispiel kann die Software bei Ausführung durch die zugrundeliegende Hardware des Moduls verursachen, dass die Hardware die bestimmten Operationen ausführt. Dementsprechend ist der Begriff Hardware-Modul so zu verstehen, dass er eine greifbare Einheit umfasst, sei dies eine Einheit, die physisch konstruiert ist, speziell ausgebildet ist (z.B. fest verdrahtet) oder temporär (z.B. vorübergehend) ausgebildet (z.B. programmiert) ist, um auf eine bestimmte Weise zu arbeiten oder einen Teil oder alles von irgendeiner hierin beschriebenen Operation auszuführen. Bei Betrachtung von Beispielen, bei denen Module temporär ausgebildet sind, ist es nicht erforderlich, dass jedes der Module zu irgendeinem Zeitpunkt instantiiert wird. Zum Beispiel, wo die Module einen Allzweck-Hardware-Prozessor umfassen, der unter Verwendung von Software ausgebildet ist, kann der Allzweck-Hardware-Prozessor zu unterschiedlichen Zeiten als jeweilige unterschiedliche Module ausgebildet sein. Software kann dementsprechend einen Hardware-Prozessor ausbilden, um zum Beispiel ein bestimmtes Modul zu einem Zeitpunkt zu bilden und ein unterschiedliches Modul zu einem unterschiedlichen Zeitpunkt zu bilden. Module können auch Software- oder Firmware-Module sein, die arbeiten, um die hierin beschriebenen Methodologien durchzuführen.
Schaltungsanordnungen oder Schaltungen können nach Gebrauch in diesem Dokument zum Beispiel einzeln oder in irgendeiner Kombination fest verdrahtete Schaltungsanordnungen, programmierbare Schaltungsanordnungen, wie beispielsweise Computerprozessoren, die einen oder mehrere einzelne Anweisungsverarbeitungskerne umfassen, Zustandsmaschinenschaltungsanordnungen und/oder Firmware, die Anweisungen speichert, die durch die programmierbaren Schaltungsanordnungen ausgeführt werden, umfassen. Die Schaltungen, Schaltungsanordnungen oder Module können kollektiv oder einzeln als eine Schaltungsanordnung ausgeführt sein, die einen Teil eines größeren Systems bildet, zum Beispiel eine integrierte Schaltung (IC; integrated circuit), System-auf-einem-Chip (SoC; system-on-chip), Desktop-Computer, Laptop-Computer, Tablet-Computer, Server, Smartphones, etc.
Nach Gebrauch in irgendeinem Ausführungsbeispiel hierin kann sich der Begriff „Logik“ auf Firmware und/oder Schaltungsanordnungen beziehen, die ausgebildet sind, um irgendwelche der vorangehend erwähnten Operationen durchzuführen. Firmware kann als Code, Anweisungen oder Anweisungssätze und/oder Daten, die in Speicherbauelementen und/oder Schaltungsanordnungen hartcodiert (z.B. nichtflüchtig) sind, ausgebildet sein.
„Schaltungsanordnungen“ können, wie sie hierin in irgendeinem Ausführungsbeispiel verwendet werden, zum Beispiel einzeln oder in irgendeiner Kombination fest verdrahtete Schaltungsanordnungen, programmierbare Schaltungsanordnungen, Zustandsmaschinenschaltungsanordnungen, Logik- und/oder Firmware, die die Anwendungen speichert, die durch die programmierbare Schaltungsanordnung ausgeführt werden, umfassen. Die Schaltungsanordnung kann als eine integrierte Schaltung ausgeführt sein, wie beispielsweise ein Integrierte-Schaltungs-Chip. Bei einigen Ausführungsbeispielen kann die Schaltungsanordnung zumindest teilweise dadurch gebildet werden, dass die Prozessorschaltungsanordnung entsprechend der hierin beschriebenen Funktionalität Code- und/oder Anweisungssätze (z.B. Software, Firmware, etc.) ausführt, wodurch ein Allzweckprozessor in eine Spezialzweck-Verarbeitungsumgebung umgewandelt wird, um eine oder mehrere der hierin beschriebenen Operationen auszuführen. Bei einigen Ausführungsbeispielen kann die Prozessorschaltungsanordnung als eine eigenständige integrierte Schaltung ausgeführt sein, oder kann als eine von mehreren Komponenten auf einer integrierten Schaltung eingebracht sein. Bei einigen Ausführungsbeispielen können die verschiedenen Komponenten und die Schaltungsanordnung des Knotens oder anderer Systeme in einer System-auf-einem-Chip-(SoC; system-on-a-chip) Architektur kombiniert sein.
5 ist ein Blockdiagramm, das gemäß einem Ausführungsbeispiel eine Maschine in der beispielhaften Form eines Computersystems 500 darstellt, wie beispielsweise eine Menschliche-Absicht-Klassifikationskomponente 106, innerhalb der ein Satz oder eine Sequenz von Anweisungen ausgeführt werden kann, um die Maschine zum Ausführen irgendeiner der hierin erörterten Methodologien zu veranlassen. Bei alternativen Ausführungsbeispielen arbeitet Maschine als eine eigenständige Vorrichtung, oder sie kann mit anderen Maschinen verbunden (z.B. vernetzt) sein. In einer vernetzten Anwendung kann die Maschine in der Eigenschaft von entweder einer Server- oder einer Client-Maschine in Server-Client-Netzwerkumgebungen arbeiten, oder sie kann als eine Peer-Maschine in Peer-to-Peer- (oder verteilten) Netzwerkumgebungen agieren. Die Maschine kann ein Fahrzeug-Teilsystem, ein Personal-Computer (PC), ein Tablet-PC, ein Hybrid-Tablet, ein persönlicher digitaler Assistent (PDA; Personal Digital Assistant), ein Mobiltelefon oder irgendeine Maschine sein, die fähig zum Ausführen von Anweisungen (sequentiell oder anderweitig) ist, die Maßnahmen spezifizieren, die durch diese Maschine ergriffen werden sollen. Während nur eine einzige Maschine dargestellt ist, soll der Begriff „Maschine“ ferner auch irgendeine Sammlung von Maschinen umfassen, die individuell oder gemeinsam einen Satz (oder mehrere Sätze) von Anweisungen ausführen, um irgendeine oder mehrere der hierin erörterten Methodologien auszuführen. In ähnlicher Weise ist der Begriff „prozessorbasiertes System“ so zu verstehen, dass er irgendeinen Satz von einer oder mehreren Maschinen umfasst, die von einem Prozessor (z. B. einem Computer) gesteuert oder betrieben werden, um einzeln oder gemeinsam Anweisungen auszuführen, um eine oder mehrere der hierin erörterten Methodologien auszuführen.
Das beispielhafte Computersystem 500 umfasst zumindest einen Prozessor 502 (z.B. eine zentrale Verarbeitungseinheit (CPU; central processing unit), eine Grafikverarbeitungseinheit (GPU; graphics processing unit), oder beides, Prozessorkerne, Computerknoten, etc.), einen Hauptspeicher 504 und einen statischen Speicher 506, die miteinander über eine Verbindung (Link) 508 (z.B. einen Bus) kommunizieren. Das Computer-System 500 kann ferner eine Video-Anzeigeeinheit 510, eine alphanumerische Eingabevorrichtung 512 (z.B. eine Tastatur) und eine Navigationsvorrichtung 514 mit Benutzerschnittstelle (UI; user interface) (z. B. eine Maus) aufweisen. Bei einem Ausführungsbeispiel sind die Video-Anzeigeeinheit 510, die Eingabevorrichtung 512 und die UI-Navigationsvorrichtung 514 in eine Berührungsbildschirmanzeige eingebracht. Das Computersystem 500 kann zusätzlich eine Speicherungsvorrichtung 516 (z.B. eine Laufwerkeinheit), eine Signalerzeugungsvorrichtung 518 (z.B. einen Lautsprecher), eine Netzwerkschnittstellenvorrichtung 520, und einen oder mehrere Sensoren (nicht gezeigt) wie beispielsweise einen Globales-Positionierungssystem (GPS; global positioning system) -Sensor, Kompass, Beschleunigungssensor, Gyrometer, Magnetometer oder anderen Sensor umfassen.
Die Speicherungsvorrichtung 516 umfasst ein maschinenlesbares Medium 522, auf dem ein oder mehrere Sätze von Datenstrukturen oder Anweisungen 524 (z. B. Software) gespeichert sind, die durch eine oder mehrere der Methodologien oder Funktionen, die hierin beschrieben werden, ausgeführt oder benutzt werden. Die Anweisungen 524 können auch vollständig oder zumindest teilweise innerhalb des Hauptspeichers 504, statischen Speichers 506 und/oder innerhalb des Prozessors 502 während der Ausführung derselben durch das Computersystem 500 vorliegen, wobei der Hauptspeicher 504, der statische Speicher 506 und der Prozessor 502 auch maschinenlesbare Medien bilden.
Während das maschinenlesbare Medium 522 bei einem beispielhaften Ausführungsbeispiel als ein einzelnes Medium dargestellt ist, kann der Begriff „maschinenlesbares Medium“ ein einzelnes Medium oder mehrere Medien umfassen (z. B. eine zentralisierte oder verteilte Datenbank und/oder zugeordnete Caches und Server), die die eine oder die mehreren Anweisungen 524 speichern. Der Begriff „maschinenlesbares Medium“ ist auch so zu verstehen, dass er irgendein greifbares Medium umfasst, das zum Speichern, Codieren oder Tragen von Anweisungen zur Ausführung durch die Maschine fähig ist und das die Maschine dazu veranlasst, eine oder mehrere der Methodologien der vorliegenden Offenbarung auszuführen, oder das zum Speichern, Codieren oder Tragen von Datenstrukturen fähig ist, die durch derartige Anweisungen verwendet werden oder diesen zugeordnet sind. Der Begriff „maschinenlesbares Medium“ soll dementsprechend Festkörperspeicher (solid-state memories) und optische und magnetische Medien umfassen, ist aber nicht darauf beschränkt. Spezifische Beispiele von maschinenlesbaren Medien umfassen nicht-flüchtigen Speicher, beispielsweise umfassend, aber nicht beschränkt auf, Halbleiterspeicherbauelemente (z.B. elektrisch programmierbaren Nur-Lese-Speicher (EPROM; Electrically Programmable Read-Only Memory), elektrisch löschbaren programmierbaren Nur-Lese-Speicher (EEPROM; Electrically Erasable Programmable Read-Only Memory)) und Flash-Speicher-Bauelemente; Magnetplatten wie beispielsweise interne Festplatten und Wechselplatten; magneto-optische Platten; und CD-ROM- und DVD-ROM-Platten.
Die Anweisungen 524 können ferner über ein Kommunikationsnetzwerk 526 übertragen oder empfangen werden, unter Verwendung eines Übertragungsmediums über die Netzwerkschnittstellenvorrichtung 520, die irgendeines von einer Anzahl von bekannten Übertragungsprotokollen (z.B. HTTP) verwendet. Beispiele von Kommunikationsnetzwerken umfassen ein lokales Netz (LAN), ein Weitbereichsnetz (WAN), das Internet, Mobilfunknetze, Plain Old Telephone (einfacher alter Telefondienst; POTS) -Netze und drahtlose Datennetze (z.B. Bluetooth, Wi-Fi, 3G und 4G LTE/LTE-A, 5G, DSRC, oder Satelliten- (z.B. Low-Earth-Orbit-) Netze). Der Begriff „Übertragungsmedium“ ist so aufzufassen, dass er irgendein nicht greifbares Medium umfasst, das fähig ist zum Speichern, Codieren oder Tragen von Anweisungen zur Ausführung durch die Maschine, und digitale oder analoge Kommunikationssignale oder ein anderes nicht greifbares Medium zum Ermöglichen von Kommunikation solcher Software umfasst.
Zusätzliche Anmerkungen
Die folgenden, nicht einschränkenden Beispiele detaillieren bestimmte Aspekte des vorliegenden Gegenstands für ein Lösen der Herausforderungen und ein Bereitstellen der Vorteile, die hierin erörtert sind, unter anderem.
Beispiel 1 ist ein System zur Steuerung eines Empfängers, das System umfassend: mindestens einen Prozessor; und mindestens einen Speicher, der die Anweisungen speichert, die, wenn sie vom Prozessor ausgeführt werden, den Prozessor veranlassen, Operationen durchzuführen zum: Erhalten, von dem Empfänger, der dem Empfänger zugeordneten Umgebungsdaten, Empfangen, aus einer Datenbank, eines Modells, das eine menschliche Absicht definiert, Bestimmen einer Absicht eines Menschen in der Nähe des Empfängers unter Verwendung des Modells, und Senden eines ersten Signals an den Empfänger, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
In Beispiel 2 umfasst der Gegenstand von Beispiel 1 optional, wobei die Operationen ferner: Erhalten, von einem Sender, von Umgebungsdaten, die dem Sender zugeordnet sind; Bestimmen einer Absicht des Senders auf der Grundlage eines dem Sender zugeordneten Modells; und Senden eines zweiten Signals an den Empfänger, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Senders zu ändern.
In Beispiel 3 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 1-2 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von Audiodaten über ein oder mehrere an den Empfänger angeschlossene Audiovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einem der einen oder mehreren Audiovorrichtungen zugeordnet ist, die an den Empfänger angeschlossen sind
In Beispiel 4 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 1-3 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere an den Empfänger angeschlossene Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Menschen anzupassen.
In Beispiel 5 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 1-4 optional, wobei das Erhalten der Umgebungsdaten das Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
In Beispiel 6 umfasst der Gegenstand von Beispiel 5 optional die Operationen ferner umfassend: Erzeugen einer dreidimensionalen Abbildung eines Raums auf der Grundlage der räumlichen Daten; und Übersetzen der dreidimensionalen Abbildung des Raums in eine zweidimensionale Abbildung des Raums; wobei das erste Signal ferner wirksam ist, den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums umzuleiten.
In Beispiel 7 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 5-6 optional die Operationen ferner umfassend: Erzeugen von zwei oder mehr alternativen Routenführungen auf der Grundlage einer zweidimensionalen Abbildung eines den räumlichen Daten zugeordneten Raums; Übertragen der zwei oder mehr alternativen Routenführungen an einen Sender; und Empfangen einer Auswahl von einer der zwei oder mehr alternativen Routenführungen von dem Sender, wobei das erste Signal, das zur Umleitung des Empfängers wirksam ist, das erste Signal umfasst, das zur Umleitung des Empfängers entlang der einen der zwei oder mehr alternativen Routenführungen wirksam ist, die vom Sender empfangen wurden.
In Beispiel 8 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 1-7 optional, wobei das Erhalten des Modells das Erhalten eines trainierten Modells umfasst.
In Beispiel 9 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 1-8 optional, wobei das Modell ein statistisches Modell umfasst und das Bestimmen der Absicht des Menschen das Bestimmen der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.
Beispiel 10 ist ein Verfahren zum Steuern eines Empfängers, das Verfahren umfassend: Erhalten, an einer Rechenvorrichtung, von dem Empfänger, von Umgebungsdaten, die dem Empfänger zugeordnet sind; Erhalten, aus einer Datenbank, eines Modells, das eine menschliche Absicht definiert; Bestimmen, durch die Rechenvorrichtung, einer Absicht eines Menschen in der Nähe des Empfängers unter Verwendung des Modells; und Veranlassen der Rechenvorrichtung, ein erstes Signal an den Empfänger zu übertragen, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
In Beispiel 11 umfasst der Gegenstand von Beispiel 10 optional das Erhalten, an der Rechenvorrichtung, von einem Sender, von Umgebungsdaten, die dem Sender zugeordnet sind; Bestimmen, durch die Rechenvorrichtung, einer Absicht des Senders auf der Grundlage eines dem Sender zugeordneten Modells; und Veranlassen der Rechenvorrichtung, ein zweites Signal an den Empfänger zu übertragen, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Senders zu ändern.
In Beispiel 12 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 10-11 optional, wobei Erhalten der Umgebungsdaten das Erhalten von Audiodaten über eine oder mehrere an den Empfänger angeschlossene Audiovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einer der einen oder mehreren Audiovorrichtungen zugeordnet ist, die an den Empfänger angeschlossen sind.
In Beispiel 13 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 10-12 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere an den Empfänger angeschlossene Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Menschen anzupassen.
In Beispiel 14 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 10-13 optional, wobei das Erhalten der Umgebungsdaten das Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
In Beispiel 15 umfasst der Gegenstand von Beispiel 14 optional ein Erzeugen einer dreidimensionalen Abbildung eines Raums auf der Grundlage der räumlichen Daten; und Übersetzen der dreidimensionalen Abbildung des Raums in eine zweidimensionale Abbildung des Raums; wobei das erste Signal ferner wirksam ist, den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums umzuleiten.
In Beispiel 16 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 14-15 optional ein Erzeugen von zwei oder mehr alternativen Routenführungen auf der Grundlage einer zweidimensionalen Abbildung eines den räumlichen Daten zugeordneten Raums; Veranlassen der Rechenvorrichtung, die zwei oder mehr alternativen Routenführungen an einen Sender zu übertragen, und Erhalten einer Auswahl von einer der zwei oder mehr alternativen Routenführungen von dem Sender, wobei das erste Signal, das zur Umleitung des Empfängers wirksam ist, das erste Signal umfasst, das zur Umleitung des Empfängers entlang der einen der zwei oder mehr alternativen Routenführungen wirksam ist, die vom Sender empfangen wurden.
In Beispiel 17 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 10-16 optional, wobei das Erhalten des Modells das Erhalten eines trainierten Modells umfasst.
In Beispiel 18 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 10-17 optional, wobei das Modell ein statistisches Modell umfasst und das Bestimmen der Absicht des Menschen das Bestimmen der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.
Beispiel 19 ist mindestens ein computerlesbares Medium, das Anweisungen zum Ausführen irgendeines der Verfahren der Beispiele 10-18 umfasst.
Beispiel 20 ist eine Vorrichtung umfassend Mittel zum Ausführen von irgendeinem der Verfahren der Beispiele 10-18.
Beispiel 21 ist mindestens ein nichtflüchtiges computerlesbares Medium, das Anweisungen speichert, die, wenn sie von mindestens einem Prozessor ausgeführt werden, den mindestens einen Prozessor veranlassen, Operationen durchzuführen zum: Erhalten, von einem Empfänger, von dem Empfänger zugeordneten Umgebungsdaten; Erhalten, aus einer Datenbank, eines Modells, das eine menschliche Absicht definiert; Bestimmen, durch die Rechenvorrichtung, einer Absicht eines Menschen in der Nähe des Empfängers unter Verwendung des Modells; und Senden, durch die Rechenvorrichtung, eines ersten Signals an den Empfänger, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
In Beispiel 22 umfasst der Gegenstand von Beispiel 21 optional die Operationen ferner umfassend: Erhalten, an der Rechenvorrichtung, von einem Sender, von Umgebungsdaten, die dem Sender zugeordnet sind; Bestimmen, durch die Rechenvorrichtung, einer Absicht des Senders auf der Grundlage eines dem Sender zugeordneten Modells; und Senden eines zweiten Signals an den Empfänger, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Senders zu ändern.
In Beispiel 23 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 21-22 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von Audiodaten über ein oder mehrere an den Empfänger angeschlossene Audiovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einem der einen oder mehreren Audiovorrichtungen zugeordnet ist, die an den Empfänger angeschlossen sind
In Beispiel 24 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 21-23 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere an den Empfänger angeschlossene Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Menschen anzupassen.
In Beispiel 25 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 21-24 optional, wobei das Erhalten der Umgebungsdaten das Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
In Beispiel 26 umfasst der Gegenstand von Beispiel 25 optional die Operationen ferner umfassend: Erzeugen einer dreidimensionalen Abbildung eines Raums auf der Grundlage der räumlichen Daten; und Übersetzen der dreidimensionalen Abbildung des Raums in eine zweidimensionale Abbildung des Raums; wobei das erste Signal ferner wirksam ist, den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums umzuleiten.
In Beispiel 27 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 25-26 optional, wobei die Operationen ferner umfassen: Erzeugen von zwei oder mehr alternativen Routenführungen auf der Grundlage einer zweidimensionalen Abbildung eines den räumlichen Daten zugeordneten Raums; Übertragen der zwei oder mehr alternativen Routenführungen an einen Sender; und Erhalten einer Auswahl von einer der zwei oder mehr alternativen Routenführungen von dem Sender, wobei das erste Signal, das zur Umleitung des Empfängers wirksam ist, das erste Signal umfasst, das zur Umleitung des Empfängers entlang der einen der zwei oder mehr alternativen Routenführungen wirksam ist, die vom Sender empfangen wurden.
In Beispiel 28 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 21-27 optional, wobei das Erhalten des Modells das Erhalten eines trainierten Modells umfasst.
In Beispiel 29 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 21-28 optional, wobei das Modell ein statistisches Modell umfasst und das Bestimmen der Absicht des Menschen das Bestimmen der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.
Beispiel 30 ist ein System zum Steuern eines Empfängers durch einen Sender, das System umfassend: mindestens einen Prozessor; und mindestens einen Speicher, der die Anweisungen speichert, die, wenn sie vom Prozessor ausgeführt werden, den Prozessor veranlassen, Operationen durchzuführen zum: Erhalten, von dem Sender, der dem Empfänger zugeordneten Umgebungsdaten; Erhalten, aus einer Datenbank, eines ersten Modells, das eine menschliche Absicht definiert; Bestimmen einer Absicht des Senders unter Verwendung des ersten Modells, und Senden eines ersten Signals an den Empfänger, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Senders zu ändern.
In Beispiel 31 umfasst der Gegenstand von Beispiel 30 optional die Operationen ferner umfassend: Erhalten, von dem Empfänger, der dem Empfänger zugeordneten Umgebungsdaten; Bestimmen einer Absicht eines Menschen in der Nähe des Empfängers auf der Grundlage eines zweiten Modells; und Senden eines zweiten Signals an den Empfänger, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
In Beispiel 32 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 30-31 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von Audiodaten über ein oder mehrere dem Sender zugeordnete Audiovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einem der einen oder mehreren Audiovorrichtungen zugeordnet ist, die dem Sender zugeordnet sind.
In Beispiel 33 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 30-32 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere dem Sender zugeordnete Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Senders anzupassen.
In Beispiel 34 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 30-33 optional, wobei das Erhalten der Umgebungsdaten das Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
In Beispiel 35 umfasst der Gegenstand von Beispiel 34 optional die Operationen ferner umfassend: Erzeugen einer dreidimensionalen Abbildung eines Raums auf der Grundlage der räumlichen Daten; und Übersetzen der dreidimensionalen Abbildung des Raums in eine zweidimensionale Abbildung des Raums; wobei das erste Signal ferner wirksam ist, den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums und der Absicht des Senders umzuleiten.
In Beispiel 36 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 34-35 optional die Operationen ferner umfassend: Erzeugen von zwei oder mehr alternativen Routenführungen auf der Grundlage einer zweidimensionalen Abbildung eines den räumlichen Daten zugeordneten Raums; Übertragen der zwei oder mehr alternativen Routenführungen an den Sender; und Erhalten einer Auswahl von einer der zwei oder mehr alternativen Routenführungen von dem Sender, wobei das erste Signal, das zur Umleitung des Empfängers wirksam ist, das erste Signal umfasst, das zur Umleitung des Empfängers entlang der einen der zwei oder mehr alternativen Routenführungen wirksam ist, die vom Sender empfangen wurden.
In Beispiel 37 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 30-36 optional, wobei das Erhalten des Modells das Erhalten eines trainierten Modells umfasst.
In Beispiel 38 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 30-37 optional, wobei das Modell ein statistisches Modell umfasst und das Bestimmen der Absicht des Menschen das Bestimmen der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.
Beispiel 39 ist ein Verfahren zum Steuern eines Empfängers, das Verfahren umfassend: Erhalten, an einer Rechenvorrichtung, von einem Sender, von dem Empfänger zugeordneten Umgebungsdaten; Erhalten, aus einer Datenbank, eines ersten Modells, das eine menschliche Absicht definiert; Bestimmen, durch die Rechenvorrichtung, einer Absicht des Senders unter Verwendung des ersten Modells; und Veranlassen der Rechenvorrichtung, ein erstes Signal an den Empfänger zu übertragen, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Senders zu ändern.
In Beispiel 40 umfasst der Gegenstand von Beispiel 39 optional ein Erhalten, an der Rechenvorrichtung, von dem Empfänger, von Umgebungsdaten, die dem Empfänger zugeordnet sind; Bestimmen, durch die Rechenvorrichtung, einer Absicht eines Menschen in der Nähe des Empfängers auf der Grundlage eines zweiten Modells; und Veranlassen der Rechenvorrichtung, ein zweites Signal an den Empfänger zu übertragen, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
In Beispiel 41 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 39-40 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von Audiodaten über ein oder mehrere dem Sender zugeordnete Audiovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einer der einen oder mehreren Audiovorrichtungen zugeordnet ist, die dem Sender zugeordnet sind.
In Beispiel 42 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 39-41 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere dem Sender zugeordnete Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Senders anzupassen.
In Beispiel 43 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 39-42 optional, wobei das Erhalten der Umgebungsdaten das Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
In Beispiel 44 umfasst der Gegenstand von Beispiel 43 optional das Erzeugen einer dreidimensionalen Abbildung eines Raums auf der Grundlage der räumlichen Daten; und Übersetzen der dreidimensionalen Abbildung des Raums in eine zweidimensionale Abbildung des Raums; wobei das erste Signal ferner wirksam ist, den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums und der Absicht des Senders umzuleiten.
In Beispiel 45 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 43-44 optional das Erzeugen von zwei oder mehr alternativen Routenführungen auf der Grundlage einer zweidimensionalen Abbildung eines den räumlichen Daten zugeordneten Raums; Veranlassen der Rechenvorrichtung, die zwei oder mehr alternativen Routenführungen an den Sender zu übertragen; Erhalten einer Auswahl von einer der zwei oder mehr alternativen Routenführungen von dem Sender, wobei das erste Signal, das zur Umleitung des Empfängers wirksam ist, das erste Signal umfasst, das zur Umleitung des Empfängers entlang der einen der zwei oder mehr alternativen Routenführungen wirksam ist, die vom Sender empfangen wurden.
In Beispiel 46 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 39-45 optional, wobei das Erhalten des Modells das Erhalten eines trainierten Modells umfasst.
In Beispiel 47 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 39-46 optional, wobei das Modell ein statistisches Modell umfasst und das Bestimmen der Absicht des Menschen das Bestimmen der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.
Beispiel 48 ist mindestens ein computerlesbares Medium, das Anweisungen zum Ausführen irgendeines der Verfahren der Beispiele 39-47 umfasst.
Beispiel 49 ist eine Vorrichtung umfassend Mittel zum Ausführen von irgendeinem der Verfahren der Beispiele 39-47.
Beispiel 50 ist mindestens ein nichtflüchtiges computerlesbares Medium, das Anweisungen speichert, die, wenn sie von mindestens einem Prozessor ausgeführt werden, den mindestens einen Prozessor veranlassen, Operationen durchzuführen zum: Erhalten, von einem Sender, von dem Empfänger zugeordneten Umgebungsdaten; Erhalten, aus einer Datenbank, eines ersten Modells, das eine menschliche Absicht definiert; Bestimmen, durch die Rechenvorrichtung, einer Absicht des Senders unter Verwendung des ersten Modells; und Veranlassen der Rechenvorrichtung, ein erstes Signal an den Empfänger zu übertragen, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Senders zu ändern.
In Beispiel 51 umfasst der Gegenstand von Beispiel 50 optional die Operationen ferner umfassend: Erhalten, an der Rechenvorrichtung, von dem Empfänger, von Umgebungsdaten, die dem Empfänger zugeordnet sind; Bestimmen, durch die Rechenvorrichtung, einer Absicht eines Menschen in der Nähe des Empfängers auf der Grundlage eines zweiten Modells; und Senden eines zweiten Signals an den Empfänger, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
In Beispiel 52 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 50-51 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von Audiodaten über ein oder mehrere dem Sender zugeordnete Audiovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einem der einen oder mehreren Audiovorrichtungen zugeordnet ist, die dem Sender zugeordnet sind.
In Beispiel 53 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 50-52 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere dem Sender zugeordnete Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Senders anzupassen.
In Beispiel 54 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 50-53 optional, wobei das Erhalten der Umgebungsdaten das Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
In Beispiel 55 umfasst der Gegenstand von Beispiel 54 optional das Erzeugen einer dreidimensionalen Abbildung eines Raums auf der Grundlage der räumlichen Daten; und Übersetzen der dreidimensionalen Abbildung des Raums in eine zweidimensionale Abbildung des Raums; wobei das erste Signal ferner wirksam ist, den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums und der Absicht des Senders umzuleiten.
In Beispiel 56 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 54-55 optional das Erzeugen von zwei oder mehr alternativen Routenführungen auf der Grundlage einer zweidimensionalen Abbildung eines den räumlichen Daten zugeordneten Raums; Übertragen der zwei oder mehr alternativen Routenführungen an den Sender; und Erhalten einer Auswahl von einer der zwei oder mehr alternativen Routenführungen von dem Sender, wobei das erste Signal, das zur Umleitung des Empfängers wirksam ist, das erste Signal umfasst, das zur Umleitung des Empfängers entlang der einen der zwei oder mehr alternativen Routenführungen wirksam ist, die vom Sender empfangen wurden.
In Beispiel 57 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 50-56 optional, wobei das Erhalten des Modells das Erhalten eines trainierten Modells umfasst.
In Beispiel 58 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 50-57 optional, wobei das Modell ein statistisches Modell umfasst und das Bestimmen der Absicht des Menschen das Bestimmen der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.
Beispiel 59 ist ein System zur Steuerung eines Empfängers, das Verfahren umfassend: Mittel zum Erhalten, an einer Rechenvorrichtung, von dem Empfänger, von Umgebungsdaten, die dem Empfänger zugeordnet sind; Mittel zum Erhalten, aus einer Datenbank, eines Modells, das eine menschliche Absicht definiert; Mittel zum Bestimmen, durch die Rechenvorrichtung, einer Absicht eines Menschen in der Nähe des Empfängers unter Verwendung des Modells; und Mittel zum Veranlassen der Rechenvorrichtung, ein erstes Signal an den Empfänger zu übertragen, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
In Beispiel 60 umfasst der Gegenstand von Beispiel 59 optional Mittel zum Erhalten, an der Rechenvorrichtung, von einem Sender, von Umgebungsdaten, die dem Sender zugeordnet sind; Mittel zum Bestimmen, durch die Rechenvorrichtung, einer Absicht des Senders auf der Grundlage eines dem Sender zugeordneten Modells; und Mittel zum Veranlassen der Rechenvorrichtung, ein zweites Signal an den Empfänger zu übertragen, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Senders zu ändern.
In Beispiel 61 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 59-60 optional, wobei das Mittel zum Erhalten der Umgebungsdaten das Erhalten von Audiodaten über eine oder mehrere an den Empfänger angeschlossene Audiovorrichtungen umfasst, und, das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einer der einen oder mehreren Audiovorrichtungen zugeordnet ist, die an den Empfänger angeschlossen sind.
In Beispiel 62 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 59-61 optional, wobei das Mittel zum Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere an den Empfänger angeschlossene Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Menschen anzupassen.
In Beispiel 63 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 59-62 optional, wobei das Mittel zum Erhalten der Umgebungsdaten das Mittel zum Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
In Beispiel 64 umfasst der Gegenstand von Beispiel 63 optional Mittel zum Erzeugen einer dreidimensionalen Abbildung eines Raums auf der Grundlage der räumlichen Daten; und Mittel zum Übersetzen der dreidimensionalen Abbildung des Raums in eine zweidimensionale Abbildung des Raums; wobei das erste Signal ferner wirksam ist, den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums umzuleiten.
In Beispiel 65 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 63-64 optional Mittel zum Erzeugen von zwei oder mehr alternativen Routenführungen auf der Grundlage einer zweidimensionalen Abbildung eines den räumlichen Daten zugeordneten Raums; Mittel zum Veranlassen der Rechenvorrichtung, die zwei oder mehr alternativen Routenführungen an einen Sender zu übertragen; und Mittel zum Erhalten einer Auswahl von einer der zwei oder mehr alternativen Routenführungen von dem Sender, wobei das erste Signal, das zur Umleitung des Empfängers wirksam ist, das erste Signal umfasst, das zur Umleitung des Empfängers entlang der einen der zwei oder mehr alternativen Routenführungen wirksam ist, die vom Sender empfangen wurden.
In Beispiel 66 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 59-65 optional, wobei das Mittel zum Erhalten des Modells das Mittel zum Erhalten eines trainierten Modells umfasst.
In Beispiel 67 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 59-66 optional, wobei das Modell ein statistisches Modell umfasst und das Mittel zum Bestimmen der Absicht des Menschen das Mittel zum Bestimmen der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.
Beispiel 68 ist ein System zur Steuerung eines Empfängers, das Verfahren umfassend: Mittel zum Erhalten, an einer Rechenvorrichtung, von einem Sender, von Umgebungsdaten, die dem Empfänger zugeordnet sind; Mittel zum Erhalten, aus einer Datenbank, eines ersten Modells, das eine menschliche Absicht definiert; Mittel zum Bestimmen, durch die Rechenvorrichtung, einer Absicht des Senders unter Verwendung des ersten Modells; und Veranlassen der Rechenvorrichtung, ein erstes Signal an den Empfänger zu übertragen, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Senders zu ändern.
In Beispiel 69 umfasst der Gegenstand von Beispiel 68 optional Mittel zum Erhalten, an der Rechenvorrichtung, von dem Empfänger, von Umgebungsdaten, die dem Empfänger zugeordnet sind; Mittel zum Bestimmen, durch die Rechenvorrichtung, einer Absicht eines Menschen, der sich in der Nähe des Empfängers befindet, basierend auf einem zweiten Modell; und Mittel zum Veranlassen der Rechenvorrichtung, ein zweites Signal an den Empfänger zu übertragen, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
In Beispiel 70 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 68-69 optional, wobei das Erhalten der Umgebungsdaten das Erhalten von Audiodaten über ein oder mehrere dem Sender zugeordnete Audiovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einer der einen oder mehreren Audiovorrichtungen zugeordnet ist, die dem Sender zugeordnet sind.
In Beispiel 71 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 68-70 optional, wobei das Mittel zum Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere dem Sender zugeordnete Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Senders anzupassen.
In Beispiel 72 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 68-71 optional, wobei das Erhalten der Umgebungsdaten das Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
In Beispiel 73 umfasst der Gegenstand von Beispiel 72 optional Mittel zum Erzeugen einer dreidimensionalen Abbildung eines Raums auf der Grundlage der räumlichen Daten; und Mittel zum Übersetzen der dreidimensionalen Abbildung des Raums in eine zweidimensionale Abbildung des Raums; wobei das erste Signal ferner wirksam ist, den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums und der Absicht des Senders umzuleiten.
In Beispiel 74 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 72-73 optional Mittel zum Erzeugen von zwei oder mehr alternativen Routenführungen auf der Grundlage einer zweidimensionalen Abbildung eines den räumlichen Daten zugeordneten Raums; Mittel zum Veranlassen der Rechenvorrichtung, die zwei oder mehr alternativen Routenführungen an den Sender zu übertragen; und Mittel zum Erhalten einer Auswahl von einer der zwei oder mehr alternativen Routenführungen von dem Sender, wobei das erste Signal, das zur Umleitung des Empfängers wirksam ist, das erste Signal umfasst, das zur Umleitung des Empfängers entlang der einen der zwei oder mehr alternativen Routenführungen wirksam ist, die vom Sender empfangen wurden.
In Beispiel 75 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 68-74 optional, wobei das Mittel zum Erhalten des Modells das Erhalten eines trainierten Modells umfasst.
In Beispiel 76 umfasst der Gegenstand von irgendeinem oder mehreren der Beispiele 68-75 optional, wobei das Modell ein statistisches Modell umfasst und das Mittel zum Bestimmen der Absicht des Menschen das Mittel zum Bestimmen der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.
In Beispiel 77 können die Vorrichtungen, Systeme, computerlesbaren Medien oder Verfahren irgendeines oder irgendeiner Kombination der Beispiele 1-76 optional so ausgebildet sein, dass alle genannten Elemente oder Optionen zur Verwendung oder Auswahl zur Verfügung stehen.
Die obige detaillierte Beschreibung nimmt Bezug auf die beiliegenden Zeichnungen, die Bestandteil der detaillierten Beschreibung sind. Veranschaulichend zeigen die Zeichnungen spezifische Ausführungsbeispiele, bei denen die Erfindung ausgeführt werden kann. Diese Ausführungsbeispiele werden hierin auch als „Beispiele“ bezeichnet. Solche Beispiele können Elemente zusätzlich zu den Gezeigten oder Beschriebenen umfassen. Allerdings betrachten die vorliegenden Erfinder auch Beispiele, bei denen nur jene Elemente, die gezeigt oder beschrieben sind, bereitgestellt sind. Ferner betrachten die vorliegenden Erfinder auch Beispiele, die irgendeine Kombination oder Permutation jener gezeigten oder beschriebenen Elemente (oder einen oder mehrere Aspekte derselben) verwenden, entweder im Hinblick auf ein bestimmtes Beispiel (oder einen oder mehrere Aspekte desselben) oder im Hinblick auf andere hierin gezeigte oder beschriebene Beispiele (oder einen oder mehrere Aspekte derselben).
Im Fall von widersprüchlichen Verwendungen zwischen diesem Dokument und irgendwelchen auf diese Weise durch Bezugnahme aufgenommenen Dokumenten, regelt die Verwendung in diesem Dokument.
In diesem Dokument werden die Begriffe „ein, eine“ verwendet, wie in Patentdokumenten üblich, um einen oder mehrere als einen zu umfassen, unabhängig von irgendwelchen anderen Fällen oder Verwendungen von „zumindest ein,e,s“ oder „ein,e,s oder mehrere“. In diesem Dokument wird der Begriff „oder“ verwendet, um auf ein nicht-exklusives oder Bezug zu nehmen, derart, dass „A oder B“ „A aber nicht B“, „B aber nicht A“ und „A und B“ umfasst, sofern es nicht anderweitig angegeben ist. In diesem Dokument werden die Begriffe „aufweisend“ und „bei dem,r“ als die einfachen Entsprechungen der jeweiligen Begriffe „umfassend“ und „wobei“ verwendet. In den folgenden Ansprüchen sind ferner die Begriffe „aufweisend“ und „umfassend“ offene Begriffe, d.h. ein System, Bauelement/Vorrichtung (device), Artikel, Zusammensetzung, Formulierung oder Prozess, der Elemente zusätzlich zu jenen umfasst, die nach einem solchen Begriff in einem Anspruch aufgeführt sind, fällt immer noch in den Schutzbereich dieses Anspruchs. Ferner werden in den folgenden Ansprüchen die Begriffe „erste,r,s“ „zweite,r,s“ und „dritte,r,s“ etc. lediglich als Kennzeichnungen verwendet und sollen ihren Objekten keine numerischen Anforderungen auferlegen.
Die obige Beschreibung soll veranschaulichend und nicht einschränkend sein. Zum Beispiel können die vorangehend beschriebenen Beispiele (oder einer oder mehrere Aspekte derselben) in Kombination miteinander verwendet werden. Andere Ausführungsbeispiele können verwendet werden, wie beispielsweise durch einen Durchschnittsfachmann nach Prüfung der obigen Beschreibung. Die Zusammenfassung ist bereitgestellt, um 37 C.F.R §1.72(b) zu entsprechen, um es dem Leser zu erlauben, das Wesen der technischen Offenbarung schnell zu verstehen. Sie wird mit dem Verständnis eingereicht, dass sie nicht benutzt wird, um den Schutzbereich oder die Bedeutung der Ansprüche zu interpretieren oder einzuschränken. Ferner können in der obigen detaillierten Beschreibung verschiedene Merkmale zu einer Gruppe zusammengefasst werden, um die Offenbarung zu vereinheitlichen. Dies soll nicht so ausgelegt werden, als ob beabsichtigt sei, dass ein nicht beanspruchtes, offenbartes Merkmal für einen Anspruch wesentlich ist. Im Gegenteil, der erfinderische Gegenstand kann in weniger als allen Merkmalen eines bestimmten offenbarten Ausführungsbeispiels liegen. Somit sind die folgenden Ansprüche hiermit als Beispiele oder Ausführungsbeispiele in die detaillierte Beschreibung aufgenommen, wobei jeder Anspruch als getrenntes Ausführungsbeispiel für sich steht, und es wird in Erwägung gezogen, dass solche Ausführungsbeispiele miteinander in verschiedenen Kombinationen oder Permutationen kombiniert werden können. Der Schutzbereich der Erfindung sollte Bezug nehmend auf die beigefügten Ansprüche bestimmt werden, zusammen mit dem vollständigen Schutzbereich von Entsprechungen, auf welche solche Ansprüche Anrecht haben.

Claims

Ein System zur Steuerung eines Empfängers, das System umfassend: mindestens einen Prozessor; und mindestens einen Speicher, der die Anweisungen speichert, die, wenn sie vom Prozessor ausgeführt werden, den Prozessor veranlassen, Operationen durchzuführen zum: Erhalten, von dem Empfänger, dem Empfänger zugeordnete Umgebungsdaten, Empfangen, aus einer Datenbank, eines Modells, das eine menschliche Absicht definiert, Bestimmen einer Absicht eines Menschen in der Nähe des Empfängers unter Verwendung des Modells, und Senden eines ersten Signals an den Empfänger, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
Das System gemäß Anspruch 1, die Operationen ferner umfassend: Erhalten, von einem Sender, von Umgebungsdaten, die dem Sender zugeordnet sind; Bestimmen einer Absicht des Senders auf der Grundlage eines dem Sender zugeordneten Modells; und Senden eines zweiten Signals an den Empfänger, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Senders zu ändern.
Das System gemäß einem oder einer Kombination der Ansprüche 1-2, wobei das Erhalten der Umgebungsdaten das Erhalten von Audiodaten über ein oder mehrere an den Empfänger angeschlossene Audiovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einem der einen oder mehreren Audiovorrichtungen zugeordnet ist, die an den Empfänger angeschlossen sind.
Das System gemäß einem oder einer Kombination der Ansprüche 1-3, wobei das Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere an den Empfänger angeschlossene Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Menschen anzupassen.
Das System gemäß einem oder einer Kombination der Ansprüche 1-4, wobei das Erhalten des Modells das Erhalten eines trainierten Modells umfasst.
Das System gemäß einem oder einer Kombination der Ansprüche 1-5, wobei das Modell ein statistisches Modell umfasst und das Bestimmen der Absicht des Menschen das Bestimmen der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.
Das System gemäß einem oder einer Kombination der Ansprüche 1 bis 6, wobei das Erhalten der Umgebungsdaten das Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
Das System gemäß Anspruch 7, die Operationen ferner umfassend: Erzeugen einer dreidimensionalen Abbildung eines Raums auf der Grundlage der räumlichen Daten; und Übersetzen der dreidimensionalen Abbildung des Raums in eine zweidimensionale Abbildung des Raums; wobei das erste Signal ferner wirksam ist, den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums umzuleiten.
Das System gemäß Anspruch 7 oder 8, die Operationen ferner umfassend: Erzeugen von zwei oder mehr alternativen Routenführungen auf der Grundlage einer zweidimensionalen Abbildung eines den räumlichen Daten zugeordneten Raums; Übertragen der zwei oder mehr alternativen Routenführungen an einen Sender; und Empfangen einer Auswahl von einer der zwei oder mehr alternativen Routenführungen von dem Sender, wobei das erste Signal, das zur Umleitung des Empfängers wirksam ist, das erste Signal umfasst, das zur Umleitung des Empfängers entlang der einen der zwei oder mehr alternativen Routenführungen wirksam ist, die vom Sender empfangen wurden.
Ein System zum Steuern eines Empfängers durch einen Sender, das System umfassend: mindestens einen Prozessor; und mindestens einen Speicher, in dem Anweisungen gespeichert sind, die, wenn sie vom Prozessor ausgeführt werden, den Prozessor veranlassen, Operationen durchzuführen zum: Erhalten, von dem Sender, dem Empfänger zugeordnete Umgebungsdaten; Erhalten, aus einer Datenbank, eines ersten Modells, das eine menschliche Absicht definiert; Bestimmen einer Absicht des Senders unter Verwendung des ersten Modells; und Senden eines ersten Signals an den Empfänger, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Senders zu ändern.
Das System gemäß Anspruch 10, die Operationen ferner umfassend: Erhalten, vom Empfänger, von dem Empfänger zugeordneten Umgebungsdaten; Bestimmen einer Absicht eines Menschen, der sich in der Nähe des Empfängers befindet, basierend auf einem zweiten Modell; und Senden eines zweiten Signals an den Empfänger, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
Das System gemäß einem oder einer Kombination der Ansprüche 10-11, wobei das Erhalten der Umgebungsdaten das Erhalten von Audiodaten über ein oder mehrere dem Sender zugeordnete Audiovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einer der einen oder mehreren Audiovorrichtungen zugeordnet ist, die dem Sender zugeordnet sind.
Das System gemäß einem oder einer Kombination der Ansprüche 10-12, wobei das Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere dem Sender zugeordnete Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Senders anzupassen.
Das System gemäß einem oder einer Kombination der Ansprüche 10 bis 13, wobei das Erhalten der Umgebungsdaten das Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
Das System gemäß einem oder einer Kombination der Ansprüche 10-14, wobei das Erhalten des Modells das Erhalten eines trainierten Modells umfasst.
Das System gemäß einem oder einer Kombination der Ansprüche 10-15, wobei das Modell ein statistisches Modell umfasst und die Bestimmung der Absicht des Menschen die Bestimmung der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.
Das System gemäß Anspruch 16, die Operationen ferner umfassend: Erzeugen einer dreidimensionalen Abbildung eines Raums auf der Grundlage der räumlichen Daten; und Übersetzen der dreidimensionalen Abbildung des Raums in eine zweidimensionale Abbildung des Raums; wobei das erste Signal ferner wirksam ist, den Empfänger innerhalb des Raums auf der Grundlage der zweidimensionalen Abbildung des Raums und der Absicht des Senders umzuleiten.
Das System gemäß Anspruch 16, die Operationen ferner umfassend: Erzeugen von zwei oder mehr alternativen Routenführungen auf der Grundlage einer zweidimensionalen Abbildung eines den räumlichen Daten zugeordneten Raums; Übertragen der zwei oder mehr alternativen Routenführungen an den Sender; und Erhalten einer Auswahl von einer der zwei oder mehr alternativen Routenführungen von dem Sender, wobei das erste Signal, das zur Umleitung des Empfängers wirksam ist, das erste Signal umfasst, das zur Umleitung des Empfängers entlang der einen der zwei oder mehr alternativen Routenführungen wirksam ist, die vom Sender empfangen wurden.
Ein System zur Steuerung eines Empfängers, das System umfassend: Mittel zum Erhalten, an einer Rechenvorrichtung, von dem Empfänger, von Umgebungsdaten, die dem Empfänger zugeordnet sind; Mittel zum Erhalten, aus einer Datenbank, eines Modells, das eine menschliche Absicht definiert; Mittel zum Bestimmen, durch die Rechenvorrichtung, einer Absicht eines Menschen in der Nähe des Empfängers unter Verwendung des Modells; und Mittel zum Veranlassen der Rechenvorrichtung, ein erstes Signal an den Empfänger zu übertragen, wobei das erste Signal wirksam ist, um den Empfänger zu veranlassen, ein erstes Verhalten auf der Grundlage der Absicht des Menschen zu ändern.
Das System gemäß Anspruch 19, ferner umfassend: Mittel zum Erhalten, an der Rechenvorrichtung, von einem Sender, von Umgebungsdaten, die dem Sender zugeordnet sind; Mittel zum Bestimmen, durch die Rechenvorrichtung, einer Absicht des Senders auf der Grundlage eines dem Sender zugeordneten Modells; und Mittel zum Veranlassen der Rechenvorrichtung, ein zweites Signal an den Empfänger zu übertragen, wobei das zweite Signal wirksam ist, um den Empfänger zu veranlassen, ein zweites Verhalten auf der Grundlage der Absicht des Senders zu ändern.
Das System gemäß einem oder einer Kombination der Ansprüche 19-20, wobei das Mittel zum Erhalten der Umgebungsdaten das Erhalten von Audiodaten über eine oder mehrere an den Empfänger angeschlossene Audiovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Lautstärke einzustellen, die mindestens einer der einen oder mehreren Audiovorrichtungen zugeordnet ist, die an den Empfänger angeschlossen sind.
Das System gemäß einem oder einer Kombination der Ansprüche 19-21, wobei das Mittel zum das Erhalten der Umgebungsdaten das Erhalten von visuellen Daten über ein oder mehrere an den Empfänger angeschlossene Videovorrichtungen umfasst, und das erste Signal, das wirksam ist, das erste Verhalten zu ändern, das erste Signal umfasst, das wirksam ist, eine Position des Empfängers basierend auf der Absicht des Menschen anzupassen.
Das System gemäß einem oder einer Kombination der Ansprüche 19 bis 22, wobei das Mittel zum Erhalten der Umgebungsdaten das Mittel zum Erhalten räumlicher Daten über mindestens einen eines optischen Sensors und eines akustischen Sensors umfasst.
Das System gemäß einem oder einer Kombination der Ansprüche 19-23, wobei das Mittel zum Erhalten des Modells das Mittel zum Erhalten eines trainierten Modells umfasst.
Das System gemäß einem oder einer Kombination der Ansprüche 19-24, wobei das Modell ein statistisches Modell umfasst und das Mittel zum Bestimmen der Absicht des Menschen das Mittel zum Bestimmen der Absicht des Menschen auf der Grundlage des statistischen Modells umfasst.