DE112017005766T5

DE112017005766T5 - Telepräsenzsystem

Info

Publication number: DE112017005766T5
Application number: DE112017005766.3T
Authority: DE
Inventors: Anmelder Gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-11-16
Filing date: 2017-11-15
Publication date: 2019-08-29
Also published as: CN110583013A; GB201908333D0; CN110583013B; WO2018090134A1; GB2571868A; GB2571868B; US9794516B1

Abstract

Es wird ein Telepräsenzsystem mit einer Benutzerstation an einem entfernten Ort eines Benutzers sowie eine Telepräsenzvorrichtung an einem Ort einer Ortsperson aufgezeigt. Der Abstand von Objekten in der Umgebung der Ortsperson wird sensiert, so dass ein gewählter Abstand zwischen der Telepräsenzvorrichtung und der Ortsperson beibehalten wird. Augenmerkmale und Blicke der Ortsperson und des entfernten Benutzers werden sensiert und die Höhe der Anzeige der Telepräsenzvorrichtung wird automatisch eingestellt, so dass die Augenhöhe der Ortsperson zu der Augenhöhe des Benutzerbilds in der Anzeige passt. Wenn ein beabsichtigter Augenkontakt sensiert wird, werden Positionen der Telepräsenzvorrichtung, deren Anzeige sowie eines Sensorfelds, das Kameras und andere Sensoren aufnimmt, justiert, und kann ein Gesichtsbild mit einem unterschiedlichen Blickwinkel hergestellt werden, um einen Augenkontakt zwischen der Ortsperson und dem entfernten Benutzer anzugleichen, während alle anderen Gesichtsausdrücke bewahrt werden.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Nicht zutreffend.
ANGABE IN BEZUG AUF ÖFFFENTLICH GEFÖRDERTE FORSCHUNG ODER ENTWICKLUNG
Nicht zutreffend.
DIE NAMEN DER PARTEIEN ZU EINER GEMEINSAMEN FORSCHUNGSÜBEREINKUNFT
Nicht zutreffend.
BEZUGNEHMENDE AUFNAHME VON MATERIAL, DAS AUF EINER KOMPAKTDISK ODER ALS TEXTDATEI ÜBER DAS AMTLICHE ELEKTRONISCHE EINREICHUNGSSYSTEM (EFS-WEB) EINGEREICHT WURDE
Nicht zutreffend.
ANGABE IN BEZUG AUF FRÜHERE OFFENBARUNGEN DURCH DEN ERFINDER ODER EINEN GEMEINSAMEN ERFINDER
Nicht zutreffend.
HINTERGRUND
Gebiet der Erfindung
Die vorliegende Erfindung betrifft allgemein Videokonferenzen und insbesondere ein Telepräsenzsystem mit spezifischen Merkmalen wie etwa automatischem Abgleich der Höhe der Anzeige der Telepräsenzsystem an eine Ortsperson, Beibehalt eines ausgewählten Abstands zu der Ortsperson, Erkennen der Blickrichtung und Abgleich des Augenkontakts zwischen einem entfernten Benutzer und der Ortsperson.
Beschreibung der verwandten Technik
Veranlasst durch Globalisierung von geschäftlichen Organisationen und Dezentralisierung von Arbeitskraft, expandieren Anforderungen von Videokonferenz-Diensten und -Geräten in den multinationalen Geschäftsunternehmen schnell. In den letzten Jahren sind Videokonferenzen von öffentlichen Sektoren und Gesundheitsdienstsektoren als effektive Form der Kommunikation zwischen entfernten Nutzern weithin angewendet worden. Jedoch sind Meldungen, die durch Videokonferenz übermittelt werden, nicht so effektiv wie eine persönliche Unterhaltung, insbesondere in einem Sinne, dass subtile nicht-verbale Kommunikationshinweise wie etwa Augenkontakt, Blickrichtung und zwischenmenschlicher Abstand bei Videokonferenzen häufig übersehen werden oder unmöglich widergegeben werden können. Im Gegensatz hierzu tendieren Leute, die in eine persönliche Unterhaltung einbezogen sind, häufig dazu, innerhalb eines zwischenmenschlichen Abstands mit anderen Augenkontakt zu halten.
In den meisten Videokonferenz-Systemen und Telepräsenzsystemen sind Kameras oder Bildsensoren, die ein Bild der interagierenden Person aufnehmen, häufig über oder in der Nachbarschaft des Monitors angeordnet, der ein Bild des entfernten Benutzers anzeigt. Es ist klar, dass auch dann, wenn ein Benutzer die Absicht hat, in die Augen einer interagierenden Person eines Monitors zu blicken, diese in der Perspektive der interagierenden Person scheinbar nach unten blicken, wenn die Kamera oben auf dem Monitor angeordnet ist. Ähnlich wird der Benutzer scheinbar zur Seite blicken, wenn die Kamera an der Seite des Monitors angeordnet ist, oder er wird scheinbar nach oben blicken, wenn die Kamera unter dem Monitor angeordnet ist. Als Ergebnis dieses Kameraorientierungs-Problems wird die Blickrichtung des Benutzers, die im Monitor der Person gezeigt ist, von dessen tatsächlichem Wunsch scheinbar unterschiedlich sein. Jedoch werden Einstellungen an den Bildern in diesen Systemen häufig vernachlässigt. Diese Systeme sind daher nicht ausreichend, um die Blickrichtung zu bewahren oder den Augenkontakt zwischen den Benutzern beizubehalten.
Das Telepräsenz-Robotersystem bleibt eines der realistischsten interaktiven Zwei-Wege-Videokonferenz-Systeme, die bisher auf dem Markt verfügbar sind, weil es die räumliche Distanz überwindet, während es dazu beiträgt, einen Sinn der Präsenz eines entfernten Benutzers zu erzeugen, um soziale Kommunikation zu ermöglichen. Es sind Fortschritte gemacht worden, um die Interaktion zwischen Benutzern zu verbessern, insbesondere um einen Augenkontakt zwischen dem Benutzer und der interagierenden Person über eine Telepräsenzvorrichtung zuzulassen. In diesen Fortschritten vorgeschlagene Methoden beinhalten das Manövrieren des Kopfs der Telepräsenzvorrichtung in Richtung der Stimme eines Benutzers, und das Verwenden eines halbversilberten Spiegels oder einer Strahlenteilertafel, die das Anbringen einer Kamera direkt dahinter erlaubt, um einen scheinbaren Augenkontakt zwischen dem Bild des Benutzers und der interaktiven Person vorzusehen. Eine andere Lehre zeigt ein Telepräsenzsystem, das auf einem projizierten lebensgroßen Bild des Ersatz-Roboters beruht, um die Benutzerperspektive und einen vertikalen Blick zu bewahren. Eine andere Lehre verwendet 3D-Rekonstruktionstechnik zum Nachzentrieren von sowohl dem Kopf als auch der Augenposition des Benutzerbilds in der Anzeige der Telepräsenzvorrichtung.
Jedoch haben diese Telepräsenzsystem ihre Grenzen im Hinblick auf einfache Verwendung, Bezahlbarkeit und gesamte Benutzererfahrung. Zum Beispiel gibt es Bedarf nach erheblichen Rechen- und Netzwerkressourcen, um das hochauflösende lebensgroße Hintergrundbild zu erlangen und zu senden, wobei die vom Benutzer beabsichtigter Blickrichtung nicht richtig bewahrt wird und es inhärente Probleme eines Strahlenteilers vorliegt, wie etwa eine verschlechterte Bildqualität durch Umgebungslicht und voluminösen Aufbau, der die Mobilität eines Benutzers zu einem spezifischen räumlichen Ort beschränkt, wo der Strahlenteiler zuvor installiert wurde.
In letzter Zeit ist ein Telepräsenz-Roboter-(E-Travel)-System entwickelt worden, das die Größe eines entfernten Benutzers in einem Ersatzroboter dupliziert und die Perspektive des entfernten Benutzers und den vertikalen Blick bewahrt. In einem anderen Ansatz ist eine mit haptischer Rückkopplung ausgestattete Telepräsenzvorrichtung konfiguriert, um sich in Antwort auf eine Kraft zu bewegen, die von einer Ortsperson ausgeübt wird. Jedoch zeigt keines dieser Systeme eine Fähigkeit zum automatischen Abgleich der Höhe des Roboters mit der Ortsperson oder zum kontinuierlichen Beibehalt eines ausgewählten Abstands zwischen dem Roboter und der Ortsperson in Antwort auf die Echtzeitbewegung der Person.
Verhaltenswissenschaftler haben gezeigt, dass der Besitz eines allgemein akzeptierten zwischenmenschlichen Abstands gemäß verschiedenen Umständen und der Beibehalt eines konstanten Augenkontakts starken Einfluss auf soziale Interaktion haben. Ein Fehlen dieser Interaktionen kann eine Wahrnehmung von Desinteresse oder der Besorgnis erzeugen, dass sich jemand von der Kommunikation ausgeschlossen fühlt, oder kann Aufmerksamkeitsspannen unter den Teilnehmern senken und kann es für den entfernten Benutzer schwierig machen, einen Sinn der Präsenz an dem gleichen räumlichen Ort wie die interagierende Person beizubehalten. Ferner haben Untersuchungen gezeigt, dass eine Person, die eine Videokonferenz durchführt und aufgrund des Kameraparallaxenfehlers als Augenkontakt-Vermeider präsentiert wird, negativ wahrgenommen wird. Ergebnisse haben auch gezeigt, dass Menschen eine Interaktion mit Vorrichtungen ihrer ähnlichen Höhe bevorzugt und tendenziell näher an der Telepräsenzvorrichtung bleiben, wenn sie etwa die gleiche Größe haben.
Um daher einen persönlichen Kontakt besser wahrzunehmen und die Präsenz des entfernten Benutzers zu verstärken, gibt es Bedarf in der Technik nach einem Verfahren oder einem System, das insbesondere die beabsichtigte Blickrichtung beider Benutzer beibehält, während es in der Lage ist, auf die körperliche Bewegung der Person in Echtzeit zu reagieren, so dass die Telepräsenzvorrichtung automatisch einen ausgewählten Abstand zu der Ortsperson beibehält und die Größe der Person abgleicht.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung betrifft ein System, das die Qualität von Interaktion und die Effektivität von Kommunikation zwischen einem und dem anderen verbessert, die durch einen Abstand getrennt sind. Insbesondere offenbart sie ein Telepräsenzsystem mit Merkmalen zum automatischen Abgleich der Augenhöhe eines entfernten Benutzerbilds, das in einer Telepräsenzvorrichtung angezeigt wird, mit der Augenhöhe einer Ortsperson, Beibehalt eines ausgewählten Abstands zwischen der Telepräsenzvorrichtung und der lokalen Person, Erkennen einer Blickrichtung und Beibehalten eines Augenkontakts zwischen der interagierenden Ortsperson und dem entfernten Benutzer, wenn eine Absicht zum Beibehalt von Augenkontakt detektiert wird, bei minimalem menschlichen Eingriff.
Details von einer oder mehreren Ausführungen der Offenbarung sind in den beigefügten Zeichnungen aufgeführt und nachfolgend beschrieben. Andere Aspekte, Merkmale und Vorteile werden Fachkundigen beim Lesen der folgenden Beschreibung und den Zeichnungen und aus den Ansprüchen ersichtlich.
Figurenliste
Diese Erfindung wird aus einer Betrachtung der detaillierten Beschreibung von nicht-einschränkenden Ausführungen besser verständlich, die nachfolgend in Bezug auf die beigefügten Zeichnungen aufgezeigt sind, worin:

1 ist eine Darstellung der bevorzugten Ausführung des Telepräsenzsystems in dieser Erfindung
2 ist eine Darstellung des Sensorsfelds in der Telepräsenzvorrichtung
3 ist ein Telepräsenz-Verfahren gemäß der vorliegenden Erfindung

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
In Bezug auf 1 ist ein Telepräsenzsystem 100 gemäß der vorliegenden Erfindung gezeigt, das dazu benutzt werden kann, einen entfernten Besuch durchzuführen. In einer bevorzugten Ausführung hat ein Telepräsenzsystem eine Benutzerstation 101 in der Form eines Computers oder einer kopfmontierten Anzeige (HMD), ausgestattet mit Kamera(s), Lautsprecher(n) und Mikrofon(en) an einem ersten geografischen Ort mit einem entfernten Benutzer 102, sowie eine Telepräsenzvorrichtung 103 an einem zweiten geografischen Ort mit einer Ortsperson 104.
Die hierin beschriebene Telepräsenzvorrichtung 103 enthält eine Flüssigkristallanzeige-(LCD)-Tafel 106 zum Anzeigen eines frontalen Vollgesicht-Bilds des Benutzers 102. Die Anzeige 106 ist an eine Serie von motorisierten Komponenten 107 gelagert und von diesen getragen, so dass sie sich auf und ab bewegen kann, um einen weiten Höhenbereich abzudecken, der von einer sitzenden kleinen Person bis zu einer stehenden großen Person reicht, sowie auch zum Versetzen, Neigen und Drehen der Anzeige 106 zu einer gewünschten räumlichen Position, die direkt zu der Ortsperson 104 weist.
Die Trag- und Lagerkomponenten 107 sind mit einer motorisierten mobilen Plattform 108 verbunden, die eine Serie von Rädern sowie einen Motor enthält, um zu erlauben, dass die Telepräsenzvorrichtung 103 ohne zu kippen durch einen Ort manövriert. Die motorisierte mobile Plattform 108 nimmt auch Batterien und einen Steuercomputer mit einer Computernetzwerkverbindung auf. Die motorisierte mobile Plattform 108 kann elektronisch gesteuert sein, so dass die Telepräsenzvorrichtung 103 auf die Position der Person und auf die Befehle von der Benutzerstation 101, die über ein drahtloses Kommunikationsnetzwerk 105 entfernt verbunden ist, antwortet. Oder die motorisierte mobile Plattform 108 kann auch manuell betätigbar sein, so dass die Telepräsenzvorrichtung von einer weiteren Person 103 manuell um den Ort der Person herum bewegt werden kann. In jedem Fall behält die Telepräsenzvorrichtung 103 automatisch einen ausgewählten Abstand zu der Person 104 bei, um den üblichen sozialen Abstand (zum Beispiel 1,5 bis 3m) zu reproduzieren, als ob sich der entfernte Benutzer 102 und die Ortsperson 104 am gleichen Ort befinden.
Einer oder mehrere Lautsprecher 109 sind an den linken und rechten Seiten der Anzeige 106 angeordnet, um ein Richtungshören der Benutzerstimme zu ermöglichen. Unterdessen werden Audio- und Videosignale zwischen der Benutzerstation 101 und der Telepräsenzvorrichtung 103 über ein Hochgeschwindigkeits-Kommunikationsnetzwerk 105 als Bilder und Geräusche übertragen, die kontinuierlich über das Mikrofon und Kameras in dem Sensorfeld 110 erfasst werden, das oben auf der Anzeige 106 positioniert ist, und jene, mit denen die Benutzerstation 101 ausgestattet ist.
Nun ist in Bezug auf 2 das Sensorfeld 110 der Telepräsenzvorrichtung 103 gemäß der vorliegenden Erfindung gezeigt. Das Sensorfeld 110 umfasst Infrarotsensoren 201, einen Infrarotsender 202, eine oder mehrere hochauflösende 3D-Kameras 203 sowie zwei Mikrophone 204, die an unteren vorderen Ecken des Felds angeordnet sind, um Geräusch der Person 104 aufzunehmen. Es können auch andere Sensoren, Detektoren oder Mittel der Technik in dieses Sensorfeld eingebaut sein, wenn es erforderlich ist. Das Sensorfeld 110 kann unabhängig von der Anzeige 106 durch ein motorisiertes Richtungssteuermittel 205 geneigt, ausgefahren und gedreht werden, das chronisch gesteuert sein kann, so dass die Positionen der Sensoren auf die Augenposition oder auf die körperliche Bewegung der Person 104 ansprechen.
Um den Blick der Person zu erkennen, sind einer oder mehrere Infrarotsensoren 201 mit dem Infrarotsender 202 kombiniert, um die Augenbewegung der Ortsperson 104 zu verfolgen. Der Infrarotsender 202 projiziert ein Infrarotmuster auf die Augen der Person, und der Infrarotsensor 201, der in diesem Fall eine Infrarotkamera sein kann, nimmt ein Bild, das diese Reflektionen zeigt, mit hoher Bildwechselfrequenz auf. Die Bilder werden durch computerimplementierte Algorithmen bearbeitet, um die Augenposition der Person und den Blickpunkt der der Anzeige 106 zu berechnen. Es sollte angemerkt werden, dass diese Ausführung lediglich ein Beispiel einer gangbaren Weise der Augenverfolgung und der Blickerkennung ist. Unterdessen gibt es zahlreiche andere Wege in der Technik, um die gleiche Information zu erhalten.
Wenn einer der Infrarotsensoren 201 eine tiefenscharfe Kamera ist, wird ein Tiefenbild aufgenommen. Zusammen mit dem von der 3D-Kamera 203 aufgenommenen 3D-Farbbild können geometrische Beziehungen von Objekten in der Umgebung der Person 104 und der Telepräsenzvorrichtung 103, die in das Blickfeld der Kameras fallen, durch computerimplementierte Algorithmen extrahiert werden. Die bearbeitete Information kann dazu benutzt werden, den Abstand zwischen der Telepräsenzvorrichtung 103 und der Person 104 zu steuern, und potentielle Hindernisse zu vermeiden, wenn die Telepräsenzvorrichtung 103 vom entfernten Benutzer 104 angewiesen wird, um den Ort herum zu manövrieren. Wiederum sollte angemerkt werden, dass es in der Technik auch andere gangbare Ausführungen gibt, um die gleiche Information zu erfassen.
Obwohl die Komponenten in 2 dargestellt sind, als ob sie als gesamte Einheit oben auf der Anzeige 106 angebracht sind, ist dies lediglich ein Beispiel, und somit kann jede dieser Komponenten auf separaten von anderen und an verschiedenen Orten der Telepräsenzvorrichtung 103 angebracht werden.
Schlüsselkomponenten der vorliegenden Erfindung umfassen den Abgleich von Augenkontakt und das Bewahren der Blickrichtung zwischen dem auf der Telepräsenzvorrichtungs-Anzeige 106 angezeigten Gesichtsbild des Benutzers und der interagierenden Person 104. Die Blickrichtung bezieht sich darauf, wohin eine Person blickt, und Augenkontakt bezieht sich darauf, direkt in die Augen eines anderen zu blicken. Beide Charakteristika bieten subtile und wesentliche Information über und jenseits von gesprochenen Worten, die die Gesamterfahrungen des Benutzers des virtuellen Meetings verbessern.
Um die Erfahrung eines natürlichen Augenkontakts in dem Ort der Person zu ermöglichen, ist es wesentlich, dass während des gesamten virtuellen Meetings die Höhe der Ortsperson 104 zu der Telepräsenzvorrichtung 103 passt. Genauer gesagt, dass die Augenhöhe der Person 104 zur Augenhöhe des Benutzerbilds passt, das in der Anzeige 106 der Telepräsenzvorrichtung 103 angezeigt wird.
In einer Ausführung von zahlreichen gangbaren Alternativen in der Technik wird ein Echtzeit-3D-Bild des Gesichts der Person von der Kamera 203 aufgenommen, um die Größe der Person 104 mit der Telepräsenzvorrichtung 104 abzugleichen. Information von besonderen Gesichtsmerkmalen aus dem Bild, wie etwa die Iris und die Pupille des Auges, werden durch Mustererkennungssoftware in dem Steuercomputer der Telepräsenzvorrichtung extrahiert und analysiert. Die Augenmerkmale werden dann identifiziert, und ihre Positionen werden auch aus der Information bestimmt, die von dem Infrarotsensor 201 oder von einer Infrarotkamera erfasst wird. Der Steuercomputer in der Telepräsenzvorrichtung hebt oder senkt dann automatisch die Trägerkomponenten 107, so dass die Augenhöhe des Gesichts des Benutzers, das in der Anzeige 106 der Telepräsenzvorrichtung angezeigt wird, exakt mit der Augenhöhe der Person 104 automatisch abgeglichen wird. Die Höhe der Person 104 wird von den Infrarotsensoren 204 oder einer Infrarotkamera kontinuierlich überwacht, und dann wird empfangene Information durch Mustererkennungssoftware analysiert, um die Höhe der Telepräsenzvorrichtung 103 sofort einzustellen. Falls sich daher die Augenhöhe der Person während eines Meetings ändert, zum Beispiel Position von Sitzen zu Stehen oder umgekehrt ändert, wird die Höhe der Anzeige 106 automatisch eingestellt, so dass sie zur neuen Höhe passt, mit minimalem menschlichen Eingriff.
An der Benutzerseite wird die Höhe der Benutzerstation 101 vom Benutzer 102 von selbst eingestellt, weil der Monitor in der Benutzerstation 101 vom Benutzer 102 auf eine komfortable Blickhöhe positioniert werden wird, wenn die Benutzerstation 101 die Form ein Laptops oder Desktopcomputers hat. Es ist sogar noch bequemer, die Höhe der Benutzerstation 101 an die Augenhöhe des Benutzers anzupassen, wenn die Benutzerstation 101 die Form von HMD hat.
Beschränkt durch die allgemeinen Konfigurationen von Kamera und Monitor, wie in dem vorherigen Abschnitt diskutiert, und beeinflusst durch die Parallaxenverzerrung, die sich aus der gesamten optischen Vorrichtung in dem System akkumuliert, würden die Blickrichtung des Gesichtsbilds, das auf der Telepräsenzvorrichtung 103 und auf der Benutzerstation 101 angezeigt wird, kleinere Justierungen erfordern, um die beabsichtigte Blickrichtung zwischen dem Benutzer 102 und der Person 104 zu bewahren. Daher sind sowohl die Benutzerstation 101 als auch die Telepräsenzvorrichtung 103 mit Systemen und anderen Mitteln in der Technik ausgestattet, um ein 3D-Bild-Mapping, Augenverfolgung und Blickerkennung zu assistieren, um sicherzustellen, dass der Blick ihrer Augen passt, falls erforderlich.
Es ist klar, dass das System 100 nicht versuchen sollte, die Blickrichtung zwischen dem Benutzer 102 und der Person 104 abzugleichen, wenn einer von diesen nicht die Absicht hat, Augenkontakt mit dem anderen herzustellen. Zum Beispiel ist es natürlich und bevorzugt, Augenkontakt beizubehalten, wenn die beiden miteinander reden. Jedoch könnte einer gelegentlich für eine kurze Zeitdauer während des Meetings woanders hinblicken, wie etwa dann, wenn er nachdenkt, schreibt oder liest, oder wenn zeitweilig keiner spricht, etc. Unter diesen Umständen wird das Telepräsenzsystem keinerlei Aktion vornehmen, um die Blickrichtung abzugleichen, wenn der Blick von den Augen des Bilds weit weg fällt, aber wird die Blickabsicht und alle anderen Gesichtsausdrücke des Benutzers 102 und der Person 104 bewahren. Sobald der Blick in einen vernünftigen Bereich um die Augen des Bilds herum zurückfällt, das einen beabsichtigten Augenkontakt anzeigt, wird das System 101 den Blickabgleich-Algorithmus aktivieren, um einen Augenkontakt zwischen dem Benutzer 102 und der Person 104 anzugleichen, während alle anderen Gesichtsausdrücke bewahrt werden. Daher ist in einer Ausführung das System 101 konfiguriert, um den Blickabgleich-Algorithmus durch einen oder mehrere vordefinierte Indikatoren zu aktivieren, wie etwa mittels Audioverstärkung, Gesten oder Blickort, etc. In anderen Worten, das Blickabgleichsystem wird aktiviert, wenn der Benutzer 102 oder die Person 104 spricht (Audioverstärkungsindikator), oder wenn einer in die Nähe der Augen des Bilds blickt (Blickortindikator) oder wenn einer mit der Hand wedelt (Gestenindikator), etc.
Wenn der Benutzer 102 und die Person 104 die Absicht haben, Augenkontakt beizubehalten, sind ihre Blickpunkte bereits nahe dem Augenbereich der Bilder in der Anzeige. Es sind lediglich leichte Justierungen erforderlich, um den Blick zwischen dem Benutzer 102 und der Person 104 abzugleichen, um einen Augenkontakt aufzubauen, während alle anderen Gesichtsausdrücke bewahrt werden. Diese leichten Justierungen können durch Ausführung des Blickabgleich-Algorithmus erzielt werden, der fünf computergesteuerte Aktionen aufweist, die entweder einzeln oder in Kombination vorgenommen werden können, welche sind: eine Feinjustierung der Position der Telepräsenzvorrichtung 103; Versetzen, Neigen oder Drehen der Anzeige 106 der Telepräsenzvorrichtung; Versetzen, Neigen oder Drehen der Kameras 203 und Sensoren 201 in der Telepräsenzvorrichtung; horizontales oder vertikales Versetzen des Bilds, das in der Anzeige 106 der Telepräsenzvorrichtung angezeigt wird; und Wiederherstellen des Gesichtsbilds. Details sind nachfolgend exemplifiziert.
In einer bevorzugten Ausführung der Benutzerstation 101 ist die Kamera oben auf der Mitte des Monitors positioniert. Auch wenn daher der Benutzer 102 dem Monitor und der Kamera direkt gegenüber ist und beabsichtigt, einen Augenkontakt beizubehalten, indem er in das Bild der Augen der Person 104 in dem Monitor blickt, würde, in der Perspektive der Person, sein Blick scheinbar nach unten schauen. In diesem Fall wird das Gesichtsbild des Benutzers widerhergestellt, um den wahren Blick des Benutzers 102 zu bewahren, d.h. Augenkontakt mit der Person 104 zu halten. Beide Echtzeitbilder, die von der Benutzerkamera aufgenommen werden, werden durch eine Mustererkennungssoftware bearbeitet, die das Gesichtsbild isoliert, zum korrekten Winkel neigt oder dreht, damit es so aussieht, als ob ein Augenkontakt mit der Person 104 hergestellt worden ist, während alle anderen Gesichtsausdrücke bewahrt werden. Ein weiterer Bereich um das Gesichtsbild herum könnte extrahiert werden, um das bearbeitete Gesichtsbild in seinen ursprünglichen Hintergrund zu mischen, zur Erfahrung einer erweiterten Realität. Anstatt das Gesamtbild zu rendern, das den Hintergrund des Benutzers 102 enthält, minimiert dieses Verfahren extensive Computerleistung und ist weniger anfällig darauf, während Echtzeitbildübertragung große Lücken zwischen den Bildern zu erzeugen. Falls die Kamera die Sicht auf das Gesicht des Benutzers für einen kurzen Moment verliert, bleibt das letzte Bild, so wie es ist, bis der Benutzer 102 oder ein neues Benutzergesichtsbild von der Kamera aufgenommen wird und durch die Mustererkennungssoftware identifiziert wird. Ähnlich wird das Gesichtsbild der Person 104 aus dem von der 3D-Kamera 203 aufgenommenen 3D-Echtzeitbildern wiederhergestellt, im Hinblick auf das gleiche Konfigurationsthema in der Telepräsenzvorrichtung 103, so dass die Augen der Person scheinbar direkt zum Benutzer 102 blicken, auch wenn die Person 102 nicht direkt in die Kamera 203 blickt. Daher können die Blickpunkte der Person 104 und des Benutzers 102 abgeglichen werden, um einen Augenkontakt anzugleichen, während alle anderen Gesichtsausdrücke bewahrt werden.
Wenn in einem anderen Fall der Benutzer 102 nicht entlang der Mittellinie der Kamera sitzt oder steht, aber noch im Blickfeld der Kamera in der Benutzerstation 101 ist, könnte das Gesicht des Benutzers 102 zur einen Seite weg angezeigt werden, wenn es von der Person 104 in der Anzeige 106 der Telepräsenzvorrichtung 103 gesehen wird. Um eine natürliche Konversation zu erleichtern, ist es erforderlich, das mittenversetzte Bild nachzupositionieren, unabhängig vom Wunsch des Augenkontakts zwischen dem Benutzer 102 und der Person 104. Das Echtzeitbild des Benutzers 102, das von der 3D-Kamera in der Benutzerstation 101 aufgenommen wird, wird durch die Mustererkennungssoftware verarbeitet, um nur das Gesichtsbild des Benutzers zu isolieren, das dann horizontal und/oder vertikal versetzt wird, so dass ein voll frontales Gesichtsbild des Benutzers 102 angezeigt wird, das den gewünschten Blick und alle anderen Gesichtsausdrücke bewahrt und in der Anzeige 106 der Telepräsenzvorrichtung im Wesentlichen zentriert ist.
Wenn in einem anderen Fall die Person 104 die Haltung ändert, zum Beispiel von Sitzen zu Stehen oder von gerade-sitzend zu krumm-in-einem-Stuhl-sitzend, wird die Telepräsenzvorrichtung 103 die Höhe und Position der Anzeige 106 in Antwort auf die körperliche Bewegung der Person 104 automatisch justieren, indem sie die Länge der Trägerkomponenten 107 basierend auf der Information ausfährt oder einfährt, die von den Infrarotsensoren 201 empfangen wird, die in diesem Fall eine Infrarotkamera sein kann, so dass die Augenhöhe der Person 104 exakt mit der Augenhöhe des Benutzerbilds in der Anzeige 106 zusammenpasst. Diese Information wird auch dazu benutzt, um die Lagerkomponenten 107 der Anzeige 106 und des motorisierten Arms 205 des Sensorfelds 110 zu steuern, so dass die Anzeige 106, die Kamera 203 und die Sensoren 201 mit ihren optimalen Winkeln zu der Person 104 weisen, um die Augenverfolgung und die Höhenverfolgung zu erleichtern. Weil in diesem Fall die Kamera 203 und die Infrarotsensoren 201 ihre optimalen räumlichen Positionen einnehmen und die Höhe der Telepräsenzvorrichtung 103 mit der Person 104 zusammenpasst, erhält man ein vollfrontales Gesichtsbild der Person 104, das den gewünschten Blick und den gesamten anderen Gesichtsausdruck bewahrt und in der Anzeige 106 der Telepräsenzvorrichtung im Wesentlichen zentriert ist.
Wenn sich in einem anderen Fall das Subjekt 104 um den Ort herum bewegt, wird die Telepräsenzvorrichtung 103 ihre Position automatisch und sofort justieren, so dass sie einen gewählten Abstand von der Person 104 hält, während die Anzeige 106 und das Sensorfeld 110 automatisch zur Person 104 weisend bleiben. Information, die von der 3D-Kamera 203 und den Infrarotsensoren 201 empfangen wird, die in diesem Fall eine tiefenscharfe Kamera sein kann, werden durch computerimplementierte Algorithmen analysiert, um die Richtung, Verlagerung und Geschwindigkeit der mobilen Plattform 108 zu steuern. Wenn man annimmt, dass die Höhe der Telepräsenzvorrichtung exakt zu der Person passt und die Sensoren und Kameras ihre optimalen räumlichen Positionen einnehmen, wird ein vollfrontales Gesichtsbild der Person 104 aufgenommen, das in der Anzeige der Benutzerstation 101 im Wesentlichen zentriert ist.
Es ist wesentlich, ein vollfrontales Gesichtsbild des Benutzers 102 und der Person 104 in Echtzeit aufzunehmen, weil ein natürlicher Augenkontakt auftreten wird, wenn der Blick des einen auf das Bild des anderen fällt. Genauer gesagt, der Blick der Benutzers 102 soll auf die Augen des Bilds der Person, das in dem Monitor der Benutzerstation 101 angezeigt wird, fallen, und der Blick der Person 104 soll auf den Augen des Bilds des Benutzers, das in der Anzeige 106 der Telepräsenzvorrichtung 103 angezeigt wird, fallen.
Nun ist in Bezug auf 3 ein Blockdiagramm gezeigt, das eine Art eine Telepräsenzbetriebs 300 in Bezug auf die vorliegende Erfindung darstellt. Als Beispiel und keineswegs als Einschränkung, könnte die in 3 gezeigte Sequenz, gemäß der Ausführung des Telepräsenzsystems, eine andere Reihenfolge haben. In einer Ausführung zeigt das System zuerst ein Gesichtsbild des Benutzers in Echtzeit zusammen mit Audio an, die von einer Kamera und einem Mikrofon in der Benutzerstation aufgenommen 301 werden, und liefert in Echtzeit ein Gesichtsbild der Person zusammen mit Audio, die von der Kamera und einem Mikrofon in der Telepräsenzvorrichtung 302 aufgenommen werden. Dann werden die Augenhöhe der Person, die Blickrichtung und der Abstand umgebender Objekte kontinuierlich sensiert 303. Das System justiert dann die Höhe der Anzeige 106 der Telepräsenzvorrichtung, so dass die Augenhöhe der Person zur Augenhöhe des Benutzerbilds passt 304. Anschließend stellt sie die Position der Telepräsenzvorrichtung ein, um einen ausgewählten Abstand zu der Person zu erhalten 305.
Wenn die Person 104 direkt in die Augen oder zu dem Bereich um die Augen des Benutzerbilds in der Anzeige 106 der Telepräsenzvorrichtung blickt, oder umgekehrt, wird ein Blickabgleich durch die Steuereinheiten in der Benutzerstation 101 und der Telepräsenzvorrichtung 103 durchgeführt. Falls entweder der Benutzer 102 oder die Person 104 keine Absicht eines Augenkontakts zeigt, die ein Signal von Stimme, Geste oder Blickrichtung, etc., sein kann, wird das Telepräsenzsystem 100 nicht versuchen, die Blickrichtung abzugleichen, solange nicht einer oder mehrere diese vordefinierten Faktoren vorliegen. Daher wird der beabsichtigte Blick bewahrt.
In Umständen, in denen das System entschieden hat, dass es erforderlich ist, die Blickrichtung zwischen dem Benutzer und der Person abzugleichen, wird der aus den Schritten 306 bis 310 bestehende Blickabgleich-Algorithmus ausgeführt. Genauer gesagt, die Telepräsenzvorrichtung justiert zunächst ihre Position ein wenig, so dass der Blick der Person den Augen des Benutzerbilds so nahe wie möglich ist 306. Dann wird die Telepräsenzvorrichtungsanzeige und/oder -kamera und/oder - sensoren zu ihren optimalen Positionen versetzt, geneigt oder gedreht, um den Blick der Person etwa an die Augen des Benutzers in der Anzeige anzupassen 307 und 308. Wenn schließlich der Blick nicht perfekt abgeglichen ist, wird das Echtzeit-Gesichtsbild des Benutzers oder der Person vertikal und/oder horizontal verlagert 309 oder wird mit einem anderen Blickwinkel wiederhergestellt 310 oder durch eine Kombination beider Schritte 309 und 310 durch die Steuereinheit in der Telepräsenzvorrichtung oder in jener der Benutzerstation bearbeitet.
Während die Erfindung mit spezifischen Ausführungen aufgezeigt worden ist, um die Höhe zu überwachen, Gesichtsmerkmale zu erkennen, Blickrichtung abzugleichen und den Abstand zwischen Objekten zu detektieren, versteht es sich, dass es zahlreiche Alternativen in der Technik sind, die in der Lage sind, die gleiche Information zu erhalten. Diese Alternativen oder Varianten werden Fachkundigen ersichtlich.
Aus der obigen Offenbarung wird es für Fachkundige klar, dass die vorliegende Erfindung in der Lage ist, gleichzeitig und automatisch, mit minimalem menschlichen Eingriff, die Höhe der Telepräsenzvorrichtung mit der Person abzugleichen, einen gewählten Abstand zwischen der Telepräsenzvorrichtung und der Person einzuhalten, eine Blickrichtung zu erkennen, einen beabsichtigten Blick zu bewahren und einen Augenkontakt zwischen dem entfernten Benutzer und der Person abzugleichen.

Claims

Telepräsenzsystem, das eine Telepräsenzvorrichtung und eine Benutzerstation zur Durchführung einer Videokonferenz zwischen einem entfernten Benutzer und einer Ortsperson aufweist, wobei sich die Telepräsenzvorrichtung am Ort der Ortsperson befindet, wobei es aufweist: eine Anzeige, um das Gesicht des entfernten Benutzers der Ortsperson anzuzeigen; zumindest einen Sensor zum Sensieren der Augenhöhe der Ortsperson; und ein motorisiertes Mittel für die Telepräsenzvorrichtung zum automatischen Justieren der Höhe ihrer Anzeige zum Abgleich der Höhe der Augen des entfernten Benutzers in der Anzeige an die Augenhöhe der Ortsperson.
Das Telepräsenzsystem nach Anspruch 1, das konfiguriert ist zum Abgleich der Augenhöhe des entfernten Benutzers in der Anzeige der Telepräsenzvorrichtung an die Augenhöhe der Ortsperson, während sich die Augenhöhe der Ortsperson ändert.
Das Telepräsenzsystem von Anspruch 1, wobei die Anzeige der Telepräsenzvorrichtung in Antwort auf die körperliche Bewegung der Ortsperson automatisch versetzt, geneigt und gedreht wird, so dass die Anzeige zu der Ortsperson weist.
Das Telepräsenzsystem von Anspruch 1, wobei das motorisierte Mittel, das mit der Anzeige der Telepräsenzvorrichtung gekoppelt ist, dazu ausgelegt ist, einen breiten Höhenbereich abzudecken, der von einer sitzenden kleinen Person bis zu einer stehenden großen Person reicht.
Das Telepräsenzsystem von Anspruch 1, wobei das motorisierte Mittel, das mit der Anzeige der Telepräsenzvorrichtung gekoppelt ist, elektronisch gesteuert ist, so dass in Antwort auf die Augenposition der Person die Höhe und Position der Anzeige automatisch justiert werden.
Das Telepräsenzsystem nach Anspruch 1, wobei die Sensoren mit einem motorisierten Richtungssteuermittel gekoppelt sind, das elektronisch gesteuert ist, so dass die Positionen der Sensoren auf die Augenposition der Ortsperson oder auf die körperliche Bewegung der Ortsperson ansprechen.
Das Telepräsenzsystem nach Anspruch 1, wobei die Benutzerstation, die der Ort des entfernten Benutzers ist, eine Mehrzahl von Sensoren aufweist, um 3D-Bildmapping, Augenverfolgung und Blickerkennung des entfernten Benutzers zu assistieren.
Das Telepräsenzsystem von Anspruch 1, wobei die Telepräsenzvorrichtung ferner aufweist: zumindest einen Sensor zum Erhalt von geografischer Information von Objekten in der Umgebung der Ortsperson oder in der Umgebung der Telepräsenzvorrichtung; und eine Recheneinheit zum Steuern der Bewegungsgeschwindigkeit, Verlagerung und Richtung eines motorisierten Mittels, das am Boden der Telepräsenzvorrichtung angeordnet ist, so dass basierend auf der geografischen Information ein ausgewählter Abstand zwischen der Telepräsenzvorrichtung und der Ortsperson automatisch eingehalten wird.
Das Telepräsenzsystem nach Anspruch 8, das konfiguriert ist, um den gewählten Abstand zwischen der Telepräsenzvorrichtung und der Ortsperson beizubehalten, während sich die Position der örtlichen Position ändert.
Das Telepräsenzsystem nach Anspruch 8, das ferner ein Verfahren zur Vermeidung von potentiellen Hindernissen aufweist, wenn die Telepräsenzvorrichtung vom entfernten Benutzer angewiesen wird, um den Ort der Ortsperson herum zu manövrieren.
Das Telepräsenzsystem von Anspruch 8, wobei das motorisierte Mittel, das am Boden der Telepräsenzvorrichtung angeordnet ist, elektronisch gesteuert ist, so dass die Telepräsenzvorrichtung auf Befehle von dem entfernten Benutzer oder auf die Position der Ortsperson anspricht.
Das Telepräsenzsystem von Anspruch 8, wobei das motorisierte Mittel, das am Boden der Telepräsenzvorrichtung angeordnet ist, manuell bedienbar ist, so dass die Telepräsenzvorrichtung durch eine weitere Person manuell zu einem gewünschten Ort der Ortsperson bewegt wird.
Das Telepräsenzsystem nach Anspruch 8, wobei die Sensoren mit einem motorisierten Richtungssteuermittel gekoppelt sind, das elektronisch gesteuert ist, so dass die Positionen der Sensoren auf die Augenposition der Ortsperson oder auf körperliche Bewegung der Ortsperson ansprechen.
Das Telepräsenzsystem von Anspruch 1, wobei die Telepräsenzvorrichtung ferner aufweist: zumindest einen Sensor zum Sensieren von Augenbewegung; zumindest einen Sensor zum Sensieren von Audioverstärkung, Blickort, menschlicher Geste oder einer Kombination davon; ein Verfahren zum Bearbeiten von Information von den Sensoren zum Erkennen eines Blickpunkts; ein Verfahren zum Bearbeiten von Information von den Sensoren, um das Vorhandensein eines beabsichtigten Augenkontakts zwischen dem entfernten Benutzer und der Ortsperson zu erkennen; und eine Recheneinheit zum Ausführen eines Blickabgleichsystems, wenn ein beabsichtigter Augenkontakt zwischen dem entfernten Benutzer und der Ortsperson detektiert wird, basierend auf Information von den Sensoren.
Das Telepräsenzsystem nach Anspruch 14, wobei die Sensoren mit einem motorisierten Richtungssteuermittel gekoppelt sind, das elektronisch gesteuert ist, so dass die Positionen der Sensoren auf die Augenposition der Ortsperson oder auf die körperliche Bewegung der Ortsperson ansprechen.
Das Telepräsenzsystem nach Anspruch 14, das ferner ein Verfahren aufweist, ein Gesichtsbild bereitzustellen, das in der Anzeige im Wesentlichen zentriert ist, während der gewünschte Blick und alle anderen Gesichtsausdrücke bewahrt werden, wenn sich kein beabsichtiger Augenkontakt zwischen dem entfernten Benutzer und der Ortsperson zeigt.
Das Telepräsenzsystem nach Anspruch 14, das ferner ein Verfahren aufweist, um ein Gesichtsbild bereitzustellen, das in der Anzeige im Wesentlichen zentriert ist, während ein Augenkontakt angeglichen wird und alle anderen Gesichtsausdrücke bewahrt werden, wenn ein beabsichtigter Augenkontakt zwischen dem entfernten Benutzer und der Ortsperson detektiert wird.
Das Telepräsenzsystem nach Anspruch 14, wobei das Blickabgleichsystem die Blickpunkte des entfernten Benutzers und der Ortsperson abgleicht, um einen Augenkontakt anzugleichen, während alle anderen Gesichtsausdrücke bewahrt werden.
Das Telepräsenzsystem nach Anspruch 14, wobei das Blickabgleichsystem, das von der Recheneinheit ausgeführt wird, wenn ein beabsichtigter Augenkontakt zwischen dem entfernten Benutzer und der Ortsperson detektiert wird, aufweist: ein motorisiertes Mittel zum Justieren der Position der Telepräsenzvorrichtung; ein motorisiertes Mittel, um die Anzeige der Telepräsenzvorrichtung zu verlagern, zu neigen und zu drehen; ein motorisiertes Mittel, um den oder die Sensoren in der Telepräsenzvorrichtung zu verlagern, zu neigen und zu drehen; ein Verfahren zum vertikalen und horizontalen Verlagern eines mittenversetzten Bilds; und ein Verfahren zum Wiederherstellen eines Gesichtsbilds, das in der Anzeige im Wesentlichen zentriert ist.
Das Blickabgleichsystem nach Anspruch 19, wobei alle motorisierten Mittel beruhend auf Information von dem oder den Sensoren elektronisch gesteuert sind.