DE102018220275A1

DE102018220275A1 - Verfahren zur Durchführung einer Videokonferenz, Vorrichtung zur Verwendung bei dem Verfahren sowie dessen Umsetzung im Fahrzeug

Info

Publication number: DE102018220275A1
Application number: DE102018220275.3A
Authority: DE
Inventors: Jörg Höllermann; Silvan Horovitz
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2018-11-26
Filing date: 2018-11-26
Publication date: 2020-05-28

Abstract

Der Vorschlag betrifft ein Verfahren zur Durchführung einer Videokonferenz, bei der den Teilnehmern an der Videokonferenz eine 3D-Darstellung eines gemeinsam zu betrachtenden Gegenstandes (410) auf einer Datenbrille (300) zur Anzeige gebracht wird, wobei wenigstens ein anderer Konferenzteilnehmer virtuell als Avatar (430) eingeblendet wird. Bei dem Verfahren kann die Position der Einblendung des Avatars (430) relativ zur Position der eigenen Person (420) gewählt werden. Ebenfalls erfolgt eine Extraktion der Mimik des anderen Konferenzteilnehmers durch Beobachtung mit einer Kamera (150). Dieses Verfahren erlaubt den Einsatz eines Fahrzeuginnenraumes als Besprechungsraum für Videokonferenzen.

Description

Der Vorschlag betrifft das technische Gebiet von Videokonferenzsystemen mit besonderem Bezug zu deren Einsatz in Fahrzeugen. Dabei geht es im Besonderen um den Einsatz einer Datenbrille bei den Teilnehmern der Videokonferenz zur Anzeige von Zusatzinformationen. Mit der Datenbrille können 3D-Objekte dargestellt werden und von allen Seiten betrachtet werden, die Thema bei der Videokonferenz sind. Der Vorschlag betrifft weiterhin eine entsprechend ausgelegte Datenbrille, ein entsprechend ausgelegtes Fahrzeug zur Verwendung bei dem Verfahren sowie ein Computerprogramm.
Zur Zeit wird intensiv an Technologien gearbeitet, die ein autonomes Fahren ermöglichen sollen. So ergeben sich dann vielfältige andere Nutzungsmöglichkeiten für das Fahrzeug. Da auch der Fahrer von der Fahraufgabe entlastet wird, kann er sich ebenfalls an den anderen Nutzungsmöglichkeiten beteiligen.
Für die nahe Zukunft ist davon auszugehen, dass schon vor der Einführung autonomer Fahrzeuge systemseitig durch den Einsatz neuerer Technologien (Fahrzeug-zu-Fahrzeug-Kommunikation, Einsatz von Datenbanken, Backend-Anbindung, Cloud-Dienste, Server-Einsatz, Fahrzeugsensorik etc.) umfassende neue Anwendungsmöglichkeiten verfügbar sein werden. Ein Szenario betrifft dabei das Thema „Das Auto als Arbeitsraum“, insbesondere der Einsatz des Fahrzeuges als Büro. Zum Beispiel auf Langstreckenfahrten können die Fahrzeuginsassen im Fond oder der Beifahrer das Fahrzeug als Büro benutzen.
Wenn das Fahrzeug autonom fährt, der „Fahrer“ also keine Fahraufgaben wahrnehmen muss, kann auch er den Fahrzeuginnenraum entsprechend nutzen. Die Fahrzeuge werden für solche Szenarien auch anders ausgestattet, z.B. mit drehbaren Sitzen. Bei solchen Büroarbeitsszenarien besteht der Wunsch nach Zusammenarbeit mit Arbeitskollegen, die nicht im selben Fahrzeug sitzen. Um diese Zusammenarbeit effizient zu gestalten, soll bei dem Szenario die Möglichkeit bestehen, über einen gemeinsamen Arbeitsgegenstand zu kommunizieren und diesen zusammen zu bearbeiten.
Aus der DE 10 2016 114 396 A1 ist ein Fahrzeug-Konferenzanrufverfahren bekannt, bei dem Besprechungen per Kalender organisiert werden können. Dabei erfolgt die Bedienung des Konferenzsystems mit Hilfe von Bedienungsmenüs, die auf der Anzeige des Infotainmentsystems dargestellt werden. Auf dem Bildschirm der Anzeigeeinheit können die teilnehmenden Konferenzteilnehmer per Live-Videofeed angezeigt werden.
In der EP 2 355 500 A1 ist ein Videokonferenzsystem beschrieben, bei dem die Videokonferenzteilnehmer durch entsprechende Avatare visualisiert werden. Die Avatare sind dabei animiert und es kann die Körpersprache der realen Person bis zu einem gewissen Grad über den zugehörigen Avatar visualisiert werden. Die Avatare werden bei dem Einsatz mehrerer Bildschirme auf mehreren Bildschirmen verteilt angezeigt, wobei sie örtlich und perspektivisch so dargestellt werden, als wären sie um einen realen Konferenztisch verteilt. Auch eine 3D-Darstellung auf dem Bildschirm mit Hilfe einer 3D-Brille ist möglich.
Aus der DE 10 2014 206 626 A1 ist eine Datenbrille für den Einsatz im Fahrzeug als Fahrerassistenzsystem bekannt. Die Brille ist mit einer elektronischen Sensor- und Recheneinheit ausgestattet. Diese beherbergt eine Einheit zur Messung von Drehraten- und Beschleunigungswerten. Ebenfalls weist die Datenbrille ein Kommunikationsmodul zur drahtlosen Kommunikation gemäß Bluetooth-Standard auf. Über das Kommunikationsmodul sendet die Brille die Messdaten an eine externe Steuereinheit. Die externe Steuereinheit empfängt fortlaufend Messdaten zum Lenkwinkeleinschlag sowie zur Beschleunigung des Fahrzeuges. Aus diesen Daten errechnet die Steuereinheit die Beschleunigung und Drehrate des Fahrzeuges. Die externe Steuereinheit subtrahiert die jeweils zum gleichen Zeitpunkt errechneten Beschleunigungen und Drehraten des Fahrzeuges von den Beschleunigungs- und Drehratenwerten, die in der Brille gemessen wurden. Die Brille ist auch mit wenigstens einer Kamera ausgestattet. Aus der Änderung der Abbildung von Gegenständen im Fahrzeuginnenraum kann auf die Bewegung der Datenbrille, also auf die Kopfbewegung, rückgeschlossen werden. Die Datenbrille wird zur Müdigkeitserkennung des Fahrers eingesetzt.
Von der Firma Microsoft ist die HoloLens-Datenbrille bekannt geworden. HOLOLENS ist eine eingetragene Marke des Unternehmens Microsoft. Diese Brille enthält auch eine Spezialrecheneinheit (Holographie Processing Unit HPU), die die Berechnung der Kopfpose durchführt basierend auf den Messwerten einer IMU-Einheit (Inertial Measurement Unit), die die Drehraten- und Beschleunigungssensoren der Datenbrille enthält sowie basierend auf den Videobildern, die von den Videokameras, mit denen die Brille ausgestattet ist, geliefert werden. Mit den Videokameras wird die Umgebung der Brille aufgenommen. Was die Kameras aufnehmen, entspricht einem wesentlich größeren Bereich als dem, was für den Träger der Brille sichtbar ist. Der Ausschnitt, der bespielt wird, wird mit Hilfe der berechneten Kopfpose festgelegt. Die anzuzeigenden Bilder werden über eine grafische Prozessoreinheit GPU berechnet. Daneben ist auch eine Zentraleinheit CPU Teil der Brille, auf der bestimmte Anwendungsprogramme abgearbeitet werden. Es erfolgt noch eine Ausschnittanpassung bei den von der GPU berechneten und ausgegebenen Einblend-Bildern bevor sie tatsächlich zur Anzeige gebracht werden. Hierdurch erhöht sich die Genauigkeit der Bildausgabe, weil die Berechnung der auszugebenden Bilder eine gewisse Latenz bedingt und durch die fortgeführte Kopfbewegung sonst eine Ungenauigkeit bei der Bildausgabe resultieren würde. Bei der HoloLens-Brille geschieht das Anzeigen durch Darstellung auf speziellen Bildausgabe-Displays.
Aus der US 2018/0089901 A1 ist ein VR-System (Virtual Reality) für Fahrzeuge bekannt, das Methoden implementieren kann, die Probleme mit bewegten Fahrzeugen beheben, die zu Reisekrankheit für Passagiere führen können. Das VR-System kann virtuelle Ansichten bereitstellen, die visuelle Hinweise mit den physischen Bewegungen, die ein Passagier erfährt, zur Übereinstimmung bringen. Das VR-System kann immersive VR-Erlebnisse bieten, indem es die Sicht der realen Welt durch virtuelle Umgebungen ersetzt. Aktive Fahrzeugsysteme und/oder Fahrzeugsteuersysteme können in das VR-System integriert sein, um physikalische Effekte mit den virtuellen Erfahrungen bereitzustellen. Die Passagiere im Fahrzeug werden mit HMD (Head Mounted Displays) ausgestattet, über die eine 3D-Darstellung der VR-Bilder erfolgen kann. In einer Variante können Insassen des Fahrzeuges mit anderen Personen Videokonferenzen durchführen. Dabei kann ein Blick auf einen der Computerbildschirme eines Teilnehmers in die virtuelle Umgebung projiziert werden, damit alle Teilnehmer sie sehen können. Der virtuelle Inhalt, der jedem Teilnehmer präsentiert wird, kann auf dem basieren, was der bestimmte Teilnehmer erfährt.
Die bekannten Lösungen sind mit verschiedenen Nachteilen behaftet. Dies wurde im Rahmen der Erfindung erkannt. Systeme mit VR-Brillen sind für den Einsatz im Fahrzeug ungeeignet. Bei ihnen besteht das Problem, dass die Person, die die eine VR-Brille benutzt, nicht mehr die Umgebung erkennen kann. Der Einsatz solcher VR-Brillen während der Fahrt führt oft zu Übelkeit bei der Person, die die Brille einsetzt.
Ein häufiger Anwendungsfall für Video-Konferenzen besteht darin, einen Gegenstand zu zeigen, der gemeinsam betrachtet und besprochen werden soll. Hier besteht ein Problem darin, wie es ermöglicht werden kann, dass die Videokonferenzteilnehmer den Gegenstand von allen Seiten betrachten können und gleichzeitig die Darstellung der Konferenzteilnehmer so erfolgt, dass deren Anblick nicht verdeckt wird und auch die Blickrichtung auf den Gegenstand interpretierbar wiedergegeben wird.
Es besteht also der Bedarf für weitere Verbesserungen bei der Durchführung von Videokonferenzen. Insbesondere soll die Teilnahmeerfahrung an Videokonferenzen für Teilnehmer, die in einem Fahrzeug unterwegs sind, verbessert werden.
Die Erfindung setzt sich zur Aufgabe, einen solchen Ansatz zu finden. Diese Aufgabe wird durch ein Verfahren zur Durchführung einer Videokonferenz gemäß Anspruch 1, eine Vorrichtung zur Verwendung bei dem Verfahren gemäß Anspruch 11 sowie ein Fahrzeug gemäß Anspruch 14 gelöst.
Die abhängigen Ansprüche beinhalten vorteilhafte Weiterbildungen und Verbesserungen der Erfindung entsprechend der nachfolgenden Beschreibung dieser Maßnahmen.
In einer allgemeinen Ausführungsform besteht eine Lösung in einem Verfahren zur Durchführung einer Videokonferenz, wobei wenigstens ein anderer Konferenzteilnehmer virtuell als Avatar auf einer Datenbrille eingeblendet wird. Das Verfahren ist dadurch gekennzeichnet, dass den Teilnehmern an der Videokonferenz eine 3D-Darstellung eines gemeinsam zu betrachtenden Gegenstandes auf der Datenbrille zur Anzeige gebracht wird, und dass die Position der Einblendung des wenigstens einen anderen Konferenzteilnehmers relativ zur Position der eigenen Person wählbar erfolgt.
Gegenüber den bekannten Videotelefonielösungen wie Skype, Face Time etc., wo ggf. eine 2D-Einblendung des Arbeitsgegenstandes und des Gesichtes des Arbeitskollegen erfolgt, ist mit der vorgeschlagenen Lösung eine realistische Interaktion wie bei echter Arbeit im gleichen Raum möglich.
Die vorgeschlagene Lösung hat sogar gegenüber der echten gemeinsamen Bearbeitung eines realen Gegenstandes folgenden Vorteil: Da man die Betrachtungsrichtung auf den virtuellen Arbeitsgegenstand getrennt von der virtuellen Positionierung der Konferenzteilnehmer wählen kann, kann sichergestellt werden, dass alle Teilnehmer die gleiche Seite und Stelle des Arbeitsgegenstandes betrachten und bearbeiten, obwohl sie virtuell z.B. seitlich oder gegenüber sitzen oder stehen, wo der Teilnehmer ihre Mimik und Gestik gleichzeitig beobachten kann, ohne den Blick von dem Arbeitsgegenstand abzuwenden.
Die Lösung ist sehr flexibel, da nicht nur die aktuelle Betrachtungsrichtung des Arbeitsgegenstandes, sondern auch die Position der Einblendung des Konferenzteilnehmers ausgewählt werden kann. Durch Einsatz eines Avatars statt der Anzeige der realen Person ist ein „Persönlichkeitsschutz“ realisierbar. Dadurch kann ein Teilnehmer auf Reisen oder bei „Work from home“ das Schminken/Rasieren oder die Einhaltung von Dresscodes sparen. Außerdem hat es den Vorteil, dass weniger Videodaten als bei realen Bildern übertragen werden müssen.
In einer ersten Variante kann die direkt benachbarte Position zu der Position der eigenen Person gewählt werden, bei der die wenigstens zwei Teilnehmer der Videokonferenz aus dem gleichen Blickwinkel den Gegenstand betrachten.
Bei einer zweiten Variante entspricht die wählbare Position der gegenüberliegenden Position in Bezug auf die eigene Person. So findet häufig eine Besprechung zwischen zwei Teilnehmern statt, die sich an einem Tisch gegenüber sitzen. Dabei kann dem Konferenzteilnehmer, der durch den Avatar repräsentiert wird, eine unabhängige freie Positionierung des Blickwinkels ermöglicht werden. Für ihn kann der Gegenstand so eingeblendet werden, dass er auf die gleiche Bearbeitungsfläche des Gegenstandes schaut, obwohl er dem anderen Konferenzteilnehmer virtuell gegenüber sitzt.
In einer dritten Variante ist die Position wie bei einer Besprechung an einem runden Tisch möglich und dadurch bestimmt, auf welchen Teilbereich des gemeinsam zu betrachtenden Gegenstandes der Blick des wenigstens einen anderen Konferenzteilnehmers fällt, wobei der wenigstens eine Avatar lagerichtig an der Position des runden Tisches eingeblendet wird, wobei die Lage der Blickrichtung, aus der er den Gegenstand betrachtet, entspricht. Diese Variante ist insbesondere vorteilhaft, wenn mehrere Konferenzteilnehmer teilnehmen.
Das Verfahren ist weiterhin flexibel in der Art, wie die Avatar-Darstellung erfolgen soll. Vorteilhafte Einstellungsvarianten sind dabei, dass wenigstens die Einstellungen der Kopf, der Kopf und die Hände, der Oberkörper oder die ganze Person des Avatars als verschiedene Avatar-Darstellungen wählbar eingestellt werden können.
Sehr vorteilhaft ist dabei, dass bei der Darstellung als Avatar die Mimik der Person, die der Avatar repräsentiert, mit dargestellt wird. So kann die Mimik und ggfs. die Gestik getrennt von dem variabel anzeigbaren Sichtwinkel des Arbeitskollegen erkannt und interpretiert werden.
Eine erweiterte, vorteilhafte Ausgestaltung besteht darin, dass bei der Darstellung als Avatar die Bewegung der Hand oder der Hände der Person, die der Avatar repräsentiert, mit dargestellt wird. So kann die Diskussion durch Zeigeelemente angereichert werden.
Dabei ist es vorteilhaft, wenn für die Darstellung der Mimik und/oder der Bewegungen der Hände die Person, die der Avatar repräsentiert, durch wenigstens eine Videokamera beobachtet wird, und eine Auswertung der Videobilder erfolgt und eine entsprechend animierte Avatar-Darstellung berechnet wird.
Es ist vorteilhaft, wenn die Darstellung des Avatars ebenfalls als 3D-Darstellung berechnet wird und ebenfalls als 3D-Darstellung auf der Datenbrille dargestellt wird. Dies ermöglicht die bessere Einschätzung der Blickrichtung des jeweiligen Konferenzteilnehmers.
In einer vorteilhaften Erweiterung ist es vorgesehen, dass der gemeinsam zu betrachtende Gegenstand auch verändert werden kann, wobei die Berechtigung zur Bearbeitung des Gegenstandes jeweils an einen gewünschten Teilnehmer der Videokonferenz nach Art eines Tokens übergeben wird. Die Bearbeitungsmöglichkeiten können z.B. über Gestik, Sprachbefehle oder weitere Interaktionsarten Änderungen betreffen. Typische Bearbeitungsmöglichkeiten sind z.B. die Operationen Drehen, Vergrößern/Verkleinern, Erweitern, Farbe ändern, Teile hinzufügen oder entfernen usw. des virtuellen Arbeitsgegenstandes.
Nur der aktuelle Besitzer des Tokens hat auch die Steuerungshoheit über die gemeinsame Betrachtungsrichtung auf den Arbeitsgegenstand. Das heißt alle Konferenzteilnehmer betrachten und bearbeiten immer den durch den Tokenbesitzer vorgegebenen Teil des Arbeitsgegenstandes.
Damit virtuelles Zeigen auf und Berühren von Teilen des Arbeitsgegenstandes von mehreren Teilnehmern gleichzeitig für alle visualisiert wird, werden in einer vorteilhaften Erweiterung die von unterschiedlichen Teilnehmern berührten oder markierten Punkte durch eine unterschiedliche Farbe pro Teilnehmer gekennzeichnet. Die eingeblendeten Konferenzteilnehmer bzw. deren Avatare werden ebenso mit der jeweiligen Farbe markiert.
Für eine Vorrichtung zur Verwendung bei dem Verfahren gemäß des Vorschlages ist es vorteilhaft, wenn die Vorrichtung ein Kommunikationsmodul für die drahtlose Kommunikation mit einem anderen Konferenzteilnehmer beinhaltet, wobei die Vorrichtung mit wenigstens einer Kamera ausgestattet ist, und mit einer Recheneinheit, die die von der Kamera gelieferten Daten auswertet. Dabei wird die Recheneinheit so ausgelegt, dass sie eine Avatar-Darstellung von einer durch die Kamera beobachteten Person berechnet, und dass das Kommunikationsmodul so ausgelegt ist, die Daten für die Avatar-Darstellung an einen Konferenzteilnehmer zu senden.
Die Recheneinheit kann in einer weiteren Ausgestaltung so ausgelegt werden, dass durch sie die Mimik und/oder die Bewegung der Hände der beobachteten Person bestimmt wird und damit eine die Mimik und/oder die Bewegung der Hände wiedergebende Avatar-Darstellung berechnet wird.
Die Recheneinheit kann in einer weiteren Ausgestaltung so ausgelegt werden, dass durch sie die Bewegung der Hände der beobachteten Person bestimmt wird und jedes Mal, wenn einer Berührung der Hand an dem virtuellen Arbeitsgegenstand detektiert wird, eine passende Farbmarkierung an dem Arbeitsgegenstand berechnet und dargestellt wird. Die Recheneinheit kann in einer weiteren Ausgestaltung so ausgelegt werden, dass durch sie die Gestik der Hände der beobachteten Person bestimmt wird und bei erkannten Steuerungsgesten diese zur Steuerung des Arbeitsgegenstandes genutzt werden, wenn die Person gerade im Besitz des virtuellen Steuerungstokens ist.
In vorteilhafter Weise wird das Kommunikationsmodul für die Kommunikation auf Basis eines Kommunikationsprotokolls nach einem der Mobilfunk-Kommunikationssysteme LTE oder 3GPP 5G ausgelegt.
Die entsprechende Vorrichtung kann sehr vorteilhaft in einem Fahrzeug eingebaut werden. So wird es möglich, dass das Fahrzeug als Besprechungsraum für entsprechende Videokonferenzen eingesetzt werden kann.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend anhand der Figuren näher erläutert.
Es zeigen:

1 das Cockpit eines modernen Fahrzeuges, das für autonomen Fahrbetrieb ausgelegt ist mit Fahrer, bei dem der Fahrer eine Datenbrille zur Fahrerinformation trägt;
2 eine Darstellung der Systemübersicht für die Durchführung einer Videokonferenz mit Bezug zum Fahrzeug;
3 eine Darstellung des Fahrzeuginnenraumes des Fahrzeuges mit einem Fahrzeuginsassen, der eine Videokonferenz mit einem anderen Videokonferenzteilnehmer durchführt, wobei der andere Videokonferenzteilnehmer durch einen animierten Avatar dargestellt wird;
4 eine Darstellung verschiedener wählbarer Positionen für die Avatar-Einblendung zur gemeinsamen Betrachtung einer 3D-Darstellung eines Gegenstandes (Arbeitszweck der Videokonferenz);
5 eine Darstellung der Gegenüber-Einblendung des animierten Avatars zur gemeinsamen Betrachtung einer 3D-Darstellung eines Gegenstandes mit Einblendung der Bewegungen der Hände des anderen Videokonferenzteilnehmers;
6 eine Darstellung verschiedener Einblendungsformen des Avatars; und
7 ein Blockschaltbild der Fahrzeugelektronik.

Die vorliegende Beschreibung veranschaulicht die Prinzipien der erfindungsgemäßen Offenbarung. Es versteht sich somit, dass Fachleute in der Lage sein werden, verschiedene Anordnungen zu konzipieren, die zwar hier nicht explizit beschrieben werden, die aber Prinzipien der erfindungsgemäßen Offenbarung verkörpern und in ihrem Umfang ebenfalls geschützt sein sollen.
1 zeigt ein Cockpit eines modernen Fahrzeuges 10. Das Fahrzeug 10 ist für den autonomen Fahrbetrieb auf Level 5 ausgelegt, bei dem nach der oben gegebenen Definition kein Fahrer mehr in den Fahrbetrieb eingreifen muss und sogar auch nicht notwendigerweise Überwachungsaufgaben durchführen muss. Dargestellt ist ein Personenkraftwagen Pkw. Als Fahrzeug 10 kämen allerdings beliebige andere Fahrzeuge ebenfalls in Betracht. Beispiele von weiteren Fahrzeugen sind: Busse, Nutzfahrzeuge, insbesondere Lastkraftwagen Lkw, Landmaschinen, Baumaschinen, Schienenfahrzeuge usw. Der Einsatz der Erfindung wäre allgemein bei Landfahrzeugen, Schienenfahrzeugen, Wasserfahrzeugen und Luftfahrzeugen möglich.
In dem Cockpit sind zwei Anzeigeeinheiten eines Infotainmentsystems dargestellt. Es handelt sich um einen berührungsempfindlichen Bildschirm 30, der in der Mittelkonsole angebracht ist und das Kombiinstrument 110, welches im Armaturenbrett angebracht ist.
Der berührungsempfindliche Bildschirm 30 dient dabei insbesondere zur Bedienung von Funktionen des Fahrzeugs 10. Beispielsweise können darüber ein Radio, ein Navigationssystem, eine Wiedergabe von gespeicherten Musikstücken und/oder eine Klimaanlage, andere elektronische Einrichtungen oder andere Komfortfunktionen oder Applikationen des Fahrzeugs 10 gesteuert werden. Zusammengefasst wird häufig von einem „Infotainmentsystem“ gesprochen. Ein Infotainmentsystem bezeichnet bei Kraftfahrzeugen, speziell Pkw, die Zusammenführung von Autoradio, Navigationssystem, Freisprecheinrichtung, Fahrerassistenzsystemen und weiterer Funktionen in einer zentralen Bedieneinheit. Der Begriff Infotainment ist ein Kofferwort, zusammengesetzt aus den Worten Information und Entertainment (Unterhaltung). Unterhalb des Bildschirms 30 können zudem mechanische Bedienelemente, beispielsweise Tasten, Drehregler oder Kombinationen hiervon, wie beispielsweise Drückdrehregler, in einer Eingabeeinheit 50 angeordnet sein.
Über dieses Infotainmentsystem kann die Videokonferenz aktiv gestartet oder bei Anruf angenommen werden und am Ende der Konferenz damit auch wieder abgeschaltet werden.
Weil der Fahrer von der Fahraufgabe entlastet ist, besteht die Möglichkeit, dass er sich anderen Tätigkeiten zuwendet. Der Fahrzeuginnenraum wird bei der hier angedachten Anwendungsmöglichkeit als Besprechungsraum eingesetzt. Dies kann auch durchaus während der Fahrt stattfinden. Die Fahrzeuginsassin 420 trägt zu diesem Zweck eine Datenbrille 300. Diese Datenbrille entspricht einer sogenannten AR-Brille, entsprechend „augmented reality“-Brille. Durch diese kann die Person im Unterschied zu einer VR-Brille, entsprechend „virtual reality“-Brille hindurch sehen um die Umgebung zu beobachten. Dies ist insbesondere dafür vorteilhaft, wenn sich das Fahrzeug bewegt. Bei Verwendung einer VR-Brille bestünde sonst die Gefahr von Übelkeit für die Person, weil das Gehirn der Person die Bewegungen des Fahrzeuges nicht mit dem Seheindruck in Einklang bringen kann. Die AR-Brille ist mit Projektionseinheiten ausgestattet, über die Zusatzeinblendungen eingespielt werden können. Dies wird auch für die Anwendung des Einsatzes des Fahrzeuginnenraumes als Besprechungsraum ausgenutzt. Dafür wird das Beispiel der Durchführung einer Videokonferenz näher betrachtet. Oftmals besteht die Notwendigkeit der visuellen Unterstützung bei der Durchführung einer Videokonferenz. Bei einer Besprechung unter Arbeitskollegen, die in einem gemeinsamen Projekt zusammenarbeiten, aber nicht im selben Raum sitzen, besteht oft der Wunsch, dass man einen gemeinsamen Arbeitsgegenstand bespricht und diesen zusammen bearbeitet. Hierzu ist der Einsatz der Datenbrille 300 hilfreich, denn mit der Datenbrille 300 können auch 3D-Darstellungen von Gegenständen eingeblendet werden. Dabei ist es für die Teilnehmer auch wünschenswert, die Mimik/Gestik des Arbeitskollegen beobachten zu können.
2 zeigt die Systemarchitektur für diese Anwendung. Das Bezugszeichen 10 bezeichnet wiederum das Fahrzeug. Das Fahrzeug 10 ist mit einem On-Board-Connectivity-Modul (OCU) ausgestattet, das als Kommunikationsmodul mit einer oder mehreren Antennen verbunden ist, sodass das Fahrzeug 10 an irgendeiner Form eines Mobilkommunikationsdienstes teilnehmen kann. 1 zeigt, dass das Fahrzeug 10 Signale zu und von einer Basisstation 12 eines Mobilfunkdienstanbieters übertragen und empfangen kann.
Eine solche Basisstation 12 kann eine eNodeB-Basisstation eines LTE (Long Term Evolution) -Mobilkommunikationsdienstanbieters sein. Die Basisstation 12 und die entsprechende Ausrüstung sind Teil eines Mobilkommunikationsnetzwerks mit einer Vielzahl von Netzwerkzellen, wobei jede Zelle von einer Basisstation 12 bedient wird.
Die Basisstation 12 in 2 ist nahe einer Hauptstraße positioniert, auf der das Fahrzeug 10 fährt. In der Terminologie von LTE entspricht ein mobiles Endgerät einem Benutzergerät UE (User Equipment), das es einem Benutzer ermöglicht, auf Netzwerkdienste zuzugreifen, die über die Funkschnittstelle mit dem UTRAN oder Evolved-UTRAN verbunden sind. Typischerweise entspricht ein solches Benutzergerät einem Smartphone. Das On-Board-Kommunikationsmodul OCU entspricht einem LTE-Kommunikationsmodul, mit dem das Fahrzeug 10 Daten in Downstream-Richtung empfangen kann und solche Daten in Upstream-Richtung senden kann.
Allgemeiner ausgedrückt, besteht das Evolved UMTS Terrestrial Radio Acess Network E-UTRAN von LTE aus einer Vielzahl von eNodeBs, die die E-UTRA-Benutzerebenen-(PDCP/RLC/MAC/PHY) und Steuerungsebenen-(RRC)-Protokollabschlüsse in Richtung des Benutzergerätes UE bereitstellen. Die eNodeBs sind über die so genannte X2-Schnittstelle miteinander verbunden. Die eNodeBs werden auch mittels der sogenannten S1-Schnittstelle an den EPC (Evolved Packet Core) 14, genauer gesagt an die MME (Mobility Management Entity) mittels der S1-MME-Schnittstelle und an das Serving Gateway (S-GW) über die Schnittstelle S1-U angebunden.
Die allgemeine Architektur zeigt, dass die eNodeB 12 über die S1-Schnittstelle mit dem EPC 14 verbunden ist und dass EPC 14 mit dem Internet 16 verbunden ist. Die S1-Schnittstelle kann mit einer drahtlosen Kommunikationstechnologie realisiert werden, wie zum Beispiel mit Hilfe von Mikrowellenfunkkommunikation mittels Richtantennen oder drahtgebundener Kommunikationstechnologie basierend auf Glasfaserkabeln. Zur Vereinfachung der Implementierung wird in Betracht gezogen, dass allen Komponenten eine Internetadresse zugewiesen wurde, typischerweise in der Form einer IPv6-Adresse, sodass die Pakete, die Nachrichten zwischen den Komponenten transportieren, entsprechend geroutet werden können. Mit der Bezugszahl 18 ist ein Backend-Server bezeichnet, an den das Fahrzeug 10 Nachrichten senden kann und von dem es Nachrichten empfangen kann. Der Backend-Server 18 ist ebenfalls mit dem Internet 16 verbunden. Des Weiteren ist mit der Bezugszahl 20 ein Gebäude bezeichnet, das ebenfalls mit Internetanschluss versehen ist. Bei dem betrachteten Szenario hält sich darin der Videokonferenzteilnehmer 430 auf, für den durch die Datenbrille 300 der animierte Avatar 430 bei der Fahrzeuginsassin 420 eingeblendet wird.
Die verschiedenen Schnittstellen der LTE-Netzwerkarchitektur sind standardisiert. Es wird insbesondere auf die verschiedenen 3GPP-Spezifikationen in Version 14 verwiesen, die öffentlich verfügbar sind, um weitere Implementierungsdetails ausreichend zu erläutern.
Als Alternative zu dem LTE-Mobilfunkkommunikationssystem kommt das neuere 5G Mobilfunkkommunikationssystem in Betracht. Die Standardisierung des 5G-Systems läuft zur Zeit noch bei der 3GPP-Organisation.
3 zeigt eine Darstellung des Fahrzeuginnenraumes des Fahrzeuges 10 mit einer Fahrzeuginsassin 420, die eine Videokonferenz mit einem anderen Videokonferenzteilnehmer durchführt, wobei der andere Videokonferenzteilnehmer durch einen animierten Avatar 430 an der Position gegenüber der Person der Fahrzeuginsassin 420 dargestellt wird. Die Einblendung des Avatars 430 erfolgt mit Hilfe der Datenbrille 300, des Fahrzeuginsassen. Ebenfalls eingeblendet wird ein Gegenstand 410, der von den beiden Videokonferenzteilnehmern gemeinsam betrachtet wird. Im gezeigten Beispiel handelt es sich um ein Düsentriebwerk. Bei der Gegenüber-Darstellung wird der Avatar 430 so eingeblendet, dass er nicht von dem gemeinsam betrachteten Gegenstand verdeckt wird, sodass die Fahrzeuginsassin 420 die Mimik des Avatars 430 erkennen kann. Die dazu notwendige Berechnung wird von der Datenbrille 300 ausgeführt. Die Datenbrille 300 kann in Form der HoloLens-Brille der Firma Microsoft ausgeführt werden. Die HoloLens-Brille ist dafür mit einem WLAN-Kommunikationsmodul ausgestattet, über das sie die Daten für die AR-Einblendungen empfangen kann. Es kann als konventionelles WLAN-Modul für die Kommunikation nach einem der WLAN Standards, z.B. WLAN n Standard oder WLAN ac Standard, also IEEE 802.11 n oder IEEE 802.11ac handeln. Im betrachteten Anwendungsfall würde sich die Datenbrille 300 in das WLAN-Netz des Fahrzeuges 10 einbuchen, worüber sie Verbindungen mit anderen Stationen im Internet aufbauen kann. Eine Verbindung wird zu dem Backend-Server 18 aufgebaut, auf dem die Daten für ein 3D-Modell des gemeinsam zu betrachtenden/zu bearbeitenden Gegenstandes gespeichert sind. Eine andere Verbindung wird zu dem anderen Videokonferenzteilnehmer in dem Gebäude 20 aufgebaut. Die Daten des 3D-Modells des Gegenstandes 410 würden zu der Datenbrille 300 der Fahrzeuginsassin 420 übertragen. Der andere Videokonferenzteilnehmer könnte auch an anderer Stelle positioniert sein, z.B. in einem anderen Fahrzeug. Von diesem werden die Daten für die Avatareinblendung zu der Datenbrille 300 der Fahrzeuginsassin 420 übertragen.
Alternativ könnte das Kommunikationsmodul 316 nach einem anderen Kommunikationsstandard wie Bluetooth, entsprechend IEEE 802.15.1 Standard, Zigbee entsprechend IEEE 802.15.4 Standard oder UWB, entsprechend einer Variante der Ultra Wide Band Kommunikation ausgelegt sein.
Die Brille ist mit einer Spezialprozessoreinheit, einer sogenannten „Holographic Processing Unit“ HPU, ausgestattet. Diese führt die Berechnungen durch, um die 3D-Ansicht des Gegenstandes 410 an der geeigneten Position für die Fahrzeuginsassin 420 einzublenden. Der Gegenstand 410 kann über Gestensteuerung gedreht/verschoben/bearbeitet werden. Dafür ist die Datenbrille 300 mit Videokamera ausgestattet. Es können aber auch mehre Videokameras vorgesehen sein. Bei der von Microsoft erhältlichen Hololens-Brille sind 4 Videokameras angeschlossen. Diese ermöglichen die Aufnahme der Umwelt mit einem wesentlichen größeren Sichtwinkel als das, was die Person bei Sicht durch die Brille erfassen kann. Mit Hilfe der Videokameras können in Verbindung mit der zugehörigen Auswertesoftware Handgesten der Fahrzeuginsassin 420 erfasst werden. Weiterhin ist an die Spezialprozessoreinheit eine Brillen-Messeinheit IMU entsprechend „Inertial Measurement Unit“ angeschlossen. Damit werden die Bewegungen des Kopfes des Fahrers, insbesondere Kopfdrehungen und Kopfneigungen gemessen. Unter Berücksichtigung der Daten der IMU-Einheit kann der eingeblendete Gegenstand lagerichtig an einer bestimmten Position in der realen Umwelt eingeblendet bleiben auch wenn der Fahrzeuginsasse den Kopf dreht. Dabei besteht allerdings das Problem, dass bei Durchführung der Videokonferenz während der Fahrt die Kopfbewegungen von den Bewegungen des Fahrzeuges 10 überlagert sind. Es treten ja während der Fahrt verschiedene Arten von Beschleunigungen entlang der Längs-, Quer-, und Hochachse des Fahrzeuges 10 auf. Diese werden von der Brillen-Messeinheit IMU mit erfasst und würden eine Verfälschung der berechneten Kopfpose bewirken.
Um dieses Problem zu lösen, wird auf die bestehende Patentanmeldung der Anmelderin mit dem Aktenzeichen DE 10 2017 221 871.1 verwiesen, in der eine Lösung beschrieben wird, bei der die Daten einer Fahrzeug-Messeinheit über das WLAN-Modul der Datenbrille 300 empfangen wird, die die reinen Fahrzeug-Beschleunigungen erfasst. Damit können die von der Brillen-Messeinheit IMU gelieferten Beschleunigungswerte entsprechend korrigiert werden. Die Berechnung der Kopfpose wird dadurch genauer. Diesbezüglich wird für weitere Details auch im Hinblick auf die Offenbarung des Vorschlages auf die zitierte parallele Patentanmeldung der Anmelderin verwiesen.
Für die Berechnung der Avatareinblendungen für den jeweils anderen Kommunikationspartner ist es erforderlich den jeweiligen Kommunikationspartner zu beobachten. Dies kann mit Hilfe einer oder mehrerer Videokameras geschehen.
4 zeigt verschiedene Möglichkeiten von Avatar-Einblendungen. Die Variante gemäß 4a zeigt die Variante, wo die Avatar-Einblendung so erfolgt als sitze der Videokonferenzteilnehmer neben der Fahrzeuginsassin 420. Bei dieser Variante ergibt sich, dass Avatar und Fahrzeuginsassin den gemeinsam betrachteten Gegenstand 410 von der gleiche Seite aus betrachten würden. Dies entspricht der Situation, als wenn beide Konferenzteilnehmer nebeneinander an einem Tisch säßen und den Gegenstand betrachteten. Der Gegenstand 410 würde daher beiden Videokonferenzteilnehmern von der gleichen Seite gezeigt werden.
Die Variante gemäß 4b zeigt die Variante, wo die Avatar-Einblendung so erfolgt als sitze der andere Videokonferenzteilnehmer gegenüber der Fahrzeuginsassin 420. Dies entspricht der in 3 gezeigten Variante. In einer Ausführungsform würden die Videokonferenzteilnehmer gegenüberliegende Seiten des Gegenstandes betrachten. Die Einblendungen können aber auch so berechnet werden, dass Avatar 430 und Fahrzeuginsassin 420 den gemeinsam betrachteten Gegenstand 410 von der gleiche Seite aus betrachten würden, obwohl sie gegenüber sitzen. Der Gegenstand müsste dabei für die beiden Teilnehmer unterschiedlich gedreht werden.
Die Variante gemäß 4c zeigt die Einblendung des Avatars 430 wie bei einem runden Tisch. Je nachdem, welche Seite des Gegenstandes 410 der Videokonferenzteilnehmer, den der Avatar 430 repräsentiert, betrachtet, wird die Avatar-Einblendung für die Fahrzeuginsassin 420 so berechnet, dass er an der entsprechenden Position des runden Tisches eingeblendet wird. Die Videokonferenzteilnehmer betrachten in einem gemeinsamen virtuellen 3D Raum den gleichen Arbeitsgegenstand und können beliebige Blickwinkel einnehmen.
5 zeigt wieder die Gegenüber-Einblendung des Avatars 430. Bei dieser Variante werden auch noch die animierten Hände 435 zusätzlich zur Darstellung des Gesichtes eingeblendet. Dies hat den folgenden Zweck: So ist es möglich, die Diskussion der Videokonferenzteilnehmer mit Zeigeelementen anzureichern. Der Fahrzeuginsassin 420 wird gezeigt, welches Detail des betrachteten Gegenstandes der Videokonferenzteilnehmer hervorheben möchte. Dazu müssen die Handbewegungen des anderen Videokonferenzteilnehmers durch eine Kamera erfasst werden. Auch die Hände der Fahrzeuginsassin 420 werden dem anderen Videokonferenzteilnehmer entsprechend als Avatardarstellung angezeigt. So können beide Teilnehmer z.B. über Gestik, Sprachbefehle oder weitere Interaktionsarten Änderungen (z.B. Drehen, Vergrößern /Verkleinern, Erweitern, Farbe Ändern, ...) an dem virtuellen Arbeitsgegenstand vornehmen. Für die gemeinsame Interaktion an dem Arbeitsgegenstand müssen die Interaktionen koordiniert werden. Es könnte wie bei einem Token-Ring-System die Bearbeitungsrechte von einem zum nächsten Videokonferenzteilnehmer übergeben werden. Hier wäre es sinnvoll, auch eine Berechtigungsanzeige mit einzublenden. Eine andere Möglichkeit bestände darin, wie bei einem Master/Slave-System einem der Videokonferenzteilnehmer die Prioritätsrechte einzuräumen. Er könnte dann die Veränderungen des anderen Videokonferenzteilnehmers akzeptieren oder ablehnen. Die Veränderungsbefehle werden dabei an den Backend-Server 18 übertragen, der an dem Gegenstand die Befehle umsetzt, und woraus ein geändertes 3D-Modell resultiert, das wieder an die Datenbrillen übertragen wird.
6 zeigt noch verschiedene Varianten von Avatareinblendungsmöglichkeiten. Die Variante AO1 entspricht der Variante, bei der nur das animierte Gesicht als Avatar eingeblendet wird. Bei der Variante AO2 werden nur die animierten Hände als Avatar eingeblendet. Bei der Variante AO3 wird der animierte Oberkörper inklusive Arme und Hände als Avatar eingeblendet. Bei der Variante AO4 wird der animierte ganze Körper als Avatar eingeblendet.
7 zeigt noch schematisch ein Blockschaltbild des Infotainmentsystems 200 des Fahrzeuges 10 sowie beispielhaft einige Teilsysteme oder Applikationen des Infotainmentsystems. Das Infotainmentsystem umfasst zunächst eine berührungsempfindliche Anzeigeeinheit 30, eine Recheneinrichtung 40, eine Eingabeeinheit 50 und einen Speicher 60. Die Anzeigeeinheit 30 umfasst sowohl eine Anzeigefläche zum Anzeigen veränderlicher grafischer Informationen als auch eine über der Anzeigefläche angeordnete Bedienoberfläche (berührungssensitive Schicht) zum Eingeben von Befehlen durch einen Benutzer.
Die Anzeigeeinheit 30 ist über eine Datenleitung 70 mit der Recheneinrichtung 40 verbunden. Die Datenleitung kann nach dem LVDS-Standard ausgelegt sein, entsprechend Low Voltage Differential Signalling. Über die Datenleitung 70 empfängt die Anzeigeeinheit 30 Steuerdaten zum Ansteuern der Anzeigefläche des Touchscreens 30 von der Recheneinrichtung 40. Über die Datenleitung 70 werden auch Steuerdaten der eingegebenen Befehle von dem Touchscreen 30 zu der Recheneinrichtung 40 übertragen. Mit der Bezugszahl 50 ist die Eingabeeinheit bezeichnet.
Die Speichereinrichtung 60 ist über eine Datenleitung 80 mit der Recheneinrichtung 40 verbunden. In dem Speicher 60 ist ein Piktogrammverzeichnis und/oder Symbolverzeichnis hinterlegt mit den Piktogrammen und/oder Symbolen für die möglichen Einblendungen von Zusatzinformationen.
Die weiteren Teile des Infotainmentsystems Kamera 150, Radio 140, Navigationsgerät 130, Telefon 120 und Kombiinstrument 110 sind über den Datenbus 100 mit der Vorrichtung zur Bedienung des Infotainmentdystems verbunden. Als Datenbus 100 kommt die Highspeed-Variante des CAN-Bus nach ISO Standard 11898-2 in Betracht. Alternativ käme z.B. auch der Einsatz eines auf Ethernet-Technologie beruhenden Bussystems wie BroadR-Reach in Frage. Auch Bussysteme, bei denen die Datenübertragung über Lichtwellenleiter geschieht, sind einsetzbar. Als Beispiele werden genannt der MOST Bus (Media Oriented System Transport) oder der D2B Bus (Domestic Digital Bus). An den Datenbus 100 ist auch die schon erwähnte Fahrzeug-Messeinheit 170 angeschlossen. Diese Fahrzeug-Messeinheit 170 dient der Erfassung der Bewegung des Fahrzeuges, insbesondere der Erfassung der Beschleunigungen des Fahrzeuges. Sie kann als konventionelle IMU-Einheit, entsprechend Inertial Measurement Unit, ausgebildet sein. In einer IMU-Unit finden sich typischerweise Beschleunigungssensoren und Drehratensensoren wie ein Laser-Gyroskop oder ein Magnetometer-Gyroskop. Hier wird noch erwähnt, dass die Kamera 150 als konventionelle Videokamera ausgelegt sein kann. Diese Kamera 150 ist im Fahrzeuginnenraum angebracht und dient zur Beobachtung der Fahrzeuginsassin 420. In diesem Fall nimmt die Kamera als typische Videokamera 25 Vollbilder/s auf, was bei dem Interlace-Aufnahmemodus 50 Halbbildern/s entspricht. Alternativ kann eine Spezialkamera eingesetzt werden, die mehr Bilder/s aufnimmt, um die Genauigkeit der Beobachtung der Fahrzeuginsassin 420 zu erhöhen oder die Licht in einem anderen als dem sichtbaren Spektrum aufnimmt. Z.B. ist es vorteilhaft, eine Infrarotkamera einzusetzen, die auch eine Insassenbeobachtung bei gedämpften Licht oder Dunkelheit gestattet. Es können mehrere Kameras zur Insasssenbeobachtung eingesetzt werden. Für die drahtlose Kommunikation nach innen und außen ist das Fahrzeug 10 mit einem Kommunikationsmodul 160 ausgestattet. Dieses Modul wird oft auch als On-Board Connectivity Unit OCU bezeichnet. Es ist für die Mobilfunk-Kommunikation, z.B. nach LTE Standard, entsprechend Long Term Evolution, ausgelegt. Ebenfalls ist es für WLAN-Kommunikation ausgelegt. Die Recheneinheit 40 übernimmt die Auswertung der von der Videokamera 150 gelieferten Daten. Mit den geeigneten Bildauswertealgorithmen berechnet sie daraus eine Avatar-Darstellung 430 für den Fahrzeuginsassen. Diese Avatar-Darstellung wird so berechnet, dass sie auch die Mimik der Fahrzeuginsassin 420 wiedergibt. Es kann sich auch um ein 3D-Modell für die Avatar-Darstellung handeln. Die Daten für die berechnete Avatar-Darstellung 430 werden bei der Videokonferenz zu der Fahrzeuginsassin 420 übertragen. Die Avatar-Darstellung 430 wird von der Datenbrille 300 empfangen und an gegenüberliegender Position dargestellt zusammen mit dem gemeinsam betrachteten Gegenstand 410.
Alle hierin erwähnten Beispiele wie auch bedingte Formulierungen sind ohne Einschränkung auf solche speziell angeführten Beispiele zu verstehen. So wird es zum Beispiel von Fachleuten anerkannt, dass das hier dargestellte Blockdiagramm eine konzeptionelle Ansicht einer beispielhaften Schaltungsanordnung darstellt. In ähnlicher Weise ist zu erkennen, dass ein dargestelltes Flussdiagramm, Zustandsübergangsdiagramm, Pseudocode und dergleichen verschiedene Varianten zur Darstellung von Prozessen darstellen, die im Wesentlichen in computerlesbaren Medien gespeichert und somit von einem Computer oder Prozessor ausgeführt werden können. Das in den Patentansprüchen genannte Objekt kann ausdrücklich auch eine Person sein.
Es sollte verstanden werden, dass das vorgeschlagene Verfahren und die zugehörigen Vorrichtungen in verschiedenen Formen von Hardware, Software, Firmware, Spezialprozessoren oder einer Kombination davon implementiert werden können. Spezialprozessoren können anwendungsspezifische integrierte Schaltungen (ASICs), Reduced Instruction Set Computer (RISC) und / oder Field Programmable Gate Arrays (FPGAs) umfassen. Vorzugsweise wird das vorgeschlagene Verfahren und die Vorrichtung als eine Kombination von Hardware und Software implementiert. Die Software wird vorzugsweise als ein Anwendungsprogramm auf einer Programmspeichervorrichtung installiert. Typischerweise handelt es sich um eine Maschine auf Basis einer Computerplattform, die Hardware aufweist, wie beispielsweise eine oder mehrere Zentraleinheiten (CPU), einen Direktzugriffsspeicher (RAM) und eine oder mehrere Eingabe/Ausgabe (I/O) Schnittstelle(n). Auf der Computerplattform wird typischerweise außerdem ein Betriebssystem installiert. Die verschiedenen Prozesse und Funktionen, die hier beschrieben wurden, können Teil des Anwendungsprogramms sein oder ein Teil, der über das Betriebssystem ausgeführt wird.
Die Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt. Es gibt Raum für verschiedene Anpassungen und Modifikationen, die der Fachmann aufgrund seines Fachwissens als auch zu der Offenbarung zugehörend in Betracht ziehen würde.
Bezugszeichenliste

10: Fahrzeug
12: Basisstation Mobilfunkdienstleister
14: Evolved Packet Core EPC
16: Internet
18: Backend-Server
20: Gebäude mit Internetanschluss (Aufenthaltsort eines Videokonferenzteilnehmers)
30: berührungsempfindliche Anzeigeeinheit
40: Recheneinheit
50: Eingabeeinheit
60: Speichereinheit
70: Datenleitung zur Anzeigeeinheit
80: Datenleitung zur Speichereinheit
90: Datenleitung zur Eingabeeinheit
100: Datenbus
110: Kombiinstrument
120: Telefon
130: Navigationsgerät
140: Radio
150: Kamera
160: Kommunikationsmodul
170: Fahrzeug-Messeinheit
200: Infotainmentsystem
300: Datenbrille
410: Arbeitsgegenstand der Videokonferenz
420: Videokonferenzteilnehmer im Fahrzeug
430: Avatar des Videokonferenzteilnehmers an beliebigem Ort
435: Avatardarstellung der Hände des Videokonferenzteilnehmers an beliebigem Ort
AO1- AO4: verschiedene Varianten von Avatareinblendungsmöglichkeiten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016114396 A1 [0005]
EP 2355500 A1 [0006]
DE 102014206626 A1 [0007]
US 2018/0089901 A1 [0009]
DE 102017221871 [0053]

Claims

Verfahren zur Durchführung einer Videokonferenz, wobei wenigstens ein anderer Konferenzteilnehmer virtuell als Avatar (430) auf einer Datenbrille (300) eingeblendet wird, dadurch gekennzeichnet, dass den Teilnehmern an der Videokonferenz eine 3D-Darstellung eines gemeinsam zu betrachtenden Gegenstandes (410) auf der Datenbrille (300) zur Anzeige gebracht wird, und dass die Position der Einblendung des wenigstens einen anderen Konferenzteilnehmers relativ zur Position der eigenen Person (420) wählbar erfolgt.
Verfahren nach Anspruch 1, wobei die wählbare Position in einer ersten Variante der direkt benachbarten Position der eigenen Person (420) entspricht, bei der die wenigstens zwei Teilnehmer der Videokonferenz aus dem gleichen Blickwinkel den gemeinsam betrachteten Gegenstand betrachten.
Verfahren nach Anspruch 1, wobei die wählbare Position in einer zweiten Variante der gegenüberliegenden Position in Bezug auf die eigene Person (420) entspricht.
Verfahren nach Anspruch 1, wobei die Position wie bei einem runden Tisch frei wählbar ist und dadurch bestimmt wird, auf welchen Teilbereich des gemeinsam zu betrachtenden Gegenstandes (410) der Blick des wenigstens einen anderen Konferenzteilnehmers fällt, wobei der wenigstens eine Avatar (430) lagerichtig an der Position des runden Tisches eingeblendet wird, der der Blickrichtung, aus der er den Gegenstand betrachtet, entspricht.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Darstellung als Avatar (430) wenigstens die Einstellungen der Kopf, der Kopf und die Hände, der Oberkörper oder die ganze Person des Avatars (430) als verschiedene Avatar-Darstellungen wählbar eingestellt werden können.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Darstellung als Avatar (430) die Mimik der Person, die der Avatar (430) repräsentiert, mit dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Darstellung als Avatar (430) die Bewegung der Hand oder der Hände der Person, die der Avatar (430) repräsentiert, mit dargestellt wird.
Verfahren nach einem der Ansprüche 6 oder 7, wobei für die Darstellung der Mimik und/oder der Bewegungen der Hände die Person, die der Avatar (430) repräsentiert, durch wenigstens einen Beobachtungssensor, insbesondere Videokamera (150), Datenhandschuhe oder Leap Motion Hand Tracking-Sensor beobachtet wird, und eine Auswertung der Sensordaten erfolgt und eine entsprechend animierte Avatar-Darstellung berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Darstellung des Avatars (430) ebenfalls als 3D-Darstellung berechnet wird und ebenfalls als 3D-Darstellung auf der Datenbrille (300) dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der gemeinsam zu betrachtende Gegenstand (410) verändert werden kann, wobei die Berechtigung zur Bearbeitung des Gegenstandes (410) jeweils an einen gewünschten Teilnehmer der Videokonferenz nach Art eines Tokens übergeben wird.
Vorrichtung zur Verwendung bei dem Verfahren nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung ein Kommunikationsmodul (160) für die drahtlose Kommunikation mit einem anderen Konferenzteilnehmer beinhaltet, wobei die Vorrichtung mit wenigstens einer Kamera (150) ausgestattet ist, und mit einer Recheneinheit (40), die die von der Kamera (150) gelieferten Daten auswertet, dadurch gekennzeichnet, dass die Recheneinheit (40) ausgelegt ist, eine Avatar-Darstellung von einer durch die Kamera (150) beobachteten Person zu berechnen, und dass das Kommunikationsmodul (160) ausgelegt ist, die Daten für die Avatar-Darstellung an einen Konferenzteilnehmer (420) zu senden.
Vorrichtung nach Anspruch 11, wobei die Recheneinheit (40) ausgelegt ist, die Mimik und/oder die Bewegung der Hände der beobachteten Person zu bestimmen und eine die Mimik und/oder die Bewegung der Hände wiedergebende Avatar-Darstellung zu berechnen.
Vorrichtung nach Anspruch 11 oder 12, wobei das Kommunikationsmodul (160) für die Kommunikation auf Basis eines Kommunikationsprotokolls nach einem der Mobilfunk-Kommunikationssysteme LTE oder 5G ausgelegt ist.
Fahrzeug dadurch gekennzeichnet, dass das Fahrzeug eine Vorrichtung nach einem der Ansprüche 11 bis 13 aufweist.