DE102019208316A1

DE102019208316A1 - Verfahren zum Betreiben eines Videokonferenzsystems sowie Videokonferenzsystem und Kraftfahrzeug

Info

Publication number: DE102019208316A1
Application number: DE102019208316.1A
Authority: DE
Inventors: Peter Zeinar
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2019-06-07
Filing date: 2019-06-07
Publication date: 2020-12-10
Also published as: WO2020244861A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Videokonferenzsystems (10), bei welchem in einem ersten Raum (11) eine Kameraeinrichtung (18) Bilddaten (19) erfasst und in einem zweiten Raum (12) eine mit der Kameraeinrichtung (18) über eine Kommunikationsverbindung (13) einer Kommunikationseinrichtung (13') gekoppelte Bildschirmeinrichtung (16) auf der Grundlage der Bilddaten (19) eine Bildwiedergabe (17) des ersten Raums (11) anzeigt. Die Erfindung sieht vor, dass eine Justiereinrichtung (20) eine räumliche Lage zumindest eines Referenzobjekts (22) in dem ersten Raum (11) erfasst und durch Lagedaten beschreibt und in Abhängigkeit von den Lagedaten durch Festlegen einer räumlichen Ausrichtung der Kameraeinrichtung (18) und/oder einer Bildverarbeitung (26) der Bilddaten (19) das zumindest eine Referenzobjekt (22) in der Bildwiedergabe (17) bezüglich zumindest eines in dem zweiten Raum (12) angeordneten Vorgabeobjekts (24) ausrichtet.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Videokonferenzsystems. In einem ersten Raum erfasst eine Kamera Bilddaten und in einem zweiten Raum wird auf Grundlage der Bilddaten eine Bildwiedergabe des ersten Raums angezeigt. Somit kann man in dem zweiten Raum durch Betrachten der Bildwiedergabe eine Person im ersten Raum sehen. Die Erfindung betrifft auch ein Videokonferenzsystem, das gemäß dem Verfahren betrieben werden kann, sowie ein Kraftfahrzeug, das sich als Teil des Videokonferenzsystems betreiben lässt.
Um soziale Kontakte zu pflegen oder ein Geschäftsgespräch zu führen, kann bei räumlich getrennten Menschen eine Unterstützung durch ein Videokonferenzsystem ermöglicht sein, über welches zwei räumlich getrennte Benutzer sowohl eine Audioverbindung als auch eine Videoverbindung bereitgestellt bekommen können. Insbesondere ist man daran interessiert, dies auch für einen Benutzer in einem Kraftfahrzeug zu ermöglichen, da in einem Kraftfahrzeug beispielsweise aufgrund eines Staus oder aufgrund einer autonomen Fahrfunktion ein Benutzer oftmals Zeit hat, um ein Videogespräch oder eine Videokonferenz zu führen. Beispiele für ein Videokonferenzsystem sind unter dem Produktnamen Skype^(™) des Unternehmens Microsoft^(™) und Facetime^(™) des Unternehmens Apple^(™) bekannt. Hierfür wird meist ein PC, Tablet-PC oder das Handy genutzt.
Ein Nachteil bei einem solchen Videokonferenzsystem stellt in der Regel die zweidimensionale Bildwiedergabe auf einem flachen Bildschirm dar, wie er bei einem Kommunikationsmedium in Form eines Smartphones oder eines Monitors eines PCs (Personal Computer) in der Regel verwendet wird. Der Gesprächspartner, der in der Bildwiedergabe zu sehen ist, wirkt nicht so real wie ein tatsächlich gegenüber sitzender Gesprächspartner.
Aus der US 9,661,272 B1 ist hierzu bekannt, eine Bildwiedergabe eines Gesprächspartners als Hologramm auszugestalten, um einen dreidimensionalen Eindruck vom Gesicht des Gesprächspartners zu vermitteln.
Ein dreidimensionales Hologramm von einem Kopf eines Gesprächspartners kann aber auch ungünstig wirken, wenn nur den Kopf des Gesprächspartners auf einer Tischoberfläche dargestellt wird, sodass das Hologramm des Gesprächspartner wie eine Büste aussieht.
Aus der DE 10 2010 028 865 A1 ist bekannt, von beiden Gesprächspartnern durch ein Videokonferenzsystem Bilddaten zu erzeugen und diese Bilddaten dann zu überlagern, um einen virtuellen Eindruck davon zu vermitteln, dass der jeweilige Gesprächspartner sich im selben Raum befindet. Dies ist aber nur eine visuelle Lösung, welche von den beiden Gesprächspartnern nicht persönlich wahrgenommen wird, sondern nur bildlich dargestellt ist.
Aus der US 2015/0156452 A1 ist ein Videokonferenzsystem bekannt, bei welchem der Eindruck vermittelt wird, dass sich beide Gesprächspartner im selben Raum befinden, indem ein Konferenztisch bereitgestellt ist, an dessen einer Seite ein Benutzer sitzen kann und auf dessen gegenüberliegender Seite die Bildschirmeinrichtung für die Bildwiedergabe des anderen Gesprächspartners angeordnet ist.
Eine solche Lösung ist sehr statisch, da der Eindruck eines gemeinsamen Raumes nur entsteht, wenn die Erfassungsbereiche der Kameras korrekt ausgerichtet sind, sodass der Konferenztisch und die Bildwidergabe mit einem zusätzlichen Teil eines weiteren Konferenztisches derart ineinander übergehen, dass sich der Eindruck eines großen, einheitlichen Konferenztisches ergibt.
Der Erfindung liegt die Aufgabe zugrunde, in einem Videokonferenzsystem ein Gespräch, das zwei Benutzer aus unterschiedlichen Räumen heraus miteinander führen, bei der Bildwiedergabe dahingehend auszugestalten, dass zumindest ein Benutzer den Eindruck bekommt, beide Benutzer stünden in einem gemeinsamen Raum.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
Durch die Erfindung ist ein Verfahren zum Betreiben eines Videokonferenzsystems bereitgestellt. Das Videokonferenzsystem kann zumindest folgende Komponenten erfassen: eine Kameraeinrichtung, eine Kommunikationseinrichtung und eine Bildschirmeinrichtung. Bei dem Verfahren erfasst in einem ersten Raum die Kameraeinrichtung Bilddaten, das heißt sie filmt den ersten Raum oder zumindest einen Teil des ersten Raums. In einem zweiten Raum zeigt die Bildschirmeinrichtung auf der Grundlage der Bilddaten eine Bildwiedergabe des ersten Raums an. Mit anderen Worten kann ein Benutzer in dem zweiten Raum in der Bildwiedergabe sehen, wer in dem ersten Raum vor der Kameraeinrichtung oder in deren Erfassungsbereich steht. Die Bildschirmeinrichtung ist dabei über eine Kommunikationsverbindung der Kommunikationseinrichtung mit der Kameraeinrichtung gekoppelt. Mit anderen Worten handelt es sich um Livebilder oder Echtzeitbilder, die durch die Bilddaten übertragen und als Bildwiedergabe angezeigt werden. Natürlich kann in dem Videokonferenzsystem auch in der an sich bekannten Weise eine Audioübertragung eines Audiosignals von dem ersten Raum hin zum zweiten Raum vorgesehen sein.
Um nun einem Benutzer im zweiten Raum mittels der Bildwiedergabe den Eindruck zu vermitteln, dass der erste Raum und der zweite Raum nicht getrennt sind, sondern einen einzigen Gesamtraum bilden, ist erfindungsgemäß vorgesehen, dass eine Justiereinrichtung eine räumliche Lage zumindest eines Referenzobjekts in dem ersten Raum erfasst und diese erfasste räumliche Lage durch Lagedaten beschreibt. Die Lagedaten können also beispielsweise eine Relativlage oder Relativposition des jeweiligen Referenzobjekts bezüglich der Kameraeinrichtung beschreiben.
Die Justiereinrichtung richtet in Abhängigkeit von diesen Lagedaten das zumindest eine Referenzobjekt in der Bildwiedergabe des ersten Raumes aus, d.h. die Bildwiedergabe auf der Bildschirmeinrichtung im zweiten Raum wird in Abhängigkeit von den Lagedaten angepasst. Das Ausrichten erfolgt dabei in Bezug auf zumindest ein in dem zweiten Raum angeordnetes Vorgabeobjekt. Durch dieses Ausrichten wird also zumindest ein in der Bildwiedergabe sichtbares Referenzobjekt in seiner Position und/oder aus seiner Perspektive derart dargestellt, dass in der Bildwiedergabe auf der Bildschirmeinrichtung im zweiten Raum das zumindest eine Referenzobjekt in Bezug zu zumindest einem Vorgabeobjekt im zweiten Raum in einer vorbestimmten Relativposition und/oder perspektivischen Verzerrung erscheint. Ist beispielsweise als Referenzobjekt ein erster Tisch vorgesehen, der im ersten Raum steht, und als Vorgabeobjekt ein zweiter Tisch, der im zweiten Raum steht, so kann durch die Justiereinrichtung die Bildwiedergabe des ersten Tisches in der Bildwiedergabe derart eingestellt oder manipuliert werden, dass vom zweiten Raum aus gesehen der Tisch (Referenzobjekt) in der Bildwiedergabe und der Tisch im zweiten Raum (Vorgabeobjekt) eine einzige durchgehende Tischoberfläche zu bilden scheinen, also ein großer Tisch erscheint, der sich im zweiten Raum befindet und sich in der Bildwiedergabe nahtlos oder plan oder bündig in den ersten Raum hinein erstreckt. Das zumindest eine Vorgabeobjekt gibt also vor, wie das zumindest eine Referenzobjekt in der Bildwiedergabe auszurichten oder zu verzerren oder perspektivisch zu verzerren ist, wenn es in der Bildwiedergabe angezeigt wird.
Um dieses Ausrichten zu erwirken, erfolgt durch die Justiereinrichtung ein Festlegen einer räumlichen Ausrichtung der Kameraeinrichtung und/oder eine Bildverarbeitung der Bilddaten. Es kann also zum einen die Perspektive oder Lage der Kameraeinrichtung in dem ersten Raum durch die Justiereinrichtung festgelegt werden, um hierdurch das Ausrichten des zumindest einen Referenzobjekts in der Bildwiedergabe zu erreichen. Zusätzlich oder alternativ dazu kann bei gegebener Position der Kameraeinrichtung durch eine Bildverarbeitung in den Bilddaten eine Veränderung oder eine Anpassung vorgenommen werden, um hierdurch die Position oder Lage des zumindest einen Referenzobjekts in der Bildwiedergabe einzustellen oder festzulegen. Beispielsweise kann eine perspektivische Verzerrung und/oder eine translatorische Verschiebung nach rechts/links, oben/unten durchgeführt werden.
Durch die Erfindung ergibt sich der Vorteil, dass in dem zweiten Raum die Bildwiedergabe des ersten Raums perspektivisch korrekt oder perspektivisch abgeglichen erfolgen kann, sodass die Bilddarstellung des ersten Raums wie eine Verlängerung des zweiten Raums wirkt oder so, dass die Bilddarstellung ein Blick durch ein Fenster vom zweiten Raum hin zum ersten Raum aussieht.
Die besagte Kommunikationsverbindung zwischen der Kameraeinrichtung und der Bildschirmeinrichtung kann hierbei direkt über beispielsweise eine Internetverbindung erfolgen oder indirekt kann die Kopplung über einen Server des Internets bereitgestellt sein. Die besagte Justiereinrichtung kann hierbei eine verteilte Einrichtung sein, die eine jeweilige Teilkomponente im ersten Raum und/oder im zweiten Raum und/oder in dem besagten Server aufweisen kann. Die Justiereinrichtung kann beispielsweise auf der Grundlage einer Software für zumindest einen Prozessor bereitgestellt sein, die in einem Speicher gespeichert sein kann, der mit dem zumindest einen Prozessor gekoppelt sein kann.
Die Erfindung umfasst auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
Mehrere Ausführungsformen betreffen die Frage, wie das Ausrichten des zumindest einen Referenzobjekts in der Bildwiedergabe des ersten Raums erfolgen kann.
In einer Ausführungsform als Referenzobjekt eine horizontale Oberfläche in Bezug auf ein Vorgabeobjekt ausgerichtet, das ebenfalls eine horizontale Oberfläche aufweist. Durch das Ausrichten wird ein vorbestimmter relativer Höhenunterschied der beiden Oberflächen zueinander eingestellt. Der Höhenunterschied kann auch beispielsweise Null betragen, sodass also die beiden horizontalen Oberflächen bündig oder koplanar angeordnet sind. Hierdurch kann beispielsweise in der beschriebenen Weise eine durchgehende Tischoberfläche dargestellt werden. Da von dem zumindest einen Referenzobjekt in dem zweiten Raum nur die Bildwiedergabe zu sehen ist, ergibt sich der Höhenunterschied insbesondere optisch oder visuell beim Betrachten des zumindest einen Vorgabeobjekts im zweiten Raum und der Bildwiedergabe des zumindest einen Referenzobjekts auf der Bildschirmeinrichtung im ersten Raum.
In einer Ausführungsform wird ein Referenzobjekt perspektivisch fluchtend zu einem Vorgabeobjekt angeordnet. Aus Sicht eines Betrachters im zweiten Raum erscheint somit das Vorgabeobjekt näher an diesem Benutzer als jedes in der Bildwiedergabe dargestellte Referenzobjekt. Handelt es sich bei dem einen Vorgabeobjekt und einem Referenzobjekt beispielsweise um Objekte derselben Größe, beispielsweise jeweils eine Wasserflasche, so kann das Vorgabeobjekt in der Bildwiedergabe entsprechend dem Abstand zwischen dem Referenz- und dem Vorgabeobjekt zum Blickpunkt des Betrachters perspektivisch verkleinert oder verkürzt sein. Als Betrachtungspunkt kann hierbei ein virtueller oder gemessener Betrachtungspunkt zugrundegelegt sein, der beispielsweise durch entsprechende Betrachtungspunktdaten in der Justiereinrichtung beschrieben sein kann.
In einer Ausführungsform wird ein Referenzobjekt horizontal und/oder vertikal in Bezug auf ein Vorgabeobjekt angeordnet. Mit anderen Worten wird eine Relativposition zwischen dem Vorgabeobjekt im zweiten Raum und der Bildwiedergabe des Referenzobjekts eingestellt oder festgelegt. Hierdurch kann beispielsweise erreicht werden, dass eine Tischkante eines Tisches im zweiten Raum mit einer Tischkante eines Tisches im ersten Raum fluchtend angeordnet ist, also eine durchgehende Tischkante dargestellt ist.
Um dieses Ausrichten zu erreichen, kann in der beschriebenen Weise eine räumliche Ausrichtung der Kameraeinrichtung festgelegt werden. Dies kann beispielsweise durch eine Bildauswertung der Bilddaten erreicht werden und eine entsprechende Angabe von Korrekturanweisungen für einen Benutzer, der die Kameraeinrichtung dann entsprechend den Anweisungen anordnen kann, um eine korrekte Kameraposition zum Erfüllen eines entsprechenden Ausrichtkriteriums zu erhalten oder eben das zumindest eine Referenzobjekt bezüglich des zumindest einen Vorgabeobjekts auszurichten. Zusätzlich oder alternativ dazu kann mittels einer Bildverarbeitung in den Bilddaten das Ausrichten vorgenommen werden, indem beispielsweise eine Bildverzerrung und/oder eine Bildverschiebung durchgeführt wird. Die Bildverarbeitung kann als ein Programmcode der Justiereinrichtung ausgestaltet sein.
Mehrere Ausführungsformen betreffen das automatisierte Erkennen oder Herausfinden des zumindest einen Referenzobjekts und/oder des zumindest einen Vorgabeobjekts.
In einer Ausführungsform ist das zumindest eine Referenzobjekt und/oder das zumindest eine Vorgabeobjekt jeweils durch einen vorbestimmten Marker markiert. Als Marker kann jeweils beispielsweise ein Muster oder ein Gegenstand oder ein Leuchtelement oder eine Anordnung mehrerer Leuchtelemente vorgesehen sein. Mit dem Videokonferenzsystem kann beispielsweise ein Gegenstand, beispielsweise ein Tetraeder oder ein Würfel, mitgeliefert sein, der auf ein Referenzobjekt platziert werden kann, beispielsweise eine Tischoberfläche. Anhand von bekannten geometrischen Abmessungen des Referenzobjekts kann dann durch die Justiereinrichtung beispielsweise aus den Bilddaten auf eine Eigenschaft desjenigen Referenzobjekts rückgeschlossen werden, an welchem das Markerobjekt oder der Marker angeordnet ist. Dies gilt auch für ein Muster als Marker, das beispielsweise ein vorgedrucktes Muster auf einer Folie oder eine Blatt Papier sein kann. Das Muster kann ebenfalls anhand der Bilddaten erkannt werden. Leuchtelemente können beispielsweise eine vorbestimmte, in der Justiereinrichtung bekannte geometrische Anordnung zueinander aufweisen, sodass durch Auswerten der Bilddaten erkannt werden kann, welche geometrische Lage der Marker im ersten Raum aufweist.
In einer Ausführungsform wird durch eine Objekterkennung auf der Grundlage der Bilddaten erkannt, welches das zumindest eine Referenzobjekt und/oder das zumindest eine Vorgabeobjekt ist. Mit anderen Worten kann hier anhand der Bilddaten ein Referenzobjekt und/oder ein Vorgabeobjekt selbst erkannt werden, beispielsweise anhand seiner Form und/oder seiner Farbe und/oder seiner Textur oder seines Musters. So kann beispielsweise eine Person und/oder ein Tisch auf Grundlage einer Objekterkennung erkannt werden. Die macht die Verwendung von Markern überflüssig. Die Objekterkennung kann beispielsweise auf der Grundlage eines künstlichen neuronalen Netzes erfolgen, das mittels Trainings-Bilddaten von zu erkennenden Referenzobjekten und/oder Vorgabeobjekten dahingehend trainiert ist, diesen Trainings-Bilddaten einen Ausgabewert zuzuordnen, der ein Referenzobjekt und/oder ein Vorgabeobjekt signalisiert.
In einer Ausführungsform ist das zumindest eine Referenzobjekt und/oder das zumindest eine Vorgabeobjekt durch vorgegebene Geometriedaten des jeweiligen Raums beschrieben. Mit anderen Worten sind in der Justiereinrichtung Geometriedaten gespeichert, welche angeben, wo sich in dem ersten Raum und/oder dem zweiten Raum jeweils ein Referenzobjekt und/oder ein Vorgabeobjekt befinden. Dadurch erübrigt sich eine Erkennung auf Grundlage der Bilddaten. Bei den Geometriedaten kann es sich beispielsweise um CAD-Daten (CAD - Computer Added Design) oder Konstruktionsdaten handeln.
In einer Ausführungsform wird in dem zweiten Raum, in welchem die Bildwiedergabe angezeigt wird, durch eine Erfassungseinrichtung eine Kopfposition und/oder eine Kopfbewegung eines Kopfes eines Benutzers erfasst. Es wird davon ausgegangen, dass der Benutzer die Bildwiedergabe betrachtet. Die erfasste Kopfposition und/oder die erfasste Kopfbewegung wird durch Positionsdaten beschrieben. Als ein Vorgabeobjekt, bezüglich welchem das zumindest eine Referenzobjekt ausgerichtet werden soll, wird dann dieser Kopf des Benutzers zugrundegelegt und das Ausrichten des zumindest einen Referenzobjekts wird während des Anzeigens der Bildwiedergabe in Abhängigkeit von den Positionsdaten angepasst oder verändert oder nachgeführt. Mit anderen Worten verändert sich also die Ausrichtung des zumindest einen Referenzobjekts in der Bildwiedergabe während einer Kopfbewegung des Benutzers, welcher die Bildwiedergabe betrachtet. Beispielsweise kann eine unterschiedlich weite seitliche und/oder vertikale Positionsverschiebung des zumindest einen Referenzobjekts erfolgen in Abhängigkeit davon, wie weit das jeweilige Referenzobjekt von der Kameraeinrichtung entfernt ist. Hierdurch kann der Effekt einer Parallaxe für den Benutzer in der Bildwiedergabe nachgebildet werden. Diese Ausführungsform beruht auf der Erkenntnis, dass ein wesentlicher Unterschied zwischen dem Eindruck eines realen Raums (hier des zweiten Raums) und einer Bildwiedergabe eines Raums (hier des ersten Raums) darin besteht, dass bei einer Kopfbewegung für reale Gegenstände der Parallaxeeffekt im zweiten Raum eintritt, während die flache Bildwiedergabe, das heißt der Bildinhalt oder die Bildwiedergabe des zumindest einen Referenzobjekts, ohne die Ausführungsform keinen Parallaxeeffekt aufweist. Indem das Ausrichten des zumindest einen Referenzobjekts in der Bildwiedergabe in Abhängigkeit von den Positionsdaten des Kopfes erfolgt, kann der Parallaxeeffekt nachgestellt oder simuliert werden. Unterschiedlich weite transversale Verschiebungen von Referenzobjekten innerhalb einer Bildwiedergabe können beispielsweise durch ein sogenanntes Warping unterschiedlicher Bereiche des Bildinhalts erreicht werden. Dies kann zwar auch zu einer ungewollten Verzerrung umliegender Bildinhalte führen, aber es hat sich gezeigt, dass insbesondere die Anwendung des künstlichen Parallaxeeffekts bei Pendelbewegungen des Kopfes unter 20 Zentimeter (Abstand der Wendepunkte), wie sie beim Sprechen vorkommen können, der Vorteil des Parallaxeeffekts über den Bildverzerrungen überwiegt.
Um den Parallaxeeffekt noch weiter zu verstärken oder zu verbessern, sieht eine Ausführungsform vor, dass die Bilddaten Tiefeninformationen betreffend einen Abstand von Objekten im ersten Raum bezüglich der Kameraeinrichtung umfassen, also zu einzelnen Bildpunkten in den Bilddaten auch eine Information betreffend den Abstand des durch den Bildpunkt abgebildeten Objekts zur Kameraeinrichtung umfassen. Zwischen den Objekten wird in Abhängigkeit von ihrem jeweiligen Abstand ein künstlicher Parallaxeeffekt durch die Bildverarbeitung erzeugt, durch welche das zumindest eine Referenzobjekt in der Bildwiedergabe ausgerichtet oder angepasst wird. Indem aus den Bilddaten die Tiefeninformationen entnommen oder genutzt werden, kann der Parallaxeeffekt besonders präzise nachgebildet werden. Eine Tiefeninformation kann beispielsweise mittels einer ToF-Kamera (ToF - Time of Flight) oder einer Stereokamera ermittelt werden.
In einer Ausführungsform weist die Bildschirmeinrichtung eine 3D-Bildanzeige auf. Eine solche 3D-Bildanzeige kann beispielsweise auf der Grundlage einer Shutterbrille oder auf der Grundlage eines autostereoskopischen Bildschirms realisiert sein. Des Weiteren gibt es im Stand der Technik auch andere 3D-Displays, die auch ohne Brille eine 3D-Wiedergabe darstellen. Durch die Verwendung einer 3D-Bildanzeige ist der Vorteil gegeben, dass ein räumlicher Eindruck in der Bildwiedergabe des ersten Raumes gegeben ist. Bevorzugt ist noch vorgesehen, dass die Kameraeinrichtung zumindest eine 3D-Kamera, beispielsweise eine Stereokamera, bevorzugt mehrere 3D-Kameras, aufweist. Hierdurch können auch die besagten Tiefeninformationen oder Abstandsinformationen in den Bilddaten bereitgestellt werden, wodurch ein Betrieb der 3D-Bildanzeige besonders effektiv ist.
In einer Ausführungsform erfasst in dem ersten Raum eine Mikrofoneinrichtung Audiodaten eines Audiosignals oder Audioschalls und in dem zweiten Raum erzeugt eine mit der Mikrofoneinrichtung über die besagte Kommunikationsverbindung gekoppelte Lautsprechereinrichtung auf der Grundlage der Audiodaten eine Schallausgabe des Audiosignals oder Audioschalls. Wird also in dem ersten Raum beispielsweise gesprochen, so wird der Sprachschall als Audioschall erfasst und durch Audiodaten beschrieben. Auf Grundlage der Audiodaten kann dann der Sprachschall als Audioschall in dem zweiten Raum wieder reproduziert oder ausgegeben werden durch die Lautsprechereinrichtung. Bei dieser Ausführungsform ist insbesondere vorgesehen, dass in den Audiodaten vor der Schallausgabe eine Impulsantwort des ersten Raums unterdrückt oder entfernt und/oder eine Impulsantwort des zweiten Raums hinzugefügt wird. Das Entfernen einer Impulsantwort kann beispielsweise durch eine sogenannte mathematische Faltung mit der inversen Impulsantwort erreicht werden. Das Hinzufügen einer Impulsantwort kann durch das mathematische Falten des Audiosignals, das durch die Audiodaten beschrieben ist, mit der Impulsantwort des zweiten Raums erzeugt werden. Durch diese Ausführungsform kann eine Klangcharakteristik des ersten Raums bei der Schallausgabe unterdrückt oder reduziert werden und eine Klangcharakteristik des zweiten Raums hinzugefügt werden. Hierdurch wird zumindest eine Signaleigenschaft oder akustische Eigenschaft des Audioschalls an den zweiten Raum angepasst oder angenähert. Handelt es sich bei dem zweiten Raum beispielsweise um einen Fahrzeuginnenraum mit gedämpfter akustischer Umgebung, während der erste Raum ein halliger Küchenraum ist, so würde ohne diese Ausführungsform bei der Schallausgabe des Audioschalls ein halliger Hintergrund zu hören sein, was für einen Benutzer in dem Kraftfahrzeug erkennbar wäre, dass der Audioschall nicht in einem Fahrzeuginnenraum erfasst wurde.
Bisher wurde von dem Videokonferenzsystem lediglich eine Übertragungsrichtung, nämlich vom ersten Raum hin zu dem zweiten Raum, beschrieben. Das Videokonferenzsystem kann auch für einen bidirektionalen Betrieb ausgestaltet sein, sodass also auch für die Gegenrichtung eine Übertragung vorgesehen ist. Entsprechend sieht eine Ausführungsform vor, dass in dem zweiten Raum durch eine Gegenkameraeinrichtung (also eine Kameraeinrichtung für die Übertragung in die Gegenrichtung vom zweiten Raum hin zum ersten Raum) Gegenbilddaten des zweiten Raums erfasst werden und in dem ersten Raum durch eine mit der Gegenkameraeinrichtung über die Kommunikationsverbindung gekoppelte Gegenbildschirmeinrichtung auf der Grundlage der Gegenbilddaten eine Gegenbildwiedergabe des zweiten Raums angezeigt werden und die Justiereinrichtung das zumindest eine Vorgabeprojekt durch Festlegen einer räumlichen Ausrichtung der Gegenkameraeinrichtung und/oder durch Festlegen einer Bildverarbeitung der Gegenbilddaten in der Gegenbildwiedergabe ausrichtet. Mit anderen Worten wird also das zumindest eine Vorgabeobjekt nun in die Gegenrichtung als Referenzobjekt genutzt. Entsprechend kann das zumindest eine Referenzobjekt für die Gegenbildwiedergabe als jeweiliges Vorgabeobjekt genutzt werden. Somit ergibt sich ein bidirektionales Videokonferenzsystem.
Zu der Erfindung gehört auch ein Videokonferenzsystem, bei dessen Betrieb sich das erfindungsgemäße Verfahren ergibt. Das Videokonferenzsystem weist also eine Kameraeinrichtung zum Erfassen von Bilddaten und eine Bildschirmeinrichtung zum Ausgeben einer Bildwiedergabe sowie eine Kommunikationseinrichtung zum Bereitstellen einer Kommunikationsverbindung zwischen der Kameraeinrichtung und der Bildschirmeinrichtung auf. Das erfindungsgemäße Videokonferenzsystem weist des Weiteren die besagte Justiereinrichtung für die Bildwiedergabe auf, wobei das Videokonferenzsystem in der beschriebenen Weise dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.
Das Videokonferenzsystem weist auch Weiterbildungen oder Ausführungsformen auf, die Merkmale aufweisen, denjenigen der entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens entsprechen. Aus diesem Grund sind die korrespondierenden Merkmale im Zusammenhang mit dem Videokonferenzsystem hier nicht noch einmal beschrieben.
Wie eingangs bereits beschrieben, erweist sich das erfindungsgemäße Videokonferenzsystem besonders vorteilhaft im Zusammenhang mit einem Kraftfahrzeug, da in einem Kraftfahrzeug oftmals Zeiträume zur Verfügung stehen, um ein Videotelefoniegespräch oder Videokonferenzgespräch zu führen. Entsprechend ist durch die Erfindung auch ein Kraftfahrzeug für ein Videokonferenzsystem bereitgestellt, wobei das Kraftfahrzeug eine Bildschirmeinrichtung der beschriebenen Art sowie den fahrzeugseitigen Teil der beschriebenen Kommunikationseinrichtung des Videokonferenzsystems aufweist. Es kann auch ein fahrzeugseitiger Teil der Justiereinrichtung des Videokonferenzsystems in dem Kraftfahrzeug bereitgestellt sein. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus ausgestaltet.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer perspektivischen Ansicht eines Videokonferenzsystems der Erfindung mit einem zweiten Raum, der durch eine Ausführungsform des erfindungsgemäßen Kraftfahrzeugs bereitgestellt ist;
2 eine schematische Darstellung eines Funktionsprinzips des Videokonferenzsystems;
3 eine schematische Darstellung des Videokonferenzsystems, während eine Ausführungsform des erfindungsgemäßen Verfahrens durchgeführt wird; und
4 eine schematische Darstellung eines Teils des Videokonferenzsystems beim Erzeugen eines künstlichen Parallaxeeffekts.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt ein Videokonferenzsystem 10, mittels welchem für ein Videokonferenzgespräch ein erster Raum 11 und ein zweiter Raum 12 miteinander über eine Kommunikationsverbindung 13 gekoppelt werden können. Ein Abstand der Räume 11, 12 kann beispielsweise mehr als zehn Meter, insbesondere mehr als 100 Meter, betragen. Beispielsweise kann der zweite Raum 12 ein Innenraum eines Kraftfahrzeugs 14 sein. Der erste Raum 11 kann beispielsweise ein Raum in einem Gebäude sein, beispielsweise eine Küche. Er ist in 1 aus einer Vogelperspektive dargestellt. Ein Benutzer 15 kann in dem zweiten Raum 12 auf einer Bildschirmeinrichtung 16 eine Bildwiedergabe 17 des ersten Raumes angezeigt bekommen. Die Bildwiedergabe 17 kann erzeugt werden, indem im ersten Raum 11 eine Kameraeinrichtung 18 Bilddaten 19 erzeugt, die dann für das Erzeugen der Bildwiedergabe 17 genutzt werden können. Allerdings kann vorgesehen sein, dass die Bildwiedergabe 17 durch eine Justiereinrichtung 20 angepasst wird, das heißt nicht die originalen Bilddaten 19 als Bildwiedergabe 17 angezeigt werden. Die Justiereinrichtung kann allerdings auch darin bestehen, dass zum Darstellen der originalen Bilddaten 19 als Bildwiedergabe 17 die Kamera 18 in ihrer Position justiert oder ausgerichtet wird. Dies kann beispielsweise durch Ausgabehinweise erfolgen, die durch einen Benutzer 21 im Raum 11 ausgeführt werden. Ziel der Justiereinrichtung 20 ist es, dass in der Bildwiedergabe 17 zumindest ein Referenzobjekt 22, beispielsweise eine Oberfläche 23 eines Tisches, mit einem Vorgabeobjekt 24 im zweiten Raum 12 eine vorbestimmte Relativlage und/oder vorbestimmte perspektivische Relation aufweist. Beispielsweise kann eine Oberfläche 25 einer Instrumententafel I im Kraftfahrzeug 14 in Bezug auf die Höhe oder vertikale Ausrichtung bündig mit der Oberfläche 23 angeordnet werden. Wird dies mittels einer Bildverarbeitung 26 der Justiereinrichtung 20 durchgeführt, so kann ein Betrachtungspunkt 27 zugrundegelegt werden, von welchem aus der Benutzer 15 die Bildschirmeinrichtung 16 betrachtet. Der Betrachtungspunkt 27 kann als angenommener Betrachtungspunkt auch anhand von Positionsdaten festgelegt sein oder durch Erfassen eines Kopfes 28 des Benutzers 15 ermittelt oder gemessen werden. Für eine bidirektionale Kommunikation kann eine Gegenkameraeinrichtung 29 zum Erfassen von Gegenbilddaten 30 des zweiten Raums 12 bereitgestellt sein. Im ersten Raum 11 kann eine Gegenbildschirmeinrichtung 31 zum Ausgeben von justierten Gegenbilddaten 32 vorgesehen sein, sodass auch die Benutzer 21 in dem ersten Raum 11 den Benutzer 15 in einer justierten Gegenbildwiedergabe 33 betrachten können. So kann auch aus Sicht der Benutzer 21 die Oberfläche 25 der Instrumententafel I oder allgemein zumindest ein Vorgabeobjekt 24 in Bezug auf das zumindest eine Referenzobjekt 22, beispielsweise die Oberfläche 23 des Tisches, bündig dargestellt oder angezeigt werden.
1 veranschaulicht, dass mittels der Bildschirmeinrichtung 16 eine dreidimensionale Anzeige 34 des ersten Raums 11 angezeigt werden kann. Hierzu kann die Bildschirmeinrichtung 16 eine 3D-Bildanzeige einer Bildschirmeinrichtung 35 aufweisen, die beispielsweise auf der Grundlage einer Shutterbrille und/oder einer autostereoskopischen Anzeige oder eines autostereoskopischen Bildschirms realisiert sein kann. In einem Kraftfahrzeug 14 kann die Bildschirmeinrichtung 16 auch ausfahrbar ausgestaltet sein, das heißt im deaktivierten Zustand kann die Bildschirmeinrichtung 16 in einem Gehäuse oder Schacht 36 versenkt sein.
2 veranschaulicht einen visuellen Effekt, der durch die Justiereinrichtung 20 bewirkt werden kann.
2 zeigt noch einmal den ersten Raum 11 und den zweiten Raum 12 in schematischer Darstellung sowie die Anordnung aus der Bildschirmeinrichtung 16 und der Kamera 18 für die Bildwiedergabe 17 sowie die Gegenbildschirmeinrichtung 31 mit der Gegenkameraeinrichtung 29 für die Gegenbildwiedergabe 33. Mittels der Justiereinrichtung 20 kann erreicht werden, dass beispielsweise Kanten oder allgemein Fluchtlinien 37 in beiden Räumen kontinuierlich verlängert sind, sodass eine perspektivisch genaue Verlängerung 38 dargestellt wird. Somit wirken die beiden Räume 11, 12 für einen Betrachter der Bildwiedergabe 17 wie ein Gesamtraum G.
3 zeigt eine Seitenansicht der beiden Räume 11, 12. Durch die Kameraeinrichtung 18 können 3D-Bilddaten erzeugt werden, durch welche auch eine jeweilige Tiefeninformation 39 oder ein jeweiliger Abstand 39' von Objekten in dem Raum 11 erfasst werden können, beispielsweise eine Tiefeninformation 39 betreffend zumindest ein Referenzobjekt, wie beispielsweise die Oberfläche 23.
4 veranschaulicht, wie durch die Justiereinrichtung mittels der Bildverarbeitung 26 ein Parallaxeeffekt 40 nachgebildet werden kann. Durch eine Erfassungseinrichtung 41, die beispielsweise auf der Gegenkameraeinrichtung 29 beruhen kann, kann eine Referenzposition des Betrachtungspunkts 27 des Kopfes 28 des Benutzers 15 erfasst werden. Ändert sich die Position des Betrachtungspunkts 27 am Kopf 28 durch eine Kopfbewegung 42, so kann eine Bewegungsweite 43 erfasst werden. In der Bildwiedergabe 17 kann für beispielsweise ein Referenzobjekt 22 in Form eines Gegenstands und eines weiteren Referenzobjekts 22, beispielsweise in Form eines Benutzers 21, in Abhängigkeit von deren Abstand 39' zur Kameraeinrichtung 18 (in 4 nicht dargestellt) eine Objektverschiebung 44 eingestellt werden, wobei die Objektverschiebung 44 umso kleiner ist, je größer der Abstand 39' ist. Hierbei kann die Objektverschiebung 44 in entgegengesetzter Richtung zur Kopfbewegung 42 realisiert sein. Es kann beispielsweise mittels der Bildverarbeitung 26 bewirkt werden, dass die Bilddaten 19 gestaucht oder mittels eines Whoping verändert werden und hierbei die Stärke der Stauchung vom Abstand 39' abhängt. Entsprechende Tiefeninformationen 39 können beispielsweise aus den Bilddaten 19 entnommen werden.
Die Anpassung kann hierbei kontinuierlich oder wiederholt erfolgen, sodass mit der Kopfbewegung 42 der Parallaxeeffekt 40 durchgehend oder wiederholt angepasst wird.
Die Kommunikationsverbindung 13 kann auf der Grundlage einer Kommunikationseinrichtung 13` realisiert sein, die beispielsweise für jeden Raum 11, 12 ein Mobilfunkmodul und/oder einen Internetzugang vorsehen kann. Die Kommunikationsverbindung 13 kann beispielsweise auf einer Internetverbindung und/oder einer Mobilfunkverbindung beruhen.
Die Justiereinrichtung 20 kann ganz oder teilweise im Raum 11 und/oder Raum 12 und/oder in einem Server des Internets realisiert sein.
Die Bildverarbeitung 26 kann beispielsweise auf der Grundlage einer Software oder Programm instruktionen realisiert sein, die durch einen Prozessor ausgeführt sein können. Die Programminstruktionen können in einem Speicher gespeichert sein, der mit dem Prozessor gekoppelt sein kann.
Soziale Kontakte zu pflegen und am Leben seiner geliebten Familie oder seiner Freunde teilzuhaben, ist ein essenzielles Grundbedürfnis des Menschen. Oftmals sind diese Menschen räumlich getrennt, aufgrund von Beruf, einem Auslandsaufenthalt oder verschiedenen Lebensmittelpunkten. Viele Menschen sind bei wichtigen Ereignissen unterwegs im Auto und pendeln.
In der Folge ist autonomes Fahren (Level 3-5) in der Entwicklung und wird in den kommenden Jahren einsatzfähig sein. Den Insassen steht mehr Zeit zu Verfügung um Kontakte zu pflegen. Zudem werden die Datennetze für Kommunikationsverbindungen immer schneller, so ist zukunftsnah mit 5G zu rechnen.
Die zweidimensionale Darstellung auf den heutigen Kommunikationsmedien (Handy, PC) lässt Menschen zwar in Kontakt kommen, allerdings mit einer eingeschränkten Sinneserfahrung. Meist ist diese im Fahrzeug noch eingeschränkter, da noch kein 3D Display verbaut ist und das Handy nicht in die Hand genommen werden darf (Sicherheitsthema bei Crash auch bei Autonomen Fahrzeugen).
Mit dem Kraftfahrzeug 14 ist dagegen folgendes Beispielszenario ermöglicht. Eine Stereokameraeinheit bestehend aus mindestens zwei, oder mehreren Kameras befindet sich im autonomen Fahrzeug und eine weitere Stereokameraeinheit befindet sich in einem anderen Raum (z.b. Esszimmer der Familie, Konferenzraum, Hotelzimmer etc.). Diese Einheit ist mit dem Handy verbunden bzw. befindet sich vorzugsweise im Handy verbaut. Zwischen den beiden Räumen z. B. Fahrzeuginterieur und Esszimmer wird eine Verbindung hergestellt und auf den 3D-Displays dargestellt. Dabei ist die Neuerung die genaue Platzierung der Stereokameras. Eine Software hilft mir dabei, den Raum mit dem ich mich verbinde so auszurichten, dass der Eindruck einer perspektivischen Verlängerung entsteht (kein optischer Knick). Vorzugsweise wird diese Ausrichtung nicht im autonomen Fahrzeug vorgenommen. Anschließend haben beide Parteien (z.b. Familienvater im Auto und Familie am Esstisch) die Erfahrung als würden sich direkt gegenüber sitzen, obwohl sie räumlich getrennt sind.
Das 3D-Display der Bildschirmeinrichtung 35 im Kraftfahrzeug 14 kann ausfahrbar gestaltet werden.
Es ergibt sich als Vorteil:

- Räumlich getrennte Menschen werden miteinander verbunden
- Ein perspektiver Abgleich der Räume durch die genaue Positionierung der Stereokameraeinheit lässt die Sinneserfahrung noch authentischer und intensiver erscheinen.
- Durch das 3D Display, eine intelligente Software und eine schnelle Datenverbindung wird dies ermöglicht

Insgesamt zeigen die Beispiele, wie durch die Erfindung eine Methode zum visuellen dreidimensionalen Verbinden von getrennten Räumen bereitgestellt werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 9661272 B1 [0004]
DE 102010028865 A1 [0006]
US 2015/0156452 A1 [0007]

Claims

Verfahren zum Betreiben eines Videokonferenzsystems (10), bei welchem in einem ersten Raum (11) eine Kameraeinrichtung (18) Bilddaten (19) erfasst und in einem zweiten Raum (12) eine mit der Kameraeinrichtung (18) über eine Kommunikationsverbindung (13) einer Kommunikationseinrichtung (13') gekoppelte Bildschirmeinrichtung (16) auf der Grundlage der Bilddaten (19) eine Bildwiedergabe (17) des ersten Raums (11) anzeigt, dadurch gekennzeichnet, dass eine Justiereinrichtung (20) eine räumliche Lage zumindest eines Referenzobjekts (22) in dem ersten Raum (11) erfasst und durch Lagedaten beschreibt und in Abhängigkeit von den Lagedaten durch Festlegen einer räumlichen Ausrichtung der Kameraeinrichtung (18) und/oder einer Bildverarbeitung (26) der Bilddaten (19) das zumindest eine Referenzobjekt (22) in der Bildwiedergabe (17) bezüglich zumindest eines in dem zweiten Raum (12) angeordneten Vorgabeobjekts (24) ausrichtet.
Verfahren nach Anspruch 1, wobei durch das Ausrichten - als Referenzobjekt (22) eine horizontale Oberfläche (23) in Bezug auf ein Vorgabeobjekt (24), das eine horizontale Oberfläche (25) aufweist, auf einen vorbestimmten relativen Höhenunterschied eingestellt wird und/oder - ein Referenzobjekt (22) perspektivisch fluchtend zu einem Vorgabeobjekt (24) angeordnet wird und/oder - ein Referenzobjekt (22) horizontal und/oder vertikal in Bezug auf ein Vorgabeobjekt (24) angeordnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das zumindest eine Referenzobjekt (22) und/oder das zumindest eine Vorgabeobjekt (24) - jeweils durch einen vorbestimmten Marker markiert ist und/oder - durch eine Objekterkennung auf der Grundlage der Bilddaten (19) erkannt wird und/oder - durch vorgegebene Geometriedaten des jeweiligen Raumes (11, 12) beschrieben ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem zweiten Raum (12) durch eine Erfassungseinrichtung eine Kopfposition (27) und/oder eine Kopfbewegung (43) eines Kopfes (28) eines Benutzers erfasst und durch Positionsdaten beschrieben wird und als ein Vorgabeobjekt (24) der Kopf (28) zugrunde gelegt wird und das Ausrichten während des Anzeigens der Bildwiedergabe (17) in Abhängigkeit von den Positionsdaten angepasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bilddaten Tiefeninformationen betreffend einen Abstand (39') von mehreren Referenzobjekten im ersten Raum (11) bezüglich der Kameraeinrichtung (18) umfassen und zwischen den Referenzobjekten in Abhängigkeit von ihrem jeweiligen Abstand (39') ein Parallaxeeffekt durch die Bildverarbeitung (26) erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bildschirmeinrichtung (35) eine 3D-Bildanzeige aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem ersten Raum (11) eine Mikrofoneinrichtung Audiodaten eines Audioschalls erfasst und in dem zweiten Raum (12) eine mit der Mikrofoneinrichtung über die Kommunikationsverbindung (13) gekoppelte Lautsprechereinrichtung auf der Grundlage der Audiodaten eine Schallausgabe des Audioschalls erzeugt, wobei in den Audiodaten vor der Schallausgabe eine Impulsantwort des ersten Raums (11) unterdrückt und/oder eine Impulsantwort des zweiten Raums (12) hinzugefügt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem zweiten Raum (12) durch eine Gegenkameraeinrichtung (29) Gegenbilddaten (32) des zweiten Raums (12) erfasst werden und in dem ersten Raum (11) durch eine mit der Gegenkameraeinrichtung (29) über die Kommunikationsverbindung (13) gekoppelte Gegenbildschirmeinrichtung (31) auf der Grundlage der Gegenbilddaten (32) eine Gegenbildwiedergabe des zweiten Raums (12) angezeigt werden und die Justiereinrichtung (20) das zumindest eine Vorgabeobjekt durch Festlegen einer räumlichen Ausrichtung der Gegenkameraeinrichtung (29) und/oder einer Bildverarbeitung der Gegenbilddaten (32) in der Gegenbildwiedergabe ausrichtet.
Videokonferenzsystem (10) mit einer Kameraeinrichtung (18) zum Erfassen von Bilddaten (19) und einer Bildschirmeinrichtung (16) zum Anzeigen einer Bildwiedergabe (17) und einer Kommunikationseinrichtung (13') zum Bereitstellen einer Kommunikationsverbindung (13) zwischen der Kameraeinrichtung (18) und der Bildschirmeinrichtung (16) und mit einer Justiereinrichtung (20) für die Bildwiedergabe (17), wobei das Videokonferenzsystem (10) dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Kraftfahrzeug (14) für ein Videokonferenzsystem (10) nach Anspruch 9, mit einer Bildschirmeinrichtung (16) und mit einem fahrzeugseitigen Teil einer Kommunikationseinrichtung (13') des Videokonferenzsystems (10).