-
Die Erfindung betrifft ein Verfahren zum Bereitstellen einer virtuellen Beleuchtung während eines Videotelefonats. Die Erfindung betrifft zudem ein Kraftfahrzeug, das dazu ausgebildet ist, entsprechende Schritte eines derartigen Verfahrens durchzuführen.
-
Bei einem Videotelefonat zwischen zwei Personen oder einer Videokonferenz mit mehreren Teilnehmern werden Videodaten von am Videotelefonat beziehungsweise der Videokonferenz teilnehmenden Personen erfasst und an die jeweilige andere teilnehmende Person beziehungsweise die jeweiligen anderen Teilnehmer übermittelt und dieser beziehungsweise diesen die jeweiligen übermittelten Videodaten angezeigt. Mittels Bearbeitung der übermittelten Videodaten kann eine übermittelte Darstellungen der teilnehmenden Person an beispielsweise einen Blickwinkel der anderen teilnehmen Person, der die übermittelten Videodaten angezeigt werden, angepasst werden. Hierdurch soll ein Gefühl von Verbundenheit und Echtheit bei den einzelnen am Videotelefonat oder der Videokonferenz Beteiligten erzeugt werden.
-
Es kann zudem beispielsweise ein virtuelles Schattenspiel in den bearbeiteten Videodaten angezeigt werden. Ein derartiges Verfahren zeigt zum Beispiel die
WO 2009/112967 A1 , die vorsieht, eine Lichtquelle für eine erste teilnehmende Person zu identifizieren, einen aufgrund einer Anordnung dieser ersten Person zur identifizierten Lichtquelle zu erwarteten Schatten der ersten Person in die Videodaten einer zweiten teilnehmen Person als virtuellen Schatten zu integrieren und der ersten Person die derart bearbeiteten Videodaten der zweiten Person anzuzeigen.
-
Die
US 2019/0228567 A1 beschreibt eine realistische Beleuchtung eines virtuellen Objekts, basierend auf aktuellen Umgebungsbeleuchtungsbedingungen eines Benutzers. In diesem Zusammenhang kann beispielsweise ein virtueller Schattenwurf generiert und in der virtuellen Umgebung für ein virtuelles Objekt angezeigt werden.
-
Die
US 2020/0066030 A1 zeigt einen Bildsensor, der ein 360-Grad-Bild von einer Umgebung einer Person erzeugt, wobei in der erzeugten 360-Grad-Umgebung sowohl eine Lichtquelle als auch ein Lichtmuster der Lichtquelle identifiziert werden kann. Daraufhin wird ein dreidimensionales Modell der erzeugten Umgebung erzeugt, wobei im erzeugten Modell gemäß der tatsächlich erfassten Lichtquelle und Lichtmuster ein virtuelles Objekt virtuell beleuchtet wird.
-
Es ist die Aufgabe der Erfindung, eine Lösung bereitzustellen, mittels derer bei einem Videotelefonat eine realitätsnahe Beleuchtung bereitgestellt werden kann.
-
Die Aufgabe wird durch die Gegenstände des unabhängigen Patentanspruchs gelöst. Ferner wird die Aufgabe durch die Gegenstände des nebengeordneten Patentanspruchs gelöst. Mögliche Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen, der folgenden Beschreibung und den Figuren angegeben.
-
Der Erfindung liegt die Erkenntnis zugrunde, dass es für eine Person, die an einem Videotelefonat oder einer Videokonferenz teilnimmt, natürlich erscheint, wenn beispielsweise eine zweite am Videotelefonat beziehungsweise der Videokonferenz beteiligte Person, also beispielsweise ein Angerufener, mit gleichen Lichtverhältnissen angezeigt wird, wie die erste Person, das heißt zum Beispiel ein Anrufer. Bei einem derartigen Transfer von eigenen Lichtverhältnissen auf eine Darstellung der andere am Videotelefonat beziehungsweise der Videokonferenz beteiligten Person wird nämlich erreicht, dass eine besonders realistisch wirkende und somit realitätsnahe Beleuchtung während des Videotelefonats beziehungsweise der Videokonferenz für die erste Person erlebbar wird.
-
Ein Aspekt der Erfindung betrifft das erfindungsgemäße Verfahren. Das erfindungsgemäße Verfahren eignet sich zum Bereitstellen einer virtuellen Beleuchtung während eines Videotelefonats. Unter dem Begriff Videotelefonat ist hier eine Übertragung von Videodaten, die bevorzugt Bilddaten und Audiodaten umfassen, zwischen zumindest zwei Endgeräten zu verstehen, wobei jedes der Endgeräte bevorzugt zumindest einer Personen zugeordnet ist. Das Verfahren eignet sich daher ebenfalls für eine Videokonferenz, an der insgesamt mehr als zwei Personen mit ihren jeweiligen insgesamt mehr als zwei Endgeräten beteiligt sind.
-
Bei einem ersten Verfahrensschritt erfolgt ein Aufbau einer Kommunikationsverbindung für das Videotelefonat. Die Kommunikationsverbindung wird zwischen einem ersten Endgerät und zumindest einem zweiten Endgerät aufgebaut. Bevorzugt ist das erste Endgerät einer ersten Person zugeordnet und das zweite Endgerät einer zweiten Person. Alternativ ist es möglich, dass sowohl dem ersten als auch dem zweiten Endgerät jeweils mehr als eine Person zugeordnet ist, das heißt dass mehrere Personen zum Beispiel mittels des ersten Endgeräts am Videotelefonat teilnehmen. Über die Kommunikationsverbindung werden mittels einer ersten Kamera des ersten Endgeräts erfasste erste Videodaten an das zumindest eine zweite Endgerät übermittelt. Mittels einer zweiten Kamera des zumindest einen zweiten Endgeräts werden zweite Videodaten erfasst, die über die Kommunikationsverbindung an das erste Endgerät übermittelt werden. Das jeweilige Endgerät umfasst ferner ein Mikrofon zum Erfassen der Audiodaten sowie einen Lausprecher zum Ausgeben der von den übermittelten Videodaten umfassten Audiodaten.
-
Die ersten Videodaten umfassen bevorzugt Bild- und Audiodaten der ersten Person sowie deren Umgebung und die zweiten Videodaten umfassen entsprechende Daten der zweiten Person sowie deren Umgebung. Die erste Person kann alternativ als Anrufer bezeichnet werden und die zweite Person als Angerufener.
-
Die Kommunikationsverbindung ist bevorzugt als drahtlose Kommunikationsverbindung ausgebildet, beispielsweise über ein drahtloses lokales Netzwerk (WLAN für Wireless Local Area Network), eine Bluetooth-Verbindung und/oder ein mobiles Datennetzwerk, beispielsweise basierend auf dem Mobilfunkstandard Long Term Evolution (LTE), Long Term Evolution Advanced (LTE-A) oder Fifth Generation (5G). Das erste und/oder zweite Endgerät ist bevorzugt als mobiles Endgerät, beispielsweise als Smartphone, Tablet oder Laptop, ausgebildet. Das erste und/oder zweite Endgerät kann alternativ oder zusätzlich dazu als stationäres Endgerät, beispielsweise als Computerbildschirm oder Fernsehbildschirm, ausgebildet sein. Die jeweilige Kamera kann in das jeweilige Endgerät fest integriert sein oder als entfernbare Komponente dem jeweiligen Endgerät zugeordnet sein, beispielsweise als am Computerbildschirm angeordnete externe Kamera.
-
In einem weiteren Verfahrensschritt erfolgt ein Ermitteln von Lichtquellendaten, die zumindest eine dem ersten Endgerät zugeordnete Lichtquelle beschreiben. Die Lichtquellendaten werden unter Anwenden eines Lichtquellenermittlungskriteriums auf die ersten Videodaten ermittelt. Das Lichtquellenermittlungskriterium umfasst eine Vorschrift, einen Algorithmus, Daten und/oder Informationen dahingehend, wie die von den Videodaten beschriebene Umgebung und insbesondere die von den Videodaten beschriebene Person beleuchtet ist. Befindet sich beispielsweise die erste Person in einem Raum, der durch ein seitlich zur ersten Person angeordnetes Fenster mittels einfallendem Sonnenlicht beleuchtet wird, umfassen die Lichtquellendaten Informationen dazu, wie die erste Person seitlich durch das Fenster beleuchtet wird, wobei beispielsweise eine Lichtfarbe des durch das Fenster einfallenden Sonnenlichts sowie ein Strahlengangverlauf des Sonnenlichts von den Lichtquellendaten beschrieben wird. Die Lichtquellendaten weisen also Informationen über die von den ersten Videodaten beschriebenen Lichtverhältnisse auf. Letztendlich werden also die von der ersten Kamera bereitgestellten ersten Videodaten hinsichtlich zumindest einer Lichtquelle in diesen Videodaten ausgewertet.
-
In einem weiteren Verfahrensschritt erfolgt ein Ermitteln von Objektdaten, die zumindest ein dem zweiten Endgerät zugeordnetes Objekt beschreiben. Die Objektdaten werden unter Anwenden eines Objektermittlungskriteriums auf die zweiten Videodaten ermittelt. Das Objektermittlungskriterium umfasst eine Vorschrift, einen Algorithmus, Daten und/oder Informationen dahingehend, wie in den Videodaten zumindest ein einzelnes Objekt, wie beispielsweise die diesen Videodaten zugeordnete Person, die an dem Videotelefonat teilnimmt, erfasst und ausgewertet werden kann. Es werden beispielsweise mehrere einzelne Objekte in der Umgebung der entsprechenden Person mittels des Objektermittlungskriteriums erfassbar gemacht, wobei die Umgebung bevorzugt einem Erfassungsbereich der Kamera des entsprechenden Endgeräts entspricht. Die Objektdaten umfassen beispielsweise Informationen zu einer Relativposition des Objekts zum jeweiligen Endgerät. Da hier das Objektermittlungskriterium auf die zweiten Videodaten angewendet wird, werden also beispielsweise die zweite Person und deren Relativposition zum zweiten Endgerät von den ermittelten Objektdaten umfasst. Es kann zudem beispielsweise eine Tasse als Objekt mittels der Objektdaten beschrieben werden, die die zweite Person beispielsweise zu einem aktuellen Zeitpunkt in der Hand hält. Letztendlich wird also zumindest ein Objekt in den zweiten Videodaten ermittelt. Es kann ferner vorgesehen sein, dass durch das Anwenden des Objektermittlungskriteriums das ermittelte Objekt identifiziert wird.
-
In einem weiteren Verfahrensschritt erfolgt ein Erzeugen von bearbeiteten zweiten Videodaten. Dies erfolgt unter Anwenden eines Videodatenbearbeitungskriteriums auf die übermittelten zweiten Videodaten unter Berücksichtigung der Lichtquellendaten und der Objektdaten. In den erzeugten bearbeiteten zweiten Videodaten wird das zumindest eine Objekt mittels der zumindest einen Lichtquelle virtuell beleuchtet. Das Videodatenbearbeitungskriterium ist eine Vorschrift und/oder ein Algorithmus, anhand dessen beispielsweise mittels Methoden von Bildbearbeitung die zweiten Videodaten derart überarbeitet und angepasst werden, dass die Beleuchtung des zumindest einen dem zweiten Endgerät zugeordneten Objekts mittels der dem ersten Endgerät zugeordneten Lichtquelle berechnet und virtuell erzeugt wird. Es werden nun beispielsweise in den erzeugten bearbeiteten Videodaten die zweite Person sowie die Tasse ebenfalls mittels des Sonnenlichts aus dem seitlich zur ersten Person angeordneten Fenster beleuchtet, sodass für die erste Person die Illusion erzeugt wird, dass sie sich zusammen mit der zweiten Person in einem Raum befindet, der zum Beispiel gleichmäßig von dem seitlich zu ihr angeordneten Fenster beleuchtet wird.
-
In einem weiteren Verfahrensschritt werden die erzeugten bearbeiteten zweiten Videodaten mittels des ersten Endgeräts angezeigt. Der ersten Person werden also die zweite Person sowie die Tasse, die die zweite Person in der Hand hält, gemäß der von ihr selbst erfahrenen Beleuchtung durch das seitliche Fenster beleuchtet angezeigt. Es werden also mittels des ersten Endgeräts nicht die dem ersten Endgerät übermittelten zweiten Videodaten angezeigt, sondern die erzeugten bearbeiteten zweiten Videodaten.
-
Mittels des zweiten Endgeräts können beispielsweise analog zum beschriebenen Verfahren die ersten Videodaten zu erzeugten bearbeiteten ersten Videodaten bearbeitet werden. Alternativ können mittels des zweiten Endgeräts die ersten Videodaten unbearbeitet angezeigt werden. Für das Anzeigen der Videodaten weist das jeweilige Endgerät eine Anzeigeeinrichtung auf, zum Beispiel einen Bildschirm, insbesondere einen berührungssensitiven Bildschirm. Zum Ermitteln der Lichtquellendaten und der Objektdaten sowie zum Erzeugen der bearbeiteten Videodaten weist das erste Endgerät bevorzugt eine Auswerteeinrichtung auf, die dazu ausgebildet ist, dieses Ermitteln und/oder Erzeugen durchzuführen. Zum Steuern des Erfassens der ersten Videodaten und dem Anzeigen der erzeugten bearbeiteten zweiten Videodaten sowie zum Ansteuern der Auswerteeinrichtung weist das erste Endgerät bevorzugt eine Steuervorrichtung auf, die dazu ausgebildet ist, dieses Steuern und/oder Ansteuern durchzuführen.
-
Insgesamt wird für die erste Person eine besonders realistisch beleuchtete und somit realitätsnahe Darstellung der zweiten Person angezeigt, da diese nicht beispielsweise unter Berücksichtigung ihrer tatsächlichen Lichtverhältnisse dargestellt wird, sondern gemäß der von der ersten Person erfahrenen Ausleuchtung und Lichtverhältnisse virtuell beleuchtet wird. Dies führt zu einem besonders natürlichen Erlebnis während des Videotelefonats für die erste Person am ersten Endgerät, wodurch eine zusätzliche Verbundenheit zur zweiten Person während des Videotelefonats erzeugt werden kann, da durch die gleichen Lichtverhältnisse ein Gefühl von tatsächlicher räumlicher Nähe geweckt werden kann. Insgesamt wird mittels des Verfahrens bei einem Videotelefonat eine realitätsnahe Beleuchtung bereitgestellt.
-
Ein Ausführungsbeispiel sieht vor, dass weitere Lichtquellendaten, die zumindest eine dem zweiten Endgerät zugeordnete Lichtquelle beschreiben, unter Anwenden des Lichtquellenermittlungskriteriums auf die zweiten Videodaten ermittelt werden und beim Erzeugen der bearbeiteten zweiten Videodaten berücksichtigt werden. Dies führt dazu, dass in den erzeugten bearbeiteten zweiten Videodaten das zumindest eine Objekt sowohl mittels der zumindest einen dem ersten Endgerät zugeordneten Lichtquelle als auch mittels der zumindest einen dem zweiten Endgerät zugeordneten Lichtquelle virtuell beleuchtet wird. Es werden also anhand der weiteren Lichtquellendaten Informationen über die tatsächliche Beleuchtung in der Umgebung des zweiten Endgeräts, insbesondere der zweiten Person, ermittelt und beim Erzeugen der bearbeiteten zweiten Videodaten berücksichtigt.
-
Befindet sich beispielsweise hinter der zweiten Person eine angeschaltete und somit leuchtende Lampe, kann das Licht der Lampe ebenfalls beim Erzeugen der virtuellen Beleuchtung berücksichtigt werden, sodass die zweite Person in den erzeugten bearbeiteten zweiten Videodaten sowohl durch das durch das seitliche Fenster in der Umgebung der ersten Person fallende Sonnenlicht als auch durch die hinter der zweiten Person angeordnete Lampe virtuell beleuchtet wird. Die zweite Person wird also von zwei voneinander räumlich getrennten Lichtquellen jeweils beleuchtet, wobei beide Beleuchtungen letztendlich in die virtuelle Beleuchtung einfließen und in den erzeugten bearbeiteten zweiten Videodaten zu finden sind. Dies verstärkt den realitätsnahen Eindruck für die erste Person, da die ihr angezeigte Umgebung der zweiten Person bei deren Beleuchtung mit berücksichtigt wird.
-
Es ist vorgesehen, dass die virtuelle Beleuchtung Beleuchtungseffekte umfasst. Beispielsweise kann in den bearbeiteten zweiten Videodaten ein Schattenwurf der Objekte bei deren Beleuchtung mittels der den ersten und/oder zweiten Videodaten zugeordneten Lichtquelle beschrieben sein. Die bearbeiteten zweiten Videodaten umfassen dann beispielsweise den Schatten, der bei der Beleuchtung der zweiten Person und/oder der Tasse durch das seitlich angeordnete Fenster auftreten würde, als virtuellen Schatten.
-
Ein zusätzliches Ausführungsbeispiel sieht vor, dass die virtuelle Beleuchtung mittels der zumindest einen dem zweiten Endgerät zugeordneten Lichtquelle eine Reflexion von Licht dieser Lichtquellen an einer Anzeigeoberfläche des zweiten Endgeräts umfasst. Es kann also die Reflexion des Lichts der dem zweiten Endgerät zugeordneten Lichtquelle an der Anzeigeoberfläche, die zum Beispiel zur Beleuchtung der zweiten Person, das heißt dem Objekt, beiträgt, als eine dem zweiten Endgerät zugeordnete weitere Lichtquelle identifiziert und als eigene weitere Lichtquelle von den weiteren Lichtquellendaten umfasst sein. Die Lichtquellendaten beschreiben hier zum Beispiel zumindest zwei verschiedene Lichtquellen, und zwar beispielsweise die hinter der zweiten Person positionierte Lampe als auch die Spiegelung des Lichts dieser Lampe auf der Anzeigeoberfläche des zweiten Endgeräts, was wiederum zu einer Beleuchtung beispielsweise der zweiten Person sowie der Tasse von Richtung der Anzeigeoberfläche her führt. Die Lichtquellendaten umfassen also bevorzugt vollständige Strahlengangverläufe, die unter anderem die Reflexion von Licht an der Anzeigeoberfläche des zweiten Endgeräts umfassen können. Es wird also möglichst vollständig die tatsächliche Ausleuchtung der Umgebung des zweiten Endgeräts ermittelt und beim Bestimmen der virtuellen Beleuchtung berücksichtigt.
-
Zudem sieht es ein Ausführungsbeispiel vor, dass das erste Endgerät einen aktivierbaren ersten Anzeigemodus und einen aktivierbaren zweiten Anzeigemodus aufweist. Im ersten Anzeigemodus werden beim Erzeugen der bearbeiteten zweiten Videodaten nur die dem ersten Endgerät zugeordneten Lichtquellendaten berücksichtigt. Im zweiten Anzeigemodus werden zusätzlich zu den dem ersten Endgerät zugeordneten Lichtquellendaten die dem zweiten Endgerät zugeordneten weiteren Lichtquellendaten berücksichtigt. Der erste Anzeigemodus führt also zu einer virtuellen Beleuchtung in den zweiten Videodaten, die einzig und allein auf den von der ersten Person erfahrenen Beleuchtungsbedingungen beruht, da nur die dem ersten Endgerät zugeordneten Lichtquellendaten berücksichtigt werden. Demgegenüber ist im zweiten Anzeigemodus eine derartige virtuelle Beleuchtung gewählt, dass zudem die tatsächliche Ausleuchtung, das heißt die dem zweiten Endgerät zugeordneten weiteren Lichtquellendaten, des zweiten Endgeräts zusätzlich zu den dem ersten Endgerät zugeordneten Lichtquellendaten berücksichtigt werden. Im zweiten Anzeigemodus wird also eine Kombination aus der tatsächlich in der Umgebung des zweiten Endgeräts herrschenden Beleuchtung mit der Beleuchtung der ersten Person und der Umgebung des ersten Endgeräts kombiniert. Letztendlich kann somit die Beeinflussung der zweiten Videodaten von den tatsächlichen Lichtverhältnissen der Umgebung des zweiten Endgeräts aktiviert und deaktiviert werden.
-
Die erste Person kann beispielsweise mittels eines Betätigungselements des ersten Endgeräts zwischen den beiden Anzeigemodi wechseln. Befindet sich beispielsweise die erste Person in einem relativ dunklen Zimmer mit einer schwachen Lichtquelle, kann sie beispielsweise durch Aktivieren des zweiten Anzeigemodus bewirken, dass die in der Umgebung des zweiten Endgeräts tatsächlich vorhandenen weiteren Lichtquellen, wie beispielsweise die hinter der zweiten Person angeordnete Lampe, zusätzlich zur Bestimmung der virtuellen Beleuchtung in den erzeugten bearbeiteten zweiten Videodaten berücksichtigt wird, sodass letztendlich die zweite Person für sie stärker beleuchtet angezeigt wird, als sie gemäß der dem ersten Endgerät zugeordneten Lichtquelle im ersten Anzeigemodus beleuchtet werden würde. Dies ist für die erste Person besonders komfortabel, da sie je nach Vorliebe den gewünschten Anzeigemodus aktivieren kann.
-
Zudem sieht ein Ausführungsbeispiel vor, dass überprüft wird, ob die zumindest eine dem zweiten Endgerät zugeordnete weitere Lichtquelle als lichtabstrahlende Anzeigeoberfläche des zweiten Endgeräts ausgebildet ist. Es wird also zunächst festgestellt, ob eine Beleuchtung beispielsweise der zweiten Person sowie der Tasse durch Licht, das von der Anzeigeoberfläche ausgestrahlt wird, beobachtet wird. Falls dies der Fall ist und zudem keine weitere dem zweiten Endgerät zugeordnete weitere Lichtquelle ermittelt wurde, wird automatisch der erste Anzeigemodus aktiviert. Es wird also in dem Fall, in dem es keine dem zweiten Endgerät zugeordnete Lichtquelle neben der lichtabstrahlenden Anzeigeoberfläche des zweiten Endgeräts gibt, stets die dem ersten Endgerät zugeordnete Lichtquelle zur virtuellen Beleuchtung der beispielsweise zweiten Person sowie der Tasse, das heißt der Umgebung des zweiten Endgeräts, herangezogen. Dies ist für die erste Person mit dem ersten Endgerät besonders vorteilhaft, da sie stets eine ihrer Beleuchtung entsprechende virtuelle Ausleuchtung der zweiten Videodaten angezeigt bekommt.
-
Ein zusätzliches Ausführungsbeispiel sieht vor, dass die Lichtquellendaten zumindest eine von folgenden Informationen umfassen: Eine Lichtfarbe der Lichtquelle, eine Relativposition der Lichtquelle zum jeweiligen Endgerät und/oder einen Strahlengangverlauf von Licht der Lichtquelle. Als Lichtfarbe wird hier eine Farbe einer selbstleuchtenden Lichtquelle bezeichnet, die auf der spektralen Zusammensetzung des Lichts dieser Lichtquelle basiert. Der Strahlengangverlauf umfasst eine Richtung von einzelnen Lichtstrahlen, die von der Lichtquelle ausgesendet wird. Die Relativposition der Lichtquelle zum jeweiligen Endgerät umfasst zumindest einen Abstand und bevorzugt zudem eine Ausrichtung der Lichtquelle relativ zur jeweiligen Kamera des jeweiligen Endgeräts, die diese Lichtquelle erfasst. Letztendlich umfassen die Lichtquellendaten somit Informationen, die die von den Lichtquellendaten beschriebene jeweilige Lichtquelle detailliert beschreiben und charakterisieren.
-
Ein zusätzliches Ausführungsbeispiel sieht vor, dass die Objektdaten zumindest eine von folgenden Informationen umfassen: Eine Körperfarbe, eine Oberflächenstruktur und/oder eine Relativposition des Objekts zum jeweiligen Endgerät. Als Körperfarbe wird hier eine Farbe des Lichts bezeichnet, das vom beleuchteten jeweiligen Objekt zumindest teilweise reflektiert wird. Es wird also letztendlich die Farbe des am jeweiligen Objekts beispielsweise gestreuten oder gebeugten Lichts ermittelt. Die Oberflächenstruktur ist beispielsweise eine Textur des jeweiligen Objekts und beschreibt beispielsweise eine glatte, gemaserte, raue oder auf sonstige Art und Weise geformte Oberflächenstruktur. Mit der Relativposition des Objekts zum jeweiligen Endgerät werden zumindest ein Abstand und bevorzugt zudem eine Ausrichtung des Objekts zum jeweiligen Endgerät erfasst, sodass beispielsweise eine Verortung des einzelnen erfassten Objekts relativ zum entsprechenden Endgerät von den Objektdaten umfasst wird. Letztendlich umfassen die Objektdaten somit Informationen, die das von den Objektdaten beschriebene jeweilige Objekt detailliert beschreiben und charakterisieren.
-
Ferner sieht ein Ausführungsbeispiel vor, dass beim Anwenden des Videodatenbearbeitungskriteriums zumindest eine von folgenden Bearbeitungen der Videodaten erfolgt: Zum einen kann eine Anpassung der Körperfarbe des zumindest einen dem zweiten Endgerät zugeordneten Objekts an eine Lichtfarbe gemäß der Lichtquellendaten erfolgen. Ist beispielsweise die Lichtquelle, die vom ersten Endgerät wahrgenommen wird, eine Lampe mit einem warmen Lichtspektrum, wie zum Beispiel rötlichem Licht, wohingegen die dem zweiten Endgerät zugeordnete weitere Lichtquelle eine Lampe mit einem im Vergleich dazu kälteren Lichtspektrum, wie zum Beispiel bläulichem Licht, ist, kann durch die Anpassung der Körperfarbe beispielsweise der zweiten Person sowie der Tasse, die die zweite Person hält, erreicht werden, dass auch diese beiden Objekte jeweils mit dem warmen Licht beleuchtet werden und nicht beispielsweise mit dem eher kalt wahrgenommenen bläulichen Licht der tatsächlichen Lichtquelle, die dem zweiten Endgerät zugeordnet ist. Letztendlich wird also die Lichtfarbe, die von der ersten Person wahrgenommen wird, auf die virtuelle Beleuchtung der bearbeiteten zweiten Videodaten übertragen, indem die dort dargestellten Objekte in ihrer Körperfarbe an die Lichtfarbe der dem ersten Endgerät zugeordneten Lichtquelle angepasst werden.
-
Alternativ oder zusätzlich dazu kann ein Hinzufügen von zumindest einem Schattenobjekt zu einer Darstellung des zumindest einen dem zweiten Endgerät zugeordneten Objekts. Dies erfolgt insbesondere unter Berücksichtigung der Relativposition der Lichtquelle und des Objekts sowie des Strahlengangverlaufs der Lichtquelle. Es kann also basierend auf der Relativanordnung der dem ersten Endgerät zugeordneten Lichtquelle zum ersten Endgerät und deren berechneter Auswirkung auf die dem zweiten Endgerät zugeordnete Umgebung, und zwar auf das dem zweiten Endgerät zugeordnete Objekt, dessen Relativanordnung zum zweiten Endgerät bekannt ist, für das dem zweiten Endgerät zugeordnete Objekte ein Schattenwurf virtuell erzeugt werden, der einem tatsächlichen Schattenwurf des jeweiligen Objekts entspricht, wenn dieses gemäß dem Strahlengangverlauf der Lichtquelle von der Lichtquelle beleuchtet werden würde. Es wird somit zum Beispiel für die zweite Person sowie die Tasse ein Schatteneffekt generiert, was für die erste Person besonders realitätsnah erscheint, da ja der Schattenwurf den von ihr in ihrer Umgebung wahrgenommenen Lichtverhältnissen virtuell entspricht.
-
Alternativ oder zusätzlich dazu kann ein vorgegebener Videodatenbearbeitungsfilter angewendet werden. Dieser Filter kann beispielsweise eine Art virtueller Make-up-Filter sein, der ein virtuelles Make-up für die zweite Person vorsieht. Außerdem kann ein Schönzeichnen durch eine entsprechende künstliche Lichtwahl erfolgen, beispielsweise basierend auf einer als Bastard Amber bezeichneten Beleuchtung. Darüber hinaus kann beispielsweise eine Maske angewendet werden, also beispielsweise der zweiten Person ein virtueller Hut aufgesetzt werden oder ein alternativer Bildbearbeitungsfilter auf die beispielsweise die zweite Person beschreibenden Daten angewendet werden.
-
Letztendlich kann eine Vielzahl an möglichen Beleuchtungsanpassungen und/oder Videodatenbearbeitungsoptionen angeboten und zum Beispiel von der ersten Person ausgewählt und aktiviert werden. Das Verfahren wird hierdurch besonders vielseitig und für die erste Person interessant.
-
Ferner sieht es ein Ausführungsbeispiel vor, dass weitere Objektdaten, die zumindest ein dem ersten Endgerät zugeordnetes Objekt beschreiben, unter Anwenden des Objektermittlungskriteriums auf die ersten Videodaten ermittelt werden und den erzeugten bearbeiteten zweiten Videodaten zumindest ein Spiegelungsobjekt hinzugefügt wird, das eine Spiegelung des zumindest einen dem ersten Endgerät zugeordneten Objekts umfasst. Es wird also festgestellt, ob in der Umgebung des ersten Endgeräts ein Objekt vorhanden ist, das gegebenenfalls aufgrund der Lichtverhältnisse der Umgebung des ersten Endgeräts, das heißt letztendlich aufgrund der dem ersten Endgerät zugeordneten Lichtquelle, womöglich in einer dem zweiten Endgerät zugeordneten Umgebung gespiegelt werden könnte. Dies ist beispielsweise dann der Fall, wenn sich in der Nähe der ersten Person eine Wasseroberfläche befindet, die beispielsweise an einer Wand hinter der zweiten Person aufgrund der Relativanordnung der dem ersten Endgerät zugeordneten Lichtquelle zum ersten Endgerät sowie des den zweiten Endgerät zugeordneten Objekts der Wand hinter der zweiten Person an dieser Wand virtuell gespiegelt werden kann. Auf dieser Wand wäre dann die virtuelle Reflexion der Wasseroberfläche für die erste Person zu sehen, wenn sie sich im gleichen Raum mit der zweiten Person befinden würde. Um das Gefühl der realen Lichtverhältnisse zu vervollständigen, wird daher in Form des Spiegelungsobjekts die Spiegelung des dem ersten Endgerät zugeordneten Objekts in der virtuellen Umgebung, die dem zweiten Endgerät zugeordnet ist und die somit auf den zweiten Videodaten basiert, hinzugefügt. Die Erzeugung des Spiegelungsobjekts in den zweiten Videodaten erfolgt insbesondere unter Berücksichtigung der Oberflächenstruktur des dem ersten Endgerät zugeordneten Objekts. Ferner ist die Relativposition des dem ersten Endgerät zugeordneten Objekts sowie des zumindest einen dem zweiten Endgerät zugeordneten Objekts, an dem die Spiegelung stattfindet, sowie der Strahlengangverlauf der dem ersten Endgerät zugeordneten Lichtquelle zu berücksichtigen.
-
Ein weiterer Aspekt der Erfindung betrifft das erfindungsgemäße Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug weist eine Anzeigevorrichtung auf. Das Kraftfahrzeug ist dazu ausgebildet, mittels der Anzeigevorrichtung als erstes Endgerät die das erste Endgerät betreffenden Schritte des oben beschriebenen Verfahrens durchzuführen. Das Kraftfahrzeug weist zudem bevorzugt eine Kommunikationsschnittstelle auf, mittels derer die Kommunikationsverbindung mit dem zweiten Endgerät aufgebaut werden kann und über die beispielsweise die zweiten Videodaten empfangen werden können. Zudem weist das Kraftfahrzeug eine Kameraeinrichtung auf, die der Anzeigevorrichtung als erstes Endgerät zugeordnet ist, sodass mittels dieser Kameraeinrichtung des Kraftfahrzeugs als erste Kamera die ersten Videodaten erfasst werden können. Aus diesen ersten Videodaten können dann die Lichtquellendaten ermittelt werden. Die Objektdaten werden hier von einer externen Einrichtung, und zwar von dem bevorzugt außerhalb des Kraftfahrzeugs angeordneten zweiten Endgerät, an das Kraftfahrzeug übermittelt. Das Erzeugen der zweiten Videodaten erfolgt bevorzugt mittels einer beispielsweise als Auswerteeinrichtung ausgebildeten Vorrichtung im Kraftfahrzeug, insbesondere in der Anzeigevorrichtung. Daraufhin wird die Anzeigevorrichtung im Kraftfahrzeug derart angesteuert, dass auf dieser die erzeugten bearbeiteten zweiten Videodaten angezeigt werden. Die im Zusammenhang mit dem erfindungsgemäßen Verfahren vorgestellten bevorzugten Ausführungsbeispiele und deren Vorteile gelten entsprechend, soweit anwendbar, für das erfindungsgemäße Kraftfahrzeug. Zudem können einzelne Kombinationen von einzelnen Ausführungsbeispielen des erfindungsgemäßen Verfahrens als Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs verstanden werden.
-
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
-
Zu der Erfindung gehört auch die Auswerteeinrichtung. Die Auswerteeinrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Darstellung eines Kraftfahrzeugs,
- 2 eine schematische Darstellung eines Videotelefonats zwischen zwei Endgeräten,
- 3 in schematischer Darstellung einen Signalflussgraphen für ein Verfahren zum Bereitstellen einer virtuellen Beleuchtung während eines Videotelefonats, und
- 4 in schematischer Darstellung einen Signalflussgraphen für einzelne Anwendungen eines Videodatenbearbeitungskriteriums.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
-
In 1 ist ein Kraftfahrzeug 1 skizziert, in dem sich eine erste Person 2 befindet. Die erste Person 2 ist hier ein Fahrer des Kraftfahrzeugs 1. Das Kraftfahrzeug 1 ist bevorzugt als vollautonom fahrendes Kraftfahrzeug 1 ausgebildet, sodass die erste Person 2 während einer Fahrt mit dem Kraftfahrzeug 1 beispielsweise ein Videotelefonat führen kann. Alternativ dazu kann die erste Person 2 an einer Videokonferenz teilnehmen. Das Kraftfahrzeug 1 kann alternativ nur zum teilautonomen Fahren ausgebildet sein.
-
Das Kraftfahrzeug 1 weist eine Anzeigevorrichtung 3 auf, bei der es sich hier um einen berührungssensitiven Bildschirm im Bereich einer Mittelkonsole des Kraftfahrzeugs 1 handelt. Die Anzeigevorrichtung 3 stellt hier ein erstes Endgerät 4 dar. Alternativ zu der Anzeigevorrichtung 3 kann im Kraftfahrzeug 1 ein mobiles Endgerät, beispielsweise ein Smartphone der ersten Person 2, als erstes Endgerät 4 positioniert sein. Die Anzeigevorrichtung 3, das heißt das erste Endgerät 4, weist eine erste Kamera 5 auf. Mittels der ersten Kamera 5 kann zumindest die erste Person 2 erfasst werden, sodass beispielsweise bewegte Bilder der ersten Person 2 in Form von entsprechenden Bilddaten vorliegen.
-
Ferner weist das Kraftfahrzeug 1 eine Steuervorrichtung 8 sowie eine Auswerteeinrichtung 9 auf. Die Steuervorrichtung 8 ist dazu ausgebildet, die Anzeigevorrichtung 3, das heißt das erste Endgerät 4, anzusteuern. Beispielsweise kann mittels der Steuervorrichtung 8 ein Aktivierungsbefehl für die erste Kamera 5 an das erste Endgerät 4 übermittelt werden. Die Auswerteeinrichtung 9 ist dazu ausgebildet, ihr bereitgestellte Daten entsprechend vorgegebener Auswertekriterien auszuwerten.
-
Das Kraftfahrzeug 1 weist zudem eine Lautsprechereinrichtung 6 sowie eine Mikrofoneinrichtung 7 auf. Mittels der Lautsprechereinrichtung 6 kann ein Audiosignal im Kraftfahrzeug 1 ausgegeben werden. Mit der Mikrofoneinrichtung 7 können gesprochene Worte, das heißt im Kraftfahrzeug 1 von der ersten Person 2 ausgegebene Sprache und Geräusche, als akustische Signale empfangen werden.
-
Das Kraftfahrzeug 1 weist eine Kommunikationsschnittstelle 10 auf, die dazu ausgebildet ist, eine drahtlose Kommunikationsverbindung 16 (siehe Bezugszeichen 16 in 2) aufzubauen.
-
In 2 sind beide am Videotelefonat beteiligten Parteien skizziert. Auf der links dargestellten Seite von 2 ist die erste Person 2 zu sehen, die vor dem ersten Endgerät 4 positioniert ist. Hierbei kann es sich um den Insassen des Kraftfahrzeugs 1 als erste Person 2 handeln. Zudem ist in 2 eine erste Lichtquelle 11 skizziert, die dem ersten Endgerät 4 zugeordnet ist und eine Umgebung des ersten Endgeräts 4 und somit die Umgebung der ersten Person 2 beleuchtet. Darüber hinaus ist in 2 auf der rechts dargestellten Seite eine zweite Person 12 skizziert, die sich in einer Umgebung mit einer zweiten Lichtquelle 13 vor einem zweiten Endgerät 14 befindet. Das zweite Endgerät 14 ist hier beispielsweise als eine Bildschirmeinrichtung skizziert, es kann sich hierbei beispielsweise um ein mobiles Gerät, wie ein Smartphone, ein Tablet oder einen Laptop, oder um ein stationäres Gerät, wie beispielsweise einen Computerbildschirm oder einen Fernsehbildschirm, handeln. Die zweite Person 12 kann ebenfalls in dem oder einem anderen Kraftfahrzeug 1 angeordnet sein. Sowohl die erste Lichtquelle 11 als auch die zweite Lichtquelle 13 sind hier jeweils als Tageslichtquellen und somit als Sonnen eingezeichnet. Zumindest eine der Lichtquellen 11, 13 kann alternativ dazu eine künstliche Lichtquelle, wie beispielsweise eine Lampe, eine Kerze oder das Endgerät 4, 14 selbst sein.
-
Das zweite Endgerät 14 weist eine zweite Kamera 15 auf, die dazu ausgebildet ist, die Umgebung des zweiten Endgeräts 14 zu erfassen, das heißt hier zumindest die zweite Person 12 sowie deren nähere Umgebung mithilfe von beweglichen Bildern zu erfassen. Zwischen der Kommunikationsschnittstelle 10 des ersten Endgeräts 4 und der Kommunikationsschnittstelle 10 des zweiten Endgeräts 14 ist hier die Kommunikationsverbindung 16 aufgebaut. Über diese Kommunikationsverbindung 16 können Daten zwischen dem ersten Endgerät 4 und dem zweiten Endgerät 14 ausgetauscht werden. Es ist zudem eine Anzeigeoberfläche 37 skizziert, und zwar hier für das zweite Endgerät 14.
-
In 2 sind mehrere Strahlengangverläufe 17, 17`, 17" der ersten Lichtquelle 11 sowie der zweiten Lichtquelle 13 eingezeichnet. Es ist zudem eingezeichnet, dass Licht der zweiten Lichtquelle 13 auf der Anzeigeoberfläche 37 reflektiert wird, wobei das Licht dieser Reflexion 18 mit einem entsprechenden Pfeil skizziert ist. Der Strahlengangverlauf 17, 17`, 17" der zweiten Lichtquelle 13 ist hier als Pfeil mit dem Bezugszeichen 17` gekennzeichnet. Der Strahlengangverlauf 17, 17`, 17" von Licht, das von dem zweiten Endgerät 14 selbst, das heißt beispielsweise von der beleuchteten Anzeigeoberfläche 37, ausgestrahlt wird, ist hier als Pfeil mit dem mit Bezugszeichen 17'' dargestellt. In 2 ist ferner als gestrichelter Pfeil ein virtueller Lichtstrahl 19 skizziert.
-
In 3 werden einzelne Schritte des erfindungsgemäßen Verfahrens gezeigt. In einem Verfahrensschritt S1 wird die Kommunikationsverbindung 16 für das Videotelefonat zwischen dem ersten Endgerät 4 und dem zweiten Endgerät 14 aufgebaut, wobei über die Kommunikationsverbindung 16 mittels der ersten Kamera 5 erfasste erste Videodaten 20 vom ersten Endgerät 4 an das zweite Endgerät 14 übermittelt werden. Zudem werden zweite Videodaten 21, die mittels der zweiten Kamera 15 erfasst werden, über die Kommunikationsverbindung 16 vom zweiten Endgerät 14 an das erste Endgerät 4 übermittelt. Es findet also ein Datenaustausch der jeweiligen erzeugten Videodaten 20, 21 statt. Die Videodaten 20, 21 umfassen jeweils die Bilddaten sowie Audiodaten.
-
In einem Verfahrensschritt S2 wird ein Lichtquellenermittlungskriterium 22 auf die ersten Videodaten 20 angewendet. Dies erfolgt, um Lichtquellendaten 23 zu erzeugen, die die dem ersten Endgerät 4 zugeordnete Lichtquelle 11 beschreiben, das heißt die Beleuchtung der Umgebung des ersten Endgeräts 4. Die Lichtquellendaten 23 können eine Lichtfarbe 24 der Lichtquelle 11, eine Relativposition 25 der Lichtquelle 11 zum ersten Endgerät 4 und/oder den Strahlengangverlauf 17 des Lichts der Lichtquelle 11 beschreiben.
-
In einem Verfahrensschritt S3 wird ein Objektermittlungskriterium 26 auf die zweiten Videodaten 21 angewendet, wodurch Objektdaten 27 ermittelt werden. Die Objektdaten 27 beschreiben zumindest ein dem zweiten Endgerät 14 zugeordnetes Objekt 32, wobei dieses Objekt 32 hier die zweite Person 12 ist (siehe Bezugszeichen 32 in 4). Die Objektdaten 27 können eine Körperfarbe 39 des Objekts 32, eine Oberflächenstruktur 38 des Objekts 32 und/oder eine Relativposition 25` des Objekts 32, also der zweiten Person 12, zum zweiten Endgerät 14 beschreiben.
-
In einem Verfahrensschritt S4 wird das Lichtquellenermittlungskriterium 22 ebenfalls auf die zweiten Videodaten 21 angewendet, wobei weitere Lichtquellendaten 23' erzeugt werden. Diese weiteren Lichtquellendaten 23' beschreiben zumindest eine dem zweiten Endgerät 14 zugeordnete zweite Lichtquelle 13. Die weiteren Lichtquellendaten 23 umfassen die Lichtfarbe 24 der zweiten Lichtquelle 13, die Relativposition 25 der zweiten Lichtquelle 13 zum zweiten Endgerät 14 und/oder den Strahlengangverlauf 17` des Lichts der zweiten Lichtquelle 13. Als weitere Lichtquelle 11, 13 kann hier alternativ oder zusätzlich die beleuchtete und somit lichtabstrahlende Anzeigeoberfläche 37 des zweiten Endgeräts 14 erfasst werden. Ferner kann als weitere Lichtquelle 11, 13 die Reflexion 18 von Licht der zweiten Lichtquelle 13 an der Anzeigeoberfläche 37 des zweiten Endgeräts 14 umfasst sein, mittels derer ebenfalls eine Beleuchtung beispielsweise der zweiten Person 12 gegeben ist und die somit ebenfalls eine Lichtquelle 11, 13 darstellt.
-
In einem Verfahrensschritt S5 sind zwei verschiedene Anzeigemodi 30, 31 für das erste Endgerät 4 gezeigt. Der erste Anzeigemodus 30 zeichnet sich dadurch aus, dass ein Videodatenbearbeitungskriterium 28 auf die übermittelten zweiten Videodaten 21 und unter Berücksichtigung zumindest der Lichtquellendaten 23 sowie der Objektdaten 27 zum Erzeugen von bearbeiteten zweiten Videodaten 29 angewendet wird. In den bearbeiteten zweiten Videodaten 29 wird das zumindest eine Objekt 32, das heißt hier die zweite Person 12, mittels der zumindest einen Lichtquelle 11, die dem ersten Endgerät 4 zugeordnet ist, virtuell beleuchtet. Es findet hier also eine virtuelle Beleuchtung der zweiten Person 12 durch die erste Lichtquelle 11 statt, wobei der entsprechende virtuelle Strahlengang mittels des virtuellen Lichtstrahls 19 in 2 skizziert ist.
-
Im zweiten Anzeigemodus 31 werden zusätzlich beim Anwenden des Videodatenbearbeitungskriteriums 28 die weiteren Lichtquellendaten 23` berücksichtigt. In den entsprechenden erzeugten und bearbeiteten zweiten Videodaten 29 wird das dem zweiten Endgerät 14 zugeordnete Objekt 32, das heißt hier die zweite Person 12, sowohl mittels Licht der ersten Lichtquelle 11 als auch mittels Licht der zweiten Lichtquelle 13 virtuell beleuchtet. Hierbei kann zudem bei der virtuellen Beleuchtung die Reflexion 18 des mittels der zumindest einen dem zweiten Endgerät 14 zugeordneten Lichtquelle 13 an der Anzeigeoberfläche 37 reflektierten Lichts berücksichtigt werden. Es kann ferner die Beleuchtung durch die lichtabstrahlende Anzeigeoberfläche 37 selbst, das heißt der Strahlengangverlauf 17", im zweiten Anzeigemodus 31 in Form der weiteren Lichtquellendaten 23` berücksichtigt werden.
-
Zwischen dem ersten Anzeigemodus 30 und dem zweiten Anzeigemodus 31 kann beliebig gewechselt werden, wobei dies beispielsweise mittels Betätigen eines entsprechenden Betätigungselements auf dem berührungssensitiven Bildschirm der Anzeigevorrichtung 3 als erstes Endgerät 4 im Kraftfahrzeug 1 erfolgen kann. Alternativ oder zusätzlich dazu kann ein Knopf, Schalter, Drehdrückschalter als Betätigungselement zum Wechsel zwischen dem ersten Anzeigemodus 30 und dem zweiten Anzeigemodus 31 von beispielsweise der ersten Person 2 betätigt werden.
-
Falls die lichtabstrahlende Anzeigeoberfläche 37 des zweiten Endgeräts 14 die zweite Lichtquelle 13, das heißt eine dem zweiten Endgerät 14 zugeordnete Lichtquelle 13, darstellt und falls es keine weitere dem zweiten Endgerät 14 zugeordnete zweite Lichtquelle 13 gibt, also keine derartige weitere Lichtquelle 13 ermittelt werden konnte, wird stets automatisch der erste Anzeigemodus 30 aktiviert.
-
In einem Verfahrensschritt S6 erfolgt ein Anzeigen der erzeugten bearbeiteten Videodaten 29 mittels des ersten Endgeräts 4 beziehungsweise im Falle des Kraftfahrzeugs 1 mittels der Anzeigevorrichtung 3 des Kraftfahrzeugs 1.
-
Das beschriebene Verfahren kann analogerweise für das zweite Endgerät 14 und somit für die ersten Videodaten 20 durchgeführt werden, sodass der erste Anzeigemodus 30 beziehungsweise der zweite Anzeigemodus 31 auch der zweiten Person 12 zur Auswahl für ihre Anzeige der ersten Videodaten 20 beziehungsweise von bearbeiteten ersten Videodaten 20 bereitgestellt werden kann.
-
Die Verfahrensschritte S2, S3, S4 und S5 werden bevorzugt von der Auswerteeinrichtung 9 durchgeführt. Die Verfahrensschritte S1 und S6 sowie das Ansteuern der Auswerteeinrichtung 9 für die Verfahrensschritte S2 bis S5 erfolgen bevorzugt mittels der Steuervorrichtung 8.
-
In 4 sind verschiedene Anwendungen des Videodatenbearbeitungskriteriums 28 gezeigt. Beispielsweise kann unter Berücksichtigung der Lichtfarbe 24 der ersten Lichtquelle 11 gemäß den ersten Videodaten 21 eine Anpassung der Körperfarbe 39` des dem zweiten Endgerät 14 zugeordneten Objekts 32 beziehungsweise der zweiten Person 12, erfolgen, wobei diese Anpassung der Körperfarbe 39` letztendlich in den bearbeiten zweiten Videodaten 29 bereitgestellt ist. Letztendlich erfolgt also die Anpassung der Körperfarbe 39, 39' beispielsweise der zweiten Person 12 an die Lichtfarbe 24 gemäß den dem ersten Endgerät 4 zugeordneten Lichtquellendaten 23.
-
Unter Berücksichtigung der Relativpositionen 25, 25` sowie des Strahlengangverlaufs 17 kann ein Schattenobjekt 33 für das Objekt 32, das dem zweiten Endgerät 14 zugeordnet ist, ermittelt werden, das in den bearbeiteten zweiten Videodaten 29 hinzugefügt wird. Hier ist dies für einen Ball als Objekt 32 skizziert. Analog dazu kann beispielsweise das Schattenobjekt 33, das einen Schattenwurf im Bereich der zweiten Person 12 aufgrund der nun virtuellen Beleuchtung durch die dem ersten Endgerät 4 zugeordnete erste Lichtquelle 11 umfasst, hinzugefügt werden.
-
Es kann zudem oder alternativ ein Videodatenbearbeitungsfilter 34 auf die zweiten Videodaten 21 angewendet werden, um entsprechend bearbeitete zweite Videodaten 29 bereitstellen zu können. Hierbei kann beispielsweise ein Make-up-Filter vorgesehen sein, der die zweite Person 12 als virtuell geschminkte Person darstellt.
-
Es kann weiterhin das Objektermittlungskriterium 26 auf die ersten Videodaten 20 angewendet werden, um letztendlich weitere Objektdaten 27' zu erzeugen, die ein dem ersten Endgerät 4 zugeordnetes Objekt 32' beschreiben. In diesem Beispiel 4 findet sich hinter der ersten Person 2 und auch hinter dem ersten Endgerät 4 eine Wasseroberfläche 35 von Wasser, wobei das Wasser das weitere Objekt 32' darstellt. Aufgrund der Relativposition 25, 25` des weiteren Objekts 32' zur ersten Lichtquelle 11 kann es zu einer Spiegelung der Wasseroberfläche 35 an einem Hintergrund der zweiten Person 12 kommen, beispielsweise an einer weißen Wand, vor der die zweite Person 12 sitzt. Es werden daher entsprechende bearbeitete zweite Videodaten 29 erzeugt, in denen ein Spiegelungsobjekt 36 hinzugefügt wird, das die Spiegelung des dem ersten Endgerät 4 zugeordneten weiteren Objekts 32' in der Umgebung des zweiten Endgeräts 14 aufweist. Hierbei werden insbesondere die Oberflächenstruktur 38 des weiteren dem ersten Endgerät 4 zugeordneten Objekts 32` sowie die jeweiligen Relativpositionen 25, 25' des weiteren Objekts 32' sowie des dem zweiten Endgerät 14 zugeordneten Objekts 32 in Form beispielsweise der Wand im Hintergrund der zweiten Person 12 oder auch der zweiten Person 12 selbst berücksichtigt.
-
Insgesamt zeigen die Beispiele eine Art Fenstereffekt für einen Betrachter, wobei dieser Betrachter die erste Person 2 ist. Dabei wird die erste Lichtquelle 11 (inklusive ihrer Position und Farbe und entstandenen Schatten) der ersten Person 2 für das ihr angezeigte Objekt 32, das heißt hier die zweite Person 12, berücksichtigt. Sprich ähnlich, als ob man eine Tür zu einem dunklen Raum öffnet. Für die Ausleuchtung des betrachteten Raumes wird die erste Lichtquelle 11 der ersten Person 2 genutzt. Wie auch bei einem Teilnehmer einer Videokonferenz werden die Lichtquellenverhältnisse des Anrufers, das heißt der ersten Person 2, für die Ausleuchtung des Angerufenen, das heißt der zweiten Person 12, verwendet beziehungsweise speziell gerechnet. Grundsätzlich geht es um den Transfer der eigenen Verhältnisse zur zweiten Person 12 direkt oder nur virtuell berechnet für die erste Person 2. Zu den Lichtverhältnissen können auch Textur und Struktur, das heißt die Oberflächenstruktur 38, virtuell hinzugerechnet werden, um ein Echtheitserlebnis zu schaffen. Hierbei kann beispielsweise ein Ausleuchten rein auf der ersten Lichtquelle 11, die dem ersten Endgerät 4 und somit dem Anrufer zugeordnet ist, erfolgen, wie es im ersten Anzeigemodus 30 der Fall ist. Alternativ oder zusätzlich dazu kann auch die tatsächliche Beleuchtung, das heißt die dem zweiten Endgerät 14 zugeordnete zweite Lichtquelle 13, berücksichtigt werden, wie es im zweiten Anzeigemodus 31 vorgesehen ist. Wenn die Lichtquelle 11 des Anrufers, das heißt der ersten Person 2, alleine als Beleuchtungsquelle des Anrufenden, das heißt der zweiten Person 2, virtuell berechnet und der ersten Person 2 so angezeigt wird, entsteht gegebenenfalls auch beiderseits aber zumindest einseitig für die erste Person 2 eine gewisse räumliche Präsenz der zweiten Person 12 in der eigenen Umgebung, so als würde sich diese quasi im gleichen Büro oder im gleichen Wintergarten aufhalten, wie die erste Person 2.
-
Kern der Erfindung ist das Erkennen von unterschiedlichen Lichtquellen, Positionen und ihren Strahlengängen in Abhängigkeit der Verortung einer Anzeige im Raum und Anpassung des Inhalts dieser entsprechend. Heutige Anzeigen sind unabhängig von Umgebungsbedingungen wie Lichtquellen 11, 13, Farben und so weiter, einzig die Anpassung des Erscheinungsbilds der Anzeige an ein Tag-Nacht-Design ist umgesetzt. Weiterhin gibt es immer mehr 3D-Inhalte, welche mit unterschiedlichen Technologien umgesetzt werden. Es soll nun dem Betrachter eine natürlichere Anzeige von Inhalten wie Objekten oder ähnlichem ermöglicht werden. Hierzu werden die Lichtquellen 11, 13, die räumliche Ausdehnung, Farbe, Abstrahlcharakteristik und Strahlengang, sowie die Personen, 2, 12 und deren Augenpositionen mit Fokuspunkt auf der Anzeige berücksichtigt. Mit all den Daten können nun die Objekte 32, 32` und Inhalte der Anzeige gezielt mit Licht und Schattenspielen aus der Umwelt versehen werden. Dadurch erhalten Objekte 32, 32', Oberflächen, Texturen und so weiter eine natürlichere Erscheinung. Inhalte können so besser und realitätsnäher angezeigt werden. Dies gibt den Inhalten auch eine neue Art der Lebendigkeit. Speziell bei zukünftigen Innenräumen mit vielen transparenten Oberflächen wirkt sich diese Anzeige deutlich wertiger und natürlichen aus. Speziell bei 3D-Inhalten kann so eine neue Art der Räumlichkeit geschaffen werden, da der Nutzer, das heißt die Person 2, 12, sich permanent zumindest leicht bewegt und aus verschiedenen Blickwinkeln das adaptive Schattenspiel einen reellen Eindruck vermittelt.
-
Die Funktion ist jederzeit aktivierbar und kann dem Inhalt angepasst werden.
-
Die spezielle Ausleuchtung des Gegenübers, also der zweiten Person 12, bei einer Videokonferenz kann auch direkt übertragen und dem Blickwinkel der ersten Person 2 angepasst werden. So entsteht eine neue Art der Verbundenheit und Echtheit. So kann ein beliebiges Schattenspiel direkt in den Innenraum projiziert werden. Bei Verkaufsapplikationen kann so eine deutlich bessere Abbildung des Verkaufsobjektes erzielt werden oder eben eine natürlichere Anmutung wie im eigenen Fahrzeugumfeld. Das Schattenspiel kann dabei vom der Umgebung des Betrachters, also zum Beispiel der ersten Person 2, übernommen sein, um zu suggerieren dass derjenige im selben Raum ist oder nicht, sprich von einem Sendeort.
-
Eine interessante Möglichkeit ist es, dem Inhalt des Displays eine Natürlichkeit zu geben in dem man die Anzeige entsprechend der Umgebung anpasst. So kann eine Anzeige so angepasst sein, dass sie der Umgebung, zum Beispiel der Maserung einer Tafel im Kraftfahrzeug 1 entspricht. Somit wird die Anzeige selbst in der Erscheinung so angepasst, dass sie der Oberfläche der Umgebung nachempfunden wird inklusive Schattenspiel.
-
Neben der Leuchtrichtung und Leuchtstärke spielt die Farbe und die Erscheinungsänderung der Oberfläche bei unterschiedlichen Farben eine bedeutende Rolle. So kann die menschliche Haut deutliche Farbunterschiede aufzeigen bei unterschiedlichere Beleuchtung.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2009112967 A1 [0003]
- US 20190228567 A1 [0004]
- US 20200066030 A1 [0005]
