-
Die Erfindung betrifft ein Verfahren zum Teilnehmen eines Fahrers eines Kraftfahrzeugs an einer Gesprächsrunde eines sozialen Mediums oder einer Videokonferenz oder eines Videocalls, also eines Telefongesprächs zwischen zwei oder mehr Teilnehmern mit Videosignal. Dabei ermöglicht die Gesprächsrunde mehreren Teilnehmern die Teilnahme via Audiosignal und/oder Videosignal. Die Erfindung betrifft außerdem ein Fahrzeug, mit dem sich das Verfahren durchführen lässt.
-
Gesprächsrunden, an denen mehrere Teilnehmer mittels Audio- und/oder Videosignalen teilnehmen können, werden immer wichtiger, sowohl im beruflichen Umfeld als auch im privaten Umfeld. Im beruflichen Umfeld gewinnen Gesprächsrunden in Form von Videokonferenzen zunehmend Bedeutung. Im privaten Umfeld erfreuen sich Gesprächsrunden innerhalb sozialer Medien z.B. in Form von Chatgruppen großer Beliebtheit.
-
Es besteht daher ein Bedürfnis, an derartigen Gesprächsrunden auch im Fahrzeug, insbesondere als Fahrer (männlich/weiblich/divers) eines Fahrzeugs an solchen Gesprächsrunden teilzunehmen. Die Verwendung einer Kamera im Fahrzeuginnenraum und eines Monitors durch den Fahrer während der Fahrt ist jedoch bei einem konventionellen nicht autonomen Fahrbetrieb aus Gründen der Betriebssicherheit nicht zulässig. Auch die Verwendung eines die Teilnahme an solchen Gesprächsrunden ermöglichenden Smartphones oder Tablets während der Fahrt ist dem Fahrer nicht gestattet. Damit ist es dem Fahrer derzeit legal nicht möglich, an solchen Gesprächsrunden teilzunehmen. Außerdem sind aus den genannten Gründen nur wenig Fahrzeuge mit Innenraumkameras ausgestattet, beispielsweise zur Müdigkeitserkennung des Fahrers.
-
Aus der
US 2023/0 319 234 A1 ist ein System zur Bereitstellung von verbesserten Videokonferenzen und zur gemeinsamen Nutzung von entfernten Medieninhalten bekannt. Dieses System umfasst mindestens ein Bildgebungsmodul, das so konfiguriert ist, dass es Bilddaten einer Szene erfasst, die den Nutzer beinhaltet, ein Modul zur Benutzererkennung und -verfolgung, das so konfiguriert ist, dass es auf der Grundlage der Bilddaten anthropometrische Merkmale des Nutzers extrahiert, ein biometrisches Datenextraktionsmodul, das so konfiguriert ist, dass es auf der Grundlage der anthropometrischen Merkmale mindestens eine dreidimensionale Kopfhaltung des Nutzers erzeugt, und ein Modul für virtuelle Anwesenheit, das so konfiguriert ist, dass es eine virtuelle Person des Benutzers erzeugt und diese virtuelle Person in einen Videokonferenzstrom oder einen beliebigen aus einer Vielzahl von entfernt gemeinsam genutzten Medieninhalten einbettet, unabhängig von der Videokonferenz oder den verwendeten Medienaufzeichnungsmethoden.
-
Die vorliegende Erfindung beschäftigt sich mit dem Problem, ein Verfahren bzw. ein Fahrzeug aufzuzeigen, das es dem Fahrer eines Fahrzeugs ermöglicht, an derartigen Gesprächsrunden teilzunehmen, ohne dabei die Sicherheit des Fahrzeugbetriebs zu beeinträchtigen.
-
Dieses Problem wird erfindungsgemäß durch den Gegenstand des unabhängigen Anspruchs gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Die Erfindung beruht auf dem allgemeinen Gedanken, eine virtuelle Kamera bereitzustellen, auf die Anwendungen von Drittanbietern, wie z. B. Videokonferenzplattformen und Social-Media-Plattformen zugreifen können. Diese virtuelle Kamera erhält eine digitale Darstellung des Fahrers, also einen sogenannten Avatar. Als Avatar wird eine künstliche Person oder eine Grafikfigur bzw. ein grafischer Stellvertreter einer echten Person bezeichnet. Ein Avatar kann dabei einem Internetbenutzer in der virtuellen Welt des Internets zugeordnet werden, insbesondere in einem Computerspiel. Der jeweilige Avatar kann z.B. aus einer Bibliothek fiktiver Personen ausgewählt werden oder aus zuvor aufgenommenen Videos, z.B. von eigenen Smartphones, stammen und nahezu reale Darstellungen des Fahrers zeigen. Diese interaktiven digitalen Avatare fungieren als virtuelle Kameras und werden über Videostreams zu den jeweiligen Diensten zugänglich gemacht. Diese digitalen Personen in den Videos können typische menschliche Bewegungen nachahmen, einschließlich Körperhaltung und Kopfposition, während die Mundbewegungen insbesondere mit Hilfe generativer künstlicher Intelligenz mit der ebenfalls bereitgestellten Audiospur synchronisiert werden. Dieser innovative Ansatz ermöglicht die Erstellung fotorealistischer Avatare, die dann als Kameraausgabe verwendet werden können, selbst wenn keine physische Kamera im Fahrzeug vorhanden ist.
-
Durch die erfindungsgemäße Vorgehensweise werden unterschiedliche Vorteile erzielt. Beispielsweise kann die Privatsphäre des Fahrers verbessert werden. Der Fahrer kann Avatare erstellen und verwenden, ohne ihren Echtzeit-Video-Feed zu teilen. Dadurch wird die Privatsphäre des Fahrers geschützt, während er dennoch an Videokonferenzen oder Social-Media-Interaktionen teilnehmen kann. Es wird eine geringere Bandbreite benötigt, was eine stabilere Verbindung auch bei schlechterer Netzabdeckung ermöglicht. Die Übertragung digitaler Darstellungen von Fahrern anstelle von Live-Videos kann die Bandbreitenanforderungen für Videokonferenzen und Streaming reduzieren, was die Zugänglichkeit in Umgebungen mit geringer Bandbreite verbessert. Es kann ein verbesserter Realismus erzielt werden. Die Verwendung realitätsnaher Darstellungen und realistischer menschlicher Bewegungen für Avatare kann die Immersion und das Engagement bei virtuellen Interaktionen verbessern. Die Flexibilität der Fahrer als Teilnehmer der Gesprächsrunden wird verbessert. Die Fahrer können aus einer Bibliothek fiktiver Persönlichkeiten wählen oder ihre eigenen realitätsnahen Darstellungen verwenden, was erhöhte Flexibilität bei der Erstellung und Anpassung der Avatare bietet. Das vorgestellte Verfahren verbessert die Ressourceneffizienz. Das Fehlen einer physischen Kamera im Gerät senkt die Hardwarekosten und den Ressourcenverbrauch, so dass es für ein breiteres Spektrum von Geräten eingesetzt werden kann. Es kann eine geringere Latenzzeit erreicht werden. Durch die Verwendung von vorab aufgezeichneten Videos für die Avatar-Generierung kann das System die Latenzzeit im Vergleich zum Live-Video-Streaming verringern. Des Weiteren kann eine plattformübergreifende Kompatibilität erreicht werden. Die virtuelle Kamera kann von verschiedenen Plattformen von Drittanbietern verwendet werden, was die Interoperabilität und Kompatibilität zwischen verschiedenen Anwendungen und Diensten fördert. Außerdem lässt sich eine innovative Benutzererfahrung erzeugen. Die hier vorgestellte Technologie kann den Nutzern, insbesondere den Fahrern eine neuartige und fesselnde Art der Online-Interaktion bieten, die möglicherweise zu kreativeren und immersiveren virtuellen Erfahrungen führt. Es kann eine verbesserte Zugänglichkeit erreicht werden. Geringere Bandbreitenanforderungen und reduzierte Hardwareanforderungen können Videokonferenzen und virtuelle Interaktionen für Personen mit begrenzten Ressourcen oder in Regionen mit unzuverlässiger Internetverbindung zugänglicher machen. Schließlich ergibt sich eine Skalierbarkeit der hier vorgestellten Technologie. Das Konzept der digitalen Avatare ist skalierbar, so dass es für eine Vielzahl von Nutzern bzw. Fahrern und Anwendungen geeignet ist, von der persönlichen Kommunikation bis hin zu Geschäftsbesprechungen und Spielen.
-
Im Einzelnen wird ein Verfahren vorgestellt, das erfindungsgemäß zum Teilnehmen eines Fahrers eines Kraftfahrzeugs an einer Gesprächsrunde eines sozialen Mediums oder einer Videokonferenz vorgesehen ist, wobei die Gesprächsrunde mehreren Teilnehmern die Teilnahme via Audiosignal und/oder Videosignal ermöglicht. Beim Verfahren wird ein Avatar des in einem Fahrzeuginnenraum sitzenden Fahrers erzeugt. Ferner wird mit einer virtuellen Kamera ein Videosignal des Avatars erzeugt. Außerdem wird mit einem im Fahrzeuginnenraum angeordneten reellen Mikrofon, insbesondere ein fest im Fahrzeug installiertes Mikrofon, z.B. einer Freisprechanlage, oder ein Mikrofon eines Smartphones oder Tablets, ein Audiosignal des im Fahrzeuginnenraum sitzenden Fahrers erzeugt. Das Videosignal und das Audiosignal werden synchron der Gesprächsrunde übermittelt werden, so dass der Fahrer als Teilnehmer von anderen Teilnehmern der Gesprächsrunde hörbar und als Avatar sichtbar ist. Damit ist der Fahrer in der Gesprächsrunde reell hörbar und virtuell sichtbar, nämlich als Avatar.
-
Entsprechend einer vorteilhaften Ausführungsform kann der Avatar eine digitale Widergabe einer Person zeigen, die aus einer Bibliothek, die fiktive Personen enthält, oder aus einer Datenbank, die Aufnahmen, insbesondere Videos oder Bilder, des Fahrers enthält, generiert wird. Insbesondere lässt sich dadurch auf Wunsch des Fahrers eine besonders realistische und realitätsnahe Widergabe realisieren.
-
Bei einer anderen Ausführungsform kann vorgesehen sein, dass die virtuelle Kamera passend und synchron zum Audiosignal eine Mimik und/oder Körpersprache und/oder Körperhaltung und/oder Kopfhaltung und/oder Lippenbewegungen des Avatars erzeugt. Dies kann bei entsprechend hoher Rechenleistung in Echtzeit erfolgen. Dies kann aber auch bei reduzierter Rechenleistung realisiert werden, insbesondere in Verbindung mit einer leichten zeitlichen Verzögerung des Audiosignals, so dass dann das an das Audiosignal angepasste Videosignal und das Audiosignal zeitlich verzögert synchron übermittelt werden können. Diese Synchronisation zwischen dem Audiosignal und dem an Bewegungen des Avatars, insbesondere Mimik und/oder Körpersprache und/oder Körperhaltung und/oder Kopfhaltung und/oder Lippenbewegungen des Avatars, angepassten Videosignal kann insbesondere mittels einer künstlichen Intelligenz generiert werden, vorzugsweise mit einer generativen künstlichen Intelligenz. Beispielsweise kann die künstliche Intelligenz so konfiguriert sein, dass sie den Fahrer mittels einer reellen Kamera im Fahrzeuginnenraum beobachtet und seine tatsächliche Mimik und/oder Körpersprache und/oder Körperhaltung und/oder Kopfhaltung und/oder Lippenbewegungen damit vergleicht bzw. abgleicht, um den Zusammenhang zwischen Bewegungen des Avatars und Audiosignalen zu lernen. Zusätzlich oder alternativ kann die künstliche Intelligenz auch so konfiguriert sein, dass sie bei derartigen Gesprächsrunden die anderen Teilnehmer hinsichtlich des Audiosignals und Videosignals überwacht, um den Zusammenhang zwischen dem Audiosignal und den Bewegungen dieser realen oder auch virtuellen Personen zu lernen.
-
Gemäß einer anderen vorteilhaften Ausführungsform kann vorgesehen sein, dass Audiosignale, die von der Gesprächsrunde an das Fahrzeug übermittelt werden, von einem im Fahrzeuginnenraum angeordneten Lautsprecher für den Fahrer hörbar in den Fahrzeuginnenraum abgestrahlt werden. Damit kann der Fahrer an der Gesprächsrunde mit hoher akustischer Qualität teilhaben. Zusätzlich oder alternativ kann vorgesehen sein, dass Videosignale, die von der Gesprächsrunde an das Fahrzeug übermittelt werden, von einem im Fahrzeuginnenraum angeordneten Monitor bei stehendem Fahrzeug für den Fahrer sichtbar in den Fahrzeuginnenraum abgestrahlt werden. Dadurch kann der Fahrer bei stehendem Fahrzeug mit hoher visueller Qualität an der Gesprächsrunde teilhaben.
-
Es ist klar, dass die hier vorgestellte Technologie nicht nur vom Fahrer, sondern auch vom Beifahrer (männlich/weiblich/divers) in gleicher Weise nutzbar ist.
-
Ein erfindungsgemäßes Kraftfahrzeug zeichnet sich durch eine Schnittstelle aus, die zum Teilnehmen eines Fahrers des Kraftfahrzeugs an einer Gesprächsrunde eines sozialen Mediums oder einer Videokonferenz, konfiguriert ist. Ferner ist das Fahrzeug mit einer mit der Schnittstelle gekoppelten Steuereinrichtung ausgestattet, die zum Durchführen des Verfahrens der vorstehend beschriebenen Art konfiguriert ist. Über die Schnittstelle kann optional als externes Gerät auch ein Smartphone oder ein Tablet gekoppelt werden, so dass die Gesprächsrunde über das externe Gerät aufgerufen werden kann. Das externe Gerät kann ein Mikrofon zur Erfassung des Audiosignals des Fahrers für das Verfahren bereitstellen und einen Lautsprecher zum Abstrahlen des Audiosignals der anderen Teilnehmer sowie einen Monitor zum Abstrahlen des Videosignals der anderen Teilnehmer.
-
Das Herzstück dieser Erfindung ist demnach ein virtuelles Kamerasystem, das digitale Avatare erzeugt und an eine fahrzeugseitige Plattform, z.B. auf Android-Basis oder IOS-Basis, weiterleitet. Damit können die Avatare von Drittanbieteranwendungen, einschließlich Videokonferenz-Plattformen und Social-Media-Plattformen, verwendet werden. Diese Avatare können aus einer Bibliothek mit fiktiven Persönlichkeiten oder aus vorab aufgezeichneten Videos mit nahezu realen Darstellungen des Fahrers stammen. Diese digitalen Avatare ahmen menschliche Bewegungen in Bezug auf Körperhaltung und Kopfposition nach und synchronisieren die Mundbewegungen mit bereitgestellten Audiosignal. Diese Innovation bietet mehr Privatsphäre, geringere Bandbreitenanforderungen, mehr Realismus und Ressourceneffizienz und ist damit eine vielseitige Lösung für eine Vielzahl virtueller Interaktionen.
-
Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus den Zeichnungen und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.
-
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der Erfindung zu verlassen. Vorstehend genannte und nachfolgend noch zu nennende Bestandteile einer übergeordneten Einheit, wie z.B. einer Einrichtung, einer Vorrichtung oder einer Anordnung, die separat bezeichnet sind, können separate Bauteile bzw. Komponenten dieser Einheit bilden oder integrale Bereiche bzw. Abschnitte dieser Einheit sein, auch wenn dies in den Zeichnungen anders dargestellt ist.
-
Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Komponenten beziehen.
-
Die einzige 1 zeigt ein Flussdiagram eines Verfahrens zur Teilnahme an einer Gesprächsrunde.
-
Entsprechend 1 umfasst ein hier nur rudimentär angedeutetes Kraftfahrzeug 1 eine Schnittstelle 2, die zum Teilnehmen eines als Kreis symbolisierten Fahrers 3 des Kraftfahrzeugs 1 an einer durch einen mit unterbrochener Linie gezeichneten Kreis angedeuteten Gesprächsrunde 4 eines sozialen Mediums oder einer Videokonferenz konfiguriert ist. An der Gesprächsrunde 4 können neben dem Fahrer 3 außerdem andere Teilnehmer 5 teilnehmen. Ferner ist das Fahrzeug 1 mit einer Steuereinrichtung 6 ausgestattet, die hier durch einen mit unterbrochener Linie gezeichneten rechteckigen Rahmen angedeutet ist. Die Steuereinrichtung 6 ist mit der Schnittstelle 2 gekoppelt und so konfiguriert, dass sie ein Verfahren 7 durchführt, das weiter unten näher erläutert wird.
-
Über die Schnittstelle 2 kann optional ein externes Gerät 8, wie z.B. ein Smartphone oder ein Tablet, angeschlossen werden. Die Gesprächsrunde 4 kann damit über das externe Gerät 8 erreicht werden. Das externe Gerät 8 kann ein nicht gezeigtes Mikrofon aufweisen, das im Rahmen des Verfahrens 7 zum Erzeugen von Audiosignalen des Fahrers 3 verwendet werden kann. Das externe Gerät 8 kann außerdem einen nicht gezeigten Lautsprecher aufweisen, der im Rahmen des Verfahrens 7 zum Abstrahlen des Audiosignals anderer Teilnehmer 5 verwendet werden kann. Das externe Gerät 8 kann ferner einen nicht gezeigten Monitor aufweisen, der im Rahmen des Verfahrens 7 zum Abstrahlen eines Videosignals der anderen Teilnehmer 5 verwendet werden kann.
-
Das hier vorgestellte Verfahren 7 ist zum Teilnehmen des Fahrers 3 des Kraftfahrzeugs 1 an einer Gesprächsrunde 4 eines sozialen Mediums oder einer Videokonferenz konfiguriert. Die Gesprächsrunde 4 ist so konfiguriert, dass sie gleichzeitig mehreren Teilnehmern 5 die Teilnahme via Audiosignal und/oder Videosignal ermöglicht. Der Fahrer 3 bildet dann einen weiteren Teilnehmer 5' der Gesprächsrunde 4.
-
In einem Schritt 9 startet das Verfahren 7. Der Startvorgang kann z.B. vom Fahrer 3 durch ein Einwählen oder Einloggen in die Gesprächsrunde 4 getriggert werden. In einem Schritt 10 wird ein Avatar 11 des in einem Fahrzeuginnenraum 12 sitzenden Fahrers 3 erzeugt. In einem Schritt 13 wird mit einer virtuellen Kamera ein Videosignal 14 des Avatars 11 erzeugt. Außerdem wird in einem Schritt 15 mit einem im Fahrzeuginnenraum 12 angeordneten reellen Mikrofon 25 ein Audiosignal 16 des im Fahrzeuginnenraum 12 sitzenden Fahrers 3 erzeugt. Das reelle Mikrofon 25 kann wie oben erläutert durch ein Mikrofon des externen Geräts 8 gebildet sein. Ebenso kann es sich beim Mikrofon 25 um ein fest im Fahrzeug 1 installiertes Mikrofon handeln, z.B. einer Freisprechanlage des Fahrzeugs 1. In einem Schritt 17 werden das Videosignal 14 und das Audiosignal 16 synchron der Gesprächsrunde 4 übermittelt. In der Folge ist dann der Fahrer 3 als weiterer Teilnehmer 5' von den anderen Teilnehmern 5 der Gesprächsrunde 4 reell hörbar und als Avatar 11 virtuell sichtbar.
-
Der Avatar 11 kann dabei eine digitale Widergabe einer Person zeigen, die aus einer Bibliothek 18 generiert werden, die fiktive Personen enthält. Alternativ dazu können die digitalen Widergaben von Personen zeigen, die aus einer Datenbank 19 generiert werden, die Aufnahmen, insbesondere Videos oder Bilder, des Fahrers 3 enthält. Insbesondere lässt sich dadurch auf Wunsch des Fahrers 3 eine besonders realistische und realitätsnahe digitale Widergabe realisieren.
-
Beim Verfahren 7 kann vorgesehen sein, dass in einem Schritt 20 mittels der virtuellen Kamera aus Schritt 13 das virtuelle Videosignal 14 mit dem reellen Audiosignal 16 synchronisiert wird, um ein modifiziertes Videosignal 14' zu erzeugen. Hierzu kann die virtuelle Kamera in Schritt 20 passend und synchron zum Audiosignal 16 Bewegungen des Avatars 11 generieren. Derartige Bewegungen sind bzw. erzeugen beispielsweise eine Mimik und/oder Körpersprache und/oder Körperhaltung und/oder Kopfhaltung und/oder Lippenbewegungen des Avatars 11. Diese Synchronisierung kann in Schritt 20 bei entsprechend hoher Rechenleistung in Echtzeit erfolgen. Diese Synchronisierung kann in Schritt 20 aber auch bei reduzierter Rechenleistung realisiert werden, insbesondere in Verbindung mit einer leichten zeitlichen Verzögerung des Audiosignals 16, so dass dann in Schritt 17 das an das Audiosignal 16 angepasste Videosignal 14' und das Audiosignal 16 zeitlich verzögert und synchronisiert an die Gesprächsrunde 4 übermittelt werden können.
-
Diese Synchronisation in Schritt 20 zwischen dem Audiosignal 16 und dem an Bewegungen des Avatars 11 angepassten Videosignal 14' kann insbesondere mittels einer künstlichen Intelligenz generiert werden. Beispielsweise kann die künstliche Intelligenz so konfiguriert sein, dass sie den Fahrer 3 mittels einer reellen Kamera im Fahrzeuginnenraum 12 beobachtet und seine tatsächliche Mimik und/oder Körpersprache und/oder Körperhaltung und/oder Kopfhaltung und/oder Lippenbewegungen mit den aktuellen tatsächlichen Audiosignalen des Fahrers 3 vergleicht bzw. abgleicht, um den Zusammenhang zwischen Bewegungen des Avatars 11 und Audiosignalen 16 zu lernen. Zusätzlich oder alternativ kann die künstliche Intelligenz auch so konfiguriert sein, dass sie bei derartigen Gesprächsrunden 4 die anderen Teilnehmer 5 hinsichtlich deren Audiosignals 21 und Videosignals 22 überwacht, um den Zusammenhang zwischen dem Audiosignal 21 und den Bewegungen dieser realen oder auch virtuellen Personen 5 zu lernen.
-
Im Beispiel der 1 kann vorgesehen sein, dass Audiosignale 21, die von der Gesprächsrunde 4, also von den anderen Teilnehmern 5 an das Fahrzeug 1 übermittelt werden, von einem im Fahrzeuginnenraum 12 angeordneten Lautsprecher 23 für den Fahrer 3 hörbar in den Fahrzeuginnenraum 12 abgestrahlt werden. Damit kann der Fahrer 3 an der Gesprächsrunde 4 mit hoher akustischer Qualität teilhaben. Zusätzlich oder alternativ kann vorgesehen sein, dass Videosignale 22, die von der Gesprächsrunde 4, also von den anderen Teilnehmern 5 an das Fahrzeug 1 übermittelt werden, von einem im Fahrzeuginnenraum 12 angeordneten Monitor 24 bei stehendem Fahrzeug 1 für den Fahrer 3 sichtbar in den Fahrzeuginnenraum 12 abgestrahlt werden. Dadurch kann der Fahrer 3 bei stehendem Fahrzeug 1 mit hoher visueller Qualität an der Gesprächsrunde 4 teilhaben.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
