-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Modifizieren einer Bildanzeige eines Fahrzeuginnenraums bei einem Videotelefonat in einem Fahrzeug sowie ein Kraftfahrzeug mit einer Steuervorrichtung, die dazu ausgelegt ist, das Verfahren durchzuführen.
-
In einem Fahrzeug können ein Tonsignal und eine Bildanzeige im Rahmen eines Videotelefonats an einen Gesprächspartner außerhalb des Fahrzeugs übertragen werden. Jedoch wird während des Videotelefonats nicht nur der Benutzer gefilmt, sondern auch die gesamte Umgebung des Fahrzeuginnenraums. Dies kann während eines Videotelefonats aus dem Fahrzeug unerwünscht sein, da der Benutzer beispielsweise nicht möchte, dass erkannt wird, dass das Gespräch aus dem Fahrzeug heraus geführt wird oder da es kann sein, dass der Benutzer die Privatsphäre von weiteren Mitfahrern schützen möchte.
-
Aus der
DE 11 2013 001 461 T5 ist bekannt, auf einer Bildanzeige ein Aussehen eines Teilnehmers während einer Videokonferenz zu modifizieren.
-
Aus der
WO 02/078351 A1 sind ein Verfahren und eine Vorrichtung zur Übertragung von Video- und/oder Audiodaten bekannt, wobei eine Priorisierung von Bereichen innerhalb der Video- und/oder Audiodaten nach wenigstens einem vorbestimmten oder vorbestimmbaren Kriterium erfolgt.
-
Aus der
DE 10 2012 006 904 A1 ist ein Verfahren zur Durchführung eines Telefonats zwischen einem ersten Telefon in einem Fahrzeug und einem zweiten Telefon bekannt, wobei während des Telefonats mittels einer Kameraeinrichtung ein Bild der dem Fahrzeug vorausliegenden Umgebung aufgenommen wird. Das Bild wird analysiert und entsprechend einer vorliegenden Verkehrssituation modifiziert und zusammen mit den von dem ersten Telefon aufgenommenen Tonsignalen zu dem zweiten Telefon übertragen und/oder das Bild wird analysiert und entsprechend einer vorliegenden Verkehrssituation mindestens mit einem zusätzlichen akustischen Signal zusammen mit den vom ersten Telefon aufgenommenen Tonsignalen zu dem zweiten Telefon übertragen.
-
Aus der
DE 103 21 501 A1 ist ein Verfahren zum Einfügen eines Informationsfelds in ein Bild, insbesondere bei einer Videotelefonieanwendung, bekannt. Dabei erfasst eine Kamera das Bild einer Person in einem Fahrzeug und das Vorhandensein und ggf. die Position eines Gesichts in dem Bild werden bestimmt, so dass Einblendungen beispielsweise von Werbung so positioniert werden können, dass das Gesicht nicht verdeckt wird. Ein Bereitstellen eines Modells eines Fahrzeuginnenraums aus vorbestimmten Fahrzeugdaten und ein Aufteilen des Modells in einen darzustellenden Vordergrundbereich und einen zu kaschierenden Hintergrundbereich mittels eines „digitalen Vorhangs“ ist in der
DE 103 21 501 A1 jedoch nicht offenbart.
-
Aus der
US 7 911 513 B2 ist ein Videotelefon bekannt, bei dem zur Gewährleistung der Privatsphäre eines Benutzers das bei der Gegenstelle angezeigte Bild so in Vordergrund- und Hintergrund-Bereiche aufgeteilt wird, dass die Person, insbesondere auch deren Gesicht, scharf dargestellt wird, wohingegen der Bildhintergrund zur Simulation einer geringen Tiefenschärfe mittels Verfahren der Bildverarbeitung verschwommen dargestellt wird Die Verwendung in einem Fahrzeug mit einem Bereitstellen eines Modells des (Fahrzeug-)Innenraums aus vorbestimmten (Fahrzeug-)Daten ist in der
US 7 911 513 B2 jedoch ebenso wenig offenbart wie ein „digitaler Vorhang“.
-
Aus der
US 7 203 356 B2 ist ein Verfahren bekannt, bei dem unter anderem für Anwendungen wie Videotelefonie oder Videokonferenzen eine 3D-Kamera verwendet wird, um in einer Videobildfolge Vordergrund-Subjekte von einem Hintergrund zu segmentieren und zu verfolgen. Ein Bereitstellen eines Modells eines Fahrzeuginnenraums aus vorbestimmten Fahrzeugdaten und ein Aufteilen des Modells in einen darzustellenden Vordergrundbereich und einen zu kaschierenden Hintergrundbereich mittels eines „digitalen Vorhangs“ ist in der
US 7 203 356 B2 jedoch nicht offenbart.
-
Aus der
WO 2013/086734 A1 ist ein System bekannt, das eine auf Videodaten basierende Gesichtserkennung beinhaltet, wobei darauf basierend eine „region of interest“ (ROI) und eine Hintergrund-Region bestimmt bzw. unterschieden werden, wobei die Hintergrund-Region so modifiziert werden kann, dass ihre Bildqualität reduziert wird bzw. sie unscharf dargestellt wird. Bevorzugte Anwendungen sind die Videotelefonie bzw. Video-Chat-Systeme; insbesondere zur Sicherstellung der Privatsphäre kann ein Ersatz bzw. Austausch oder eine Modifikation des Hintergrunds erfolgen. Ein Bereitstellen eines Modells eines Fahrzeuginnenraums aus vorbestimmten Fahrzeugdaten und ein Aufteilen des Modells in einen darzustellenden Vordergrundbereich und einen zu kaschierenden Hintergrundbereich mittels eines „digitalen Vorhangs“ ist in der
WO 2013 /086734 A1 jedoch nicht offenbart
-
Der Erfindung liegt die Aufgabe zugrunde, während eines Videotelefonats in einem Kraftfahrzeug eine Umgebung eines Benutzers vor einem Gesprächspartner zu kaschieren.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.
-
Die Erfindung basiert auf der Erkenntnis, dass während eines Videotelefonats ein digitaler Vorhang, das bedeutet ein digitaler Sichtschutz, die Privatsphäre eines Benutzers erhöhen und/oder eine Hintergrundszenerie verbergen kann, wobei der digitale Vorhang bei einer bekannten Fahrzeuggeometrie ohne Hilfsmittel erreicht werden kann.
-
Durch die Erfindung ist entsprechend ein Verfahren zum Modifizieren einer Bildanzeige eines Fahrzeuginnenraums bei einem Videotelefonat in einem Fahrzeug bereitgestellt. Das Verfahren umfasst ein Erfassen eines Videostroms des Videotelefonats mittels einer Kamera, wobei der Videostrom einen Bildbereich eines Benutzers und einen Bildbereich des Fahrzeuginnenraums, also der Hintergrundszenerie, aufweist. Auf dieser Grundlage soll die Bildanzeige bei einem Videotelefonat, das bedeutet die übertragenen Bilder des Videotelefonats, so modifiziert werden, dass ein Gesprächspartner des Videotelefonats eine modifizierte Bildanzeige sieht. Hierzu kann eine Kamera einen Videostrom des Videotelefonats erfassen, wobei der Videostrom aus sequentiellen Einzelbildern aufgebaut ist. In den Bildern des Videostroms kann ein Bildbereich einen Benutzer anzeigen und ein weiterer Bildbereich, beispielsweise der Hintergrund, den Fahrzeuginnenraum. Nun gilt es, denjenigen Bildbereich, der nicht mit übertragen werden soll, nämlich die Bilddaten von zumindest einem Teil des Fahrzeuginnenraums, zu kaschieren oder zumindest nicht mit zu übertragen. Der zu kaschierende Teil ist derjenige Teil des Raumbereichs des Fahrzeuginnenraums, der sich „hinter“ dem digitalen Vorhang befindet. Der digitale Vorhang gibt also 3D-Geometriedaten an, die die virtuelle räumliche Lage des Vorhangs im Fahrzeuginnenraum beschreiben und damit festlegen, welche 2D-Bilddaten in der Bildanzeige kaschiert oder nicht mitübertragen werden sollen, nämlich der aus Sicht der Kamera hinter dem Vorhang befindliche Raum. Dazu muss ermittelt werden, welche 2D-Bilddaten welche 3D-Position im Fahrzeuginnenraum anzeigen oder repräsentieren, um entscheiden zu können, ob die jeweiligen 2D-Bilddaten einen Raumausschnitt vor oder hinter dem digitalen Vorhang darstellen.
-
Hierzu weist das Verfahren einen Schritt des Bereitstellens eines (dreidimensionalen) Modells des Fahrzeuginnenraums aus vorbestimmten Fahrzeugdaten auf, einen Schritt des Aufteilens des Modells in einem dazustellenden Vordergrundbereich und einem zu kaschierenden Hintergrundbereich mittels eines digitalen Vorhangs und einen Schritt des Berechnens einer künstlichen Ansicht des Fahrzeuginnenraums mittels des Modells, wobei eine Perspektive der künstlichen Ansicht einer Perspektive der besagten Kamera entspricht. Zu der künstlichen Ansicht werden dann Trenninformationen bezüglich des Vordergrundbereichs und des Hintergrundbereichs bereitgestellt. Mit anderen Worten kann ein Modell des Fahrzeuginnenraums, das insbesondere ein digitales Modell sein kann, das aus vorbestimmten Fahrzeugdaten generiert wird, bereitgestellt werden. Aus diesem können Bereiche gewählt werden, die darzustellen sind (Vordergrundbereich) und Bereiche, die mittels eines digitalen Vorhangs verdeckt werden sollen (Hintergrundbereich). Das Modell stellt den Fahrzeuginnenraum insbesondere ohne den Benutzer dar, also im leeren oder unbesetzten Zustand. Vorzugsweise kann der Vordergrundbereich, in dem der Benutzer das Videotelefonat führt, dargestellt werden und ein Hintergrundbereich des Fahrzeuginnenraums kann mittels des digitalen Vorhangs überdeckt werden. Mit digitaler Vorhang ist eine digitale Bildbearbeitung gemeint, durch die Bildbereiche abgedeckt werden können. Beispielsweise können für den digitalen Vorhang Geometriedaten vorbestimmt sein, welche Regionen des Fahrzeuginnenraums abgegrenzt werden sollen, wobei der digitale Vorhang beispielsweise als durchgehende ebene Fläche, als ein ebener Bildausschnitt oder als ein zylindrischer Halbkreis dargestellt sein kann. Es können jedoch auch beliebige Formen und Abmessungen für den digitalen Vorhang gewählt werden. Durch die Geometriedaten des digitalen Vorhangs wird als das Modell des Fahrzeuginnenraum in einen Vordergrundbereich und einen Hintergrundbereich zerteilt.
-
Sind diese beiden Bereiche in dem Modell ausgewählt, kann die künstliche Ansicht des Fahrzeuginnenraums mittels des Modells berechnet werden, wobei die Perspektive der künstlichen Ansicht der Perspektive der Kamera entspricht, die den Videostrom für das Videotelefonat erfasst. Zusätzlich können in dieser künstlichen Ansicht Trenninformationen enthalten sein, die sowohl den darzustellenden Vordergrundbereich als auch den zu kaschierenden Hintergrundbereich markieren. Dies kann beispielsweise dadurch erreicht werden, dass in dem Modell der Vordergrundbereich und der Hintergrundbereich mittels unterschiedlicher digitaler Markierungen gekennzeichnet werden, die für das Berechnen der künstlichen Ansicht des Fahrzeuginnenraums auf die Perspektive der Kamera projiziert werden können.
-
Weitere Schritte des Verfahrens sind ein Segmentieren des Bildbereichs des Benutzers und des Vordergrundbereichs aus dem Videostrom, wobei das Segmentieren auf Basis der künstlichen Ansicht des Fahrzeuginnenraums und der Trenninformationen durchgeführt wird, ein Erzeugen eines modifizierten Videostroms, wobei in dem modifizierten Videostrom der segmentierte Bildbereich des Benutzers und der segmentierte Vordergrundbereich dargestellt werden und ein Senden des modifizierten Videostroms an einen Gesprächspartner des Videotelefonats. Anders formuliert werden der Vordergrundbereich und der Bildbereich des Benutzers, das bedeutet die Anzeige des Benutzers in dem Videostrom, aus dem Videostrom abgegrenzt, beziehungsweise abgetrennt, wobei dies auf Basis der künstlichen Ansicht des Fahrzeuginnenraums und der Trenninformationen durchgeführt wird. Das Modell stellt den Fahrzeuginnenraum insbesondere ohne den Benutzer dar, also im leeren oder unbesetzten Zustand. Hierbei kann beispielsweise der Vordergrundbereich direkt aus den Trenninformationen abgegrenzt werden und der Benutzer, das heißt der Bildbereich des Benutzers, kann beispielsweise aus einer Differenz oder eines Unterschieds der Bildanzeige des Videostroms mit der künstlichen Ansicht herausgefiltert werden. Es kann jedoch auch vorgesehen sein, dass der Bildbereich des Benutzers bereits in dem Modell vorgesehen ist, und/oder der Bildbereich des Benutzers über Sensoren für eine Segmentierung erfasst wird.
-
Nach der Segmentierung kann ein modifizierter Videostrom erzeugt werden, wobei die zuvor heraussegmentierten Bereiche, die dargestellt werden sollen, weiterhin in dem Videostrom dargestellt werden können. Das bedeutet, dass die darzustellenden Bereiche des Videostroms aus dem ursprünglichen Videostrom herausgefiltert werden können, um diese in einem neuen, modifizierten Videostrom darzustellen, beziehungsweise der zu kaschierende Hintergrundbereich wurde aus dem ursprünglichen Videostrom herausgefiltert, sodass nur noch die darzustellenden Bereiche in dem modifizierten Videostrom vorhanden sind. Anschließend kann der modifizierte Videostrom an den Gesprächspartner des Videotelefonats gesendet werden.
-
Durch die Erfindung ergibt sich der Vorteil, dass mittels des Verfahrens ein digitaler Vorhang geschaffen werden kann, der die Bildanzeige unerwünschter Bildbereiche während eines Videotelefonats für einen Gesprächspartner abdecken kann, was z.B. die Privatsphäre für einen Benutzer erhöht. Des Weiteren ist der digitale Vorhang nur für den Gesprächspartner des Videotelefonats sichtbar, wodurch keine Sichteinschränkungen in dem Fahrzeug entstehen.
-
Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
-
Eine Ausführungsform sieht vor, dass der Hintergrundbereich in dem gefilterten oder modifizierten Videostrom mittels vorgegebener Bilddaten ersetzt wird. Das bedeutet, dass der Hintergrundbereich, der aus dem Videostrom herausgefiltert wird, mit einem vorgegebenen Inhalt gefüllt werden kann, wobei der Inhalt beispielsweise bewegte oder statische Bilder anzeigen kann. Vorzugsweise kann vorgesehen sein, dass ein Teilbereich der vorgegebenen Bilddaten als ein Bildschirm beziehungsweise eine Anzeigefläche dargestellt sein kann, auf der Präsentationsfolien oder Videoausschnitte angezeigt werden können. Das hat den Vorteil, dass neben der Erhöhung der Privatsphäre zusätzliche Informationen für den Gesprächspartner angezeigt werden können.
-
Eine weitere Ausführungsform sieht vor, dass zusätzliche Trenninformationen des Bildbereichs des Benutzers mittels eines Benutzererkennungsalgorithmus und/oder mittels einer Differenz zwischen der künstlichen Ansicht des Fahrzeuginnenraums und des Videostroms erzeugt werden. Mit anderen Worten kann der Bildbereich des Benutzers, das heißt die Anzeige des Benutzers in dem Videostrom, aus dem Videostrom mittels eines Benutzererkennungsalgorithmus segmentiert werden. Der Benutzererkennungsalgorithmus kann beispielsweise auf einer Bilderkennung basieren, die die Augen des Benutzers detektiert, ein sogenanntes Eyetracking, und/oder es können Sensoren vorgesehen sein, die den Benutzer und die Position des Benutzers in dem Fahrzeuginnenraum messen. Beispielsweise kann eine Sitzbelegungserkennung vorgesehen sein, durch die festgestellt werden kann, welcher Sitzbereich in dem modifizierten Videostrom angezeigt werden soll und es kann zusätzlich oder alternativ ein Lidar vorgesehen sein, der die Position des Benutzers scannt.
-
Zusätzlich oder alternativ dazu kann der Bildbereich des Benutzers aus dem Videostrom dadurch bestimmt werden, dass eine pixelweise Differenz zwischen der künstlichen Ansicht und dem Videostrom vorgenommen wird und die so erkannten Objekte dem Bildbereich des Benutzers zugeordnet werden können. Zusätzlich dazu können Sensordaten berücksichtigt werden, um eventuell erhaltene weitere Differenzen dieser Bildanalyse von dem Benutzer zu unterscheiden. Durch diese Ausführungsform ergibt sich der Vorteil, dass der Bildbereich des Benutzers genau erkannt werden kann und so die Darstellung des Benutzers in dem modifizierten Videostrom verbessert werden kann.
-
Eine weitere Ausführungsform sieht vor, dass die vorbestimmten Fahrzeugdaten Konstruktionsdaten des Fahrzeugs sind und/oder aus einer Sensormessung bestimmt werden. Mit anderen Worten kann das Modell des Fahrzeuginnenraums aus bekannten Konstruktionsdaten des Fahrzeugs, wie beispielsweise CAD-Daten, erzeugt werden und/oder es können Sensoren vorgesehen sein, wie beispielsweise ein Lidar, die eine Messung des Fahrzeuginnenraums zur Erzeugung der vorbestimmten Fahrzeugdaten durchführen. Zum Beispiel kann die Messung in vorbestimmten Zeitabständen durchgeführt werden, um die Geometrie des Fahrzeuginnenraums aufzunehmen und eventuelle Veränderungen innerhalb dieser Geometrie zu erkennen. Vorzugsweise kann diese Messung durchgeführt werden, wenn keine Fahrzeuginsassen in dem Fahrzeug vorhanden sind. Durch diese Ausführungsform ergibt sich der Vorteil, dass ein verbessertes Modell mit den vorbestimmten Fahrzeugdaten erzeugt werden kann, wodurch ein verbesserter modifizierter Videostrom erzeugt werden kann.
-
Eine Ausführungsform sieht vor, dass in dem Fahrzeug zumindest eine optische Markierung vorgesehen ist und in der künstlichen Ansicht zumindest eine entsprechende digitale Markierung vorgesehen ist. Die optische Markierung in dem Fahrzeug kann ein Marker sein, wie er beispielsweise bei sogenannten Motion Capture-Verfahren verwendet wird. Die optische Markierung kann beispielsweise an repräsentativen Stellen des Fahrzeuginnenraums angebracht sein, wie beispielsweise einer Kopfstütze eines Fahrzeugsitzes. Eine entsprechende zugehörige Markierung kann in dem Modell und damit in der künstlichen Ansicht vorgesehen sein. Durch diese Markierungen kann die Perspektive der künstlichen Ansicht besser mit der Perspektive der Kamera übereinandergelegt werden, wodurch verbesserte Trenninformationen erhalten werden können. Des Weiteren können mit den optischen Markierungen bewegliche Objekte in dem Fahrzeug, wie beispielsweise eine Sitzlehne oder eine Kopfstütze, markiert werden, um daraufhin die künstliche Ansicht des Fahrzeuginnenraums anzupassen und verbesserte Trenninformationen zu berechnen.
-
Eine weitere Ausführungsform sieht vor, dass eine Person in dem zu kaschierenden Hintergrundbereich mittels einer Heuristik herausgefiltert wird. Anders formuliert kann eine Person, die sich in dem Hintergrundbereich befindet, die nicht in dem Videotelefonat angezeigt werden soll, herausgefiltert werden. Das Herausfiltern mittels einer Heuristik bedeutet hier, dass eine Person im Hintergrundbereich mittels Bilderkennungsmethoden und/oder Sensormessungen erkannt werden kann und so Trenninformationen für die Person im Hintergrundbereich erzeugt werden können. Beispielsweise kann eine Sitzbelegungserkennung die Person in dem Hintergrundbereich detektieren worauf ein Bilderkennungsalgorithmus aufgrund der unterschiedlichen Perspektive zu dem Benutzer im Vordergrundbereich die Person herausfiltern kann. Zusätzlich können weitere optische Sensoren vorgesehen sein, die eine Person im Hintergrundbereich detektierten, wodurch diese Person in dem modifizierten Videostrom herausgefiltert werden kann. Hierdurch ergibt sich der Vorteil, dass die Privatsphäre eines Mitfahrers während eines Videotelefonats gewährleistet werden kann.
-
Eine weitere Ausführungsform sieht vor, dass in dem modifizierten Videostrom Fahrbewegungen des Fahrzeugs herausgerechnet werden. Mit anderen Worten können Fahrbewegungen, wie beispielsweise Erschütterungen, die von außen kommen, berücksichtigt werden, um diese aus dem Videostrom herauszurechnen. Dazu können beispielsweise Sensoren innerhalb und außerhalb des Fahrzeugs vorgesehen sein, die Fahrbewegungen und Erschütterungen detektieren können. Zum Beispiel können Drucksensoren in den Stoßdämpfern vorgesehen sein, die Erschütterungen aufnehmen, und es kann ein Gyrosensor vorgesehen sein, der Beschleunigungsbewegungen des Fahrzeugs detektieren kann. Diese Sensorinformationen können anschließend in dem Berechnungsverfahren zur Erzeugung des modifizierten Videostroms berücksichtigt werden. Das hat den Vorteil, dass ein verbessertes Bild für den Videostrom des Videotelefonats erreicht werden kann.
-
Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung zum Modifizieren einer Bildanzeige eines Fahrzeuginnenraums bei einem Videotelefonat in einem Fahrzeug. Die Vorrichtung umfasst eine Kamera, die dazu ausgelegt ist, einen Videostrom des Videotelefonats zu erfassen, wobei der Videostrom einen Bildbereich eines Benutzers und einen Bildbereich des Fahrzeuginnenraums aufweist. Ferner umfasst die Vorrichtung eine Rechenvorrichtung, die dazu ausgelegt ist, ein Modell des Fahrzeuginnenraums aus vorbestimmten Fahrzeugdaten bereitzustellen, das Modell in einem darzustellenden Vordergrundbereich und einem zu kaschierenden Hintergrundbereich mittels eines digitalen Vorhangs aufzuteilen, eine künstliche Ansicht des Fahrzeuginnenraums mittels des Modells zu berechnen, wobei eine Perspektive der künstlichen Ansicht einer Perspektive der Kamera entspricht und zu der künstlichen Ansicht Trenninformationen bezüglich des Vordergrundbereichs und des Hintergrundbereichs bereitgestellt sind. Die Rechenvorrichtung ist ferner dazu ausgelegt, den Bildbereich des Benutzers und den Vordergrundbereich aus dem Videostrom zu segmentieren, wobei das Segmentieren auf Basis der künstlichen Ansicht des Fahrzeuginnenraums und der Trenninformation durchgeführt wird, und einen modifizierten Videostrom zu erzeugen, wobei in dem modifizierten Videostrom der segmentierte Bildbereich des Benutzers und der segmentierte Vordergrundbereich dargestellt sind. Die Vorrichtung umfasst ferner eine Sendevorrichtung, die dazu ausgelegt ist, den modifizierten Videostrom an einen Gesprächspartner des Videotelefonats zu senden.
-
Für die Vorrichtung kann auch eine Lichtvorrichtung vorgesehen sein, die einen Innenraum des Fahrzeugs ausleuchtet, um so bei jedem Videotelefonat gleiche Lichtbedingungen zu schaffen. Gleiche Lichtbedingungen können das Segmentieren des Bildbereichs des Benutzers und des Vordergrundbereichs erleichtern. Durch die Vorrichtung ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Verfahren.
-
Eine Ausführungsform der Vorrichtung sieht vor, dass ferner eine Bedienvorrichtung vorgesehen ist, die dazu ausgebildet ist, die Modifizierung der Bildanzeige des Fahrzeuginnenraums zu steuern. Mit anderen Worten kann über die Bedienvorrichtung gesteuert werden, welcher Bereich des Fahrzeuginnenraums bei dem Videotelefonat angezeigt werden soll und welcher Bereich durch den digitalen Vorhang verdeckt, beziehungsweise überlagert, werden soll. Die Bedienvorrichtung kann beispielsweise in dem Fahrzeug integriert sein, insbesondere in einem Infotainmentsystem des Fahrzeugs, das durch berührungsempfindliche Eingaben steuerbar ist. Es kann jedoch auch vorgesehen sein, dass die Bedienvorrichtung ein mobiles Gerät des Benutzers ist. Vorzugsweise kann mit der Bedienvorrichtung die Modifizierung der Bildanzeige aktiviert werden und voreingestellte Parameter der Position und Anzeige des digitalen Vorhangs geladen und gespeichert werden. Durch diese Ausführungsform ergibt sich der Vorteil, dass schnell und einfach zwischen verschiedenen Benutzereinstellungen gewählt werden kann.
-
Erfindungsgemäß ist auch ein Kraftfahrzeug mit einer Steuervorrichtung vorgesehen, die dazu ausgelegt ist, eine Ausführungsform des Verfahrens durchzuführen. Die Steuervorrichtung kann dazu eine Prozessoreinrichtung aufweisen, wobei die Prozessoreinrichtung hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller umfasst. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
-
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus ausgestaltet.
-
Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Kraftfahrzeugs, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Kraftfahrzeugs hier nicht noch einmal beschrieben.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine Perspektivansicht eines Kraftfahrzeugs gemäß einer beispielhaften Ausführungsform;
- 2 eine Bedienvorrichtung nach einer beispielhaften Ausführungsform;
- 3 ein schematisches Verfahrensdiagramm einer beispielhaften Ausführungsform.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
-
In 1 ist eine Perspektivansicht eines Fahrzeugs 10 mit einem Benutzer 12 dargestellt. Außerdem ist in 1 ein Ausschnitt 13 einer beispielhaften Situation bei einer weiteren Person 14 dargestellt, die beispielsweise ein Gesprächspartner 14 des Benutzers 12 sein kann. Das Fahrzeug 10, das in diesem Ausführungsbeispiel ein Personenkraftwagen ist, kann vorzugsweise ein autonom fahrendes Fahrzeug sein.
-
Dem in 1 gezeigten Ausführungsbeispiel kann folgende Situation beispielhaft zugrundeliegen. Der Benutzer 12, der in einem autonom fahrenden Fahrzeug 10 unterwegs ist, möchte mit einem fahrzeugexternen Gesprächspartner 14 ein Videotelefonat führen. Hierbei soll der Gesprächspartner 14 jedoch nicht bemerken, dass sich der Benutzer 12 in dem Fahrzeug 10 befindet. Um die Privatsphäre des Benutzers 12 zu schützen, kann der Benutzer 12 für das Videotelefonat einen digitalen Vorhang 16 aktivieren, der einen Hintergrundbereich 18 von einem darzustellenden Vordergrundbereich 20 abgrenzen kann.
-
Hierzu kann zunächst von einer Kamera 22 ein Videostrom für das Videotelefonat aufgenommen werden, wobei der Videostrom den Benutzer 12 und den Fahrzeuginnenraum aufnehmen kann. Die Kamera 22 kann beispielsweise eine digitale Videokamera mit einem CCD-Chip (CCD - charged coupled device) oder einem CMOS-Chip (CMOS - complementary metal-oxide-semiconductor) sein, die in einem vorderen Bereich des Fahrzeugs angebracht sein kann.
-
Zusätzlich kann eine Rechenvorrichtung 24 vorgesehen sein, die dazu ausgelegt sein kann, ein Modell des Fahrzeuginnenraums aus vorbestimmten Fahrzeugdaten bereitzustellen. Das Modell, das ein digitales Modell des Fahrzeuginnenraums sein kann, kann aus zuvor bestimmten Messdaten bestimmt worden sein und zusätzlich oder alternativ Konstruktionsdaten des Fahrzeugs, wie CAD-Daten (CAD - computer aided design), umfassen. Innerhalb dieses Modells kann beispielsweise die Position des digitalen Vorhangs 16 bestimmt werden. Dabei kann die Position und auch eine Form des digitalen Vorhangs 16 beliebig gewählt werden. Beispielsweise kann die Form des digitalen Vorhangs 16 halbkreisförmig um den Benutzer 12 ausgebildet sein. Durch Positionieren des digitalen Vorhangs in dem Modell können ein darzustellender Vordergrundbereich 20 und ein zu kaschierender Hintergrundbereich 18 bestimmt werden.
-
Ferner kann die Rechenvorrichtung 24 aus dem unterteilten Modell eine künstliche Ansicht des Fahrzeuginnenraums erstellen, wobei eine Perspektive der künstlichen Ansicht einer Perspektive der Kamera 22 entspricht. Zur Berechnung der künstlichen Ansicht beziehungsweise der Perspektive der künstlichen Ansicht kann hierzu beispielsweise in dem virtuellen Modell eine Position vorgesehen sein, auf die der Raum des virtuellen Modells projiziert wird.
-
Zusätzlich können zu der künstlichen Ansicht Trenninformationen bereitgestellt sein, durch die der Vordergrundbereich 20 und der Hintergrundbereich 18 voneinander unterscheiden werden können. Beispielsweise ist in der künstlichen Ansicht der jeweilige Bereich durch einen digitalen Wert markiert, zum Beispiel kann in jedem Pixel, der dem Vordergrundbereich 20 zuzuordnen ist, als Trenninformation ein Wert von 1 stehen und in jedem Pixel, der dem Hintergrundbereich 18 zuzuordnen ist, als Trenninformation ein Wert von 0.
-
Diese Trenninformation kann beispielsweise als Maske verwendet werden, durch die der Videostrom segmentiert werden kann. Um die künstliche Ansicht und die Ansicht des Videostroms aufeinander abzustimmen, können zusätzlich eine oder mehrere optische Markierungen vorgesehen sein, um die Überlagerung der künstlichen Ansicht mit den Trenninformationen und der Ansicht aus der Perspektive der Kamera 22 zu erleichtern. Beispielsweise ist die optische Markierung 26 an einer Oberseite einer Kopfstütze eines Fahrzeugsitzes befestigt. Zusätzlich kann in dem Modell des Fahrzeuginnenraums auch eine Information enthalten sein, dass an der gleichen Position der Kopfstütze eine optische Markierung 26 vorhanden sein soll. Mittels Bilderkennungsalgorithmen können die optischen Markierungen 26 von der Ansicht aus der Perspektive der Kamera 22 und der künstlichen Ansicht nach bekannten Methoden übereinandergelegt werden.
-
Zusätzlich zu dem Vordergrundbereich 20 kann vorzugsweise der Bildbereich des Benutzers 12 segmentiert werden, wobei hierzu beispielsweise ein Sensor 28 vorgesehen sein kann, der zusätzlich zu einem Benutzererkennungsalgorithmus aus den Bilddaten Informationen über den Bildbereich des Benutzers zur Verfügung stellen kann. Beispielsweise kann der Sensor 28 als ein Lidar (Lidar - light detection and ranging) ausgebildet sein, der die aktuelle Position und Bewegungen des Benutzers 12 bestimmen kann und somit zusammen mit dem Benutzererkennungsalgorithmus eine verbesserte Segmentierung ermöglichen kann.
-
Schließlich kann die Rechenvorrichtung 24 einen modifizierten Videostrom 30 erzeugen, wobei in dem modifizierten Videostrom 30 in dem Vordergrund der segmentierte Bildbereich des Benutzers und der segmentierte Vordergrundbereich 20 dargestellt werden und im Hintergrund des modifizierten Videostroms 30 vorgegebene Bilddaten angezeigt werden können. Durch das Segmentieren des Videostroms ist sichergestellt, dass der Bildbereich des Benutzers und der Vordergrundbereich in der Bildebene immer vor dem Hintergrundbereich, das bedeutet vor den vorgegebenen Bilddaten, angezeigt werden. Des Weiternen können in dem modifizierten Videostrom 30 eventuelle Wackler, die durch Fahrbewegungen des Fahrzeugs 10 entstehen können herausgerechnet werden, indem Signale des von Fahrzeugsensoren, wie beispielsweise von Drucksensoren in den Stoßdämpfern, in dem modifizierten Videostrom berücksichtigt werden.
-
Mittels einer Sendevorrichtung 32 kann der modifizierte Videostrom 30 schließlich zu dem Gesprächspartner 14 gesendet werden. Dabei kann die Sendevorrichtung 32 dazu ausgebildet sein, Daten des modifizierten Videostroms 30 über Mobilfunk, WLAN oder Bluetooth zu versenden.
-
In 2 ist eine Bedienvorrichtung 34 dargestellt, mit der die Modifizierung der Bildanzeige des Fahrzeuginnenraums gesteuert werden kann. Die Bedienvorrichtung 34 kann in diesem Ausführungsbeispiel ein mobiles Gerät des Benutzers 12 sein, insbesondere ein Smartphone. Vorzugsweise kann auf der Bedienvorrichtung 34 ein Programm vorgesehen sein, mit dem der digitale Vorhang 16 in dem Fahrzeug 10 positioniert werden kann. In diesem Ausführungsbeispiel kann hinter dem Benutzer 12 ein weiterer Fahrzeuginsasse 36 vorhanden sein, der in einem Videotelefonat des Benutzers 12 nicht gesehen werden möchte. Hierbei kann der Benutzer 12 auf der Bedienvorrichtung 34, beispielsweise über einen berührungsempfindlichen Bildschirm der Bedienvorrichtung 34, die Position des digitalen Vorhangs 16 derart verschieben, dass sich der Fahrzeuginsasse 36 in einem Hintergrundbereich 18 befindet und der Benutzer 12 in einem Vordergrundbereich 20.
-
Der Fahrzeuginsasse 36 kann zusätzlich zu dem zuvor beschriebenen Verfahren durch Sensoren detektiert werden, die den Fahrzeuginsassen 36 aus dem Videostrom herausrechnen können. Beispielsweise kann eine Bilderkennungssoftware den Fahrzeuginsassen 36 anhand einer unterschiedlichen Größendarstellung aufgrund der Perspektive und/oder aufgrund einer unterschiedlichen Beleuchtungscharakteristik dem Hintergrundbereich 18 zuordnen.
-
In 3 ist ein schematisches Verfahrensdiagramm einer beispielhaften Ausführungsform dargestellt. In einem Schritt S10 wird ein Videostrom eines Videotelefonats mittels einer Kamera erfasst, wobei der Videostrom einen Bildbereich eines Benutzers und einen Bildbereich eines Fahrzeuginnenraums aufweist.
-
In einem Schritt S12 wird ein Modell des Fahrzeuginnenraums aus vorbestimmten Fahrzeugdaten bereitgestellt. Anschließend wird in einem Schritt S14 das Modell in einem darzustellenden Vordergrundbereich und einem zu kaschierenden Hintergrundbereich mittels eines digitalen Vorhangs dargestellt.
-
In einem Schritt S16 wird eine künstliche Ansicht des Fahrzeuginnenraums mittels des Modells berechnet, wobei eine Perspektive der künstlichen Ansicht einer Perspektive der Kamera entspricht und zu der künstlichen Ansicht Trenninformationen bezüglich des Vordergrundbereichs und des Hintergrundbereichs bereitgestellt werden.
-
In einem Schritt S18 werden der Bildbereich des Benutzers und der Vordergrundbereich aus dem Videostrom segmentiert, wobei das Segmentieren auf Basis der künstlichen Ansicht des Fahrzeuginnenraums und der Trenninformationen durchgeführt wird.
-
In einem Schritt S20 wird ein modifizierter Videostrom erzeugt, wobei in dem modifizierten Videostrom der segmentierte Bildbereich des Benutzers und der segmentierte Vordergrundbereich dargestellt werden.
-
Schließlich wird in einem Schritt S22 der modifizierte Videostrom an einen Gesprächspartner des Videotelefonats gesendet.
-
In einer anderen beispielhaften Ausführungsform kann vorgesehen sein, dass mehrere Videotelefonate zur gleichen Zeit an verschiedenen Positionen im Fahrzeug durchgeführt werden. Weiterhin kann es möglich sein, die natürlich erzeugten Bewegungen des Fahrzeugs herauszurechnen, damit der Gesprächspartner 14 nicht den Eindruck hat, dass das Videotelefonat aus einem Fahrzeug 10 geführt wird. Der Benutzer 12 im Fahrzeug 10 kann durch eine Vielzahl von unterschiedlichen Sensoren ständig gescannt werden, zum Beispiel seine Position, seine Bewegungen und seine Blickrichtung. Mittels Eyetracking kann definiert werden, wie ein Videostrom des Videotelefonats und somit der digitale Vorhang angepasst werden muss, damit der Gesprächspartner 14 keinen Blick auf einen Hintergrundbereich 18 bekommt. Diese Dynamik des digitalen Vorhangs 16 kann ein wichtiger Faktor für die Darstellung eines modifizierten Videostroms 30 sein.
-
Sensoren, Kameras und ein digitales Modell des Fahrzeuginnenraums ermöglichen eine gute Erfassung des Benutzers 12, insbesondere seiner Position. Vorzugsweise kann der Fahrzeuginnenraum in ähnlicher Weise wie ein Aufnahmestudio mit geeigneter Licht-, Kamera- und Soundtechnik ausgestattet sein. Alle Einstellungen für das Videotelefonat können auf einer Bedienvorrichtung, die ein Touchscreen sein kann, definiert und abgespeichert werden, wodurch über die Zeit verschiedene Einstellungen erstellt werden können und wieder abgerufen werden können. Somit kann beispielsweise schnell und einfach zwischen privaten und beruflichen Videotelefonaten hin- und hergewechselt werden.
-
Zusätzlich kann eine Software wie beispielsweise ein Programm oder eine sogenannte App vorgesehen sein, mit der man einfach die Position des digitalen Vorhangs im Fahrzeug definieren kann und die gewünschte Einstellung erstellen kann.
-
Insgesamt zeigt das Beispiel, wie durch die Erfindung ein digitaler Vorhang für ein Videotelefonat bereitgestellt werden kann.
