DE102016120116A1

DE102016120116A1 - Verfahren zur Zurverfügungstellung eines einen Umgebungsbereich eines Kraftfahrzeugs beschreibenden Ausgangsbildes sowie vernetztes System

Info

Publication number: DE102016120116A1
Application number: DE102016120116.2A
Authority: DE
Inventors: Enda Peter Ward
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-10-21
Filing date: 2016-10-21
Publication date: 2018-04-26

Abstract

Die Erfindung betrifft ein Verfahren zur Zurverfügungstellung eines einen Umgebungsbereich (7) eines Kraftfahrzeugs (2) beschreibenden Ausgangsbildes, mit den Schritten:Erfassen von Bilddaten aus dem Umgebungsbereich (7) des Kraftfahrzeugs (2) mittels zumindest einer Kamera (6) eines Kamerasystems (5) des Kraftfahrzeugs (2),Übertragen der erfassten Bilddaten an eine fahrzeugexterne Servervorrichtung (3) durch das Kamerasystem (5),Verarbeiten der Bilddaten zu dem zumindest einen, den Umgebungsbereich (7) beschreibenden Ausgangsbild und Speichern des zumindest einen Ausgangsbildes durch die Servervorrichtung (3),Zurverfügungstellung des zumindest einen Ausgangsbildes mittels der Servervorrichtung (3) zum Abrufen des zumindest einen Ausgangsbildes für eine Vielzahl von servervorrichtungsexternen Anzeigeeinrichtungen (4).Die Erfindung betrifft außerdem ein vernetztes System (1).

Description

Die Erfindung betrifft ein Verfahren zur Zurverfügungstellung eines einen Umgebungsbereich eines Kraftfahrzeugs beschreibenden Ausgangsbildes, wobei Bilddaten aus dem Umgebungsbereich des Kraftfahrzeugs mittels zumindest einer Kamera eines Kamerasystems des Kraftfahrzeugs erfasst werden. Die Erfindung betrifft außerdem ein vernetztes System.
Es ist bereits aus dem Stand der Technik bekannt, einen Umgebungsbereich eines Kraftfahrzeugs zu überwachen, indem dieser Umgebungsbereich beispielsweise mittels eines fahrzeugseitigen Kamerasystems in Bildern erfasst wird. Diese Bilder können einem Fahrerassistenzsystem des Kraftfahrzeugs bereitgestellt werden, sodass mittels der Bilder des Kamerasystems Assistenzfunktionen zum Unterstützen eines Fahrers des Kraftfahrzeugs beim Führen des Kraftfahrzeugs bereitgestellt werden können. Beispielsweise können die Bilder dem Fahrer auf einer fahrzeugseitigen Anzeigeeinrichtung angezeigt werden, sodass der Fahrer den Umgebungsbereich, insbesondere schwer einsehbare Bereiche des Umgebungsbereiches, mit einem Blick auf die Anzeigeeinrichtung schnell und einfach erfassen kann. Auch können mittels einer Bildverarbeitungseinrichtung des Kraftfahrzeugs die Bilder verarbeitet werden, und anhand der Bilder Objekte in den Umgebungsbereich erkannt werden sowie relative Lagen der Objekte bezüglich des Kraftfahrzeugs bestimmt werden. So kann der Fahrer beispielsweise gewarnt werden, falls eine Kollision des Kraftfahrzeugs mit einem Objekt in dem Umgebungsbereich droht.
Es ist Aufgabe der vorliegenden Erfindung, einen Anwendungsbereich eines Kamerasystems eines Kraftfahrzeugs gegenüber dem Stand der Technik zu erweitern.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren sowie ein vernetztes System gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung sowie der Figuren.
Gemäß einer Ausführungsform eines erfindungsgemäßen Verfahrens wird zumindest ein, einen Umgebungsbereich eines Kraftfahrzeugs beschreibendes Ausgangsbild zum Abrufen zur Verfügung gestellt. Dabei können Bilddaten aus dem Umgebungsbereich des Kraftfahrzeugs mittels zumindest einer Kamera eines Kamerasystems des Kraftfahrzeugs erfasst werden und die erfassten Bilddaten durch das Kamerasystem an eine fahrzeugexterne Servervorrichtung übertragen werden. Insbesondere werden die Bilddaten durch die Servervorrichtung zu dem zumindest einen, den Umgebungsbereich beschreibenden Ausgangsbild verarbeitet und das zumindest eine Ausgangsbild wird durch die Servervorrichtung gespeichert. Das zumindest eine Ausgangsbild kann mittels der Servervorrichtung zum Abrufen für eine Vielzahl von servervorrichtungsexternen Anzeigeeinrichtungen zur Verfügung gestellt werden.
Gemäß einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens wird zumindest ein, einen Umgebungsbereich eines Kraftfahrzeugs beschreibendes Ausgangsbild zum Abrufen zur Verfügung gestellt. Dabei werden Bilddaten aus dem Umgebungsbereich des Kraftfahrzeugs mittels zumindest einer Kamera eines Kamerasystems des Kraftfahrzeugs erfasst und die erfassten Bilddaten durch das Kamerasystem an eine fahrzeugexterne Servervorrichtung übertragen. Darüber hinaus werden durch die Servervorrichtung die Bilddaten zu dem zumindest einen, den Umgebungsbereich beschreibenden Ausgangsbild verarbeitet. Das zumindest eine Ausgangsbild wird gespeichert und mittels der Servervorrichtung zum Abrufen des zumindest einen Ausgangsbildes für eine Vielzahl von servervorrichtungsexternen Anzeigeeinrichtungen zur Verfügung gestellt.
Durch das Verfahren kann somit ein vernetztes System realisiert werden, welches das an einem Kraftfahrzeug anordenbare Kamerasystem, die fahrzeugexterne Servervorrichtung sowie die servervorrichtungsexternen Anzeigeeinrichtungen umfassen kann. Mittels des vernetzten Systems ist es möglich, dass die Bilddaten, welche den Umgebungsbereich des Kraftfahrzeugs beschreiben, nicht nur einem Fahrerassistenzsystem des Kraftfahrzeugs bereitgestellt werden, sondern beispielsweise auch einem Nutzer bzw. Verwender des vernetzten Systems. Diesem Nutzer können die aus den Bilddaten generierten Ausgangsbilder unabhängig vom Kraftfahrzeug sowie unabhängig von einem Erfassungszeitpunkt der Bilddaten, beispielsweise für einen späteren Abruf, zur Verfügung gestellt werden. Die Ausgangsbilder können durch den Verwender beispielsweise zur Unterhaltung bzw. zum Entertainment und/oder zur Unterstützung für Hilfskräfte bei einem Unfall des Kraftfahrzeugs genutzt werden.
Dazu werden die Bilddaten von der zumindest einen Kamera des Kamerasystems des Kraftfahrzeugs erfasst. Das Kamerasystem kann beispielsweise ein Rundumsichtkamerasystem sein, welches insbesondere zumindest vier, am Kraftfahrzeug montierbare Außenkameras umfasst und den Umgebungsbereich außerhalb des Kraftfahrzeugs erfassen kann. Diese von dem Kamerasystem erfassten Bilddaten werden an die fahrzeugexterne, insbesondere internetbasierte, Servervorrichtung übertragen. Dazu kann das Kamerasystem über eine Internetverbindung mit der Servervorrichtung vernetzt sein und die Bilddaten über die Internetverbindung auf die Servervorrichtung hochladen. Anders ausgedrückt kann das Kamerasystem einen „Upload“ durchführen. Beispielsweise kann die zumindest eine Kamera unmittelbar mit der Servervorrichtung in Verbindung stehen und die Bilddaten, insbesondere Rohbilddaten, über die Internetverbindung an die Servervorrichtung übermitteln. Auch kann vorgesehen sein, dass die zumindest eine Kamera mittelbar mit der Servervorrichtung in Verbindung steht. Hier können die Bilddaten zunächst an eine kameraexterne Bildverarbeitungseinrichtung des Kamerasystems, welche beispielsweise in ein fahrzeugseitiges Steuergerät integriert werden kann, übertragen. Diese Bilddaten können von der Bildverarbeitungseinrichtung internetbasiert an die Servervorrichtung übertragen werden.
Die Servervorrichtung ist insbesondere als eine sogenannte Rechnerwolke bzw. „Cloud“ ausgebildet. Mittels dieser Cloud können Infrastrukturen einer Recheneinrichtung, beispielsweise Datenspeicher, Rechenkapazitäten oder Softwareprodukte bzw. Programme, über das Internet zum Fernabruf zur Verfügung gestellt werden, ohne dass diese beispielsweise auf einer lokalen, fahrzeugseitigen Recheneinrichtung installiert bzw. bereitgestellt sein müssen. Die Bilddaten können nach dem Übermitteln von der servervorrichtungsseitigen Recheneinrichtung zu dem zumindest einen Ausgangsbild verarbeitet werden. Das zumindest eine Ausgangsbild, sowie auch die Rohbilddaten selbst, können von der Servervorrichtung abgespeichert werden, indem beispielsweise diese in einem servervorrichtungsseitigen Datenspeicher hinterlegt werden.
Das zumindest eine, in der Servervorrichtung hinterlegte Ausgangsbild kann für eine Vielzahl von Anzeigeeinrichtungen zum Abrufen und Anzeigen des zumindest einen Ausgangsbildes bereitgestellt werden. Dazu können die Anzeigeeinrichtungen, insbesondere einzeln bzw. unabhängig voneinander, auf die Servervorrichtung via Internet zugreifen. Dadurch kann das zumindest eine Ausgangsbild dann von den Anzeigeeinrichtungen abgerufen werden und somit vielfach geteilt werden, indem das zumindest eine Ausgangsbild von zumindest einer der servervorrichtungsexternen Anzeigeeinrichtungen heruntergeladen wird. Nach dem Herunterladen bzw. „Download“ durch zumindest eine der Anzeigeeinrichtungen wird das zumindest eine Ausgangsbild mittels der Servervorrichtung für weitere Abrufvorgänge, beispielsweise durch weitere Anzeigeeinrichtungen, zur Verfügung gestellt.
Das zumindest eine Ausgangsbild wird insbesondere für ein mobiles Endgerät und/oder einen Bildschirm eines Entertainmentsystems und/oder ein VR-Headset zum internetbasierten Abrufen zur Verfügung gestellt. Ein mobiles Endgerät kann beispielsweise ein Smartphone, ein Tablet und/oder eine Smartwatch sein. Ein Bildschirm eines Entertainmentsystems kann beispielsweise ein PC- oder TV-Bildschirm einer Heimkinoanlage in einem Wohnbereich des Nutzers, ein digitaler Fotorahmen und/oder ein Bildschirm in einem Fahrzeugsitz sein. Das VR-Headset (VR-Virtuelle Realität) wird durch den Nutzer am Kopf getragen und kann beispielsweise eine VR-Brille sein. Dabei ist die Servervorrichtung insbesondere dazu ausgelegt, eine Auflösung des zumindest einen, erzeugten Ausgangsbildes an eine Auflösung des das Ausgangsbild abrufenden Anzeigegerätes anzupassen.
Zusammenfassend werden also die Bilddaten, welche von der zumindest einen Kamera aus dem Umgebungsbereich des Kraftfahrzeugs erfasst werden, an die internetbasierten Servervorrichtung übermittelt, insbesondere gestreamt, dort gespeichert und nach Verarbeiten zu dem zumindest einen Ausgangsbild für einen Nutzer der Servervorrichtung zum Abrufen zur Verfügung gestellt. Somit können in vorteilhafter Weise die ohnehin von dem Kamerasystem erfassten Bilddaten auf vielfältige Weise verwendet werden, indem sie einem Nutzer zum Abrufen bereitgestellt werden.
Insbesondere werden die Bilddaten durch die Servervorrichtung zu einer Videosequenz des Umgebungsbereiches des Kraftfahrzeugs verarbeitet. Dabei kann vorgesehen sein, dass durch die Servervorrichtung als die Videosequenz aus den Bilddaten der zumindest einen Kamera ein Realfilm und/oder ein den Umgebungsbereich beschreibender Animationsfilm erstellt wird. Der Umgebungsbereich des Kraftfahrzeugs wird insbesondere kontinuierlich von der zumindest einen Kamera des Kamerasystems erfasst und die über einen bestimmten Zeitraum, nacheinander erfassten Bilddaten werden an die Servervorrichtung übermittelt. Diese Bilddaten können von der Servervorrichtung beispielsweise zu dem Realfilm des Umgebungsbereiches verarbeitet werden. Dies bedeutet, dass die von der zumindest einen Kamera erfassten, fotografischen Aufnahmen des Umgebungsbereiches zu einem realen Abbild des Umgebungsbereiches in Form des Realfilms verarbeitet werden. Auch kann vorgesehen sein, dass durch die Servervorrichtung anhand der Bilddaten, beispielsweise mittels Objekterkennungsalgorithmen, Objekte in dem Umgebungsbereich erkannt werden und basierend auf den Bilddaten ein objektbasiertes, animiertes Abbild des Umgebungsbereiches in Form des Animationsfilms erzeugt wird. Dazu können die realen Objekte beispielsweise durch Modelle der Objekte ersetzt werden. Auch können der Realfilm und der Animationsfilm kombiniert werden. Dies wird auch als „Erweiterte Realität“ bzw. „Augmented Reality“ (AR) bezeichnet.
Es erweist sich als vorteilhaft, wenn nutzerinitiiert und/oder automatisch eine Perspektive vorgegeben wird, aus welcher der Umgebungsbereich in dem zumindest einen Ausgangsbild dargestellt wird, und die Bilddaten durch die Servervorrichtung zu dem zumindest einen, den Umgebungsbereich aus der vorgegebenen Perspektive darstellenden Ausgangsbild verarbeitet werden. Beispielsweise kann durch den Nutzer und/oder automatisch als die Perspektive eine Dritte-Person-Perspektive vorgegeben werden, welche den Umgebungsbereich sowie insbesondere auch das Kraftfahrzeug selbst aus der Perspektive eines fahrzeugexternen Beobachters zeigt. Auch kann als die Perspektive eine sogenannte Ego-Perspektive bzw. Erste-Person-Perspektive vorgegeben werden, welche den Umgebungsbereich aus Sicht eines Fahrzeuginsassen innerhalb des Kraftfahrzeugs zeigt. Dazu können zusätzlich Bilddaten einer fahrzeugseitigen Innenraumkamera verwendet werden, welche den Innenraum des Kraftfahrzeugs mit den sich darin befindlichen Fahrzeuginsassen beschreiben, und mit den Bilddaten der als Außenkamera ausgebildeten Kamera des fahrzeugseitigen Kamerasystems fusioniert werden, sodass das zumindest eine, von der Anzeigeeinrichtung abgerufene und auf der Anzeigeeinrichtung dargestellte Ausgangsbild die Perspektive des Fahrzeuginsassen zeigt. Dadurch kann ein Ausgangsbild derart erzeugt werden, dass es den Anschein erweckt, als würde es den Umgebungsbereich aus Sicht eines Fahrzeuginsassen in einem gläsernen, durchsichtigen Kraftfahrzeug zeigen.
Auch kann als das zumindest eine Ausgangsbild ein 360°-Rundumsichtbild des Umgebungsbereiches erstellt werden. Dies ist beim Darstellen des Umgebungsbereiches auf einem VR-Headset besonders vorteilhaft, da der Nutzer des Headsets eine Perspektive durch Bewegungen, insbesondere Kopfbewegungen, steuern kann und somit den Eindruck erhält, als würde er sich tatsächlich in dem Umgebungsbereich befinden. Falls das zumindest eine Ausgangsbild einem Hilfsdienst zum Abrufen und/oder einer den Unfallhergang rekonstruierenden Person bereitgestellt wird, kann eine Perspektive für das zumindest eine Ausgangsbild erzeugt werden, aus welcher ein Unfallhergang besonders gut und deutlich sichtbar ist. Hier kann das Ausgangsbild beispielsweise als der Animationsfilm ausgebildet sein. Daraus ergibt sich der Vorteil, dass der Hilfsdienst bzw. Rettungsdienst Hilfsaktionen besonders effizient und zielgerichtet koordinieren und bereitstellen kann. Auch kann eine den Unfallhergang rekonstruierende Person zuverlässig einen Verursacher des Unfalls anhand des zumindest einen Ausgangsbildes identifizieren.
In einer Weiterbildung der Erfindung wird das Erfassen und/oder Übermitteln und/oder Abrufen der Bilddaten durchgeführt, falls ein vorbestimmtes Auslöseereignis detektiert wird. Mit anderen Worten bedeutet dies, dass das Erfassen und/oder Übermitteln und/oder Abrufen der Bilddaten ereignisgesteuert durchgeführt wird. Insbesondere wird das Übermitteln der Bilddaten an die Servervorrichtung ereignisgesteuert durchgeführt. Damit kann in vorteilhafter Weise verhindert werden, dass unnötig große Datenmengen erzeugt und/oder auf der fahrzeugexternen Servervorrichtung abgelegt werden.
Insbesondere wird als das Auslöseereignis zumindest eines der folgenden Ereignisse erfasst: ein durch eine fahrzeugseitige Sensoreinrichtung detektiertes, vorbestimmtes Verhalten zumindest eines Fahrzeuginsassen des Kraftfahrzeugs; eine vorbestimmte Umgebungsbedingung in dem Umgebungsbereich des Kraftfahrzeugs; eine Anforderung der Bilddaten durch eine kameraexterne Einrichtung; eine Unfallsituation des Kraftfahrzeugs; ein durch einen Nutzer der Servervorrichtung initiierten Bezahlvorgang. Durch das ereignisgesteuerte Betreiben des vernetzen Systems kann ein besonders intelligentes vernetztes System realisiert werden.
Als das Verhalten des Fahrzeuginsassen kann eine bewusst durchgeführte Nutzereingabe, beispielsweise eine Betätigung eines Bedienelementes, eine Bediengeste und/oder eine Spracheingabe, erfasst werden. Beispielsweise kann der Fahrer die Servervorrichtung durch die Sprachangabe anweisen, aus welcher Perspektive und/oder auf welcher Anzeigeeinrichtung das zumindest eine Ausgangsbild dargestellt werden soll.
Auch kann eine unbewusst durchgeführte Nutzereingabe erfasst werden, beispielsweise ein emotionaler Zustand eines Fahrzeuginsassen und/oder eine Blickrichtung des Fahrzeuginsassen. Zum Erfassen des emotionalen Zustandes kann beispielsweise ein Gesichtsdruck des Fahrzeuginsassen mittels einer Innenraumkamera des Kraftfahrzeugs erfasst werden. Auch kann die unbewusst durchgeführte Nutzereingabe mittels biometrischer Sensoren erfasst werden. Anhand des emotionalen Zustands und/oder der Blickrichtung kann dann bewertet werden, ob der Umgebungsbereich für den Fahrzeuginsassen interessant bzw. relevant ist. Falls ja, kann dem Fahrzeuginsassen als dem späteren Betrachter der Anzeigeeinrichtung dieser Umgebungsbereich erneut in Form des zumindest einen Ausgangsbildes bereitgestellt werden. Darüber hinaus können auch die Umgebungsbedingungen in dem Umgebungsbereich, beispielsweise aktuelle Koordinaten des Aufenthaltsortes des Kraftfahrzeugs und/oder eine Tageszeit, zu welcher sich das Kraftfahrzeug an dem Aufenthaltsort befindet, bestimmt werden. Somit kann identifiziert werden, ob der Umgebungsbereich an dem Aufenthaltsort des Kraftfahrzeugs besonders interessant bzw. populär ist und/oder ob der Aufenthaltsort zur aktuellen Tageszeit besonders eindrucksvoll ist. Beispielsweise können somit mittels der zumindest einen Kamera bestimmte Ereignisse in dem Umgebungsbereich, beispielsweise berühmte Bauwerke und/oder ein Sonnenuntergang, erfasst werden und diese dem Fahrzeuginsassen als die abrufbare Videosequenz zur Verfügung gestellt werden.
Darüber hinaus können die Bilddaten als das Auslöseereignis durch die zumindest eine kameraexterne Einrichtung angefordert werden. Eine solche kameraexterne Einrichtung kann der Hilfsdienst bei einem Unfall des Kraftfahrzeugs, die Servervorrichtung selbst und/oder ein anderes Fahrzeug in dem Umgebungsbereich sein. Ferner kann als das Auslöseereignis ein Unfall des Kraftfahrzeugs, beispielsweise eine Kollision des Kraftfahrzeugs mit einem Hindernis, erfasst werden. Daraufhin können die Bilddaten vor, während und nach dem Unfall an die Servervorrichtung übermittelt werden, sodass diese von dem Hilfsdienst und/oder zur Analyse des Unfalls abgerufen können. Auch kann der durch den Nutzer initiierte Bezahlvorgang erfasst werden. Dies ist besonders vorteilhaft, wenn das Kraftfahrzeug beispielsweise Teil einer Fahrzeugflotte eines Mietwagenverleihers ist. Dann kann die Erfassung und/oder Übermittlung und/oder das Abrufen der Bilddaten ein kostenpflichtiger Zusatzdienst sein, welcher von einem Betreiber des Mietwagenverleihers angeboten wird und dem Nutzer des Kraftfahrzeugs auf Wunsch bereitgestellt wird. So kann der Nutzer, welcher sich beispielsweise in einer fremden Stadt aufhält, das Fahrerlebnis durch diese Stadt zu einem späteren Zeitpunkt erneut erleben, indem er die während der Fahrt erzeugten Videosequenzen bzw. Videoaufnahmen anfordert und sich auf einer Anzeigeeinrichtung, beispielsweise auf seinem Tablet, anzeigen lässt. Durch die Erfassung des Auslöseereignisses kann somit in vorteilhafter Weise gewährleistet werden, dass für den Nutzer besonders relevante und/oder interessante Ausgangsbilder erzeugt und zur Verfügung gestellt werden können.
In einer Weiterbildung der Erfindung werden zusätzlich zu den Bilddaten Informationen über die Bilddaten, insbesondere ein Erfassungszeitpunkt und ein Erfassungsort, an die Servervorrichtung übermittelt und zusätzlich zu den Bilddaten von der Servervorrichtung abgespeichert. Diese Informationen sind sogenannte Metadaten, basierend auf welchen die Bilddaten insbesondere einem Erfassungsort sowie einem Erfassungszeitpunkt zugeordnet werden können. Durch diese Metadaten kann der Nutzer zu einem späteren Zeitpunkt gezielt Bilddaten abrufen, indem er beispielsweise die Bilddaten, welche an einem bestimmten Erfassungsort und/oder zu einem bestimmten Erfassungszeitpunkt erfasst wurden, bzw. das aus diesen Bilddaten erzeugte Ausgangsbild anfordert. Somit ist das Verfahren besonders benutzerfreundlich gestaltet.
In einer bevorzugten Ausführungsform der Erfindung werden zusätzlich zu den Bilddaten Sensordaten von zumindest einer, zu der fahrzeugseitigen Kamera unterschiedlichen Sensoreinrichtung an die Servervorrichtung übermittelt und das zumindest eine Ausgangsbild wird basierend auf den Bilddaten und den Sensordaten erzeugt. Dies bedeutet, dass die Bilddaten der fahrzeugseitigen Kamera und die Sensordaten der zu der Kamera unterschiedlichen Sensoreinrichtung fusioniert werden. Durch das aus den fusionierten Daten erzeugte Ausgangsbild kann für einen Betrachter des zumindest einen Ausgangsbildes ein besonderes realitätsnahes Erleben des Umgebungsbereiches bereitgestellt werden.
Es kann vorgesehen sein, dass durch zumindest eine fahrzeugexterne Kamera erfasste Bilddaten aus dem Umgebungsbereich als die Sensordaten an die Servervorrichtung übermittelt werden. Eine solche fahrzeugexterne Kamera kann beispielsweise eine Kamera eines anderen Fahrzeugs sein, welches sich in der Nähe des Aufenthaltsortes des Kraftfahrzeugs befindet. Auch kann die zumindest eine fahrzeugexterne Kamera eine Kamera an einem Gebäude, beispielsweise eine Überwachungskamera, sein. Die fahrzeugexternen Kameras können den Umgebungsbereich des Kraftfahrzeugs beispielsweise aus einer anderen Perspektive als die Kamera des Kraftfahrzeugs erfassen. Diese Bilddaten, welche von der zumindest einen fahrzeugexternen Kamera erfasst wurden, können beispielsweise von der Servervorrichtung automatisch angefordert werden, sodass der Servervorrichtung auch diese Bilddaten beim Bestimmen des zumindest einen Ausgangsbildes zur Verfügung stehen. Dazu können von der Servervorrichtung, beispielsweise anhand der Metadaten der Bilddaten der fahrzeugseitigen Kamera, der Erfassungsort sowie der Erfassungszeitraum der Bilddaten identifiziert werden. Anhand dieser zusätzlichen Informationen kann durch die Servervorrichtung nach weiteren zur Verfügung stehenden Bilddaten aus diesem Umgebungsbereich gesucht werden. Somit kann gewährleistet werden, dass durch die Servervorrichtung ein qualitativ besonders hochwertiges Ausgangsbild erzeugt wird, welches beispielsweise den Umgebungsbereich auch aus bisher für den Nutzer unbekannten Perspektiven darstellen kann.
Alternativ oder zusätzlich können als die Sensordaten Daten zumindest einer fahrzeugseitigen, zu der zumindest einen Kamera unterschiedlichen Sensoreinrichtung, insbesondere eines Beschleunigungssensors und/oder Drehratensensors und/oder einer Innenraumkamera des Kraftfahrzeugs, an die Servervorrichtung übermittelt werden. Anhand von Sensordaten des Beschleunigungssensors und/oder des Drehratensensors kann insbesondere eine Bewegung des Kraftfahrzeugs während der Erfassung der Bilddaten bestimmt werden. Diese Sensordaten können zum Korrigieren des zumindest einen Ausgangsbildes verwendet werden, beispielsweise falls die zugehörigen Bilddaten während einer Fahrt des Kraftfahrzeugs auf einem mit Bodenwellen behafteten Untergrund detektiert wurden. Alternativ dazu kann mittels der Sensordaten die Bewegung des Kraftfahrzeugs in dem Ausgangsbild nachempfunden werden, beispielsweise wenn das zumindest eine Ausgangsbild als Videosequenz mittels einer VR-Brille angezeigt wird. Somit erhält der Nutzer der VR-Brille den Eindruck, als würde er sich während der Erfassung der Bilddaten in dem fahrenden Kraftfahrzeug befinden. Auch können als die Daten Bilddaten der fahrzeugseitigen Innenraumkamera übermittelt werden. In dem Ausgangsbild können der Innenraum des Kraftfahrzeugs sowie der Umgebungsbereich aus einer Perspektive eines Fahrzeuginsassen derart dargestellt werden, als wäre eine Karosserie des Kraftfahrzeugs nicht vorhanden, also als wäre das Kraftfahrzeug gläsern bzw. durchsichtig.
Dabei kann vorgesehen sein, dass die Bilddaten der zumindest einen fahrzeugseitigen Kamera und die Sensordaten der zumindest einen, zu der fahrzeugseitigen Kamera unterschiedlichen Sensoreinrichtung zeitlich synchronisiert werden, indem denjenigen, zu einem bestimmten Zeitpunkt erfassten Bilddaten die zu demselben Zeitpunkt erfassten Sensordaten zugeordnet werden. Mit anderen Worten bedeutet dies, dass die Bilddaten sowie die Sensordaten anhand ihrer jeweiligen Erfassungszeitpunkte bzw. Zeitstempel einander zugeordnet werden können. Beispielsweise können die Bilddaten bzw. „Streams“ mehrere Kamerasysteme zeitlich synchronisiert werden. Somit kann beispielsweise gewährleistet werden, dass beim Bestimmen des zumindest einen Ausgangsbildes Bilddaten derselben Tageszeit miteinander fusioniert werden und somit ein besonders realitätsnahes Ausgangsbild erzeugt wird. Diese zeitliche Synchronisation der Bilddaten und der Sensordaten kann beispielsweise durch die fahrzeugexterne Servervorrichtung durchgeführt werden.
Es erweist sich als vorteilhaft, wenn die zumindest eine fahrzeugseitige Kamera zum Bereitstellen einer vorbestimmten Blickrichtung der zumindest einen Kamera in den Umgebungsbereich angesteuert und automatisch verschwenkt wird. Gemäß dieser Ausführungsform kann eine Orientierung der zumindest einen Kamera verändert werden, um ein Sichtfeld der Kamera zu verändern bzw. zu verschwenken. Die Blickrichtung der Kamera kann beispielsweise in Abhängigkeit von einer Blickrichtung des Fahrzeuginsassen bestimmt werden, sodass die Kamera insbesondere Bilddaten aus einem von dem Fahrzeuginsassen aktuell betrachteten Teilbereich des Umgebungsbereiches erfassen kann. Alternativ oder zusätzlich kann die Orientierung der Kamera dann angepasst werden, wenn sich in dem Umgebungsbereich beispielsweise besondere Teilbereiche befinden. Solche Teilbereiche können berühmte Bauwerke und/oder Sehenswürdigkeiten umfassen. Damit der Nutzer diese Teilbereiche auch im Nachhinein noch betrachten kann, kann das Sichtfeld der zumindest einen Kamera automatisch derart verändert werden, dass dieses Sichtfeld den relevanten Teilbereich abdeckt.
In einer besonders vorteilhaften Ausführungsform der Erfindung wird zum Verbessern einer Qualität des zumindest einen Ausgangsbildes eine fahrzeugseitige Lichtanlage angesteuert, durch welche der Umgebungsbereich des Kraftfahrzeugs während der Erfassung der Bilddaten belichtet wird. Wenn beispielsweise durch einen fahrzeugseitigen Lichtsensor und/oder anhand einer aktuellen Tageszeit erfasst wurde, dass die aktuellen Lichtverhältnisse in dem Umgebungsbereich zu einer geringen Qualität des Ausgangsbildes beim Verarbeiten der Bilddaten führen, so kann automatisch die Lichtanlage des Kraftfahrzeugs, beispielsweise ein Scheinwerfer, angesteuert werden. Diese Lichtanlage kann dann den entsprechenden Bereich in dem Umgebungsbereich, welcher von der fahrzeugseitigen Kamera erfasst werden soll, beleuchten.
Auch kann vorgesehen sein, dass die Bilddaten von einer Bildverarbeitungseinrichtung des fahrzeugseitigen Kamerasystems vorverarbeitet werden und die vorverarbeiteten Bilddaten an die Servervorrichtung übertragen werden. Gemäß dieser Ausführungsform werden die Bilddaten von der Kamera zunächst an die Bildverarbeitungseinrichtung des Kamerasystems übermittelt. Die Bildverarbeitungseinrichtung kann beispielsweise in ein fahrzeugseitiges Steuergerät integriert werden. Die Bilddaten können von der Bildverarbeitungseinrichtung abgespeichert, vorverarbeitet und, insbesondere gemeinsam mit den Metadaten, an die Servervorrichtung übermittelt werden.
Die Erfindung betrifft außerdem ein vernetztes System zur Zurverfügungstellung zumindest eines, einen Umgebungsbereich eines Kraftfahrzeugs beschreibenden, abrufbaren Ausgangsbildes. Gemäß einer Ausführungsform des vernetzten Systems weist dieses ein Kamerasystem zum Anbringen an dem Kraftfahrzeug mit zumindest einer Kamera zum Erfassen von Bilddaten aus dem Umgebungsbereich des Kraftfahrzeugs auf. Insbesondere weist das vernetzte System eine mit der zumindest einen fahrzeugseitigen Kamera in Verbindung stehende fahrzeugexterne Servervorrichtung aus, wobei das Kamerasystem dazu ausgelegt ist, die erfassten Bilddaten an die Servervorrichtung zu übertragen. Die Servervorrichtung ist insbesondere dazu ausgelegt, die Bilddaten zu zumindest einem den Umgebungsbereich beschreibenden Ausgangsbild zu verarbeiten, das zumindest eine Ausgangsbild abzuspeichern und das zumindest eine Ausgangsbild für Abrufen durch eine Vielzahl von servervorrichtungsexternen Anzeigeeinrichtungen zur Verfügung zu stellen.
Bevorzugt weist das vernetzte System ein Kamerasystem zum Anbringen an dem Kraftfahrzeug mit zumindest einer Kamera zum Erfassen von Bilddaten aus dem Umgebungsbereich des Kraftfahrzeugs und eine mit der zumindest einen fahrzeugseitigen Kamera in Verbindung stehende fahrzeugexterne Servervorrichtung auf. Die zumindest eine Kamera ist dazu ausgelegt, die erfassten Bilddaten an die Servervorrichtung zu übertragen und die Servervorrichtung ist dazu ausgelegt, die Bilddaten zu dem zumindest einen den Umgebungsbereich beschreibenden Ausgangsbild zu verarbeiten, das zumindest eine Ausgangsbild abzuspeichern und das zumindest eine Ausgangsbild für Abrufen durch eine Vielzahl von servervorrichtungsexternen Anzeigeeinrichtungen zur Verfügung zu stellen.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße vernetzte System.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Dabei zeigen:

1 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen vernetzen Systems;
2 eine schematische Darstellung weiteren Ausführungsform eines vernetzen Systems;
3 eine schematische Darstellung eines Anwendungsfall des vernetzen Systems; und
4 eine schematische Darstellung einer Implementierung des vernetzten Systems.

In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt ein vernetztes System 1 gemäß der vorliegenden Erfindung. Das vernetzte System 1 umfasst hier ein Kamerasystem 5, welches an einem Kraftfahrzeug 2 angeordnet ist, eine fahrzeugexterne Servervorrichtung 3 sowie eine Vielzahl von servervorrichtungsexternen Anzeigeeinrichtungen 4. Das Kamerasystem 5 des Kraftfahrzeugs 2 weist im vorliegenden Fall vier verteilt am Kraftfahrzeug 2 angeordnete Kameras 6 auf und bildet somit ein Rundumsichtkamerasystem aus. Mittels der Kameras 6, welche im vorliegenden Fall als Außenkameras ausgebildet sind, können Bilddaten aus einem Umgebungsbereich 7 außerhalb des Kraftfahrzeugs 2 erfasst werden. Außerdem umfasst das Kamerasystem 5 eine Bildverarbeitungseinrichtung 8, welche beispielsweise in ein fahrzeugseitiges Steuergerät 9 integriert sein kann. Die von den Kameras 6 erfassten Bilddaten können an die Bildverarbeitungseinrichtung 8 zum Verarbeiten der Bilddaten übermittelt werden und in einer fahrzeugseitigen Speichereinrichtung 10 hinterlegt werden. Die Speichereinrichtung 10 kann beispielsweise ebenfalls in das fahrzeugseitige Steuergerät 9 integriert sein. Das Steuergerät 9 kann außerdem eine Lichtanlage des Kraftfahrzeugs 2, beispielsweise Scheinwerfer 11 des Kraftfahrzeugs 2, sowie die Kameras 6 ansteuern.
Das fahrzeugseitige Kamerasystem 5 kann über eine Kommunikationsverbindung, hier eine Internetverbindung, 12 mit der fahrzeugexternen Servervorrichtung 3 kommunizieren. Die fahrzeugexterne Servervorrichtung 3 ist insbesondere eine sogenannte Rechnerwolke bzw. „Cloud“, durch welche eine informationstechnologische Infrastruktur 13 bzw. IT-Infrastruktur bereitgestellt wird. Die Infrastruktur 13 der Cloud 3 umfasst beispielsweise eine Bildverarbeitungseinrichtung 14 sowie eine Speichereinrichtung 15. Die von den Kameras 6 erfassten Bilddaten werden über die Internetverbindung 12, z.B. eine 3G-, 4G- (LTE)-, 5G- Verbindung, an die fahrzeugexterne Servervorrichtung 3 übermittelt. Die Bilddaten können in der Speichereinrichtung 15 der Servervorrichtung 3 abgespeichert werden. Die Bilddaten werden von der Bildverarbeitungseinrichtung 14 der Servervorrichtung 3 zu zumindest einem Ausgangsbild, insbesondere zu einer Videosequenz, verarbeitet, welche den Umgebungsbereich 7 des Kraftfahrzeugs 2 beschreibt. Dabei kann vorgesehen sein, dass von der Steuereinrichtung 9 die Lichtanlage des Kraftfahrzeugs 2 während der Erfassung der Bilddaten angesteuert wird. Beispielsweise können die Scheinwerfer 11 bei schlechten Lichtverhältnissen, insbesondere bei Dunkelheit, angesteuert werden, um den Umgebungsbereich 7 während der Erfassung der Bilddaten auszuleuchten. Dadurch können die Bilddaten durch die Bildverarbeitungseinrichtung 14 der Servervorrichtung 3 zu qualitativ hochwertigen Ausgangsbildern des Umgebungsbereiches 7 verarbeitet werden. Das zumindest eine Ausgangsbild wird in der Speichereinrichtung 15 abgespeichert und dort zum Abrufen zur Verfügung gestellt.
Das zumindest eine, in der Speichereinrichtung 15 hinterlegte Ausgangsbild kann dann mittels der verschiedenen Anzeigeeinrichtungen 4 abgerufen bzw. heruntergeladen werden, sodass ein Nutzer 16 das zumindest eine, den Umgebungsbereich 7 des Kraftfahrzeugs 2 beschreibende Ausgangsbild auf einer der Anzeigeeinrichtungen 4 betrachten kann. Die Anzeigeeinrichtungen 4 sind also Verwender der Ausgangsbilder, also Stream-Verbraucher, in Form von Geräten, die die Video-Streams in geeigneter, anwenderbezogener Weise anzeigen können. Die Anzeigeeinrichtungen 4 können beispielsweise ein mobiles Endgerät in Form von einem Smartphone 17, einem Tablet 18 oder einer Smartwatch 19 sein. Auch kann die Anzeigeeinrichtung 4 ein Bildschirm 20 in Form von einem „Smart-TV“ oder „Smart-PC“ oder ein VR-Headset (Virtual Reality Headset) 21 sein. Auch können die Anzeigeeinrichtungen 4 eine fahrzeugseitige Anzeigeeinrichtung, beispielsweise ein Bildschirm 22 in einem Fahrzeugsitz des Kraftfahrzeugs 2, ein Head-Up-Display oder ein fahrzeugseitiges Smart Glass-Display 23 sein. Jede der Anzeigeeinrichtungen 4 kann, beispielsweise durch den Nutzer 16 initiiert, das zumindest eine Ausgangsbild aus der Cloud 3 anfordern und darstellen, wobei das zumindest eine Ausgangsbild insbesondere auch nach dem Abrufen durch eine der Anzeigeeinrichtungen 4 in der Speichereinrichtung 15 der Servervorrichtung 3 hinterlegt bleibt.
Ein Fahrzeuginsasse, welcher auch der Nutzer 16 sein kann, kann die Ausgangsbilder zum Teilen freigeben, wobei das zumindest eine Ausgangsbild in Abhängigkeit von Benutzereinstellungen des Nutzers 16 und Fähigkeiten der Anzeigeeinrichtung 4 angezeigt werden kann. Beispielsweise kann bei einer Anzeigeeinrichtung 4 in Form von einem Virtual-Reality-Headset 21 eine 360°-Ansicht des Umgebungsbereiches 7 angezeigt werden. Bei einer Anzeigeeinrichtung 4 in Form von einem digitalen Bilderrahmen kann ein hochauflösendes digitales Bild angezeigt werden, beispielsweise nach Tätigen einer Spracheingabe durch den Fahrzeuginsassen. Eine solche Spracheingabe kann beispielsweise lauten: „Lade diesen Sonnenuntergang auf dem Bilderrahmen in meinem Wohnzimmer hoch“. Dann kann der Fahrzeuginsasse als der spätere Nutzer 16 den Umgebungsbereich 7, beispielsweise den Sonnenuntergang, erneut von zu Hause aus betrachten.
Das zumindest eine Ausgangsbild kann außerdem in Abhängigkeit von Sensordaten zumindest einer weiteren Sensoreinrichtung 24 des Kraftfahrzeugs 2 bestimmt werden. Diese Sensordaten können ebenfalls an die Servervorrichtung 3 übermittelt werden und mit den Bilddaten der Kameras 6 fusioniert werden. Die zumindest eine weitere Sensoreinrichtung 24 kann beispielsweise eine Innenraumkamera in einer Fahrgastzelle des Kraftfahrzeugs 2, Audioerfassungseinrichtungen, Emotionserfassungseinrichtungen, Bewegungserfassungseinrichtungen, etc. sein.
Auch kann das Kraftfahrzeug 2 eine Aktivierungseinrichtung 25 aufweisen, welche, beispielsweise nach Erfassung eines Auslöseereignisses, die Verarbeitung, die Anzeige, das Speichern und Übermitteln bzw. Streaming der Bilddaten steuern kann. Zusätzlich kann die Aktivierungseinrichtung 25 dazu verwendet werden, um Auslöseereignisse anderer, fahrzeugexterner Geräte 26 in der Umgebung 7 des Kraftfahrzeugs 2 sowie der fahrzeugseitigen Sensoreinrichtung 24 zum Zeitpunkt der Erfassung zusammenzutragen.
Die fahrzeugexternen Geräte 26 können beispielsweise Infrastrukturkameras und/oder Fußgängerkameras sein.
2 zeigt das Kraftfahrzeug 2 in dem Umgebungsbereich 7, wobei das vernetzte System 1 eine Vielzahl von weiteren Komponenten aufweist. Solche Komponenten können weitere Bildquellen, Verbraucher und Servervorrichtungen sein. Beispielsweise können weitere Fahrzeuge 27 Kameras aufweisen und über die Kommunikationsverbindung 12, z.B. 3G, 4G (LTE) oder 5G mit einem Hauptnetz („internet backbone“) kommunizieren, um beispielsweise die Bilddaten an das Hauptnetz zu übermitteln. Auch können Gebäude 29 Infrastrukturkameras aufweisen, welche Bilddaten aus dem Umgebungsbereich 7 erfassen. Diese Gebäude 29 können drahtlos und/oder drahtgebunden mit dem Hauptnetz, beispielsweise zum Übertragen der Bilddaten, kommunizieren. Auch kann ein Wohngebäude 30 des Nutzers 16 mit dem Hauptnetz kommunizieren. Die Bilddaten können dann der Servervorrichtung 3 sowie einer weiteren Servervorrichtung 28 zum Verarbeiten bereitgestellt werden. Die erzeugten Ausgangsbilder können über das Hauptnetz von der Servervorrichtung 3 abgerufen werden. Die zum sogenannten „Cloud-Computing“ ausgebildete Servervorrichtung 3 muss nicht zwangsläufig ein Server einer entfernten, sogenannten Serverfarm sein, sondern kann auch eine fahrzeugexterne Verarbeitungseinrichtung, beispielsweise an dem Wohnort 30, einem Arbeitsplatz, einem Parkplatz, einem Naturpark, etc. sein.
In 3 ist das Kraftfahrzeug 2 gezeigt, wie es sich auf einer Fahrbahn 31 fortbewegt und dabei einen Teilumgebungsbereich 32 von besonderem Interesse („Point of Interest“-Pol) passiert. Der Teilumgebungsbereich 32 kann beispielsweise ein besonders ansehnlicher Naturpark oder ein berühmtes Bauwerk sein. Das Vorhandensein dieses Teilumgebungsbereiches 32 kann beispielsweise ein Auslöseereignis darstellen und anhand von Koordinaten eines aktuellen Aufenthaltsortes des Kraftfahrzeugs 2 detektiert werden. Nach Erkennung des Auslöseereignisses kann, beispielsweise von der Steuereinrichtung 9 des Kraftfahrzeugs 2, zumindest eine der Kameras 6 derart angesteuert werden, dass ein Sichtbereich 33 der Kamera 6 den Teilumgebungsbereich 32 abdeckt. Zusätzlich können die Bilddaten weiterer Kameras, deren Sichtfelder 34, 35, 36 ebenfalls den Teilumgebungsbereich 32 abdecken, abgerufen und an die Servervorrichtung 3 übermittelt werden. Das Sichtfeld 34 ist beispielsweise das Sichtfeld einer Kamera des anderen Fahrzeugs 27, das Sichtfeld 35 ist beispielsweise das Sichtfeld einer Kamera des Gebäudes 29 und das Sichtfeld 36 ist beispielsweise das Sichtfeld einer Kamera eines unbemannten Flugobjektes 37 bzw. einer Drohne. Diese Bilddaten können über das Hauptnetz der Servervorrichtung 3 bereitgestellt werden, sodass diese die Bilddaten beispielsweise fusionieren und zu dem zumindest einen Ausgangsbild verarbeiten kann. Das zumindest eine Ausgangsbild kann von den Anzeigeeinrichtungen 4 abgerufen und dargestellt werden.
4 zeigt beispielhafte Komponenten 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, welche zum Implementieren des vernetzten Systems 1 ausgebildet sind. Manche dieser Komponenten 38 bis 48 können auch im Kraftfahrzeug 2 vorgesehen sein, um eine Latenz in dem vernetzten System 1 zu minimieren. Eine erste Komponente 38 ist als eine Speichereinrichtung bzw. ein Speicherknoten zum Speichern, zur Verarbeitung und zur Verteilung von Datenströmen für den späteren Abruf ausgebildet. Eine zweite Komponente 39 ist als eine Datenbank zur Speicherung von Informationen über die Bilddaten bzw. den Video-Stream ausgebildet. Solche Informationen können beispielsweise ein Standort, ein Zeitstempel, Informationen über die Kamera 6, etc. sein. Die Informationen ermöglichen eine korrekte bzw. passende Kombination der Daten aus mehreren Sensoreinrichtungen bzw. Sensorknoten und erlauben ein Auffinden bestimmter Ereignisse in dem Umgebungsbereich 7.
Eine dritte Komponente 40 kann als eine Verarbeitungseinrichtung ausgebildet sein, um eine Analyse 41 der Bilddaten außerhalb des Kraftfahrzeugs 2 bzw. fahrzeugextern durchzuführen. Die dritte Komponente 40 ist insbesondere Teil der Servervorrichtung 3. Insbesondere wird auch ein grafisches Rendern 42 ermöglicht, um individuell anpassbare Perspektiven für das Ausgangsbild bereitzustellen und das Ausgangsbild für verschiedene Anzeigeeinrichtungen 4 zu optimieren. Eine vierte Komponente 43 kann als ein Scheduler bzw. Zeitsteuerungsprogramm ausgebildet sein, welcher die Verwaltung der Datenerfassung mehrerer Sensoreinrichtungen bzw. Quellen sowie die Planung des Informationsflusses zwischen den Komponenten, beispielsweise zwischen der Speichereinrichtung 38, der Verarbeitungseinrichtung 40, etc., ermöglicht. Eine fünfte Komponente 44 in Form von einer Authentifizierung ermöglicht eine Vorgehensweise zum Begrenzen eines Zugangs zu erfassten Inhalten für den Nutzer 16 sowie eine Vorgehensweise für die Kommerzialisierung des Zugriffs auf die Daten, um die Dienste, beispielsweise das Herunterladen des zumindest einen Ausgangsbildes, kostenpflichtig anzubieten.
Eine sechste Komponente 45 ist als ein Zahlungsverwaltungssystem ausgebildet, welches eine Schnittstelle zur Verfügung stellt, die es dem Nutzer 16 ermöglicht, für die Aktivierung bestimmter Funktionen bzw. „Features“ zu bezahlen. Ein solches Zahlungsverwaltungssystem 45 kann beispielsweise vorgesehen sein, wenn das Kraftfahrzeug 2 einer Fahrzeugflotte eines Mietwagenverleihers angehört. So kann dem Nutzer 16, welcher sich mit dem Kraftfahrzeug 2 auf Reisen in einer fremden Stadt bewegt, die Aufnahme einer Videosequenz dieser Reise durch die fremde Stadt, beispielsweise eines fünfminütigen Videoclips, ermöglicht werden. Dieser Dienst, also die Aufnahme und das Bereitstellen des Videoclips, kann beispielsweise über eine Kreditkarte von dem Nutzer 16 gezahlt werden.
Eine siebte Komponente 46 in Form von einer Transcodierung ermöglicht die Umwandlung des zumindest einen Ausgangsbildes in ein passendes Format, beispielsweise JPEG, H.264, H.265, und in verschiedene Bitraten für die Vielzahl von verschiedenen Verbrauchern bzw. Anzeigeeinrichtungen 4. Eine achte Komponente 47 ist als ein Stream-Verteilungsmodul für das Streaming der Videodaten ausgebildet, welches, je nach Bedarf, die Übertragung von Videos an mehrere Anzeigeeinrichtungen 4, beispielsweise mobile Endgeräte, VR-Brillen, etc., ermöglicht. Eine neunte Komponente 48 ist hier als ein Nachrichtenservice ausgebildet, welcher das Versenden von Datennachrichten zwischen den Modulen und zwischen Geräten innerhalb des vernetzten Systems 1 ermöglicht. Beispielsweise kann der Scheduler 43 eine Nachricht mit einem Zeitstempel an alle Geräte, beispielsweise die Kameras 6 des Kraftfahrzeugs 2, die Kameras des anderen Fahrzeugs 27, des Gebäudes 29, etc. senden, um eine Aufzeichnung der Bilddaten an einer bestimmten GPS-Position auszulösen.
Im Folgenden werden beispielhaft verschiedene, durch das vernetze System 1 bereitgestellte Funktionen beschrieben. Das vernetzte System 1 ist insbesondere als ein intelligentes System 1 ausgebildet, welches bewusst Bilddaten, beispielsweise Videos und/oder Fotos, aus dem Umgebungsbereich 7 des Kraftfahrzeugs 2 erfasst. Die Erfassung kann beispielsweise auf der Basis mehrerer Triggerpunkte bzw. Auslöseereignisse erfolgen. Beispielsweise können die Auslöseereignisse umweltbezogene Auslöseereignisse, beispielsweise ein Sonnenuntergang, Schnee, Gewitter, etc., nutzerbezogene Auslöseereignisse, beispielsweise Gesten, Blicke, Tasten-Steuerung, etc. der Fahrzeuginsassen, und/oder audiobezogene Auslöseereignisse, beispielsweise eine Sprachsteuerung der Fahrzeuginsassen („Wow, sieh dir das an!“, „Nimm ein Video von diesem Sonnenuntergang auf und zeige dieses in meiner Küche an!“) sein. Auch kann ein bestimmter Ort, an welchem sich das Kraftfahrzeug befindet, und/oder eine bestimmte Zeit bzw. Tageszeit ein Auslöseereignis darstellen. Ferner können Benutzereinstellungen sowie ein emotionaler Zustand der Fahrzeuginsassen, beispielsweise über die Erfassung eines Gesichtsausdrucks eines Fahrzeuginsassen und/oder über die Daten biometrischer Sensoren, als Auslöseereignisse festgelegt werden. Beispielsweise kann ein Bild-/Video-Schnappschuss zeitnah in einem Moment durchgeführt werden, wenn erfasst wurde, dass der Fahrzeuginsasse zufrieden ist. Biometrische Sensoren können zur Erfassung des emotionalen Zustands am Kraftfahrzeug 2 und/oder am Fahrzeuginsassen angeordnet sein.
Darüber hinaus kann die Zurverfügungstellung der Bilddaten durch eine Anforderung der Bilddaten initiiert werden. Beispielsweise können andere Nutzer, z.B. andere Fahrzeuge, eine Anfrage stellen, um auf die Bilddaten, beispielsweise für Live-Streaming oder für einen späteren Zugriff, zugreifen zu können. Dazu können eindeutige Identifikationsnummern bzw. IDs zwischen den Nutzern, z.B. dem Kraftfahrzeug 2 und dem anderen Fahrzeug 27, geteilt werden. Auch können sich die Nutzer die Bilddaten über eine „Peer-to-Peer“-Kommunikation teilen. Des Weiteren können die Bilddaten lokal angefordert werden, beispielsweise von anderen Fahrzeugsensoren - z.B. einem Airbag-Auslöser oder zur Bilderkennung von möglichen Kollisionen des Kraftfahrzeugs 2. Auch kann die Servervorrichtung 3 bzw. Cloud selbst die Bilddaten anfordern. Dies kann beispielsweise durch den Scheduler 43 geplant werden, sodass durch die Bilddaten fehlende Szenen in der Videosequenz ergänzt werden können. Ferner kann eine Anforderung über einen Rettungsdienst erfolgen. Dann kann beispielsweise die Aufzeichnung der Bilddaten ausgelöst werden, um diese später im Rahmen einer Strafuntersuchung untersuchen zu können.
Bei dem vernetzten System 1 können die Bilddaten neben der fahrzeugexternen Speicherung auch lokal in dem Kraftfahrzeug 2, beispielsweise in einem fahrzeugseitigen Datenspeicher, hinterlegt werden. Auch können die Bilddaten für eine effiziente Nachbearbeitung durch weitere Daten ergänzt werden. Solche weiteren Daten können Metadaten, z.B. ein Zeitstempel, Belichtungseinstellungen, eine Auflösung, RGB-Kanalverstärkungen, etc., sein. Diese Daten können als Zeichenketten bzw. Informationen an die Video- und Bilddateien angehängt werden und/oder in einer Datenbank mit einem Zeitstempel und einer Verlinkung zu der Bild-/Videodatei gespeichert werden. Darüber hinaus kann die Innen- und/oder Außenbeleuchtung des Kraftfahrzeugs 2 gesteuert werden, um eine Qualität des zumindest einen Ausgangsbildes zu verbessern. Mittels der Beleuchtung kann sowohl die kontinuierliche Fotografie, also die Videoaufzeichnung, als auch die Fotografie mit Blitz unterstützt werden. Die Innenbeleuchtung wird insbesondere in Abhängigkeit von einer Kameraposition angesteuert, sodass optimierte Bilddaten aus dem Innenraum des Kraftfahrzeugs 2 erfasst werden können.
Das vernetzte System 1 kann außerdem zum Teilen bzw. zum Bereitstellen der Ausgangsbilder in Echtzeit („Live-Sharing“), beispielsweise für Videokonferenzen oder Telepräsenzfunktionen, verwendet werden. Darüber hinaus kann mittels des vernetzten Systems 1 die Virtuelle-Realität-Wiedergabe des zumindest einen Ausgangsbildes unterstützt werden. Beispielsweise kann es durch die Bereitstellung der Telepräsenzfunktionen fahrzeugexternen, entfernten Nutzern 16 ermöglicht werden, die Umgebung 7 des Kraftfahrzeugs 2 ähnlich dem Fahrzeuginsassen zu erleben. Auch können die Bilddaten der fahrzeugseitigen Außenkameras 6 und der Innenkameras des Kraftfahrzeugs 2 kombiniert werden. Damit kann bei dem Nutzer 16 beim Betrachten des zumindest einen Ausgangsbildes die Illusion erweckt werden, als würde er in einem transparenten Kraftfahrzeug 2 sitzen, bei welcher zudem eine Transparenz des Kraftfahrzeugs 2 einstellbar ist. Darüber hinaus können Perspektiven bzw. virtuelle Ansichten des Umgebungsbereiches 7, beispielsweise aus konfigurierbaren Stellen innerhalb des Kraftfahrzeugs 2, vorgegeben werden. So ist es beispielsweise für Ermittler eines Unfalls möglich, die Momente vor dem Unfall zu wiederholen. Dazu werden Ausgangsbilder der Szene des Unfalls virtuell aus verschiedenen Perspektiven erstellt, sodass ein Einblick in den Unfallhergang bzw. Verständnis für die Unfallursache bereitgestellt werden kann. Auch können Daten mehrerer Sensoren innerhalb des Kraftfahrzeugs 2 verwendet werden. Beispielsweise ermöglichen Fahrzeug- und Insassenbewegungssensoren, Audiosensoren, Temperatursensoren und/oder physiologische Sensoren in Synchronisation mit den Bilddaten eine vollständige Wiedergabe der sich in dem Umgebungsbereich 7 abgespielten Szene.
Mittels des vernetzten Systems 1 können kundengerecht aufgezeichnete Bilddaten geteilt werden, indem beispielsweise definiert wird, wer, wo, wann, welche Inhalte gemeinsam nutzen darf. Auch können in dem vernetzten System 1 mehrere Verbraucher, insbesondere mehrere Anzeigeeinrichtungen 4 mit verschiedenen Display-Technologien, vorgesehen sein. Auch kann eine Schwenkbahn der Kamera 6 gesteuert werden. Dazu kann eine Schwenkbahn für die Kamera 6 voreingestellt sein und/oder, insbesondere während einer Nachbearbeitung der Bilddaten, eine benutzerdefinierte Schwenkbahn vorgegeben werden. Auch kann eine Schwenkbahn vorgegeben werden, bei welcher die Perspektiven mehrerer Fahrzeuginsassen durch das Ausgangsbild abgebildet werden können. Ebenso kann die Bewegungsbahn hinsichtlich des Teilumgebungsbereiches 32 von Interesse optimiert werden und/oder an eine Fahrzeugdynamik bzw. Bewegung des Kraftfahrzeugs 2 angepasst werden, beispielsweise um die Videosequenz in Zeitlupe anzuzeigen. Die Ausgangsbilder können umcodiert werden bzw. für die Darstellung auf verschiedenen Anzeigeeinrichtungen 4 nachbearbeitet werden.
Weiterhin können, insbesondere ereignisgesteuert, verschiedene Kameramodi bereitgestellt werden. Beispielsweise kann eine Bildrate, z.B. für die Zeitlupenerfassung, angepasst werden, ein hochauflösender Zoom bereitgestellt werden, ein Schnappschussmodus ausgelöst werden, Video-und Tonaufnahmen der Fahrzeuginsassen synchronisiert werden und, beispielsweise im Falle eines autonomen Kraftfahrzeugs 2, Video-und Tonaufnahmen von fahrzeugexternen Geräten 26, beispielsweise mobilen Endgeräten 17, 18, 19, der Drohne 37, etc., synchronisiert werden.
Weiterhin kann cloudbasiert ein Inhalt der Ausgangsbilder generiert und angepasst werden. Beispielsweise können Informationen zu dem Teilumgebungsbereich 32 von Interesse, z.B. mittels Erweitere-Realität-Verlinkungen bzw. „AR-Links“ (AR- Augmented Realtiy), eingeblendet bzw. eingefügt werden. So können Verlinkungen zu weiterführenden Informationen über den Umgebungsbereich 7, Überlagerungen aus Umgebungskarten und Verlinkungen zu anderen aufgenommenen Bilddaten des sich im Sichtbereich 33 der Kamera 6 befindlichen Umgebungsbereiches 7 bereitgestellt werden. Beispielsweise kann ein virtueller Perspektivenwechsel von einem Punkt zu einem anderen Punkt in dem Umgebungsbereich 7 ermöglicht werden.
Ferner kann ein cloudbasiertes Nachbearbeiten der Bilddaten mittels der fahrzeugexternen Servervorrichtung 3 bereitgestellt werden. Beispielsweise können Gesichter und/oder Nummernschilder im Nachhinein unkenntlich gemacht werden bzw. verpixelt werden, sodass die erfasste Szene, beispielsweise im Falle einer Zurverfügungstellung der Ausgangsbilder für die Öffentlichkeit, anonymisiert werden kann. Auch kann das Ausgangsbild verbessert werden, indem unerwünschte Regionen (z.B. Telefonmasten) aus dem Ausgangsbild entfernt werden. Darüber hinaus können die Bilder mehrere Kameras aneinander angeglichen werden. Ferner kann ein fotorealistisches „Raytracing“ (Strahlverfolgung) von 3D-Modellen, z.B. Fahrzeugmodellen, außerhalb des Sichtbereiches 33 der Kameras 6 durchgeführt werden, um eine verbesserte Erweiterung der erfassten Szene für das Nutzererlebnis bereitzustellen.
Auch kann eine Struktur einer 3D-Fahrzeughülle, beispielsweise für die Darstellung des Umgebungsbereiches 7 und des Kraftfahrzeugs 2 aus einer Dritten-Person-Perspektive, nachbearbeitet werden. Bilder können einander zugeordnet und aneinander angeglichen werden. Auch kann der Umgebungsbereich gerendert werden, um mittels der Ausgangsbilder alternative Ansichten des Umgebungsbereiches 7 bereitzustellen, beispielsweise durch das Einfügen von Regen, Lichteinfall, Sonnenschein, etc., in die erfasste Szene. Weiterhin können die Fahrzeuginsassen virtuell gerendert werden, indem beispielsweise virtuelle Figuren bzw. Avatare der Fahrzeuginsassen in die Szene eingefügt werden. Dazu können virtuelle Figuren an die Servervorrichtung 3 übermittelt werden. Diese virtuellen Figuren können durch die Erfassung der Bewegung der Fahrzeuginsassen, beispielsweise über 3D-Bewegungserfassung bzw. „3D-Motion-Capture“ und/oder Bildaufnahmen, an die Fahrzeuginsassen angepasst werden.
In einem weiteren Anwendungsfall des vernetzten Systems 1 kann eine Unterstützung nach einem Unfall des Kraftfahrzeugs 2 bereitgestellt werden. Bei einem Unfall kann das vernetzte System 1 eine „Black-Box“-Funktionalität ähnlich einem Flugdatenschreiber bereitstellen, durch welche Notdienste bei einer Bergung der Fahrzeuginsassen sowie bei einer Diagnose und Heilung von Verletzungen der Fahrzeuginsassen unterstützt werden können. Dabei können die Bilddaten aufgezeichnet und lokal abgespeichert werden und zu der Servervorrichtung 3 zum Nachbearbeiten und Speichern übermittelt werden. Es erweist sich außerdem als vorteilhaft, wenn Daten von Bewegungssensoren, Bildaufnahmen, biometrische Daten, z.B. ein Gesundheitsprofil und Aufzeichnungen der Fahrzeuginsassen, Fahrzeugdaten, Umweltdaten, z.B. das Wetter und eine Straßenoberfläche bzw. Straßenverhältnisse, und Daten von ähnlichen früheren Unfällen verwendet und an die Servervorrichtung 3 übermittelt werden, um Szene virtuell zu rekonstruieren. Diese virtuelle Szene kann beispielsweise von Sanitätern von der Servervorrichtung 3 abgerufen und auf einer Anzeigeeinrichtung 4 abgespielt werden, um die Möglichkeiten für starke Verletzungen der Fahrzeuginsassen abzuschätzen und die bestmögliche Bergung der Fahrzeuginsassen aus dem Kraftfahrzeug 2 sicherzustellen. Insbesondere werden diese Informationen als erweiterte grafische Darstellungen des Unfalls und dessen Nachwirkungen der in dem Ausgangsbild gezeigten Szene überlagert.
Insbesondere können die Sensordaten als Eingangsgrößen einer Plattform zur kognitiven Datenverarbeitung („Cognitive Computing“) zur Verfügung gestellt werden. Diese Plattform kann dann eine Wahrscheinlichkeit für Verletzungen abschätzen und Risikoszenarien angeben, um die Rettungskräfte bei einer schnellen Diagnose zu unterstützen. Darüber hinaus kann die erfasste Szene mittels des vernetzten Systems 1 dynamisch gerendert werden, indem die Fahrzeuginsassen während des Unfalls gerendert werden. Dazu können nicht-realistische Modelle der Fahrzeuginsassen während des Unfalls in die erfasste Szene eingefügt werden. Dadurch können die Szenen durch mehrfaches Abspielen des zumindest einen Ausgangsbildes wiederholt werden, ohne dabei den Nutzer 16, beispielsweise den Rettungsdienst, mit dem realistischen Inhalt des, möglicherweise schrecklichen, Unfallszenarios zu belasten. Damit wird es dem Rettungsdienst ermöglicht, schnell und logisch entscheiden zu können. Außerdem wird ein potenzielles Risiko für ein längerfristiges Trauma des Rettungsbediensteten reduziert.

Claims

Verfahren zur Zurverfügungstellung eines einen Umgebungsbereich (7) eines Kraftfahrzeugs (2) beschreibenden Ausgangsbildes, mit den Schritten: - Erfassen von Bilddaten aus dem Umgebungsbereich (7) des Kraftfahrzeugs (2) mittels zumindest einer Kamera (6) eines Kamerasystems (5) des Kraftfahrzeugs (2), gekennzeichnet durch die Schritte: - Übertragen der erfassten Bilddaten an eine fahrzeugexterne Servervorrichtung (3) durch das Kamerasystem (5), - Verarbeiten der Bilddaten zu dem zumindest einen, den Umgebungsbereich (7) beschreibenden Ausgangsbild und Speichern des zumindest einen Ausgangsbildes durch die Servervorrichtung (3), - Zurverfügungstellung des zumindest einen Ausgangsbildes mittels der Servervorrichtung (3) zum Abrufen des zumindest einen Ausgangsbildes für eine Vielzahl von servervorrichtungsexternen Anzeigeeinrichtungen (4).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bilddaten durch die Servervorrichtung (3) zu einer Videosequenz des Umgebungsbereiches (7) des Kraftfahrzeugs (2) verarbeitet werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass durch die Servervorrichtung (3) als die Videosequenz aus den Bilddaten der zumindest einen Kamera (6) ein Realfilm und/oder ein den Umgebungsbereich (7) beschreibender Animationsfilm erstellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nutzerinitiiert und/oder automatisch eine Perspektive vorgegeben wird, aus welcher der Umgebungsbereich (7) in dem zumindest einen Ausgangsbild dargestellt wird, und die Bilddaten durch die Servervorrichtung (3) zu dem zumindest einen, den Umgebungsbereich (7) aus der vorgegebenen Perspektive darstellenden Ausgangsbild verarbeitet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erfassen und/oder Übermitteln und/oder Abrufen der Bilddaten durchgeführt wird, falls ein vorbestimmtes Auslöseereignis detektiert wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass als das Auslöseereignis zumindest eines der folgenden Ereignisse erfasst wird: - ein durch eine fahrzeugseitige Sensoreinrichtung detektiertes, vorbestimmtes Verhalten zumindest eines Fahrzeuginsassen des Kraftfahrzeugs (2), - eine vorbestimmte Umgebungsbedingung in dem Umgebungsbereich (7) des Kraftfahrzeugs (2), - eine Anforderung der Bilddaten durch eine kameraexterne Einrichtung, - eine Unfallsituation des Kraftfahrzeugs (2), - ein durch einen Nutzer der Servervorrichtung (3) initiierten Bezahlvorgang.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zu den Bilddaten Informationen über die Bilddaten, insbesondere ein Erfassungszeitpunkt und ein Erfassungsort, an die Servervorrichtung (3) übermittelt und zusätzlich zu den Bilddaten von der Servervorrichtung (3) abgespeichert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zu den Bilddaten Sensordaten von zumindest einer, zu der fahrzeugseitigen Kamera (6) unterschiedlichen Sensoreinrichtung (24, 26) an die Servervorrichtung (3) übermittelt werden und das zumindest einen Ausgangsbild basierend auf den Bilddaten und den Sensordaten erzeugt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass durch zumindest eine fahrzeugexterne Kamera erfasste Bilddaten aus dem Umgebungsbereich (7) als die Sensordaten an die Servervorrichtung (3) übermittelt werden.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass als die Sensordaten Daten zumindest einer fahrzeugseitigen, zu der zumindest einen Kamera (6) unterschiedlichen Sensoreinrichtung (24), insbesondere eines Beschleunigungssensors und/oder einer Drehratensensors und/oder einer Innenraumkamera des Kraftfahrzeugs (2), an die Servervorrichtung (3) übermittelt werden.
Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Bilddaten der zumindest einen fahrzeugseitigen Kamera (6) und die Sensordaten der zumindest einen, zu der fahrzeugseitigen Kamera (6) unterschiedlichen Sensoreinrichtung zeitlich synchronisiert werden, indem den zu einem bestimmten Zeitpunkt erfassten Bilddaten die zu dem selben Zeitpunkt erfassten Sensordaten zugeordnet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zumindest einen fahrzeugseitigen Kamera (6) zum Bereitstellen einer vorbestimmten Blickrichtung der zumindest einen Kamera (6) in den Umgebungsbereich (7) angesteuert und automatisch verschwenkt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Verbessern einer Qualität des zumindest einen Ausgangsbildes eine fahrzeugseitige Lichtanlage (11) angesteuert wird, durch welche der Umgebungsbereich (7) des Kraftfahrzeugs (2) während der Erfassung der Bilddaten belichtet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddaten von einer Bildverarbeitungseinrichtung (8) des fahrzeugseitigen Kamerasystems (5) vorverarbeitet werden und die vorverarbeiteten Bilddaten an die Servervorrichtung (3) übertragen werden.
Vernetztes System (1) zur Zurverfügungstellung zumindest eines, einen Umgebungsbereich (7) eines Kraftfahrzeugs (2) beschreibenden, abrufbaren Ausgangsbildes, aufweisend ein Kamerasystem (5) zum Anbringen an dem Kraftfahrzeug (2) mit zumindest einer Kamera (6) zum Erfassen von Bilddaten aus dem Umgebungsbereich (7) des Kraftfahrzeugs (2), gekennzeichnet, durch eine mit der zumindest einen fahrzeugseitigen Kamera (6) in Verbindung (12) stehende fahrzeugexterne Servervorrichtung (3), wobei die zumindest eine Kamera (6) dazu ausgelegt ist, die erfassten Bilddaten an die Servervorrichtung (3) zu übertragen, und die Servervorrichtung (3) dazu ausgelegt ist, die Bilddaten zu dem zumindest einen, den Umgebungsbereich (7) beschreibenden Ausgangsbild zu verarbeiten, das zumindest eine Ausgangsbild abzuspeichern und das zumindest eine Ausgangsbild für Abrufen durch eine Vielzahl von servervorrichtungsexternen Anzeigeeinrichtungen (4) zur Verfügung zu stellen.