-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Kraftfahrzeugs, bei welchem ein Umgebungsbereich des Kraftfahrzeugs mit einem Kamerasystem des Kraftfahrzeugs als Video erfasst wird. Des Weiteren betrifft die Erfindung auch ein Computerprogrammprodukt sowie ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug.
-
Bekannt ist es, dass mit einem Kamerasystem eines Kraftfahrzeugs ein einzelnes Bild, aber auch ein Video aufgenommen werden kann. Ein Video stellt somit eine Vielzahl von Einzelbildern dar, aus denen sich dann Bewegtbilddarstellungen ergeben. Ein Video stellt daher insbesondere eine Abfolge einer Vielzahl von Bildern in kurzen Zeitabständen dar, sodass für einen Beobachter die Illusion einer Bewegung auftritt. Für die menschliche Wahrnehmung genügen insbesondere 16 Einzelbilder pro Sekunde oder mehr, um die Illusion von fließenden Bewegungen zu erzeugen.
-
Es ist bekannt, dass eine Umfeldbeobachtung und somit die Erfassung des Umgebungsbereichs eines Kraftfahrzeugs mit einem Kamerasystem des Kraftfahrzeugs erfolgt. Aus diesen erzeugten Bildern wird eine Auswertung dahingehend vorgenommen, ob sich Objekte in dem Umgebungsbereich befinden, wobei abhängig davon dann weitere Aktionen durchgeführt werden. Beispielsweise können in dem Zusammenhang als Aktion ein Warnhinweis erfolgen oder ein spezifisches Fahrmanöver des Kraftfahrzeugs zumindest semi-autonom durchgeführt werden. Ebenso können jedoch auch andere Aktionen erfolgen, die spezifische Informationen an einen Fahrgast darstellen, jedoch mit dem eigentlichen Fahrmanöver beziehungsweise einer Änderung des Fahrmanövers nichts zu tun haben.
-
Allerdings tritt in der Realität die Tatsache auf, dass sich ein und derselbe Umgebungsbereich unterschiedlich darstellen kann. Beispielsweise kann dies abhängig von der Tageszeit oder abhängig von Wetterbedingungen der Fall sein. Daher tritt auch die Situation auf, dass ein eigentlich gleicher Umgebungsbereich zu unterschiedlichen Tageszeiten und/oder zu unterschiedlichen Wetterbedingungen sich für die bildhafte Erfassung mit dem Kamerasystem unterschiedlich darstellt und sich daher dann auch unterschiedliche Bewertungen ergeben können. Dies kann dazu führen, dass bei diesen unterschiedlichen Gegebenheiten des Umgebungsbereichs Beurteilungen der Informationen auftreten können, die aktuell nicht zutreffend oder für die Auswertung nur bedingt tauglich sind.
-
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zu schaffen, bei welchem die von einem Kamerasystem erfassten Informationen verbessert ausgewertet werden können. Darüber hinaus ist es auch Aufgabe, ein entsprechendes Computerprogrammprodukt sowie ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug zu schaffen.
-
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt und ein elektronisches Fahrzeugführungssystem gelöst.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Kraftfahrzeugs, bei welchem ein Umgebungsbereich des Kraftfahrzeugs mit einem Kamerasystem des Kraftfahrzeugs erfasst wird. Dieser Umgebungsbereich wird durch das Kamerasystem als Video erfasst. Es wird also nicht nur ein Einzelbild aufgenommen und nur dieses Einzelbild ausgewertet, sondern es wird ein Video mit einer Vielzahl von Einzelbildern aufgenommen. Mit einem Video kann die Beurteilung des Umgebungsbereichs, insbesondere eine sich durch Bewegen von Objekten ergebende Dynamik, verbessert erkannt werden und es können dadurch auch zutreffendere Beurteilungen erfolgen.
-
Die in dem Video gezeigten Szenerien werden in einem Klassifikationsprozess analysiert. Durch den Klassifikationsprozess werden zumindest zwei verschiedene Klassen vorgegeben. Das Video wird abhängig von der Analyse der Szenerien in eine der Klassen klassifiziert. Insbesondere nach der Klassifikation des Videos wird insbesondere eine von der spezifischen Klassifikation in eine dieser Klassen abhängige Objekterkennung in dem Video durchgeführt. Die bei der Objekterkennung erhaltenen Informationen werden insbesondere beim Betreiben des Kraftfahrzeugs berücksichtigt. Durch das Verfahren ist daher die Möglichkeit geschaffen, auf sich ändernde Bedingungen von ein und demselben Umgebungsbereich reagieren zu können. Durch die jeweils aktuell gegebenen Bedingungen in einem Umgebungsbereich wird dieser Umgebungsbereich bedingungsabhängig genauer analysiert und diesbezüglich eine Klasseneinteilung vorgenommen. Die Objekterkennung wird darüber hinaus vorzugsweise nicht mehr pauschal durchgeführt, sondern abhängig von dieser Klasseneinteilung durchgeführt. Dies bedeutet auch, dass eine derartige Objekterkennung unterschiedlich vollzogen werden kann, wobei dies abhängig davon erfolgt, in welcher Klasse das Video klassifiziert wurde. Dadurch werden die Objekterkennung und die prinzipielle Auswertung der Informationen, wie sie durch das Kamerasystem für den Umgebungsbereich erfasst wurden, verbessert. Eine wesentlich situationsangepasstere Auswertung des Videos und insbesondere eine bedarfsgerechtere und angepasstere Objekterkennung in dem Video sind dadurch ermöglicht. Dadurch wird auch die Genauigkeit der Auswertung und der Objekterkennung verbessert. Dies führt dann auch dazu, dass die für das Betreiben des Kraftfahrzeugs aus der Objekterkennung erhaltenen Informationen genauer, insbesondere realitätsnäher und somit auch zutreffender, sind. Dadurch kann das zumindest semi-autonome Manövrieren des Kraftfahrzeugs verbessert werden, insbesondere situationsangepasster erfolgen.
-
In vorteilhafter Weise werden der Klassifikationsprozess und/oder die von der Klassifikation abhängige Objekterkennung durch einen maschinellen Selbstlernprozess zumindest einmal angepasst. Dadurch wird der Klassifikationsprozess sehr genau. Darüber hinaus kann der Klassifikationsprozess fortlaufend und selbstlernend aktualisiert und verbessert werden. Dadurch wird die Klassifikation fortwährend auch trainiert. Entsprechendes kann zusätzlich oder anstatt dazu für die Objekterkennung erfolgen. Dadurch wird somit ein selbstständiges Trainieren des Objekterkennungsprozesses vollzogen. Gerade dann, wenn ein und derselbe Umgebungsbereich unter verschiedenen Bedingungen, insbesondere unter verschiedenen Wetterbedingungen und/oder Tageszeiten und/oder Jahreszeiten erfasst wird, kann durch diesen Selbstlernprozess auch verbesserter auf die jeweilige tatsächliche Situation des Umgebungsbereichs geschlossen werden und diese verbessert erkannt werden. Denn ein gegebenenfalls stets an gleicher Stelle befindliches Objekt, welches gegebenenfalls bei schlechten Wetterbedingungen farblich und/oder von der Kontur ungenauer erkennbar ist als bei Sonnenschein, kann dann auch sicherer und zuverlässiger erkannt werden. Denn indem grundsätzlich erkannt wird, dass dieser Umgebungsbereich aktuell bei schlechter Witterung und/oder am Tag oder in der Nacht aufgenommen wurde, kann angepasst an diese Bedingungen die Objekterkennung individualisiert erfolgen.
-
Vorzugsweise ist vorgesehen, dass zumindest ein Basiszustand des Klassifikationsprozesses nutzerindividuell vorgegeben wird. Beispielsweise kann in dem Zusammenhang die Art und/oder die Anzahl von Klassen des Klassifikationsprozesses nutzerindividuell definiert werden. Insbesondere kann auch eine Veränderung dieser Parameter eines Klassifikationsprozesses nutzerindividuell erfolgen. Durch eine derartige Ausgestaltung kann eine sehr individuelle Klassifikation durchgeführt werden. Gerade der Informationsbedarf, den ein Nutzer selbst hat und/oder den der Nutzer einem Fahrzeugführungssystem seines Kraftfahrzeugs zur Verfügung stellen möchte, ist dadurch sehr flexibel und variabel ermöglicht.
-
In einer vorteilhaften Ausführung ist vorgesehen, dass der Klassifikationsprozess nutzerspezifisch trainiert wird. Auch bei dieser Ausführung kann dann der Nutzer individuell vorgeben, wie ein derartiges Trainingsszenario ablaufen soll und/oder wann ein derartiges Trainingsszenario erfolgen soll. So kann beispielsweise ein Nutzer selbst erkennen, wann sich spezifische Bedingungen im Umgebungsbereich individuell gestalten und dann abhängig davon das Trainingsszenario gestartet werden. Damit kann dem Klassifikationsprozess zunächst nutzerseitig vorgegeben werden, wann sich die unterschiedlichen Bedingungen in ein und dem gleichen Umgebungsbereich ergeben. Dadurch wird grundsätzlich erkannt und gelernt, welche verschiedenen Bedingungen in einem Umgebungsprozess auftreten können. Abhängig davon kann dann im Nachfolgenden, wenn ein derartiger nutzerspezifischer Trainingsvorgang für den Klassifikationsprozess vorgegeben wurde, das weitere Trainieren und Selbstlernen des Klassifikationsprozesses automatisch erfolgen, insbesondere mit einem maschinellen Selbstlernprozess.
-
In einer vorteilhaften Ausführung wird vorgesehen, dass beim Klassifikationsprozess zumindest zwei Einzelbilder des Videos als Referenzbilder ausgewählt werden, anhand derer die Klassifikation des Videos durchgeführt wird. Es ist vorzugsweise vorgesehen, dass diese beiden Einzelbilder nicht unmittelbar aufeinander folgende Bilder sind, sondern dass zumindest einige weitere Einzelbilder des Videos zeitlich zwischen diesen beiden ausgewählten Referenzbildern liegen. Dadurch wird gerade bei Szenerien, die sich in zeitlicher Abfolge dieser Einzelbilder nur sehr gering ändern, eine dennoch hinreichende und verbesserte Auswertung ermöglicht. In vorteilhafter Weise kann vorgesehen sein, dass mehr als zwei Einzelbilder als Referenzbilder zugrundegelegt werden und zwischen den ausgewählten Referenzbildern jeweils eine gleiche Anzahl weiterer Einzelbilder liegen, die diesbezüglich dann nicht ausgewählt wurden. Dadurch wird quasi in festen Nummernabständen der Einzelbilder des Videos und somit quasi auch insbesondere in festen Zeitabständen innerhalb des Videos eine Auswahl von Einzelbildern als Referenzbilder vollzogen. Auch dadurch kann dann eine sehr bedarfsgerechte Klassifikation erfolgen. Gerade wenn ein Video eine sehr hohe Vielzahl an Einzelbildern aufweist, kann durch diese Vorgehensweise ein sehr schneller und dennoch aussagekräftiger Klassifikationsprozess durchgeführt werden.
-
Vorzugsweise werden mit dem Kamerasystem zumindest sechzehn Einzelbilder pro Sekunde zum Erzeugen eines Videos aufgenommen.
-
Vorzugsweise wird beim Klassifikationsprozess ein Bestimmen von Referenzmerkmalen des Videos durchgeführt und die Referenzbilder werden mit Objektcharakteristika klassifiziert. Dies bedeutet, dass insbesondere in den Referenzbildern Referenzmerkmale des Videos bestimmt werden und diese Referenzbilder anhand von Objektcharakteristika klassifiziert werden. Anhand der Referenzmerkmalerkennung werden also insbesondere Objektcharakteristika den Referenzbildern zugeordnet und eine Klassifikation durchgeführt. In dem Zusammenhang können Objektcharakteristika beziehungsweise Objektdetails Objekttypen oder Begrenzungsrahmen für ein Objekt im Referenzbild oder geosemantische Segmentierungsinformationen sein. Diese Objektcharakteristika sind nur beispielhaft zu verstehen und nicht abschließend.
-
Durch eine derartige Vorgehensweise kann ein Video, auch wenn es viele Einzelbilder aufweist, schnell und sicher klassifiziert werden.
-
Insbesondere können in dem Zusammenhang die ausgewählten Referenzbilde sehr genau und schnell analysiert werden.
-
In einer vorteilhaften Ausführung wird das Bestimmen der Referenzmerkmale mit einem maschinellen Lernen, insbesondere mit einem Deep-Learning-Prozess, durchgeführt. Durch diese Vorgehensweise wird das Bestimmen beziehungsweise Berechnen dieser Referenzmerkmale sehr schnell und situationsangepasst durchgeführt. Darüber hinaus wird gerade durch einen derartigen Deep-Learning-Prozess das zukünftige Erkennen derartiger Referenzmerkmale verbessert, da sich dieser Prozess selbstlernend die unterschiedlichen möglichen Gegebenheiten antrainiert und auf Basis vorhergehender Bestimmungsvorgänge stets verbessert und aktualisiert wird.
-
Vorzugsweise werden die bestimmten Referenzmerkmale als Entscheidungsmerkmale zugrundegelegt, um zu entscheiden, in welche Klasse das Video klassifiziert wird. Vorzugsweise wird daher in einem derartigen Referenzbild nach insbesondere vorgegebenen Referenzmerkmalen gesucht und diese, insbesondere durch einen Deep-Learning-Algorithmus, erkannt und bestimmt. Aufgrund der Eigenschaft eines derartigen Deep-Learning-Prozesses kann dies auch mit hoher Genauigkeit dann erfolgen, wenn ein und derselbe Umgebungsbereich zu verschiedenen Zeitpunkten unterschiedlichsten Bedingungen unterliegt, beispielsweise zu verschiedenen Tageszeiten und/oder zu verschiedenen Wetterbedingungen und/oder zu verschiedenen Jahreszeiten erfasst wird.
-
Abhängig von diesem Erkennen von Referenzmerkmalen werden diesem Referenzbild dann die Charakteristika zugeteilt, wie sie bereits oben genannt wurden.
-
Vorzugsweise wird abhängig von diesen bestimmten Referenzmerkmalen entschieden, in welchen Szenerietyp das Video klassifiziert wird. Insbesondere werden somit bei dem Klassifikationsprozess verschiedene Szenerietypen als verschiedene Klassen vorgegeben.
-
Ein Szenerietyp kann sich in dem Zusammenhang beispielsweise durch eine spezifische Wettersituation in einem Umgebungsbereich zum Zeitpunkt der Aufnahme des Umgebungsbereichs durch das Kamerasystem und/oder durch eine spezifische Tageszeit in dem Umgebungsbereich zu diesem Aufnahmezeitpunkt und/oder durch eine spezifische Jahreszeit in dem Umgebungsbereich zu diesem Aufnahmezeitpunkt charakterisieren.
Es können auch zumindest zwei dieser genannten Spezifika berücksichtigt werden, die dann einen Szenerietyp bilden.
-
Es werden insbesondere zumindest einige Klassen als Szenerie-Klassen vorgegeben. Ebenso kann vorgegeben sein, dass eine Szenerie-Klasse nicht nur durch einen Wetterzustand vorgegeben wird und/oder nicht nur durch einen Tageszeitzustand vorgegeben wird, sondern eine Szenerie-Klasse eine spezifische Straße vorgibt. Beispielsweise kann dies eine Autobahn oder eine Bundesstraße sein. Auch anderweitige Typen von Straßen, wie sie auftreten und insbesondere behördlich vorgegeben und eingruppiert sind, können als Szenerie-Klasse vorgegeben sein. Es kann als weiteres Beispiel für eine Szenerie-Klasse ein Parkbereich vorgegeben werden. Auch ist es möglich, dass als eine Szenerie-Klasse ein Zuhause-Bereich vorgegeben wird. Darüber hinaus ist es möglich, dass als eine Szenerie-Klasse ein Arbeitsplatz-Bereich vorgegeben wird und/oder als Szenerie-Klasse ein Verkehrszustand vorgegeben wird. All diese Beispiele für Szenerie-Klassen sind nicht abschließend zu verstehen. Sie sollen lediglich bevorzugte Ausführungen sein, die verdeutlichen, welche unterschiedlichen Szenerien auftreten und erkannt werden können.
-
Beispielsweise ist es in dem Zusammenhang bei einer Szenerie-Klasse, die einen Parkbereich vorgibt, dann möglich, dass abhängig von dem Erkennen eine Führungsfunktion eines elektronischen Fahrzeugführungssystems angeboten oder zumindest semi-autonom durchgeführt wird, und zwar in dem Zusammenhang beispielsweise eine Suche einer Parkzone in dem Parkbereich und/oder das Einparken in eine aufgefundene Parkzone erfolgt. Andererseits kann beispielsweise dann, wenn das Video in eine Szenerie-Klasse eingruppiert wird, die einen Zuhause-Bereich charakterisiert, eine diesbezüglich spezifische Objekterkennung von Objekten auf dem eigenen Grundstück erfolgen. Insbesondere kann dann abhängig davon eine wiederum individuelle Führungsfunktion ausgewählt und durchgeführt werden. Beispielsweise kann dies das Öffnen eines Garagentors sein. Selbstverständlich können dann auch hier anderweitige individuelle Funktionen, die mit dem Manövrieren des Kraftfahrzeugs nichts zu tun haben, ausgewählt und gestartet werden. Beispielsweise kann in dem Zusammenhang dann auch eine Haustüröffnungsfunktion aktiviert werden und/oder auch anderweitige Funktionen in der eigenen Wohnung oder in dem eigenen Haus gestartet werden. Beispielsweise können dann hier das Einschalten eines Lichts und/oder das Starten eines Haushaltsgeräts erfolgen.
-
Darüber hinaus kann beispielsweise bei einer Klassifikation des Videos in eine Szenerie-Klasse, die einen Arbeitsplatz-Bereich vorgibt, eine Multimediafunktion zum Arbeitsplatz, insbesondere auch am Arbeitsplatz gestartet werden. Auch anderweitige Funktionen können hier selbstverständlich ausgewählt und gestartet werden.
-
In einer vorteilhaften Ausführung kann abhängig von zumindest den bei der klassifikationsabhängigen Objekterkennung erhaltenen Informationen und/oder abhängig von der Klasse, in welche das Video klassifiziert wurde, eine spezifische Anzahl von Führungsfunktionen eines elektronischen Fahrzeugführungssystems und/oder eine spezifische Art von Führungsfunktionen eines elektronischen Fahrzeugführungssystems, insbesondere zum zumindest semi-autonomen Führen des Kraftfahrzeugs, aktiviert werden. Dies ist eine besonders vorteilhafte Ausführung, denn ein elektronisches Fahrzeugführungssystem weist üblicherweise eine Vielzahl von Führungsfunktionen auf. Sind diese stets alle im aktivierten Zustand bereitgestellt, ist erheblicher Rechenaufwand einerseits und auch entsprechender Energieaufwand andererseits erforderlich. Obwohl für eine bestimmte aktuelle Situation des Kraftfahrzeugs in einem Umgebungsbereich dann gegebenenfalls einige dieser Führungsfunktionen nicht benötigt werden, sind sie bei herkömmlichen Ausgestaltungen dennoch stets aktiv. Um nun mit dieser vorteilhaften Ausführung den Ressourcenverbrauch zu reduzieren und bedarfsgerecht Führungsfunktionen bereitstellen zu können, wird dies auch durchgeführt und insbesondere anhand der Klassifikation und/oder der klassifikationsabhängigen Objekterkennung durchgeführt. Da mit dem Verfahren nunmehr grundsätzlich ein Erkennen und Auswerten eines Umgebungsbereich robuster gegen unterschiedliche Erscheinungsformen dieses Umgebungsbereichs, wie sie beispielsweise durch unterschiedliche Witterungszustände und/oder unterschiedliche Tageszeiten und/oder unterschiedliche Jahreszeiten der Fall sein kann, ist und diesbezüglich nunmehr eine genauere Erkennung dieser Gegebenheiten möglich ist, kann eine derartige situationsabhängige Aktivierung und Deaktivierung von Führungsfunktionen zuverlässig ermöglicht werden. Die Sicherheit der Aussagen ist in dem Zusammenhang so groß, dass auch ein sicheres Deaktivieren oder Deaktiviertlassen von Führungsfunktionen erfolgen kann, ohne einen kritischen Verkehrszustand herbeizuführen.
-
Vorzugsweise wird als eine Führungsfunktion eine Fahrzeugführungsfunktion des Kraftfahrzeugs selbst vorgegeben und/oder als eine weitere Führungsfunktion eine Warninformations-Erzeugungsfunktion vorgegeben und/oder als weitere Fahrzeugführungsfunktion eine Multimediafunktion vorgegeben und/oder als weitere Führungsfunktion eine Bildungsinformations-Erzeugungsfunktion vorgegeben und/oder als Führungsfunktion eine spezifische Bildverarbeitungsfunktion zur Bildverarbeitung des Videos des Kamerasystems und/oder zur Anpassung der Bildverarbeitung des Videos des Kamerasystems vorgegeben.
-
Mit dem genannten Verfahren ist es somit nunmehr auch ermöglicht, dass eine Objekterkennung bedarfsgerecht erfolgen kann und somit auch invariant beziehungsweise robust gegen zeitlich unterschiedliche Erscheinungsformen oder unterschiedliche Wahrnehmungsbedingungen ein und desselben Umgebungsbereichs ist. Es wird also abhängig von der aktuell erkannten Darstellungssituation des Umgebungsbereichs eine davon abhängige Klassifikation des Videos durchgeführt und eine dann abhängig davon spezifizierte Objekterkennung durchgeführt. Es wird also eine auf die Klassifikation adaptierte Objekterkennung durchgeführt, die basierend darauf erfolgt, was in dem Video gesehen wird. Die Extraktion von Referenzmerkmalen wird insbesondere durch ein CNN-Modell für zumindest zwei als Referenzbilder ausgewählte Einzelbilder durchgeführt. Abhängig davon wird dann insbesondere ein Clustern durchgeführt, um einen Szenerietyp zu identifizieren und abhängig davon dann eine Klassifikation des Videos insbesondere in eine Szenerie-Klasse durchzuführen.
-
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt zum Ausführen eines Verfahrens gemäß dem oben genannten Aspekt und einer vorteilhaften Ausgestaltung davon, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt ist.
-
Darüber hinaus betrifft ein weiterer Aspekt der Erfindung ein Fahrzeugführungssystem für ein Kraftfahrzeug. Das elektronische Fahrzeugführungssystem weist zumindest eine Auswerteeinheit und vorzugsweise eine Vielzahl von realen Kameras auf. Das elektronische Fahrzeugführungssystem ist dazu ausgebildet, ein Verfahren gemäß dem oben genannten Aspekt oder einer vorteilhaften Ausgestaltung auszuführen. Vorzugsweise weist das Fahrzeugführungssystem auch eine Anzeigeeinheit, beispielsweise in Form eines Bildschirms auf, auf welchem die von dem Kamerasystem aufgenommenen Bilder angezeigt werden können.
-
Ein weiterer unabhängiger Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Fahrzeugführungssystem gemäß dem oben genannten Aspekt.
-
Mit möglichen Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“, „Tiefenrichtung“, „Breitenrichtung“, „Höhenrichtung“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der virtuellen Kamera oder der realen Kamera oder dem Kraftfahrzeug gegebenen Positionen und Orientierungen angegeben.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 eine schematische Draufsicht auf ein Ausführungsbeispiel eines Kraftfahrzeugs mit einem Ausführungsbeispiel eines Anzeigesystems;
- 2 eine beispielhafte Darstellung eines Einzelbilds eines Videos mit einem Umgebungsbereich des Kraftfahrzeugs;
- 3 ein weiteres beispielhaftes Einzelbild eines Videos, in dem ein Umgebungsbereich des Kraftfahrzeugs dargestellt ist; und
- 4 ein beispielhaftes Diagramm zur Erläuterung eines Ausführungsbeispiels eines Verfahrensablaufs für ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens.
-
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Anzeigesystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Anzeigesystem 2 weist im Ausführungsbeispiel eine Auswerteeinheit 3 und eine Anzeigeeinheit 4 auf. Weiterhin weist das Anzeigesystem 2 im Ausführungsbeispiel vorzugsweise eine erste reale Kamera 5, eine zweite reale Kamera 6, eine dritte reale Kamera 7 und eine vierte reale Kamera 8 auf. Gemäß dem Ausführungsbeispiel ist die erste reale Kamera 5 an einem Frontbereich 9 des Kraftfahrzeugs 1 angeordnet, die zweite reale Kamera 6 ist an einer rechten Seite 10 des Kraftfahrzeugs 1 angeordnet, die dritte reale Kamera 7 ist an einem Heckbereich 11 des Kraftfahrzeugs 1 angeordnet und die vierte reale Kamera 8 ist an einer linken Seite 12 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der realen Kameras 5, 6, 7, 8 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass das Kraftfahrzeug 1 und/oder ein Umgebungsbereich 13 des Kraftfahrzeugs 1 zumindest teilweise erfasst werden kann.
-
Die realen Kameras 5, 6, 7, 8 weisen insbesondere einen weiten Erfassungsbereich, welcher beispielsweise größer als 180° sein kann, auf. Der weite Erfassungsbereich kann jeweils beispielsweise durch eine Fischaugenlinse eines Objektivs der realen Kamera 5, 6, 7, 8 bereitgestellt werden. So kann das Anzeigesystem 2 beispielsweise als Umfeldsichtsystem (CMS - camera monitoring system) oder elektronischer Rückspiegel ausgebildet sein oder als ein weiteres Fahrerassistenzsystem des Kraftfahrzeugs 1 ausgebildet sein, bei welchem der Umgebungsbereich 13 zumindest teilweise erfasst wird.
-
Die realen Kameras 5, 6, 7, 8 können CMOS-Kamera (complementary metal-oxide semiconductor) oder CCD-Kameras (charge coupled device) oder auch andere Bilderfassungs-einrichtungen sein, welche ein Einzelbild von dem Umgebungsbereich 13 und/oder dem Kraftfahrzeug 1 bereitstellen können. Die realen Kameras 5, 6, 7, 8 sind insbesondere Videokameras, welche kontinuierlich eine Bildsequenz von Einzelbildern bereitstellen. Die Auswerteeinheit 3 verarbeitet die Bildsequenz der Einzelbilder dann beispielsweise in Echtzeit. Die Auswerteeinheit 3 kann beispielsweise innerhalb der jeweiligen realen Kamera 5, 6, 7, 8 oder innerhalb der Anzeigeeinheit 4 angeordnet sein. Die Auswerteeinheit 3 kann aber auch außerhalb der jeweiligen Kamera 5, 6, 7, 8 oder der Anzeigeeinheit 3 an einer beliebigen anderen Position innerhalb des Kraftfahrzeugs 1 angeordnet sein und somit als zur realen Kamera 5, 6, 7, 8 und zur Anzeigeeinheit 4 separaten Einheit ausgebildet sein.
-
Die Anzeigeeinheit 4 kann beispielsweise als Flüssigkristallanzeige (LCD - liquid crystal display) ausgebildet sein. Die Anzeigeeinheit 4 kann vielfältig in dem Kraftfahrzeug 1 angeordnet sein, vorzugsweise allerdings so, dass ein Nutzer des Kraftfahrzeugs 1 einen hindernisfreien Blick auf die Anzeigeeinheit 4 richten kann.
-
Durch die realen Kameras 5, 6, 7, 8 wird eine Vielzahl von Realbildern, also zumindest zwei Realbilder, aufgenommen. Die Realbilder zeigen den Umgebungsbereich 13 zumindest teilweise aus der Perspektive der jeweiligen realen Kamera 5, 6, 7, 8. Vorzugsweise werden die Realbilder zumindest teilweise überlappend aufgenommen.
-
Durch die hierbei beispielhaft vier realen Kameras 5 bis 8 ist ein Kamerasystem 14 des Kraftfahrzeugs 1 gebildet.
-
Das Kraftfahrzeug 1 weist ein elektronisches Fahrzeugführungssystem 15 auf. Das Fahrzeugführungssystem 15 ermöglicht, das Kraftfahrzeug 1 zumindest semiautonom, insbesondere vollständig autonom zu betreiben.
-
Das Anzeigesystem 2 und/oder das Kamerasystem 14 können Bestandteil des Fahrzeugführungssystems 15 sein.
-
Mit zumindest einer der realen Kameras 5 bis 8 wird zumindest ein Bild des Umgebungsbereichs 13 aufgenommen.
-
Das Kraftfahrzeug 1 weist ein System auf, mit welchem Videos, die mit dem Kamerasystem 14 vom Umgebungsbereich 13 aufgenommen werden, ausgewertet werden können. Durch das System werden insbesondere die in einem Video gezeigten Szenerien des Umgebungsbereichs 13 in einem Klassifikationsprozess analysiert. Bei dem Klassifikationsprozess werden zumindest zwei verschiedene Klassen, insbesondere mehr als zwei verschiedene Klassen, vorgegeben, in welche das Video klassifiziert werden kann. Abhängig von der Analyse der Szenerien wird das Video dann in zumindest eine der Klassen klassifiziert. Vorzugweise wird, insbesondere nach der Klassifikation des Videos, eine von der spezifischen Klassifikation des Videos in eine Klasse abhängige Objekterkennung in dem Video durchgeführt. Die bei der Objekterkennung erhaltenen Informationen werden beim Betreiben des Kraftfahrzeugs 1 berücksichtigt. Bezüglich eines Betreibens des Kraftfahrzeugs 1 wird sowohl der tatsächliche Betrieb des Kraftfahrzeugs 1 selbst und somit ein Fortbewegen verstanden als auch während des Betriebs des Kraftfahrzeugs 1 erzeugte Information an einen Nutzer verstanden.
-
Mit dem Verfahren wird eine Videoinformation des Umgebungsbereichs 13 ausgewertet. Es wird in dem Zusammenhang nicht mehr eine pauschale und von Charakterisierungsbedingungen des Umgebungsbereichs unabhängige Auswertung durchgeführt, sondern eine von Charakterisierungsbedingungen des Umgebungsbereichs abhängige Beurteilung durchgeführt. Derartige individuelle Charakterisierungsbedingungen können unterschiedliche Wetterbedingungen, unterschiedliche Jahreszeiten, unterschiedliche Tageszeiten, unterschiedliche Straßentypen, etc. sein.
-
Unabhängig davon, jedoch auch in Kombination mit dem oben dargelegten, kann auch ein Verfahren zum Betreiben eines Kraftfahrzeugs ermöglicht werden, bei welchem ein Umgebungsbereich 13 des Kraftfahrzeugs 1 mit einem Kamerasystem 14 des Kraftfahrzeugs 1 als Video erfasst wird. Das Video wird analysiert und abhängig von der Analyse, die auf Basis von Zustandscharakteristika, die den aktuellen Zustand des Umgebungsbereichs beschreiben, eine spezifische Anzahl und/oder eine spezifische Art von Führungsfunktionen eines elektronischen Fahrzeugführungssystems 15 des Kraftfahrzeugs 1 aktiviert oder deaktiviert. Es werden somit abhängig von dem aktuellen Zustand des Umgebungsbereichs definiert und situationsangepasst verschiedene Führungsfunktionen dieses Fahrzeugführungssystems 15 bereitgestellt. Es müssen somit nicht mehr alle vorhandenen Führungsfunktionen pauschal aktiviert sein, sondern es werden immer nur die Führungsfunktionen aktiviert, die auf Basis des ausgewerteten Videos gegenwärtig erforderlich sein könnten.
-
In vorteilhafter Weise werden durch ein genanntes Verfahren verschiedene Szenerien erfasst und in dem Video analysiert. Es wird dann ein insbesondere nutzerspezifiziert trainierter Algorithmus gestartet, um diese Szenerien zu erkennen. Die Klassifikation in dem Klassifikationsprozess wird dahingehend durchgeführt, dass das Video abhängig von der Analyse in zumindest eine Szenerie-Klasse klassifiziert wird. Eine Szenerie-Klasse kann einen spezifischen Wetterzustand vorgeben beziehungsweise charakterisieren. Eine Szenerie-Klasse kann auch einen spezifischen Tageszeitzustand vorgeben beziehungsweise klassifizieren. Ebenso kann es möglich sein, dass eine Szenerie-Klasse einen spezifischen Straßentyp vorgibt beziehungsweise charakterisiert. Ebenso ist es möglich, dass eine Szenerie-Klasse einen Parkbereich vorgibt beziehungsweise charakterisiert. Auch ist es möglich, dass eine Szenerie-Klasse einen Zuhause-Bereich vorgibt beziehungsweise charakterisiert. Ebenso kann eine Szenerie-Klasse einen Arbeitsplatz-Bereich und somit einen Umgebungsbereich, in dem beispielsweise ein Fahrzeugnutzer in einem Gebäude arbeitet, vorgeben. Auch ein spezifischer Verkehrszustand wie eine spezifische Bewegungssituation des Verkehrsbereichs mit Verkehrsteilnehmern kann eine spezifische Szenerie-Klasse definieren.
-
Durch einen Algorithmus kann eine Klassifikation der Szenerie erfolgen und dann auch eine automatische Aktivierung oder Deaktivierung von erforderlichen Anwendungen beziehungsweise Führungsfunktionen aktivieren oder deaktivieren, die für dieses Szenario spezifiziert sind.
-
Es kann vorgesehen sein, dass dabei eine automatische Aktivierung oder Deaktivierung einer oder mehrerer Anwendungen beziehungsweise Führungsfunktionen des elektronischen Fahrzeugführungssystems 15 in Abhängigkeit von der Klassifikation erfolgt. Insbesondere kann zusätzlich oder anstatt dazu eine derartige Aktivierung oder Deaktivierung auch abhängig von einer von der Klassifikation abhängigen Objekterkennung in dem Video durchgeführt werden.
-
Insbesondere ist vorgesehen, dass beispielsweise auch eine Führungsfunktion eines Spurhalteassistenten aktiviert wird, wenn das Video in eine Szenerie-Klasse mit einem spezifischen Straßentyp klassifiziert wurde.
-
Es kann auch vorgesehen sein, dass dann, wenn das Video in eine Szenerie-Klasse, in der ein Parkbereich vorgegeben wird, klassifiziert wird, wenn beispielsweise eine Parkzonenbegrenzung in dem Video erkannt wurde. Ebenso ist es möglich, dass als Führungsfunktion eine Parkzonenbegrenzungserkennungsfunktion aktiviert wird, wenn das Video für eine Szenerie-Klasse, die einen Parkbereich vorgibt, klassifiziert wurde. Beispielsweise kann bei einer derartigen Situation dann auch vorgesehen sein, dass eine Führungsfunktion, die das Öffnen einer Fahrzeugtür überwacht, um eine Kollision mit im Umgebungsbereich vorhandenen Objekten zu vermeiden, aktiviert wird.
-
In einer weiteren beispielhaften Ausführung kann vorgesehen sein, dass eine Führungsfunktion ein automatisches Parken aktiviert, wenn das Video in eine Szenerie-Klasse betreffend einem Zuhause-Bereich klassifiziert wurde. Dadurch kann dann das Einparken in einem bekannten Parkbereich in diesem Zuhause-Bereich aktiviert werden und durchgeführt werden.
-
Darüber hinaus ist es auch ermöglicht, dass spezifische Bildverarbeitungsfunktionen aktiviert werden und insbesondere Vorprozessierungsfilter aktiviert werden, um Objekte und deren Details mit hoher Genauigkeit erkennen zu können, wenn das Kraftfahrzeug im Regen oder Nebel oder bei Tag oder bei Nacht sich in dem Umgebungsbereich 13 bewegt. Es können daher einem spezifischen Wetter zugeordnete Bildverarbeitungsfunktionen oder einer spezifischen Tageszeit zugeordnete Bildverarbeitungsfunktionen etc. bereitgestellt und individuell aktiviert werden.
-
Selbiges kann auch allgemein für andere Zustandscharakteristika und für andere Funktionen erfolgen.
-
Darüber hinaus können auch Bildungsinformations-Funktionen aktiviert und deaktiviert werden, wenn sich das Kraftfahrzeug in einem Umgebungsbereich befindet und entsprechend klassifiziert wurde, sodass aktuell dann Informationen über Gebäude oder Plätze im Umgebungsbereich angezeigt werden. Dies können dann auch Informationen über ein Hotel oder ein Restaurant sein. Beispielsweise kann hier ein Belegungszustand des Hotels oder eine Speisekarte angezeigt werden.
-
Diese Bildungsinformations-Erzeugungsfunktion ist somit nur dann aktiv beziehungsweise wird nur dann aktiviert, wenn das Video in eine Szenerie-Klasse klassifiziert wurde, in welcher charakteristische Plätze und/oder Gebäude vorgegeben sind und diese entsprechend in dem Video erkannt wurden.
-
Darüber hinaus ist es auch möglich, dass eine Verkehrssignalüberwachungsanwendung als Führungsfunktion aktiviert wird, wenn das Video in eine Szenerie-Klasse klassifiziert wurde, die spezifische Verkehrssignale vorgibt.
-
Ist in dem Zusammenhang auch ein spezifischer Verkehrszustand und somit gegebenenfalls auch eine individuelle Verkehrsdichte gegeben, kann das Video auch in eine Szenerie-Klasse betreffend einen vorgegebenen Verkehrszustand eingruppiert werden und abhängig davon dann auch diese genannte Führungsfunktion aktiviert werden. Beispielsweise bei einem Stau ein Stauassistent.
-
Darüber hinaus ist es auch möglich, dass eine automatische Kontrolle von Multimediaanwendungen aktiviert wird, wenn sich das Kraftfahrzeug nahe einem Arbeitsplatzbereich oder einem Zuhause-Bereich befindet und eine entsprechende Klassifikation des Videos in eine derartige Szenerie-Klasse erfolgt ist.
-
Auch können spezifische Warnhinweise ausgegeben werden, beispielsweise zur Vermeidung einer Nutzung eines Mobiltelefons während eines Gewitters oder dergleichen.
-
Es ist damit ermöglicht, eine automatische Auswahl der Art und/oder Anzahl von Führungsfunktionen basierend auf einem spezifischen Video beziehungsweise einer spezifischen Klassifizierung in Video-Szenerietypen.
-
Dadurch werden ein sehr effizienter Betrieb und somit auch ein sehr effizientes Nutzen der verschiedenen Führungsfunktionen ermöglicht. Dadurch wird ein bedarfsgerechter Einsatz dieser Führungsfunktionen ermöglicht. Insbesondere kann somit auch eine ressourcensparende Bereitstellung dieser Führungsfunktionen im aktiven Zustand erreicht werden. Es ist darüber hinaus nicht mehr erforderlich, Führungsfunktionen manuell durch einen Nutzer zu aktivieren oder zu deaktivieren.
-
Bei dem Verfahren wird somit insbesondere auch eine szenerieabhängige Adaption einer Objekterkennung in dem Video durchgeführt. Dies ist nun auch ermöglicht, wenn sich das Kraftfahrzeug 1 mit dem Kamerasystem 14 selbst bewegt und somit dynamisch bewegt ein Video mit dem Kamerasystem 14 aufgenommen wird. Insbesondere werden in dem Zusammenhang spezifische Merkmale in dem Video extrahiert, wobei hierzu vorzugsweise ein CNN (Convolutional Neural Network)-Modell für eine Anzahl von zumindest zwei Einzelbildern, die als Referenzbilder dienen, angewandt wird. Nachfolgend wird dann eine Clusterung durchgeführt, um einen robusten Merkmalsbeschreiber für das Video zu erhalten. Dieser Merkmalsbeschreiber ist insbesondere einen Szenerietyp des Videos charakterisierender Merkmalsbeschreiber.
-
Vorzugsweise wird das aufgenommene Video vorprozessiert. Dazu wird vorzugsweise ein zeitweises Subsampling durchgeführt. Zusätzlich oder anstatt dazu kann auch eine Korrektur einer Fischaugenstörung erfolgen. Dieses so vorzugsweise vorprozessierte Video wird dann an den trainierten maschinellen Selbstlernprozess, insbesondere an ein CNN-Modell, gegeben, um eine Merkmalsextraktion durchzuführen, insbesondere um auch Objekttypen und diesbezügliche Begrenzungsrahmen für diese Objekttypen in einem Einzelbild des Videos, als auch insbesondere geosemantische Segmentierungsinformationen zu erzeugen.
-
Die Klassifikation des Videos und somit auch der Videoszenerie erfolgt vorzugsweise dahingehend, dass Einzelbilder des Videos als Referenzbilder ausgewählt werden. Beispielsweise können derartige Einzelbilder an spezifischen Reihenfolgepositionen der Vielzahl der Einzelbilder des Videos vorgesehen sein. So kann beispielsweise jedes fünfte oder jedes zehnte Einzelbild der Vielzahl der Einzelbilder des Videos als Referenzbilder ausgewählt werden. Mit diesen Einzelbildern als Referenzbilder werden dann Merkmalsextraktionen durchgeführt. Insbesondere werden dazu Referenzmerkmale des Videos berechnet, wobei dies insbesondere durch einen Deep-Learning-Algorithmus durchgeführt wird. Diese Referenzbilder werden dann mit Objektdetails klassifiziert, wobei Objektdetails beispielsweise spezifische Objekttypen oder ein Begrenzungsrahmen für ein Objekt in einem Bild oder eine geosemantische Segmentationsinformation oder dergleichen sein kann. In einem weiteren Schritt werden dann die extrahierten Merkmale, die somit auch Referenzmerkmale sind, als Eingangsmerkmale beziehungsweise Entscheidungsmerkmale zugrundegelegt, um das Video in eine Klasse, insbesondere eine Szenerie-Klasse, zu klassifizieren.
-
Einzelbilder oder Videobildtypen und ihr Vorhandensein in dem Video werden als Inputinformationen in das System beziehungsweise die Klassifikationseinheit eingegeben. Führungsfunktionen für verschiedene Anforderungen und Anwendungen sind in dem Fahrzeugführungssystem auf Anforderung beziehungsweise auf Abruf bereitgestellt. Diese Klassifikationseinheit, die auch eine elektronische Steuereinheit ist oder aufweisen kann, aktiviert Führungsfunktionen abhängig von dem Videotyp und somit abhängig von der Klassifikation des Videos.
-
In 2 ist ein beispielhaftes Einzelbild 16 eines Videos 17 gezeigt, welches mit dem Kamerasystem 14 aufgenommen wurde. Insbesondere kann dieses Video 17 durch eine einzelne Kamera, hier insbesondere durch die Kamera 5, aufgenommen sein.
-
In dem Einzelbild 16 sind beispielhaft Begrenzungsrahmen 18 und 19 für spezifische Objekte, hier einen Seitenbereich 20 und einen Frontbereich 21 eines Kraftfahrzeugs 22, welches im Umgebungsbereich 13 angeordnet ist, dargestellt. Insbesondere kann vorgesehen sein, dass auf Basis mehrerer Einzelbilder ein Straßentyp 23 erkannt wird. Insbesondere wird eine Klassifikation des Videos 17 auf Basis der Auswertung von mehreren Einzelbildern 16 durchgeführt, wobei hierzu die Szenerien des Videos 17 und somit Szenerien in den Einzelbildern 16 analysiert werden. Abhängig von der Analyse dieser Szenerien wird das Video 17 in eine von mehreren vorgegebenen Klassen, insbesondere Szenerie-Klassen, klassifiziert. In dem Bild 16 ist der Umgebungsbereich 13 bei einem spezifischen Zustand, nämlich hier bei Tag und bei gutem Wetter, insbesondere Sonnenschein, aufgenommen. Insbesondere kann abhängig von diesen Kriterien dann eine von der Klasseneinteilung des Videos 17 abhängige und somit diesbezüglich spezifizierte Objekterkennung in dem Video 17, insbesondere in Einzelbildern 16, erfolgen. Die Objekterkennung ist somit an die jeweilige Klassifikation und somit an die jeweilige Eingruppierung eines Videos 17 in eine Klasse angepasst.
-
Ein weiteres Einzelbild 16 eines Videos 17 ist in 3 gezeigt. Bei dieser Ausführung ist eine geosemantische Segmentierungsinformation von Interesse. Dies bedeutet, dass das Gebäude 24, welches in dem Bild 16 erfasst ist, eine erste geosemantische Segmentierungsinformation darstellt. Der Straßenbereich 25 benachbart zu dem Gebäude 24, wie er ebenfalls in dem Bild 16 gezeigt ist, stellt eine weitere geosemantische Segmentierungsinformation dar. Darüber hinaus kann ein Himmel 26, wie er in 3 erfasst ist, eine weitere geosemantische Segmentierungsinformation sein.
-
In 4 ist in einer vereinfachten Darstellung ein Verfahrensablauf gezeigt. In einem Schritt S1 wird das aufgenommene Video einer Verarbeitungseinheit, die Bestandteil der Klassifizierungseinheit sein kann, zugeführt. Hierbei wird gemäß einem Schritt S2 in vorteilhafter Weise ein Vorprozessieren des Videos durchgeführt, wobei hier die oben genannten beispielhaften Vorgänge erfolgen können.
-
Dieses dann vorprozessierte Video kann in einem Schritt S3 dann einem insbesondere trainierten maschinellen Lernprozess zugeführt werden. Insbesondere kann in dem Schritt S3 das vorprozessierte Video einem trainierten CNN-Modell zugeführt werden.
-
Anhand von spezifischen Charakteristika, wie beispielsweise erkannten Objekttypen, dargestellten Begrenzungsrahmen für Objekte in einem Einzelbild, wie sie beispielsweise durch die Rahmen 18 und 19 in 2 gegeben sind, als auch anhand von beispielsweise geosemantischen Segmentierungsinformationen kann gemäß dem Vorgehen in Schritt S4 ein Clustern gemäß dem Schritt S5 durchgeführt werden. Abhängig davon kann dann in einem Schritt S6 eine Szenerien-Klassifikation durchgeführt werden und somit eine Klassifikation des Videos in zumindest eine von mehreren Klassen, insbesondere Szenerie-Klassen, erfolgen (Schritt S7). Abhängig davon kann gemäß einem Schritt S8 dann eine individuelle Anzahl und/oder individuelle Art von Führungsfunktionen eines elektronischen Fahrzeugführungssystems 15 aktiviert oder deaktiviert werden.
-
Insbesondere wird der Algorithmus zur Objekterkennung angelernt und Szenerieklassifikationen und somit Klassifikationen des Videos werden in einer Ende-zu-Ende-Art und Weise gelernt, sodass abstrakte Szenerien automatisch gelernt werden können und das Klassifikationsmodell selbstlernend angepasst werden kann. Ebenso kann ein Entfernen einer Fischaugenverzerrung, ein temporäres Sub-Bemustern und ein Wiederholungs-Bemustern der Einzelbilder trainiert werden und selbst gelernt werden. Insbesondere ein CNN-Modell wird dahingehend trainiert, um verschiedene Objekttypen detektieren zu können, als auch Begrenzungsrahmen von Objekten und das Auftreten im Bild beziehungsweise dem Video sowie geosemantische Segmentationsinformationen erfassen zu können. Der Klassifizierungsprozess nutzt insbesondere Clusterverfahren, um Videos klassifizieren zu können, wobei dieses Modul mit verschiedenen Typen von Videos für das oben genannte Szenario zu bedarfsgerechten situationsangepassten Auswahl von Führungsfunktionen trainiert werden kann.
