DE102017206396A1

DE102017206396A1 - Steuerverfahren, Steuereinheit, Umfelderfassungssystem und mobile und/oder stationäre Einrichtung

Info

Publication number: DE102017206396A1
Application number: DE102017206396.3A
Authority: DE
Inventors: Wolfgang Niehsen
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-04-13
Filing date: 2017-04-13
Publication date: 2018-10-18

Abstract

Die vorliegende Erfindung betrifft ein Steuerverfahren (S) für ein Umfelderfassungssystem (10) für eine mobile und/oder stationäre Einrichtung (1) und insbesondere für ein Fahrzeug, mit den Schritten optisches Erfassen (S1) mindestens einer Szene aus einem Umfeld (50) der Einrichtung (1), Bewerten (S2) der erfassten Szene und daraus Ableiten (S3) einer Betriebs- und insbesondere Fahrsituation der Einrichtung (1) und - in Abhängigkeit von der Betriebssituation - gesteuertes Eingreifen (S4) in den Betrieb der Einrichtung (1) und dadurch Anpassen (S5) des Betriebs und insbesondere des Bewegungs- oder des Fahrverhaltens der Einrichtung (1), bei welchem das Bewerten (S2) auf der Grundlage einer physikalisch motivierten Mehrfachpfadzerlegung maschinellen Sehens in einer Mehrzahl voneinander unabhängiger Bewertungsprozesse (S2-1, S2-2, S2-3) durchgeführt wird und die unabhängigen Bewertungsprozesse (S2-1, S2-2, S2-3) jeweils einen Pfad zumindest für eine erscheinungsformbasierte Objektdetektion und -klassifikation (S2-1) und für eine flussbasierte Bewegungsanalyse (S2-2) umfassen.

Description

Stand der Technik
Die vorliegende Erfindung betrifft ein Steuerverfahren insbesondere für ein Umfelderfassungssystem, eine Steuereinheit für ein Umfelderfassungssystem, ein Umfelderfassungssystem als solches sowie eine mobile und/oder stationäre Einrichtung und insbesondere ein Fahrzeug oder Kraftfahrzeug.
Bei mobilen und/oder stationären Einrichtungen insbesondere bei Fahrzeugen kommen vermehrt Umfelderfassungssysteme sowie Betriebs- oder Fahrassistenzsysteme zum Einsatz, welche den Bediener und insbesondere den Fahrer beim Betrieb und beim Führen der jeweiligen Einrichtung unterstützen sollen. Eine Zielsetzung ist dabei die zunehmende Ausrichtung auf das so genannte automatisierte Fahren.
Voraussetzung ist dabei, dass dem jeweiligen steuernden Eingriff in den Betrieb der jeweiligen Einrichtung Daten zu Grunde gelegt werden können, die für die Szene im Umfeld der Einrichtung und für deren zeitliche Änderung charakteristisch sind.
Herkömmliche Verfahren zur Umfeldinterpretation und/oder -bewertung und Szenenerkennung sind auf Grund der Komplexität der zu bewertenden Situation selbst beim Einsatz von komplexen Verfahren und Einrichtungen des maschinellen Sehens (computer vision : CV), zum Beispiel unter Einsatz so genannter Machine-Leraning- oder Deep-Learning-Verfahren und von neuronalen Netzen, im Vergleich zu dem betriebenen Aufwand unzureichend hinsichtlich ihrer Zuverlässigkeit.
Offenbarung der Erfindung
Das erfindungsgemäße Steuerverfahren für ein Umfelderfassungssystem und insbesondere für ein Betriebs- und/oder Fahrassistenzsystem mit den Merkmalen des Anspruchs 1 weist demgegenüber den Vorteil auf, dass bei einem vergleichsweise übersichtlichen Aufwand beim Bewerten von Szenen eines Umfeldes ein sehr viel höheres Maß an Zuverlässigkeit erzielt wird. Dies wird erfindungsgemäß mit den Merkmalen des Anspruchs 1 dadurch erreicht, dass ein Steuerverfahren für ein Umfelderfassungssystem und insbesondere für ein Betriebsassistenzsystem und/oder für ein Fahrassistenzsystem für eine mobile und/oder stationäre Einrichtung und insbesondere für ein Fahrzeug geschaffen wird, welches mit den Schritten (i) des optischen Erfassens mindestens einer Szene aus einem Umfeld der Einrichtung, (ii) des Bewertens der erfassten Szene und des daraus Ableitens einer Betriebs- und insbesondere Fahrsituation der Einrichtung und - in Abhängigkeit von der Betriebssituation - (iii) des gesteuerten Eingreifen in den Betrieb der Einrichtung und dadurch Anpassens des Betriebs und insbesondere des Bewegungs- oder des Fahrverhaltens der Einrichtung aufweist. Dabei wird erfindungsgemäß das Bewerten auf der Grundlage einer physikalisch motivierten Mehrfachpfadzerlegung maschinellen Sehens in einer Mehrzahl voneinander unabhängiger Bewertungsprozesse durchgeführt. Ferner umfassen die unabhängigen Bewertungsprozesse des Bewertens jeweils einen Pfad zumindest für eine erscheinungsformbasierte Objektdetektion und - klassifikation und für eine flussbasierte Bewegungsanalyse.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
Die vorliegende Erfindung ist im Bereich der Umfelderfassungssysteme anwendbar, jedoch auch im Zusammenhang mit mobilen Einheiten oder Einrichtungen, zum Beispiel bei Fahrzeugen, und dort bei so genannten Fahrerassistenzsystemen oder Betriebsassistenzsystemen. Jedoch ist die vorliegende Erfindung insbesondere auch im Bereich von stationären Einheiten oder Einrichtungen anwendbar und kann dort ebenfalls der Umfelderfassung und/oder der Betriebsassistenz dienen. Insofern sind vorangehend und nachfolgend die Begriffe Umfelderfassungssystem, Betriebsassistenzsystem, Fahrassistenzsystem einerseits und mobile Einrichtung oder Einheit stationäre Einrichtung oder Einheit andererseits immer zusammen gemeint und jeweiligen technischen Aspekte sind immer auf sämtliche Systeme und Einrichtungen anwendbar.
Im Zusammenhang mit der Mehrfachpfadstruktur können die Teilprozesse des Bewertens der erfassten Szene insbesondere zueinander parallel und/oder simultan ausgeführt werden.
Die Zuverlässigkeit des erfindungsgemäßen Vorgehens kann weiter gesteigert werden, indem gemäß einer vorteilhaften Weiterbildung des erfindungsgemäßen Steuerverfahrens die unabhängigen Bewertungsprozesse einen Pfad für eine mehrfachansichtbasierte, dreidimensionale Szenenrekonstruktion umfassen, insbesondere unter Verwendung von Stereoansichten und/oder von bewegungsbasierten Szenenrekonstruktionen.
Bei einer anderen Weiterbildung des erfindungsgemäßen Steuerverfahrens weist das Bewerten einen nachgeschalteten Prozess und insbesondere ein nachgeschaltetes neuronales Netz, ein DNN und/oder eine Schicht davon auf.
Der nachgeschaltete Prozess, das nachgeschaltete neuronalen Netz, das DNN und/oder die Schicht können in vorteilhafter Weise zur dreidimensionalen Szenenrekonstruktion eingerichtet sein.
Zusätzlich oder alternativ können der nachgeschaltete Prozess und insbesondere das nachgeschaltete neuronale Netz, das DNN und/oder die Schicht zur Verarbeitung auf der Grundlage von Aspekten der dreidimensionalen Euklidischen Geometrie im Verhältnis zur zweidimensionalen projektiven Geometrie und/oder auf der Grundlage eines Vorgangs der Sensordatenfusion, insbesondere durch Heranziehen von Sensordatenquellen aus optischen Sensoren, insbesondere aus einer Kameraanordnung mit einer oder mit mehreren Kameras, aus Lidar-Sensoren, aus Radarsensoren, aus Infrarotsensoren und/oder aus akustischen Sensoren, insbesondere aus Ultraschallsensoren eingerichtet sein. Als weitere zusätzliche oder alternative Informationsquelle können Umfeld Daten auch aus digitalen Karten und/oder anderen digitalen Datenquellen entnommen werden.
Bei einer anderen zusätzlichen oder alternativen Ausgestaltungsform des erfindungsgemäßen Steuerverfahrens ist es vorgesehen, dass das Bewerten einen vorgeschalteten Prozess und insbesondere ein vorgeschaltetes neuronales Netz, ein DNN und/oder eine Schicht davon aufweist, welche insbesondere zur semantischen Segmentierung der erfassten Szene und/oder zur Vorsteuerung oder Steuerung der Mehrfachpfade des Bewertens und insbesondere der Bewertungsprozesse eingerichtet sind.
Dabei kann es des Weiteren vorgesehen sein, dass der vorgeschaltete Prozess und insbesondere das vorgeschaltete neuronale Netz, das DNN und/oder die Schicht eingerichtet sind, periodische Strukturen einer Szene und insbesondere periodisch angeordnete Objekte und/oder statische, bewegte und/oder potenziell bewegte Strukturen einer Szene und insbesondere statische, bewegte und/oder potenziell bewegte Objekte zu detektieren und zu bewerten, insbesondere zu deren gegenseitiger Unterscheidung.
Bei einer anderen vorteilhaften Ausgestaltungsform des erfindungsgemäßen Steuerverfahrens ist es vorgesehen, dass der Vorgang der erscheinungsformbasierten Objektdetektion und -klassifikation auf der Grundlage eines Verfahrens des maschinellen Lernens, im Zusammenhang mit einem Trainingsverfahren und/oder unter Einbeziehung einer Vorsteuerung durch den vorgeschalteten und/oder den nachgeschalteten Prozess, das jeweilige neuronale Netz, das DNN und/oder die Schicht ausgeführt wird.
Ferner betrifft die vorliegende Erfindung eine Steuereinheit für ein Umfelderfassungssystem insbesondere für ein Betriebs- und/oder Fahrassistenzsystem für eine mobile und/oder stationäre Einrichtung und insbesondere für ein Fahrzeug. Gemäß der vorliegenden Erfindung ist die erfindungsgemäße Steuereinheit eingerichtet, eine Ausführungsform des erfindungsgemäßen Steuerverfahrens für ein Umfelderfassungssystem, Betriebs- und/oder Fahrassistenzsystem auszuführen.
Dabei kann die Steuereinheit teilweise oder vollständig als Computerimplementation ausgestaltet sein, insbesondere als computergestütztes Verfahren oder Computerprogramm.
Alternativ oder zusätzlich kann die Steuereinheit teilweise oder vollständig durch Hardwarekomponenten, insbesondere durch ASSPs und/oder ASICs, ausgebildet sein.
Bei einer hardwareseitigen Realisierung des Verfahrens kann die Zuverlässigkeit durch redundante Implementierung der Einzelpfade weiter gesteigert werden. Hierbei ist es von besonderem Vorteil, wenn die redundanten Anteile der Implementierung jeweils spezifisch für jeden der Einzelpfade ausgelegt werden, um die Gesamtkomplexität der redundanten Implementierung so gering wie möglich zu halten.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird auch ein Umfelderfassungssystem, Betriebs- und/oder Fahrassistenzsystem für eine mobile und/oder stationäre Einrichtung und insbesondere für ein Fahrzeug geschaffen. Das Umfelderfassungssystem ist mit einer Ausgestaltungsform der erfindungsgemäßen Steuereinheit ausgebildet.
Des Weiteren ist Gegenstand der vorliegenden Erfindung eine mobile und/oder stationäre Einrichtung und insbesondere ein Fahrzeug oder Kraftfahrzeug. Dieses weist zum Beispiel einen Antrieb und/oder eine Lenkung auf und ist mit einem erfindungsgemäß ausgestalteten Umfelderfassungssystem ausgebildet, welches der Steuerung des Antriebs, der Bremse und/der Lenkung dient.
Figurenliste
Unter Bezugnahme auf die beigefügten Figuren werden Ausführungsformen der Erfindung im Detail beschrieben.

1A zeigt schematisch nach Art einer Draufsicht eine Ausführungsform des erfindungsgemäßen Fahrzeugs, bei welchem im Zusammenhang mit einem erfindungsgemäßen Umfelderfassungssystem und dessen Steuereinheit eine Ausführungsform des erfindungsgemäßen Steuerverfahrens zum Einsatz kommen kann.
1B bis 4 zeigen schematisch Ausführungsformen des erfindungsgemäßen Steuerverfahrens.
5 bis 8 zeigen Ansichten von Szenen aus einem Fahrzeugumfeld, bei welchen verschiedene Bewertungskriterien zum Einsatz kommen, die Ergebnis einer Ausführungsform des erfindungsgemäßen Steuerverfahrens sein können.
9 zeigt schematisch den Aufbau eines neuronalen Netzes, welches bei einer Ausführungsform des erfindungsgemäßen Steuerverfahrens zum Einsatz kommen kann.
10 zeigt schematisch ein herkömmliches Steuerverfahren für ein Umfelderfassungssystem.

Bevorzugte Ausführungsformen der Erfindung
Nachfolgend werden unter Bezugnahme auf die 1A bis 10 Ausführungsbeispiele der Erfindung und der technische Hintergrund im Detail beschrieben. Gleiche und äquivalente sowie gleich oder äquivalent wirkende Elemente und Komponenten werden mit denselben Bezugszeichen bezeichnet. Nicht in jedem Fall ihres Auftretens wird die Detailbeschreibung der bezeichneten Elemente und Komponenten wiedergegeben.
Die dargestellten Merkmale und weiteren Eigenschaften können in beliebiger Form voneinander isoliert und beliebig miteinander kombiniert werden, ohne den Kern der Erfindung zu verlassen.
Bevor auf Details der vorliegenden Erfindung eingegangen wird, wird zum Vergleich auf der Grundlage von 10 schematisch der Aufbau beim herkömmlichen Vorgehen bei einem herkömmlichen Umfelderfassungssystem 30' erläutert. Wie vorangehend bereits dargelegt wurde, kann anstelle eines Umfelderfassungssystems auch ein Betriebsassistenzsystem und/oder ein Fahrassistenzsystem betrachtet werden.
In 10 ist ein herkömmliches Fahrzeug 1' mit Antrieb 2 und Lenkung 3 schematisch dargestellt. Über einen herkömmlichen abbildenden Prozess, zum Beispiel über eine herkömmliche Kameraanordnung 20, wird die Umgebung, also das Umfeld des Fahrzeugs 1' im Schritt T1 optisch erfasst und zeitdiskret als Abfolge von Bildern, also als Abfolge zweidimensionaler Projektionen, repräsentiert.
Bei der herkömmlichen Ausführungsform gemäß 10 kann das Bewerten T2 der Szene 50S und das Ableiten T3 einer Fahrsituation des Fahrzeugs 1' - oder allgemein einer Betriebssituation - im Zusammenhang mit einem DNN (deep neural network) und entsprechende Lernverfahren mit einer End-to-End-Struktur erfolgen.
Ziel ist dabei auf der Grundlage des Bewertens T2 und des Ableitens T3 schlussendlich ein Eingreifen T4 in den Betrieb des Fahrzeugs 1' - oder allgemein der mobilen Einrichtung - zu planen und zu bewirken, um dadurch eine Anpassung T5 des Betriebsverhaltens, also insbesondere des Bewegungsverhaltens und/oder Fahrverhaltens des Fahrzeugs 1', zu erreichen.
Auf Grund der Komplexität real auftretender Situationen in der Szene 50S im Umfeld des Fahrzeugs 1', kommt es herkömmlicherweise auch aufgrund des nur begrenzten Trainingsrahmens zu häufig zu falschen oder unterlassenen Eingriffen im Fahrbetrieb des Fahrzeugs 1'.
Dies soll erfindungsgemäß mit den vorangehend und nachfolgend beschriebenen Maßnahmen verhindert werden.
1A zeigt schematisch nach Art einer Draufsicht eine Ausführungsform des erfindungsgemäßen Fahrzeugs 1, bei welchem im Zusammenhang mit einem erfindungsgemäßen Umfelderfassungssystem 10 oder Fahrassistenzsystem 10 und dessen Steuereinheit 30 eine Ausführungsform des erfindungsgemäßen Steuerverfahrens S zum Einsatz kommen kann.
Obwohl die vorliegende Erfindung im Zusammenhang mit beliebigen anderen mobilen und/oder stationären Einrichtungen 1 gesehen werden kann, zum Beispiel im Zusammenhang mit allgemeinen Arbeitsmaschinen, mit Robotern, Transportfahrzeugen, mit Multi-Kamerasystemen zur Umfeldüberwachung oder dergleichen, wird hier beispielshaft im Detail die Anwendung bei einem Fahrzeug 1 und insbesondere bei einem Kraftfahrzeug beschrieben. Dieses Beispiel soll jedoch nicht beschränkend sein.
Das in 1A schematisch dargestellte erfindungsgemäß aufgebaute Fahrzeug 1 weist mit einem Antrieb 2 antreibbare und über eine Lenkung 3 lenkbare Räder 4 auf. Zur - gegebenenfalls zusätzlichen - Steuerung des Antriebs 2 der Lenkung 3 ist ein Umfelderfassungssystem oder Fahrassistenzsystem 10 mit einer Steuereinheit 30 mit erfindungsgemäßem Aufbau ausgebildet. Die Steuereinheit 30 ist über eine Steuer- und Erfassungsleitung 31 mit dem Antrieb 2, der Lenkung 3 und einer Kameraanordnung 20 mit einer ersten Kamera 21 und einer zweiten Kamera 22 wirkverbunden.
Zusätzlich oder alternativ zur Kameraanordnung 20 können auch andere Sensorsysteme zu Grunde gelegt werden, welche einer Erfassung von Objekten 53 in einer Szene 50S im Umfeld 50 dienlich sind. Bei der in 1A dargestellten Situation wird das Umfeld 50 teilweise durch das Sichtfeld 51 der ersten Kamera 21 und das Sichtfeld 52 der zweiten Kamera 22 überstrichen, so dass das Objekt 53 im Umfeld 50 stereoskopisch durch die Kameraanordnung 20 erfasst wird. Durch die Wirkungsweise der Kameraanordnung 20 wird die zeitkontinuierliche dreidimensionale Szene 50S im Umfeld 50 auf eine Abfolge zeitdiskreter zweidimensionaler Bilder abgebildet und über die Steuer- und Erfassungsleitung 31 der Steuereinheit 30 des Umfelderfassungssystems oder Fahrassistenzsystems 10 zur Bewertung zugeführt.
Das Bewertungsergebnis wird durch die Steuereinheit 30 über die Steuer- und Erfassungsleitung in Form von Steuersignalen an den Antrieb 2 und/oder die Lenkung 3 ausgegeben, um Einfluss auf den Betrieb des Fahrzeugs 1 zu nehmen, indem zum Beispiel der Antrieb und/oder die Lenkung verstellt werden.
1B bis 4 zeigen schematisch Ausführungsformen des erfindungsgemäßen Steuerverfahrens S.
Dabei ist 1B nach Art eines Flussdiagramms aufgebaut und zeigt den Schritt S1 des optischen und/oder visuellen Erfassens der Szene 50S im Umfeld 50, den Schritt S2 des Bewertens der Szene 50S, den Schritt S 3 des Ableitens einer Fahrsituation auf der Grundlage der Bewertung der Szene 50S, Schritt S 4 des Eingreifens in den Betrieb des Fahrzeugs 1, zum Beispiel durch das generieren und Übertragen von Steuerparametern an den Antrieb 2, die Bremse und/oder an die Lenkung 3, sowie den Schritt S5 des Anpassens des Betriebsverhaltens und insbesondere des Bewegungsverhaltens und/oder Fahrverhaltens des Fahrzeugs 1.
Das in 1B beschriebene Verfahren S kann als Teilverfahren, zum Beispiel im Zusammenhang mit einer Regelschleife abgearbeitet werden.
2 zeigt eine schematische Ansicht einer anderen Ausführungsform des erfindungsgemäßen Steuerverfahrens S, bei welchem hier bereits auf die Segmentierung oder die Dekomposition des Schritts S2 des Bewertens einer Szene 50S im Umfeld 50 abgestellt wird. Dieser Schritt S2 wird im Zusammenhang mit der Steuereinheit 30 gemäß der vorliegenden Erfindung ausgeführt, wogegen Schritt S1 des optischen und/oder visuellen Erfassens der Szene 50S auf der Grundlage der Kameraanordnung 20 durchgeführt wird und die Schritte S4 des Eingreifens in den Betrieb und S5 des Anpassens des Betriebs des Fahrzeugs 1 Zusammenhang dem Antrieb 2 der Lenkung 3 realisiert werden. Auch der Schritt S3 des Ableitens einer Betriebssituation oder einer Fahrsituation kann im Zusammenhang mit der Steuereinheit 30 gemäß der vorliegenden Erfindung erfolgen.
3 zeigt detailliert die Dekomposition, Zerlegung oder Segmentierung der Schritte S2 des Bewertens der Szene 50S und S3 des Ableitens der Betriebssituation.
Vorangehend ist dabei zunächst durch S0 die reale Szene 50S im Umfeld 50 als dreidimensionale und zeitkontinuierliche Struktur dargestellt. Diese wird durch einen ersten Teilschritt S1-1 des optischen und/oder visuellen Erfassens S1 der Szene 50S durch Sensormittel, insbesondere durch die Kameraanordnung 20, erfasst und im zweiten Teilschritt S1-2 als zweidimensionale und zeitdiskrete Struktur repräsentiert und der Eingangsseite des Schritts S2 des Bewertens zugeführt.
Die Komplexität des Bewertens S2 wird dabei durch die Dekomposition in weniger komplexe und physikalisch motivierte Teilprozesse, hier S2-1 der erscheinungsformbasierten Objektdetektion und -klassifikation, S2-2 der flussbasierten Bewegungsanalyse, nämlich auf der Grundlage des optischen Flusses, und S2-3 der mehrfachansichtbasierten und dreidimensionalen Szenenrekonstruktion unterteilt. Diese Teilprozesse S2-1 bis S2-3 werden durch einen eingangsseitig vorgeschalteten Prozess S2-4 auf der Grundlage eines eingangsseitigen neuronalen Netzes und durch einen Ausgangsseitig nachgeschalteten Prozess S2-5, ebenfalls auf der Grundlage eines ausgangsseitigen neuronalen Netzes, ergänzt.
Das eingangsseitigen neuronale Netz S2-4 nimmt eine Vorsteuerung der multiplen Pfade mit den Prozessen S2-1 bis S2-3 vor, insbesondere im Hinblick auf die Klassifikation der Objekte und deren Bewegung, insbesondere in Unterscheidung zu periodischen Strukturen oder periodisch angeordneten Objekten in der Szene 50S.
Das ausgangsseitige neuronale Netz S2-5 nimmt im Zusammenwirken mit dem dritten Bewertungsprozess S2-3 der mehrfachansichtbasierten und dreidimensionalen Szenenrekonstruktion die Abbildung auf eine dreidimensionale Repräsentation vor, wobei auf der Grundlage physikalischer und geometrischer Prinzipien die bei der Projektion von der dreidimensionalen und zeitkontinuierlichen Darstellung auf die zweidimensionale und zeitdiskrete Darstellung verloren gegangene Information mitrekonstruiert oder ergänzt wird.
Im Teilschritt S2-6 liegt dann die dreidimensional und Zeit diskret rekonstruierte Szenenrepräsentation vor, auf deren Grundlage dann - unter Zuhilfenahme weiterer Daten - das ableiten einer Fahrsituation im Schritt S3 erfolgt mit dem sich anschließenden Eingreifen S4 in den Betrieb und dem Anpassen S5 des Betriebs des Fahrzeugs 1 als mobiler Einrichtung.
In 3 ist das eingangsseitige neuronale Netz S2-4 gestrichelt dargestellt, es stellt mithin nur eine Option für eine bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens S und des entsprechenden erfindungsgemäßen Umfelderfassungssystems oder Fahrassistenzsystems 10 dar.
Bei der Ausführungsform gemäß 4 ist bei der Ausführungsform des erfindungsgemäßen Verfahrens S nur ein ausgangsseitiges neuronales Netz S2-5 vorgesehen. Des Weiteren liegt hier eine Dekomposition des Schritts S2 des Bewertens in nur zwei Teilschritten vor, nämlich dem ersten Bewertungsprozess S2-1 der erscheinungsformbasierten Objektdetektion und -klassifikation und dem zweiten Bewertungsprozess S2-2 der flussbasierten Bewegungsanalyse.
Die Ausführungsform des erfindungsgemäßen Steuerverfahrens S gemäß 4 ist mit einem verringerten Aufwand vorteihafterweise ausführbar. Im Ergebnis entstehen zum Beispiel im Zusammenhang mit dem Eingreifen S4 in den Betrieb und dem Anpassen S5 des Betriebs des Fahrzeugs 1 die Möglichkeit einer Warnung S5-1 an den Fahrer des Fahrzeugs 1 und/oder die Ausgabe S5-2 eines Triggerpulses zum Betätigen der Bremse für eine Notbremsung, wobei die Bremse als Teil des Antriebs 2 aufgefasst werden kann.
5 bis 8 zeigen Ansichten von Szenen 50S aus einem Fahrzeugumfeld 50, bei welchen verschiedene Bewertungskriterien zum Einsatz kommen, die Ergebnis einer Ausführungsform des erfindungsgemäßen Steuerverfahrens sein können.
In diesen Figuren ist eine Person als Objekt 53 im Umfeld 50 des Fahrzeugs 1 enthalten und wird in den Sichtfeldern 51 und 52 der Kameras 21 und 22 der Kameraanordnung 20 gemäß 1 erfasst.
Im Zusammenhang mit dem erfindungsgemäßen Steuerverfahrens S für das Umfelderfassungssystem oder Fahrassistenzsystem 10 für das Fahrzeug 1, aufgefasst als mobile Einrichtung, entsteht zunächst gemäß 5 ein zweidimensionales Abbild aus der Szene 50S im Umfeld 50.
Im Zusammenhang mit 6 ergibt sich nach Bewertung durch das erfindungsgemäße Steuerverfahren S für ein Umfelderfassungssystem oder Fahrassistenzsystem 10 eine Objektklassifikation und Detektion mittels einer so genannten Bounding-Box 54 , nämlich im Zusammenhang mit einer typischen Objekterkennung mit einem trainierten Objektdetektor welche im Zusammenhang mit der vorliegenden Erfindung den Pfad für die erscheinungsformbasierte Objektdetektion und -klassifikation S2-1 realisiert. Auf Grund einer derartigen Detektionen und Klassifikation kann dann eine entsprechende Notbremsaktion generiert und abgesetzt werden.
7 zeigt den Vorgang für eine typische Fehldetektion, wie sie beim Stand der Technik vorkommt, nämlich im Zusammenhang mit einer Bounding-Box 55 für das Spiegelbild auf einer nassen Fahrbahn im Umfeld des Fahrzeugs 1.
Erfindungsgemäß können derartige Fehldetektionen vermieden werden, wenn auf der Grundlage physikalischer und geometrischer Prinzipien auf eine dreidimensionale Rekonstruktion der Situation zurückgegriffen wird, wie sie im Zusammenhang mit 8 dargestellt ist, und zwar im Zusammenhang mit einem dem Objekt 53, nämlich der Person, zugeordneten dreidimensionalen Konstrukt, welches im Objekt 53 räumlich zeitlich zugeordnet ist und eine Fehldetektion im Zusammenhang mit Reflexionen am Fahrbahngrund usw. erfindungsgemäß verhindert.
9 zeigt schematisch den Aufbau eines neuronalen Netzes, welches bei einer Ausführungsform des erfindungsgemäßen Steuerverfahrens zum Einsatz kommen kann.
Diese und weitere Merkmale und Eigenschaften der vorliegenden Erfindung werden an Hand der folgenden Darlegungen weiter erläutert:

Videobasierte Systeme, z.B. für Betriebsassistenz oder Fahrassistenzsysteme 10 für Fahrzeuge 1, sind in einer Vielzahl von Anwendungen zur Sensierung und Interpretation des Umfeldes 50 einsetzbar. Zum Beispiel können Videosysteme im Kraftfahrzeug 1 zur Realisierung von Fahrerassistenzfunktionen wie Fahrspurverlassenswarnung oder Verkehrszeichenerkennung eingesetzt werden.

Der Rückgriff auf komplexe Sensorfusionssysteme ist erforderlich, um die Zuverlässigkeit des Gesamtsystems zu erhöhen und um den Absicherungsaufwand zur Freigabe des Systems durch die Betrachtung weitgehend unabhängiger Einzelsensorpfade zu reduzieren.
Das Konzept der videobasierten Umfeldinterpretation erfordert eine Detektion und Klassifikation der für die jeweilige Anwendung relevanten Objekte 53, wie zum Beispiel Fahrbahnlinien, Fahrzeuge oder Fußgänger.
Für diese Aufgabe können trainierte Klassifikatoren eingesetzt werden, welche auf vordefinierten oder auch auf durch Deep Learning (DL) vollständig trainierten Bildmerkmalen basieren.
Im Bereich der Deep-Learning-Methoden sind insbesondere Implementierungen auf der Basis von neuronalen Netzen vom Faltungstyp (Convolutional Neural Network : CNN) zu erwähnen, welche eine Grundlage für eine Vielzahl von Aufgabenstellungen im Bereich des maschinellen Sehens bilden, der auch Computer-Vision-Bereich (computer vision : CV) bezeichnet werden kann.
Neben der Leistungsfähigkeit der CNN-basierten Verfahren bringen die Mächtigkeit der entsprechenden Entwicklungswerkzeuge und die vergleichsweise einfache Portierbarkeit auf Grafikkarten (GPU) weitere Vorteile für die Videosystemarchitektur.
Die vorliegende Erfindung zeigt Verbesserungen im Hinblick auf Unzulänglichkeiten von derartigen Verfahren im DL und CNN als End-to-End-Verfahren für sicherheitskritische Anwendungen auf und schlägt unter anderem ein Multipfadkonzept beim maschinellen Sehen und als tragfähige CV-Architektur vor.
Ein Aspekt der vorliegenden Erfindung beruht alternativ oder zusätzlich auf einem vereinfachten stochastischen Modell zur videobasierten Umfeldwahrnehmung in komplexen, realen Szenarien.
Die Tragfähigkeit eines videobasierten Systemkonzepts zur Lösung dieser Aufgabenstellung sowie die praktische Umsetzbarkeit des Konzepts sind vorrangig durch die Beherrschung so genannter Kernereignisse bestimmt, die auch als Corner Cases bezeichnet werden.
Dies sind seltene, sicherheitskritische Ereignisse, welche das Videosystem mit sehr hoher Detektionswahrscheinlichkeit erkennen und sicher auflösen muss. Die Detektionswahrscheinlichkeit hängt von der Kritikalität ab, d.h. vom Gefährdungspotenzial der jeweils betrachteten Funktion. Sie wird im Rahmen der Analyse der funktionalen Sicherheit für Kraftfahrzeuge definiert, z.B. nach ISO 26262.
10 zeigt ein Videosystem im Zusammenhang mit dem herkömmlichen Steuern T mit End-to-End-Architektur (End-to-End : E2E), welches eine Funktion F auf der Basis der eingangsseitigen Videodaten D durch ein großes, tiefes neuronales Netzwerk oder DNN realisiert.
Das E2E-DNN bildet hierbei eine Blackbox, welche auf der Basis von Trainingsdaten an die jeweilige Aufgabenstellung adaptiert wird.
Die interne Repräsentation der Daten sowie die semantische Bedeutung der Ein- und Ausgänge der DNN-Schichten sind hierbei nicht explizit definiert, sondern ergeben sich aus dem datengetriebenen Trainingsprozess des Netzwerks.
Betrachtet man eine sicherheitskritische Funktion, wie z.B. eine automatische Notbremsung, auf der Basis eines Videosystems, so besteht die grundsätzliche Systemanforderung darin, jedes für die betrachtete Funktion relevante Objekt, z.B. Fußgänger, Fahrzeuge, Hindernisse usw., hinreichend früh zu erkennen und gleichzeitig keine Fehlauslösungen des Systems zu bewirken oder zuzulassen.
Aus der Sicht der Signaltheorie erfordert dies ein Detektorsystem mit Falschalarmwahrscheinlichkeit P_f= 0 und Objektdetektionswahrscheinlichkeit P_d = 1.
Ein solches System ist physikalisch nicht realisierbar, so dass man in der Praxis eine Abwägung des Systemnutzens für Arbeitspunkte (Pf, Pd) mit P_f = ε = 10^-n ≈ 0 und mit P_d = 1-δ ≈ 1 treffen muss.
Der Nachweis darüber, dass ein Videosystem unter realen, komplexen Einsatzbedingungen einen derartigen Arbeitspunkt erreicht, erfordert die Erfassung und Analyse praktisch aller funktionsrelevanten Umfeldszenarien, also u.a. die lokale Konstellation von statischen und dynamischen Objekten sowie globale Einflussfaktoren wie Lichtverhältnisse, Wetterbedingungen, Verschmutzungsgrad der Kameraoptik usw.
Die bereits erwähnten Kernereignisse stellen hierbei aus der Sicht der Wahrscheinlichkeitstheorie seltene Ereignisse dar, d.h. Verbundereignisse, welche durch das gleichzeitige Eintreten verschiedener, stochastisch unabhängiger Elementarereignisse definiert sind, welche im Hinblick auf die betrachtete Funktion einzeln oder im Verbund zu einem kritischen Systemverhalten führen können.
Für ein derartiges Kernereignis als Verbundereignis ergibt sich als Wahrscheinlichkeit P_c ihres Auftretens der Zusammenhang: $P_{c} = Pr o b {ω1, ω2, \dots, ω N} = \prod_{i}^{N} Pr o b {ω i} .$
Vor dem Hintergrund, dass die hier betrachteten Elementarereignisse, z.B. eine kollisionsrelevante Objektkonstellation, eine nicht kooperative Textur der Objekte, eine Kameraorientierung mit direkter Blendung durch Fremdlicht, eine strukturierte Verschmutzung der Optik, usw., vergleichsweise geringe Auftrittswahrscheinlichkeiten besitzen, strebt die Verbundwahrscheinlichkeit P_c exponentiell gegen null, wie folgende Abschätzung zeigt: $Prob {ω i} < 10^{- M} \Rightarrow P_{c} < 10^{- N \cdot M} \to 0.$
Dies bedeutet, dass der zu P_c reziprok proportionale Datenumfang zum Training eines E2E-Systems exponentiell mit Exponent N·M wächst, was unter realen Randbedingungen und zulässigen Annahmen im Allgemeinen nicht dargestellt werden kann.
Ein Kernaspekt der vorliegenden Erfindung besteht alternativ oder zusätzlich darin, eine vorliegende und gegebene komplexe Aufgabenstellung bei der Umfeldinterpretation durch eine spezifische, physikalisch motivierte Systemdekomposition oder -zerlegung in beherrschbare Teilaufgaben oder Teilsysteme zu zerlegen und dadurch eine Reduktion zu bewirken, welche durch eine signifikant geringere Komplexität des jeweiligen Teilsystems im Vergleich zum Gesamtsystem und durch eine klare physikalisch und/oder semantisch definierte Teilfunktion charakterisiert sind.
Die vorliegende Erfindung schlägt unter anderem ein grundlegendes Videosystemkonzept vor, welches nach den obigen Betrachtungen zur Realisierung zukünftiger kognitiver Systeme in sicherheitskritischen Anwendungen, wie beim automatisierten Fahren, bei der Servicerobotik oder bei Sicherheits- und Überwachungstechnik erforderlich ist.
2 zeigt ein erfindungsgemäß aufgebautes Videosystem mit expliziter Dekomposition der Szene 50S, welches eine Funktion F auf der Basis der eingangsseitigen Videodaten D realisiert.
Die vorliegende Erfindung umfasst das CV-Multi-Pfad-Konzept (1) nach , welches im Kern eine physikalisch motivierte Dekomposition des Video-Systems darstellt. Die videobasierte Erfassung S1 zur Repräsentation des Umfelds 50 ist durch die Projektion der dreidimensionalen Welt auf eine Folge zweidimensionaler Bilder mit einem Informationsverlust verknüpft. Selbst im Falle einer idealen perspektivischen Abbildung ohne Berücksichtigung von realen Modellabweichungen des Optik/Imager-Systems ist die Repräsentation des Euklidischen dreidimensionalen Umfelds durch eine Folge zweidimensionaler projektiver Bilder mit dem Verlust grundlegender Invarianten verknüpft, da Strecken, Streckenverhältnisse, Winkel und Flächen bei der Abbildung nicht erhalten werden. Auch der zeitlich/dynamische Szeneninhalt bzw. die entsprechende Bewegungsinformation wird durch die zeitliche Diskretisierung der 2-dimensionalen Bildfolge im Allgemeinen nicht vollständig erhalten, da dynamische Szeneninhalte nur fehlerfrei rekonstruiert werden können, wenn das Abtasttheorem durch eine hinreichend hohe Bildwiederholrate eingehalten wird.
Diese grundlegenden Zusammenhänge motivieren das hier vorgeschlagene physikalisch fundierte Multi-Pfad-Konzept für CV-Systeme. Dieses sieht zur möglichst vollständigen Rekonstruktion der Umfeldinformation spezifische CV-Pfade vor.
Der Pfad S2-2 repräsentiert eine auf dem optischen Fluss basierende Bewegungsanalyse (optical flow based motion analysis) und adressiert die Rekonstruktion der Kameraeigenbewegung sowie der Relativbewegungen der dynamischen Objekte in der betrachteten Szene 50S.
Der Pfad S2-3 repräsentiert eine dreidimensionale Szenenrekonstruktion auf der Grundlage einer Mehrzahl von Blickwinkeln oder Ansichten (multi view based 3D scene reconstruction) und rekonstruiert die 3D-Struktur der betrachteten Szene 50S unter Verwendung von Struktur-aus-bewegung (structure-from-motion) oder Stereovideoverfahren.
Hierbei ist von entscheidender Bedeutung, dass sowohl der Pfad S2-2 der Bewegungsanalyse und der Pfad S2-3 der Szenenrekonstruktion unabhängig von Trainingsdaten und alleine auf der Grundlage physikalisch belastbarer Modellannahmen realisiert werden können, woraus das Potenzial zur generischen Objekterkennung resultiert.
Der Pfad S2-1 repräsentiert die erscheinungsformbasierte Objekterkennung und Objektklassifikation (appearance based object detection and classification), wird im Allgemeinen auf der Basis von Trainingsverfahren aus dem Bereich des maschinellen Lernens realisiert und rekonstruiert einen wesentlichen Teil der Semantik der beobachteten Szene 50S, indem Objekte 53 detektiert und spezifischen Objektklassen zugeordnet werden.
Einen wesentlichen Einfluss auf die Performance und Robustheit des CV-Systems besitzen die z.B. über DNN realisierten Schichten S2-4 und S2-5.
Das so genannte erste, eingangsseitige oder Bottom-Up-DNN S2-4 realisiert hierbei eine semantische Segmentierung der beobachteten Szene 50S, welche zur Initialisierung und spezifischen Steuerung der CV-Pfade S2-1 bis S2-3 genutzt werden kann.
Eine vorteilhafte Ausprägung bildet das pixelweise Markieren oder Labeling von Bildinformation, welche unmittelbar zur Vorsteuerung des CV-Klassifikations-Pfads S2-1 zur Objekterkennung sowie zur Modelladaption der generischen Pfade S2-2 und S2-3 genutzt werden kann.
Das zweite, ausgangsseitige oder Top-Down-DNN S2-5 realisiert eine Datenfusion der CV-Pfade S2-1 bis S2-3, wodurch insbesondere eine Kreuzplausibilisierung der Einzelpfade erreicht wird, so dass nur konsistente, fusionierte Daten in den Top-Down-Feedbackkanal gelangen.
Das vorgeschlagene CV-Systemkonzept führt zu einer Dekomposition der oben eingeführten Kernreignisse.
Geht man vereinfachend im einfachsten Falle davon aus, dass die betrachteten kritischen Elementarereignisse in zwei Kategorien eingeteilt werden können, wobei die erste Kategorie K1 kritische Elementarereignisse für die konsistente Szenenrekonstruktion und die zweite Kategorie K2 kritische Elementarereignisse für die zu realisierende Funktion beinhalten, so führt dies auf eine Dekomposition der Form: $P_{c} = Pr o b {ω1, ω2, \dots, ω N} = \prod_{i}^{N} Pr o b {ω i} = \prod_{i \in K_{1}}^{N} Pr o b {ω i} \times \prod_{i \in K_{2}}^{N} Pr o b {ω i} = P_{c 1} \times P_{c 2} .$
Dies bedeutet, dass der Aufwand zur Absicherung und Validierung der Funktion signifikant reduziert werden kann, da die reziproken Wahrscheinlichkeiten P_c1, P_c2 des Auftretens mit $| K1 | + | K2 | = {N und P}_{ci} < 10^{- | Ki | M}$
signifikant größer sind als P_c. Im Fall $| K1 | + | K2 | = N/ 2$
ergibt sich im Grenzfall gleichwahrscheinlicher Elementarereignisse $P_{c1} = P_{c2} = \sqrt P_{c} .$
Unter der Annahme, dass der Absicherungsaufwand für die betrachtete Funktion reziprok proportional zu P_c bzw. P_ci ist, führt dies z.B. für 1/P_c = 10⁶ h auf eine praktisch beherrschbare Größenordnung von 1/P_ci = 10³ h zur Absicherung des strukturierten CV-Systems.
Dieses Grundkonzept zur Systemdekomposition lässt sich unmittelbar auf weitere Zerlegungsstufen verallgemeinern, so dass auch komplexe Funktionen durch eine hinreichend tiefe Modularisierung beherrschbar sind.
Es ist jedoch zu beachten, dass die Erfüllung der jeweils getroffenen Annahmen zur stochastischen Modellbildung ebenfalls auf der Basis empirischer Testdaten nachzuweisen ist, so dass in der praktischen Umsetzung der CV-Systemdekomposition eine beschränkte Zerlegungstiefe anzustreben ist.
Die Erfindung könnte vorteilhaft in zukünftige Automotive- und Robotiksysteme integriert werden, z.B. in automatisierte Fahrzeuge und Serviceroboter und insbesondere in Rasenmäher, Agrarroboter, Logistikroboter und dergleichen.
Zur Ergänzung wird nachfolgend ein Ausführungsbeispiel dargestellt:
Das Multipfad-CV-Konzept, welches einen Kernaspekt bei einer Ausführungsform der vorgelegten Erfindung bildet, wird hierbei zur robusten Realisierung eines automatischen Notbremssystems eingesetzt.
Einige der Systemkomponenten sind in 4 dargestellt.
5 zeigt eine typische Fußgängerschutzszene nach Euro-NCAP (Euro-NCAP : European New Car Assessment Program).
Das Szenario stellt konventionelle Ansätze zur videobasierten Objekterkennung auf Grund der Spiegelung auf der nassen Fahrbahnoberfläche häufig vor Robustheitsprobleme.
6 zeigt eine typische Objekterkennung mit einer so genannten Bildfangbox 54, die auch als Bounding-Box bezeichnet wird, und zwar auf der Basis eines trainierten Objektdetektors.
Dieser Detektor realisiert den Pfad S2-3 der erscheinungsbasierten Objektdetektion (appearance based object detection) gemäß den 3 und 4.
7 zeigt eine typische Fehldetektion, welche durch die Spiegelung des Fußgängers als Objekt 53 auf der nassen Fahrbahnoberfläche hervorgerufen wird, hier repräsentiert durch die Bildfangbox oder Bounding-Box 55.
8 zeigt eine dreidimensionale Rekonstruktion der betrachteten Szene 50S, welche hier durch die Aufprall- oder Kollisionszeit (Time-to-Contact: TTC, Zeit bis zum Kontakt mit dem oder Aufprall an dem Objekt) repräsentiert wird.
Die entsprechende Zeitskala in Sekunden ist am unteren Bildrand eingefügt.
Dieser Pfad S2-1 der Objektdetektion nach 4 bildet den Pfad der dreidimensionalen Rekonstruktion der Szene 50S aus multiplen Blickwinkeln oder Ansichten (multi view based 3D scene reconstruction) nach 3.
Die hier eingesetzten Algorithmen zur 3D-Rekonstruktion und TTC-Schätzung sind als solche bekannt.
Dieser Pfad ermöglicht eine generische Detektion des Fußgängers als Objekt 53 bzw. allgemein des für die Bremsung relevanten Objekts 53 durch die räumliche Zusammenfassung von Punkten mit einer kritischen Aufprall- oder Kollisionszeit TTC von weniger als 1 s, welche durch die Spiegelung nicht verfälscht wird.
9 zeigt ein einfaches neuronales Netzwerk S2-5 zur Fusion der Pfade S2-1 und S2-2 zur Objektdetektion und Bewegungsanalyse nach 4.
In einer einfachsten Ausprägung realisiert dieses Netzwerk S2-5 eine ODER-Verknüpfung zur Warnung des Fahrers sowie eine UND-Verknüpfung der Pfade zur Auslösung der Bremse für eine Notbremsung.
Ein solches System würde jedoch unter realen Einsatzbedingungen u.U. zu einer Vielzahl von Fehlwarnungen führen, da nicht jedes erkannte Objekt mit geringer TTC einen Bremseingriff erfordert.
Die Einbeziehung des globalen Kontexts der Szene 50S sowie eine situationsadaptive Realisierung der Fahrerwarnung und des Bremseingriffes können durch ein entsprechend komplexes DNN S2-5 realisiert werden.
Die Parameter dieses Netzes S2-5 werden hierbei in einem Trainingsprozess auf der Basis von annotierten Bilddaten ermittelt.

Claims

Steuerverfahren (S) für ein Umfelderfassungssystem (10) für eine mobile und/oder stationäre Einrichtung (1) und insbesondere für ein Fahrzeug, mit den Schritten: - optisches Erfassen (S1) mindestens einer Szene (50S) aus einem Umfeld (50) der Einrichtung (1), - Bewerten (S2) der erfassten Szene (50S) und daraus Ableiten (S3) einer Betriebs- und insbesondere Fahrsituation der Einrichtung (1), - in Abhängigkeit von der Betriebssituation gesteuertes Eingreifen (S4) in den Betrieb der Einrichtung (1) und dadurch Anpassen (S5) des Betriebs und insbesondere des Bewegungs- oder des Fahrverhaltens der Einrichtung (1), bei welchem: - das Bewerten (S2) auf der Grundlage einer physikalisch motivierten Mehrfachpfadzerlegung maschinellen Sehens in einer Mehrzahl voneinander unabhängiger Bewertungsprozesse (S2-1, S2-2, S2-3) durchgeführt wird und - die unabhängigen Bewertungsprozesse (S2-1, S2-2, S2-3) jeweils einen Pfad zumindest - für eine erscheinungsformbasierte Objektdetektion und -klassifikation (S2-1) und - für eine flussbasierte Bewegungsanalyse (S2-2) umfassen.
Steuerverfahren (S) nach Anspruch 1, bei welchem die unabhängigen Bewertungsprozesse (S2-1, S2-2, S2-3) einen Pfad für eine mehrfachansichtbasierte, dreidimensionale Szenenrekonstruktion (S2-3) umfassen, insbesondere unter Verwendung von Stereoansichten und/oder von bewegungsbasierten Szenenrekonstruktionen.
Steuerverfahren (S) nach einem der vorangehenden Ansprüche, bei welchem das Bewerten (S2) einen nachgeschalteten Prozess und insbesondere ein nachgeschaltetes neuronales Netz (S2-5), ein DNN oder eine Schicht davon aufweist, welche insbesondere zur dreidimensionalen Szenenrekonstruktion eingerichtet sind.
Steuerverfahren (S) nach Anspruch 3, bei welchem der nachgeschaltete Prozess, das nachgeschaltete neuronale Netz (S2-5), das DNN und/oder die Schicht zur Verarbeitung - auf der Grundlage von Aspekten der dreidimensionalen Euklidischen Geometrie im Verhältnis zur zweidimensionalen projektiven Geometrie und/oder - auf der Grundlage eines Vorgangs der Sensordatenfusion, insbesondere durch Heranziehen von Sensordatenquellen aus optischen Sensoren, insbesondere aus einer Kameraanordnungen (20) mit einer oder mit mehreren Kameras (21, 22), aus Lidar-Sensoren, aus Radarsensoren, aus Infrarotsensoren, aus akustischen Sensoren, insbesondere aus Ultraschallsensoren, und/oder aus digitalen Karten oder anderen digitalen Datenquellen, eingerichtet sind
Steuerverfahren (S) nach einem der vorangehenden Ansprüche, bei welchem das Bewerten (S2) einen vorgeschalteten Prozess und insbesondere ein vorgeschaltetes neuronales Netz (S2-4), ein DNN und/oder eine Schicht davon aufweist, welche insbesondere - zur semantischen Segmentierung der erfassten Szene und/oder - zur Vorsteuerung oder Steuerung der Mehrfachpfade des Bewertens (S2) und insbesondere der Bewertungsprozesse (S2-1, S2-2, S2-3) eingerichtet sind.
Steuerverfahren (S) nach Anspruch 5, bei welchem der vorgeschaltete Prozess, das vorgeschaltete neuronale Netz (S2-4), das DNN und/oder die Schicht eingerichtet sind, - periodische Strukturen einer Szene (50S) und insbesondere periodisch angeordnete Objekte (53) und/oder - statische, bewegte und/oder potenziell bewegte Strukturen einer Szene (50S) und insbesondere statische, bewegte und/oder potenziell bewegte Objekte (53) zu detektieren und zu bewerten.
Steuerverfahren (S) nach einem der vorangehenden Ansprüche, bei welchem der Vorgang der erscheinungsformbasierten Objektdetektion und -klassifikation (S2-1) auf der Grundlage eines Verfahrens des maschinellen Lernens, im Zusammenhang mit einem Trainingsverfahren und/oder unter Einbeziehung einer Vorsteuerung durch den vorgeschalteten und/oder den nachgeschalteten Prozess, das jeweilige neuronale Netz (S2-4), das DNN und/oder die Schicht, erfolgt.
Steuereinheit (30) für ein Umfelderfassungssystem (10) für eine mobile und/oder stationäre Einrichtung (1) und insbesondere für ein Fahrzeug, welche eingerichtet ist, ein Steuerverfahren für ein Umfelderfassungssystem (10) nach einem der Ansprüche 1 bis 7 auszuführen.
Umfelderfassungssystem (10) für eine mobile und/oder stationäre Einrichtung (1) und insbesondere für ein Fahrzeug, mit einer Steuereinheit (30) nach Anspruch 8.
Mobile und/oder stationäre Einrichtung (1) und insbesondere Fahrzeug oder Kraftfahrzeug, mit einem Antrieb (2) und/oder mit einer Lenkung (3) und mit einem Umfelderfassungssystem (10) nach Anspruch 9 zur Steuerung des Antriebs (2) und/oder der Lenkung (3).