-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Objekterkennung. Ferner betrifft die Erfindung ein Verfahren zum Trainieren von Neuronalen Netzen zur Verwendung in einem Verfahren zur Objekterkennung.
-
Neuronale Netze eignen sich besonders für Erkennungs- und Klassifikationsaufgaben, wie diese beim automatisierten Fahren notwendig sind. Dies können zum Beispiel eine Fußgängererkennung, eine Fahrbahnzustandserkennung, eine Verkehrszeichenerkennung oder eine Klassifikation von anderen Verkehrsteilnehmern sein. Diese Aufgaben können mit herkömmlichen Algorithmen in der Regel nicht gelöst werden. Neuronale Netze werden mit Trainingsdaten trainiert, getestet und können das Gelernte anschließend auf neue Eingangsdaten übertragen. Welche Eigenschaften eines Eingaberaums zur Entscheidungsfindung im Neuronalen Netz führen, ist hierbei unbekannt.
-
Aus der
DE 10 2007 002 562 A1 sind ein Verfahren und eine Vorrichtung zur dynamischen Klassifikation von Objekten und/oder Verkehrssituationen bekannt. Hierzu werden gemäß dem Verfahren zur Klassifikation von Objekten und/oder Verkehrssituationen für die Klassifikation mindestens eines Objektes bzw. einer Verkehrssituation ein erster Klassifikator und mindestens ein zweiter Klassifikator zur Verfügung gestellt, wobei der erste Klassifikator und der mindestens eine zweite Klassifikator unterschiedliche oder unterschiedlich trainierte Klassifikatoren sind. Vor einer Klassifikatorauswahl werden mindestens einmal Randbedingungen ermittelt, und aufgrund der ermittelten Randbedingungen erfolgt dann die Auswahl eines zu verwendenden Klassifikators.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zur Objekterkennung zu verbessern.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Insbesondere wird ein Verfahren zur Objekterkennung zur Verfügung gestellt, wobei mittels mindestens eines Sensors erfasste Sensordaten empfangen werden, wobei die empfangenen Sensordaten mindestens zwei trainierten Neuronalen Netzen als Eingangsdaten zugeführt werden, wobei die mindestens zwei trainierten Neuronalen Netze jeweils auf das Erkennen von zueinander unabhängigen Merkmalen mindestens einer Objektklasse trainiert sind, wobei ein Klassifizierungsergebnis in Abhängigkeit von erzeugten Ausgaben der mindestens zwei trainierten Neuronalen Netze auf Grundlage einer m-aus-n-Entscheidung erzeugt wird, und wobei das erzeugte Klassifizierungsergebnis bereitgestellt wird.
-
Ferner wird eine Vorrichtung zur Objekterkennung geschaffen, umfassend eine Eingangsschnittstelle, eine Recheneinrichtung und eine Ausgangsschnittstelle, wobei die Eingangsschnittstelle dazu eingerichtet ist, erfasste Sensordaten mindestens eines Sensors zu empfangen, wobei die Recheneinrichtung dazu eingerichtet ist, mindestens zwei trainierte Neuronale Netze bereitzustellen, wobei die mindestens zwei trainierten Neuronalen Netze jeweils auf das Erkennen von zueinander unabhängigen Merkmalen mindestens einer Objektklasse trainiert sind, und wobei die Recheneinrichtung ferner dazu eingerichtet ist, die empfangenen Sensordaten den mindestens zwei trainierten Neuronalen Netzen als Eingangsdaten zuzuführen, und ein Klassifizierungsergebnis in Abhängigkeit von erzeugten Ausgaben der mindestens zwei trainierten Neuronalen Netze auf Grundlage einer m-aus-n-Entscheidung zu erzeugen, und wobei die Ausgabeschnittstelle dazu eingerichtet ist, das erzeugte Klassifizierungsergebnis bereitzustellen.
-
Das Verfahren und die Vorrichtung ermöglichen es, eine Klassifikation von Sensordaten zu verbessern. Hierzu werden mindestens zwei trainierte Neuronale Netze parallel zueinander betrieben. Ein Klassifikationsergebnis wird ausgehend von den Ausgaben der mindestens zwei Neuronalen Netze erzeugt. Die mindestens zwei Neuronalen Netze sind hierbei auf das Erkennen von zueinander unabhängigen Merkmalen mindestens einer Objektklasse trainiert. Soll beispielsweise in erfassten Kameradaten erkannt werden, ob ein Mensch darin abgebildet ist, so werden für die Objektklasse „Mensch“ beispielsweise die drei voneinander unabhängigen Merkmale „Hand“, „Fuß“ und „Kopf‟ verwendet. Auf jeweils eines dieser Merkmale ist jeweils ein Neuronales Netz trainiert. Die einzelnen Neuronalen Netze liefern dann jeweils eine Klassifizierung der Sensordaten für das Merkmal, auf das das jeweilige Neuronale Netz trainiert ist, das heißt die nach einer Inferenz vorliegenden Ausgaben der Neuronalen Netze lauten: „Hand“: ja/nein, „Fuß“: ja/nein und „Kopf‟: ja/nein. Ein Klassifikationsergebnis wird ausgehend von den Ausgaben der Neuronalen Netze auf Grundlage einer m-aus-n-Entscheidung getroffen. Hierbei kann beispielsweise vorgesehen sein, dass alle Neuronalen Netze (entspricht bei drei Neuronalen Netzen 3-aus-3) das jeweilige Merkmal erkannt haben müssen, damit die mindestens eine Objektklasse erkannt wird. Im vorgenannten Beispiel müssten sowohl eine Hand, ein Fuß als auch ein Kopf erkannt worden sein, damit die Objektklasse „Mensch“ erkannt wird. In anderen Anwendungsfällen kann auch eine 1-aus-n-Entscheidung gewünscht sein. Im Beispiel würde das Erkennen einer Hand, eines Fußes und/oder eines Kopfes dann ausreichen, um als Klassifikationsergebnis die Objektklasse „Mensch“ zu liefern. Nur wenn keines dieser Merkmale erkannt wird, wird die Objektklasse „Mensch“ nicht erkannt. Eine m-aus-n-Entscheidung ist hierbei insbesondere immer als unterer Schwellenwert für das Vorliegen der mindestens einen Objektklasse zu verstehen, d.h. wenn drei Neuronale Netze das jeweilige Merkmal als vorhanden klassifizieren, sind die Bedingungen 1-aus-3 und 2-aus-3 ebenfalls erfüllt.
-
Ein Vorteil des Verfahrens und der Vorrichtung ist, dass eine Entscheidungsfindung im Gegensatz zu einer Verwendung von nur einem Neuronalen Netz, das insbesondere dazu noch auf unbekannte Merkmale trainiert wird bzw. trainiert ist, nachvollziehbar und überprüfbar ist. Hierdurch ist insbesondere ein Einsatz bei der Objekterkennung in sicherheitsrelevanten Bereichen möglich. Insbesondere kann ein fehlerfreies Funktionieren einfacher überprüft und sichergestellt werden.
-
Die Sensordaten des mindestens einen Sensors können prinzipiell eindimensional oder mehrdimensional, insbesondere zweidimensional, sein. Beispielsweise können die Sensordaten zweidimensionale Kamerabilder einer Kamera und/oder zweidimensionale Lidardaten eines Lidarsensors sein. Die Sensordaten können beispielsweise mittels des mindestens einen Sensors erfasste Umfelddaten eines Umfelds eines Kraftfahrzeugs sein.
-
Ein Neuronales Netz ist insbesondere ein tiefes Neuronales Netz, insbesondere ein Faltungsnetz (engl. Convolutional Neural Network, CNN).
-
Teile der Vorrichtung, insbesondere die Recheneinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
-
Es kann vorgesehen sein, dass das Verfahren das Erfassen der Sensordaten mittels des mindestens einen Sensors umfasst.
-
In einer Ausführungsform ist vorgesehen, dass die mindestens zwei Neuronalen Netze jeweils nur auf das Erkennen eines Merkmals trainiert sind. Hierdurch können eine Struktur, ein Speicherbedarf und ein Trainingsaufwand reduziert werden bzw. gering gehalten werden, da die Neuronalen Netze jeweils nur auf ein einziges Merkmal trainiert werden müssen.
-
In einer Ausführungsform ist vorgesehen, dass mindestens drei trainierte Neuronale Netze verwendet werden. Hierdurch kann ein Klassifikationsergebnis verbessert werden, da mehr als zwei Merkmale berücksichtigt werden bei einer Objekterkennung bzw. bei einer Klassifikation der mindestens einen Objektklasse.
-
In einer Ausführungsform ist vorgesehen, dass drei trainierte Neuronale Netze verwendet werden, wobei ein Klassifizierungsergebnis in Abhängigkeit von Ausgaben der drei trainierten Neuronalen Netze auf Grundlage einer 2-aus-3-Entscheidung erzeugt und bereitgestellt wird. Dies ermöglicht einen optimalen Kompromiss zwischen einer benötigten Rechenleistung und einem benötigten Speicherbedarf einerseits und einer Sicherstellung einer funktionalen Güte bei der Klassifikation der mindestens einen Objektklasse andererseits. Die 2-aus-3-Entscheidung ermöglicht eine sichere Klassifikation auf Grundlage einer Mehrheitsentscheidung.
-
In einer Ausführungsform ist vorgesehen, dass das bereitgestellte Klassifizierungsergebnis mindestens einem Steuergerät eines Kraftfahrzeugs zugeführt wird, wobei das mindestens eine Steuergerät mindestens eine Funktion für das automatisierte Fahren des Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellt.
-
Prinzipiell können das Verfahren und die Vorrichtung jedoch auch in der Luftfahrt, im Bahnbereich oder in industriellen Überwachungssystemen, z.B. in der Fertigung und Produktion, eingesetzt werden. Entsprechend ist vorgesehen, dass das bereitgestellte Klassifizierungsergebnis mindestens einem Steuergerät in dem jeweiligen Anwendungsbereich zugeführt wird
-
Es kann vorgesehen sein, dass die mindestens zwei, insbesondere mindestens drei, Neuronalen Netze einzeln gekapselt, das heißt beispielsweise mittels getrennter Recheneinrichtungen bzw. in getrennten Bereichen innerhalb einer Recheneinrichtung, betrieben werden. Hierdurch kann eine echte Redundanz geschaffen werden, bei der eine Anfälligkeit für Fehler gleicher Ursache („Common Cause“) reduziert werden kann.
-
Weiter wird insbesondere auch ein Verfahren zum Trainieren von Neuronalen Netzen zur Verwendung in einem Verfahren zur Objekterkennung gemäß einer der beschriebenen Ausführungsformen zur Verfügung gestellt, wobei die mindestens zwei Neuronalen Netze ausgehend von Trainingsdaten jeweils auf das Erkennen von zueinander unabhängigen Merkmalen der mindestens einen Objektklasse trainiert werden.
-
In einer Ausführungsform des Verfahrens zum Trainieren der Neuronalen Netze ist vorgesehen, dass die mindestens zwei Neuronalen Netze zumindest gruppenweise mittels unterschiedlicher Verfahren trainiert und/oder bereitgestellt werden. Hierdurch kann insbesondere ein Effekt von systematischen Fehlern beim Klassifizieren der mindestens einen Objektklasse, die von einem verwendeten Trainingsverfahren stammen, verringert werden. Beispielsweise können beim Trainieren bzw. Bereitstellen der Neuronalen Netze unterschiedliche Frameworks verwendet werden (z.B. TensorFlow, Caffe, Theano, Keras, Torch etc.).
-
In einer Ausführungsform des Verfahrens zum Trainieren der Neuronalen Netze ist vorgesehen, dass ausgehend von den Trainingsdaten zu jeder der mindestens einen Objektklassen in Abhängigkeit einer Anzahl der mindestens zwei Neuronalen Netze mindestens eine entsprechende Anzahl unabhängiger Merkmale festgelegt wird, auf die die mindestens zwei Neuronalen Netze jeweils trainiert werden, wobei den mindestens zwei Neuronalen Netzen jeweils nur eine solche Auswahl der Trainingsdaten zugeführt wird, die das jeweilige Merkmal oder die jeweiligen Merkmale umfasst. Die Trainingsdaten werden entsprechend den festgelegten Merkmalen markiert („gelabelt“). Hierbei kann in Trainingsdaten, die für eins der Neuronalen Netze bestimmt sind, eine Bounding Box nur für das mindestens eine Merkmal, das das Neuronale Netz erkennen soll, verwendet bzw. festgelegt werden. Im vorgenannten Beispiel, in dem die mindestens eine Objektklasse „Mensch“ erkannt werden soll, würde eine Bounding Box dann in den Trainingsdaten, die einem ersten der drei Neuronalen Netze zugeführt werden soll, das Merkmal „Hand“ umfassen bzw. markieren. Für das zweite der drei Neuronalen Netze würde eine Bounding Box in zugehörigen Trainingsdaten dann das Merkmal „Fuß“ markieren. Für das dritte der drei Neuronalen Netze würde eine Bounding Box in zugehörigen Trainingsdaten dann das Merkmal „Kopf“ markieren. Ferner kann alternativ auch vorgesehen sein, die Trainingsdaten selbst für jedes der Neuronalen Netze unterschiedlich zu bearbeiten bzw. auszuwählen. Beispielsweise kann vorgesehen sein, dass die Trainingsdaten jeweils derart beschnitten werden, dass nur noch die zu den jeweiligen Merkmalen (im Beispiel „Hand“, „Fuß“ oder „Kopf“) zugehörigen Sensordaten von diesen umfasst sind.
-
Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
-
Weiter wird insbesondere auch ein Kraftfahrzeug geschaffen, umfassend mindestens eine Vorrichtung nach einer beliebigen der beschriebenen Ausführungsformen.
-
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
- 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zur Objekterkennung;
- 2 eine schematische Darstellung zur Verdeutlichung des Verfahrens zur Objekterkennung.
-
In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zur Objekterkennung gezeigt. Die Vorrichtung 1 umfasst eine Eingangsschnittstelle 2, eine Recheneinrichtung 3, eine Speichereinrichtung 4 und eine Ausgangsschnittstelle 5. Die Recheneinrichtung 3 kann auf die Speichereinrichtung 4 zugreifen und Rechenoperationen auf in der Speichereinrichtung 4 hinterlegten Daten ausführen.
-
Die Vorrichtung 1 ist beispielsweise in einem Kraftfahrzeug 50 angeordnet.
-
Die Eingangsschnittstelle 2 empfängt Sensordaten 10, die von einem Sensor 51 des Kraftfahrzeugs 50 erfasst wurden. Der Sensor 51 ist beispielsweise eine Kamera, die ein Umfeld des Kraftfahrzeugs 50 erfasst.
-
Die Recheneinrichtung 3 stellt mindestens zwei trainierte Neuronale Netze bereit. Insbesondere führt die Recheneinrichtung 3 eine Funktionalität der mindestens zwei trainierten Neuronalen Netze aus. Hierzu greift die Recheneinrichtung 3 auf in der Speichereinrichtung 4 für jedes der Neuronalen Netze hinterlegte Strukturen und Parameter zu.
-
Die mindestens zwei trainierten Neuronalen Netze sind jeweils auf das Erkennen von zueinander unabhängigen Merkmalen mindestens einer Objektklasse trainiert.
-
Die Recheneinrichtung 3 führt die von der Eingangsschnittstelle 2 empfangenen Sensordaten 10 den mindestens zwei trainierten Neuronalen Netzen als Eingangsdaten zu und erzeugt ein Klassifizierungsergebnis 20 in Abhängigkeit von erzeugten Ausgaben der mindestens zwei trainierten Neuronalen Netze auf Grundlage einer m-aus-n-Entscheidung.
-
Die Ausgabeschnittstelle 5 stellt das erzeugte Klassifizierungsergebnis 20 bereit. Insbesondere wird das erzeugte Klassifizierungsergebnis 20 in Form eines digitalen Signals ausgeben, beispielsweise als digitales Datenpaket.
-
Es kann vorgesehen sein, dass das bereitgestellte Klassifizierungsergebnis 20 mindestens einem Steuergerät 52 des Kraftfahrzeugs 50 zugeführt wird, wobei das mindestens eine Steuergerät 52 mindestens eine Funktion für das automatisierte Fahren des Kraftfahrzeugs 50 und/oder für eine Fahrerassistenz des Kraftfahrzeugs 50 und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellt.
-
In 2 ist eine schematische Darstellung zur Verdeutlichung des Verfahrens zur Objekterkennung gezeigt. Erfasste Sensordaten 10 in Form eines erfassten Kamerabildes 11 werden drei trainierten Neuronalen Netzen 30-x zugeführt. Jedes der trainierten Neuronalen Netze 30-x ist hierbei auf das Erkennen eines anderen Merkmals 12-x trainiert. Die Merkmale 12-x können hierbei auch als Unterklassen der zu erkennenden Objektklasse aufgefasst werden.
-
Die Neuronalen Netze 30-x und eine Entscheidereinrichtung 40 werden mittels der Recheneinrichtung 3 (1) bereitgestellt.
-
Im gezeigten Beispiel ist das Neuronale Netz 30-1 auf das Erkennen des Merkmals 12-1 „Hand“ trainiert. Das Neuronale Netz 30-1 wurde hierzu darauf trainiert, ausgehend von einem zugeführten Kamerabild 11 eine Klassifikation nach den beiden Klassen „Hand“ und „Nicht Hand“ vorzunehmen. Das Neuronale Netz 30-2 wurde auf das Erkennen des Merkmals 12-2 „Fuß“ trainiert. Das Neuronale Netz 30-2 wurde hierzu darauf trainiert, ausgehend von einem zugeführten Kamerabild 11 eine Klassifikation nach den beiden Klassen „Fuß“ und „Nicht Fuß“ vorzunehmen. Das Neuronale Netz 30-3 wurde auf das Erkennen des Merkmals 12-3 „Kopf“ trainiert. Das Neuronale Netz 30-3 wurde hierzu darauf trainiert, ausgehend von einem zugeführten Kamerabild 11 eine Klassifikation nach den beiden Klassen „Kopf“ und „Nicht Kopf“ vorzunehmen.
-
Die Neuronalen Netze 30-x liefern für das jeweilige Merkmal 12-x anschließend jeweils eine Ausgabe 31-x. Die Ausgaben 31-x werden der Entscheidereinrichtung 40 zugeführt, welche im gezeigten Beispiel eine 2-aus-3-Entscheidung vornimmt, das heißt wenn mindestens zwei Merkmale vorliegen, ist ein Klassifikationsergebnis 20 für das Vorliegen der Objektklasse „Mensch“ positiv. Anderenfalls ist das Klassifikationsergebnis 20 negativ.
-
Die Wahl einer 2-aus-3-Entscheidung ist lediglich beispielhaft. Es können auch andere Entscheidungen vorgesehen sein. Insbesondere kann vorgesehen sein, dass das Vorliegen mindestens eines Merkmals 12-x ausreicht, um das Klassifikationsergebnis 20 zur Objektklasse „Mensch“ positiv ausfallen zu lassen.
-
Die Wahl der Entscheiderlogik ist hierbei abhängig von einem konkreten Anwendungsszenario. So kann beispielsweise bei einem Notbremsassistenten, der ein Kraftfahrzeug 50 in einer Spielstraße automatisiert bremsen soll, wenn die Objekterfassung einen Mensch vor dem Kraftfahrzeug 50 erkennt, aus Sicherheitsgründen eine 1-aus-n-Entscheidung vorgesehen sein. Bei einem Beschleunigungsassistenten, der auf einer Autobahn aktiv ist, kann hingegen eine m-aus-n-Entscheidung vorgesehen sein, da eine solche Funktion eine Komfortfunktion ist, bei der die Sicherheit weniger im Vordergrund steht, das heißt bei der eine ausbleibende Auslösung keine sicherheitsrelevanten Konsequenzen hat.
-
Es können weitere Neuronale Netze 30-x vorgesehen sein, wobei für jedes Neuronale Netz 30-x ein unabhängiges Merkmal 12-x vorgesehen ist, auf das das Neuronale Netz 30-x trainiert wird bzw. trainiert ist.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Eingangsschnittstelle
- 3
- Recheneinrichtung
- 4
- Speichereinrichtung
- 5
- Ausgangsschnittstelle
- 10
- Sensordaten
- 11
- Kamerabild
- 12-x
- Merkmal
- 20
- Klassifizierungsergebnis
- 30-x
- trainiertes Neuronales Netz
- 31-x
- Ausgabe
- 40
- Entscheidereinrichtung
- 50
- Kraftfahrzeug
- 51
- Sensor
- 52
- Steuergerät
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007002562 A1 [0003]
