-
Stand der Technik
-
Der Ansatz geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
-
Ein Erkennen von Objekten mittels eines Kamerasystems gewinnt in vielen Bereichen zunehmend an Bedeutung. Insbesondere im Automotive-Umfeld sind Kamerasysteme mit Funktionen zur Erkennung von Objekten, z. B. von Fußgängern, für diverse Assistenzfunktionen bis hin zum automatisierten Fahren oft zwingend erforderlich. Entsprechende Objekterkennungsvorrichtungen ordnen hierbei erkannte Objekte mittels eines trainierten generischen Klassifikators einem Objekttyp zu.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Klassifizieren eines Objekts für ein Fahrzeug, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass durch ein hier vorgestelltes Erstellen eines spezifischen Klassifikators zusätzlich zu einem bekannten generischen Klassifikator, eine Reaktionszeit in einer Erkennung des Objekts sowie eine Robustheit bei einer Objektverfolgung des Objekts verbessert werden kann.
-
Es wird ein Verfahren zum Klassifizieren eines Objekts für ein Fahrzeug vorgestellt. Das Verfahren umfasst zumindest einen Schritt des Klassifizierens, einen Schritt des Extrahierens und einen Schritt des Erstellens. Im Schritt des Klassifizierens wird ein Objekt aus einem Kamerabild unter Verwendung eines generischen Klassifikators klassifiziert. Im Schritt des Extrahierens wird zumindest ein dem Objekt zugeordnetes spezifisches Objektmerkmal aus dem Kamerabild extrahiert. Im Schritt des Erstellens wird ein spezifischer Klassifikator unter Verwendung des spezifischen Objektmerkmals erstellt.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein. Beispielsweise kann dieses Verfahren in einer Objekterkennungsvorrichtung für eine Fahrzeugkamera implementiert sein.
-
Durch das hier vorgestellte Verfahren sind detektierte Objekte in Kamerabildern nicht mehr lediglich durch den generischen Klassifikator, sondern zusätzlich auch durch den neu erstellten spezifischen Klassifikator klassifizierbar. Dies ermöglicht eine schnellere Klassifizierung von Objekten und auch eine Klassifizierung von bis dato unbekannten oder schwer erkennbaren Objekten.
-
Um den spezifischen Klassifikator anzuwenden und/oder zu aktualisieren, kann im Schritt des Klassifizierens ein weiteres Objekt aus einem weiteren Kamerabild unter Verwendung des generischen Klassifikators und des spezifischen Klassifikators klassifiziert werden, im Schritt des Extrahierens kann zumindest ein dem weiteren Objekt zugeordnetes weiteres spezifisches Objektmerkmal aus dem weiteren Kamerabild extrahiert werden und im Schritt des Erstellens kann der spezifische Klassifikator unter Verwendung des weiteren spezifischen Objektmerkmals angepasst werden.
-
Im Schritt des Extrahierens kann beispielsweise ein Objektmerkmal aus dem Kamerabild extrahiert werden, das zumindest eine Farbe und/oder eine Struktur und/oder eine Form des generisch klassifizierten Objekts repräsentiert. Derartige Objektmerkmale werden durch generische Klassifikatoren nicht berücksichtigt, da sie nicht allgemein auf alle Objektbeispiele eines Objekttyps zutreffen, sie können jedoch im konkreten Anwendungsfall beispielsweise einer zuverlässigen Objektverfolgung des erkannten Objekts dienen.
-
Im Schritt des Erstellens kann der spezifische Klassifikator in eine Ringspeichereinrichtung gespeichert werden.
-
Zum Bereitstellen des Kamerabilds kann das Verfahren einen Schritt des Ermittelns aufweisen, in dem das Kamerabild unter Verwendung einer Umfelderfassungseinrichtung ermittelt wird. Diese Umfelderfassungseinrichtung kann eine Kamera, beispielsweise eine Fahrzeugkamera, und/oder ein Radargerät sein oder zumindest aufweisen.
-
Um auch ein Anpassen oder Aktualisieren des generischen Klassifikators zu ermöglichen, kann das Verfahren gemäß einer vorteilhaften Ausführungsform einen Schritt des Speicherns aufweisen, in dem das Kamerabild gespeichert wird, wenn im Schritt des Klassifizierens eine Klassifizierungsgenauigkeit bezüglich des Klassifizierens des Objekts unterhalb eines Schwellenwerts liegt. Der Schritt des Speicherns kann vor dem Schritt des Extrahierens ausgeführt werden, wobei die Klassifizierungsgenauigkeit beispielsweise dann unterhalb des Schwellenwerts liegen kann, wenn zumindest ein als ungenau eingestuftes generisch detektiertes Objektmerkmal des Objekts auf dem Kamerabild angeordnet ist.
-
Im Schritt des Speicherns kann das Kamerabild an eine extern von der Objekterkennungsvorrichtung angeordnete Trainingseinrichtung gesendet werden, um ein Neutraining des generischen Klassifikators der Objekterkennungsvorrichtung zu ermöglichen.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden. Diese Vorrichtung kann Teil der Objekterkennungsvorrichtung sein. Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
In einer vorteilhaften Ausgestaltung erfolgt durch die Vorrichtung eine Steuerung eines Klassifizierens eines Objekts. Hierzu kann die Vorrichtung beispielsweise auf Sensorsignale wie ein Klassifiziersignal, ein Extrahiersignal und ein Erstellsignal zugreifen. Die Ansteuerung erfolgt über Aktoren wie eine generische Klassifikatoreinrichtung, die dazu ausgebildet ist, um unter Verwendung eines generischen Klassifikators eine generische Klassifikation eines in einem Kamerabild erkannten Objekts durchzuführen, eine Extraktionseinrichtung, die dazu ausgebildet ist, um aus dem Kamerabild zumindest ein dem Objekt zugeordnetes spezifisches Objektmerkmal zu extrahieren und eine spezifische Klassifikatoreinrichtung, die zumindest dazu ausgebildet ist, um unter Verwendung des spezifischen Objektmerkmals einen spezifischen Klassifikator zu erstellen.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zum Klassifizieren eines Objekts gemäß einem Ausführungsbeispiel;
- 2 eine schematische Darstellung einer Vorrichtung zum Klassifizieren eines Objekts für ein Fahrzeug gemäß einem Ausführungsbeispiel; und
- 3 bis 4 je ein Ablaufdiagramm eines Verfahrens zum Klassifizieren eines Objekts für ein Fahrzeug gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 105 zum Klassifizieren eines Objekts 110 gemäß einem Ausführungsbeispiel.
-
Die Vorrichtung 105 ist dazu ausgebildet, um das Objekt 110, das gemäß diesem Ausführungsbeispiel optional als ein weiteres Fahrzeug ausgeformt ist, zu klassifizieren. Hierzu ist die Vorrichtung 105 dazu ausgebildet, um das Objekt 110 aus einem Kamerabild 115 unter Verwendung eines generischen Klassifikators 120 zu klassifizieren. Das Kamerabild 115 wird gemäß diesem Ausführungsbeispiel von einer Umfelderfassungseinrichtung 125 des Fahrzeugs 100 eingelesen und bereitgestellt. Die Vorrichtung 105 ist weiterhin dazu ausgebildet, um zumindest ein dem Objekt 110 zugeordnetes spezifisches Objektmerkmal aus dem Kamerabild 115 zu extrahieren. Außerdem ist die Vorrichtung 105 dazu ausgebildet, um unter Verwendung des spezifischen Objektmerkmals einen spezifischen Klassifikator 130 zu erstellen, um das Objekt 110 zu klassifizieren.
-
Die im Folgenden beschriebenen Merkmale der Vorrichtung 105 sind optional.
-
Gemäß einem Ausführungsbeispiel ist die Vorrichtung 105 ausgebildet, um aus dem Kamerabild 115 das Objektmerkmal zu extrahieren, das zumindest eine Farbe und/oder eine Struktur und/oder eine Form des generisch klassifizierten Objekts repräsentiert. Außerdem speichert die Vorrichtung 105 den erstellten spezifischen Klassifikator 130 gemäß diesem Ausführungsbeispiel in eine Ringspeichereinrichtung.
-
Die Vorrichtung 105 ist weiterhin dazu ausgebildet, um das Kamerabild 115 zu speichern, wenn beim Klassifizieren durch den generischen Klassifikator 120 eine Klassifizierungsgenauigkeit bezüglich des Klassifizierens des Objekts 110 unterhalb eines Schwellenwerts liegt. Hierzu ist die Vorrichtung 105 dazu ausgebildet, um das Kamerabild 115 an eine extern von der Vorrichtung 105 und/oder eine extern von einer Objekterkennungsvorrichtung, welche die Vorrichtung 105 umfasst, angeordnete Trainingseinrichtung 132 zu senden.
-
Die Vorrichtung 105 ist außerdem dazu ausgebildet, um das durch die Vorrichtung 105 klassifizierte Objekt 135 für ein Fahrassistenzsystem 140 des Fahrzeugs 100 bereitzustellen oder an das Fahrassistenzsystem 140 zu senden.
-
Gemäß diesem Ausführungsbeispiel ist die Vorrichtung 105 dazu ausgebildet, um ein weiteres Objekt 145 aus einem weiteren Kamerabild 150 unter Verwendung des generischen Klassifikators 120 und des spezifischen Klassifikators 130 zu klassifizieren, ein dem weiteren Objekt 145 zugeordnetes weiteres spezifisches Objektmerkmal aus dem weiteren Kamerabild 150 zu extrahieren und den spezifischen Klassifikator 130 unter Verwendung des weiteren spezifischen Objektmerkmals anzupassen.
-
2 zeigt eine schematische Darstellung einer Vorrichtung 105 zum Klassifizieren eines Objekts für ein Fahrzeug gemäß einem Ausführungsbeispiel. Dabei kann es sich um die anhand von 1 beschriebene Vorrichtung 105 handeln. Gezeigt ist in 2 ein Anwendungsbeispiel des generischen Klassifikators 120 und des spezifischen Klassifikators 130.
-
Der generische Klassifikator 120 repräsentiert oder umfasst zumindest ein gelerntes Fahrzeugmodell 200, das zuvor anhand von einer Mehrzahl von Objektbeispielen 205 in einem Offline-Training gelernt wurde. Wenn nun bei einer Anwendung im Straßenverkehr in dem Kamerabild 115 und/oder dem weiteren Kamerabild Objekte 110, 145 dargestellt sind, die untypisch sind, oder die zur Trainingszeit des Offline-Trainings noch unbekannte Objekte bzw. Fahrzeuge waren, würden diese mittels des generischen Klassifikators 120 alleine nur schlecht und/oder langsam erkannt werden. Die hier vorgestellte Vorrichtung 105 extrahiert nun wesentliche Merkmale der Objekte 110, 145 in Form der spezifischen Objektmerkmale 210 und ermittelt so den spezifischen Klassifikator 130 oder passt den spezifischen Klassifikator 130 an. Der spezifische Klassifikator 130 wird gemäß diesem Ausführungsbeispiel in eine Speichereinrichtung gespeichert, wobei für jeden Speichereintrag 215 in der Speichereinrichtung eine zusätzliche Anwendung 220 erfolgt.
-
Die hier vorgestellte Vorrichtung 105 ermöglicht anders ausgedrückt ein Online-Learning von Klassifikatoren 120, 130 für eine Objektdetektion in Kamerasystemen oder für Kamerasysteme. Hierfür ist die Vorrichtung 105 gemäß einem alternativen Ausführungsbeispiel in oder an der Umfelderfassungseinrichtung 125 aufgenommen, die das zumindest eine Kamerasystem umfasst.
-
Eine Aufgabe der Vorrichtung 105 ist es hierbei, in den Kamerasystemen, die in Fahrzeugen beispielsweise zur Erkennung von Objekten 110, 145 eingebaut sind, ein Online-Update der Klassifikatoren 120, 130 für die Objektdetektion, bspw. für unsichere und/oder unscharfe Objekterkennung, nach einer „sicher“ durchgeführten Objektklassifikation durch Tracking, Plausibilisierung über die Zeit usw. durchzuführen. Siehe hierzu auch 4.
-
Anders als bekannte Systeme ermöglicht die hier vorgestellte Vorrichtung 105 vorteilhafterweise, dass auch unterrepräsentierte Objektbeispiele 205 gut erkannt werden. Ferner sind die trainierten generischen Klassifikatoren 120 in heutigen Systemen generisch für die Erkennung bestimmter Objekttypen ausgelegt, um in allen Situationen weltweit eine adäquate Objekterkennung zu gewährleisten. Für diese generische Erkennung werden dementsprechend Merkmale benutzt, die allgemein auf alle Objektbeispiele 205 zutreffen, das heißt, spezifische Merkmale wie Farbe oder feste Strukturen, beispielsweise Nummernschilder, werden dabei als Erkennungsmerkmal verworfen. Das resultiert zum einen in einer generell etwas längeren Objekterkennung, da Klassifikatordetektionen zum Erzielen einer niedrigen Fehlerrate über eine Verifikation plausibilisiert werden müssen. Zum anderen werden unterrepräsentierte Objektbeispiele 205 wie besondere Kleinserienfahrzeuge bzw. neue Fahrzeuggenerationen besonders schlecht detektiert. Eine schlechte Objektdetektion, jedoch durch Tracking/Plausibilisierung zeitlich verzögerte erfolgte Klassifikation eines Objekts, bewirkt in derzeitigen Systemen keine Umgewichtung oder Anpassung, sondern die Unzulänglichkeit der Detektion dieser Objekte bleibt dauerhaft bestehen. Durch das hier vorgestellte Online-Training von Klassifikatoren 120, 130 lässt sich jedoch das Gütemaß bzw. die Erkennungsrate verbessern.
-
In die Vorrichtung 105 ist hierfür vorteilhafterweise ein weiterer Klassifikator, nämlich der spezifische Klassifikator 130 parallel zum bereits bestehenden generischen Klassifikator 120 implementiert. Der generische Klassifikator 120 erkennt grundlegend alle Ausprägungen des gewünschten Objekttyps, mit den genannten Einschränkungen bezogen auf Reaktionszeit und Erkennung neuer/untypischer Objektausprägungen. Für Objekte, die mit diesem generischen Klassifikator 120 detektiert und über eine zeitliche Plausibilisierung (Tracking) und Verifikation klassifiziert wurden, können spezifische Merkmale wie Farbe und Struktur für dieses Objekt aus dem Kamerabild 115, das ein Videobild sein kann, extrahiert und für die Erstellung/Anpassung des weiteren spezifischen Klassifikators 130 verwendet werden. Das erlaubt zum einen eine stabilere Objektverfolgung auch bei Teilverdeckungen des Objektes oder Bildstörungen durch z. B. Scheibenwischer bei Regen. Zum anderen kann nach vollständiger Verdeckung, z. B. durch andere Fahrzeuge oder bei Vorausfahrern nach Kurven, das Objekt deutlich schneller detektiert und klassifiziert werden. Für diesen spezifischen Klassifikator 130 können demnach Merkmale verwendet werden, die für einen generischen Klassifikator 120 unbrauchbar sind, da sie die generelle Erkennung aller möglichen Objektausprägungen beeinträchtigen würden.
-
Wird dem generischen Klassifikator 120 beispielsweise doch Farbe als Merkmal für das Training bereitgestellt und in den Beispieldaten, hier den Objektbeispielen 205 befinden sich keine blauen Fahrzeuge, so würden blaue Fahrzeuge dann nicht mehr erkannt werden.
-
In einer lokalen Umgebung des Fahrzeuges bringt die Einbeziehung dieses spezifischen Klassifikators 130 parallel zum generischen Klassifikator 120 wie bereits angesprochen Vorteile bezogen auf Reaktionszeit in der Erkennung und Robustheit bei der Objektverfolgung.
-
Eine Basis-Objektdetektion über den generischen Klassifikator 120 bleibt hierbei weiterhin notwendig, um sicherzustellen, dass eine Güte der Objekterkennung zum Zeitpunkt der Produktauslieferung gestellten Anforderungen entspricht.
-
In einer Online-Trainingsphase werden ein Eingang des spezifischen Klassifikators 130 mit einem Eingang des generischen Klassifikators 120 und ein Ausgang des spezifischen Klassifikators 130 mit einem Ausgang einer bestehenden Verifikation, Plausibilisierung und Integration, verbunden, siehe hierzu auch 4. Als Initialdaten für den spezifischen Klassifikator 130 werden aus Bildbereichen des Kamerabilds 115, 145, in denen das relevante Objekt im Video erkannt wurde, charakteristische Merkmale extrahiert. Diese spezifischen Objektmerkmale 210 beschreiben genau diese Objektausprägung in Form wie Höhe, Breite, Strukturinformationen sowie Farbe, sind also genau darauf ausgelegt, ausschließlich dieses Objekt zu erkennen.
-
Gemäß diesem Ausführungsbeispiel ist der spezifische Klassifikator 130 derart ausgelegt, dass er mehrere Objektausprägungen klassifiziert. Alternativ dazu könnten bis zu einer vorgegebenen Anzahl mehrere Instanzen dieser spezifischen Klassifikatoren 130 vorhanden sein, die je nach Fahrsituation befüllt werden. Die Verwaltung dieser Klassifikatoren 130 wird hierbei über einen Ringspeicher realisiert, bei dem ein ältester Eintrag verworfen wird, falls eine neue Objektausprägung gespeichert werden soll.
-
Wie bereits in 1 beschrieben, wird durch die Vorrichtung 105 außerdem eine optionale Adaption des generischen Klassifikators 120 ermöglicht. Zusätzlich zu einer Anpassung an dedizierte Objektausprägungen kann hierbei eine Bewertung des generischen Klassifikators 120 bezogen auf Erkennungszeit und Robustheit der jeweiligen Objektausprägungen durchgeführt werden. Für jene Objekte 110, 145, die durch den generischen Klassifikator 120 langsam bzw. unsicher erkannt wurden, die z. B. erst durch eine in 4 näher beschriebene zeitliche Verifikation oder alternative Erkennungsmethoden wie eine Eigenbewegungserkennung klassifiziert wurden, werden entsprechende Bilddaten des Kamerabilds 115 in einen separaten Speicher abgelegt. Dieser separate Speicher ist in 1 als die Trainingseinrichtung bzw. als ein Teil der Trainingseinrichtung dargestellt, der separate Speicher kann gemäß einem alternativen Ausführungsbeispiel aber auch Teil der Vorrichtung 105 sein. Die Beispieldaten von Objektausprägungen, die mit der aktuellen Version des generischen Klassifikators 120 unzureichend erkannt werden oder wurden, können so zentral, per Online-Anbindung und/oder Werkstatt, abgelegt werden, um für ein Neutraining des generischen Klassifikators 120 verwendet zu werden.
-
3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Klassifizieren eines Objekts für ein Fahrzeug gemäß einem Ausführungsbeispiel. Dabei kann es sich um ein Verfahren 300 handeln, das von einer der anhand einer der vorangegangenen Figuren beschriebenen Vorrichtungen ausführbar ist.
-
Das Verfahren 300 umfasst zumindest einen Schritt 305 des Klassifizierens, einen Schritt 310 des Extrahierens und einen Schritt 315 des Erstellens. Im Schritt 305 des Klassifizierens wird ein Objekt aus einem Kamerabild unter Verwendung eines generischen Klassifikators klassifiziert. Im Schritt 310 des Extrahierens wird zumindest ein dem Objekt zugeordnetes spezifisches Objektmerkmal aus dem Kamerabild extrahiert. Im Schritt 315 des Erstellens wird ein spezifischer Klassifikator unter Verwendung des spezifischen Objektmerkmals erstellt.
-
Die folgenden Ausführungsbeispiele des Verfahrens 300 sind optional:
-
Im Schritt 305 des Klassifizierens wird zusätzlich oder alternativ gemäß einem alternativen Ausführungsbeispiel ein weiteres Objekt aus einem weiteren Kamerabild unter Verwendung des generischen Klassifikators und des spezifischen Klassifikators klassifiziert, wobei im Schritt 310 des Extrahierens zumindest ein dem weiteren Objekt zugeordnetes weiteres spezifisches Objektmerkmal aus dem weiteren Kamerabild extrahiert wird und im Schritt 315 des Erstellens der spezifische Klassifikator unter Verwendung des weiteren spezifischen Objektmerkmals angepasst wird.
-
Im Schritt 310 des Extrahierens wird gemäß diesem Ausführungsbeispiel aus dem Kamerabild das Objektmerkmal extrahiert, das zumindest eine Farbe und/oder eine Struktur und/oder eine Form des generisch klassifizierten Objekts repräsentiert.
-
Im Schritt 315 des Erstellens wird der spezifische Klassifikator in eine Ringspeichereinrichtung gespeichert.
-
Außerdem weist das Verfahren 300 gemäß diesem Ausführungsbeispiel optional einen Schritt 320 des Ermittelns und einen Schritt des Speicherns 325 auf.
-
Im Schritt 320 des Ermittelns wird das Kamerabild unter Verwendung einer Umfelderfassungseinrichtung ermittelt.
-
Im Schritt 325 des Speicherns wird das Kamerabild gespeichert, wenn im Schritt 305 des Klassifizierens eine Klassifizierungsgenauigkeit bezüglich des Klassifizierens des Objekts unterhalb eines Schwellenwerts liegt. Gemäß diesem Ausführungsbeispiel wird im Schritt 325 des Speicherns das Kamerabild an eine extern von einer Objekterkennungsvorrichtung angeordnete Trainingseinrichtung gesendet.
-
Die hier vorgestellten Verfahrensschritte können wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
4 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Klassifizieren eines Objekts gemäß einem Ausführungsbeispiel. Dabei kann es sich um das in 3 beschriebene Verfahren 300 mit zusätzlichen Schritten handeln.
-
Das Verfahren 300 ermöglicht gemäß diesem Ausführungsbeispiel eine umfangreiche Objektdetektion und umfasst hierfür zusätzlich einen Block 400 des Detektierens und einen Block 405 des Verifizierens. Der Block 400 des Detektierens umfasst ein sogenanntes Erscheinungsbasiertes Verfahren 410, welches wiederum einen Schritt 415 des Erzeugens, einen Schritt 420 des Zusammenfassens und den in 3 bereits beschriebenen Schritt 305 des Klassifizierens aufweist. Der Block 400 des Detektierens umfasst gemäß einem alternativen Ausführungsbeispiel zusätzlich ein sogenanntes Disparitätsbasiertes Verfahren 425 zur Hypothesengenerierung und/oder ein sogenanntes Bewegungsbasiertes Verfahren 430.
-
Der Block 405 des Verifizierens umfasst einen Schritt 435 des Plausibilisierens und einen Schritt 440 des zeitlichen Integrierens.
-
Der Schritt 315 des Erstellens ist zwischen dem Block 400 des Detektierens und dem Block 405 des Verifizierens angeordnet. Zwischen dem Block 405 des Verifizierens und dem Schritt 315 des Erstellens weist das Verfahren 300 zudem einen Schritt 445 des weiteren Verifizierens auf.
-
Im Block 400 des Detektierens werden stabile Gruppen von Merkmalen gesucht, die mögliche zu erkennende Objekte beschreiben. Im Erscheinungsbasierten Verfahren 410 werden Charakteristiken eines Objekttyps, der hier ein Fahrzeug ist, auf Basis eines Trainingsdatensatzes erfasst. Gemäß diesem Ausführungsbeispiel werden im Erscheinungsbasierten Verfahren 410 die Merkmale des Fahrzeugs mittels eines Gabor-Filters gefiltert und der generische Klassifikator mittels einer Support Vector Machine klassifiziert. Hierbei werden im Schritt 415 des Erzeugens charakteristische Merkmale, hier Haar-Merkmale, aus Trainingsbildern erzeugt. Im Schritt 420 des Zusammenfassens wird eine Sammlung von Merkmalen zu einer Gesamtbeschreibung des Objekttyps in einer Datenbank zusammengefasst. Im Schritt 305 des Klassifizierens wird der generische Klassifikator, der gemäß diesem Ausführungsbeispiel ein AdaBoost-Algorithmus ist, zeitaufwendig trainiert und/oder eine Wahrscheinlichkeitsverteilung der Merkmale modelliert, um einen Merkmalsvektor eindeutig einem Objekttyp zuordnen zu können.
-
Im Block 405 des Verifizierens werden fehlerhafte und/oder ungenau Objekthypothesen aus dem Block 400 des Detektierens plausibilisiert und durch zeitliche Integration verbessert. Hierzu werden im Schritt 435 des Plausibilisierens parametrisierte Modelle und/oder Schablonen mit Bilddaten verglichen, gemäß diesem Ausführungsbeispiel werden für das Fahrzeug 3D-Drahtgittermodelle erstellt, deren Projektion in eine Bildebene zu Kantenmustern führt. Diese Muster werden in einem kantensegmentierten Grauwertbild der Szene gesucht. Zusätzlich oder alternativ werden zumindest eine Nummerntafel, Lichter und/oder Scheiben genutzt. Im Schritt 440 des zeitlichen Integrierens wird eine zeitliche Integration durchgeführt. Hierbei wird zwischen nicht lebenden physischen Objekten und Subjekten unterschieden. Nicht lebende physische Objekte werden dabei mittels Prädiktion durch Extrapolation auf Basis physikalischer Gesetze und Subjekte mittels Identifikation von Intentionen, Handlungen und/oder Handlungsalternativen unterschieden. So wird z. B. zwischen Fußgängern, Radfahrern, Pkws, Lkws, usw. unterschieden. Im Schritt 440 des zeitlichen Integrierens wird außerdem ein Bewegungsmodell der Objekthypothese angepasst, eine Bündelung von Informationen im Handlungsmodell vorgenommen und/oder ein Abgleich mit Umfeldmodellen durchgeführt, hierbei wird z. B. eine Plausibilisierung eines geschätzten Fahrstreifenverlaufs mit einer Fahrzeugbewegung vorgenommen, z. B. Fußpunkte von Objekten mit einer Straßengeometrie.
-
Zwischen dem Schritt 315 des Erstellens und dem Schritt 445 des weiteren Verifizierens und/oder dem Block 405 des Verifizierens ist ein Schritt 450 des Trainierens angeordnet, in dem ein Training ausgeführt wird. Zwischen dem Schritt des Erstellens 315 und dem Block 405 des Verifizierens wird außerdem eine Gültigkeitsabfrage 455 durchgeführt.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
