-
Die Erfindung betrifft ein Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs. Die Erfindung betrifft außerdem ein Kamerasystem, welches zum Durchführen eines solchen Verfahrens ausgebildet ist, wie auch ein Kraftfahrzeug mit einem derartigen Kamerasystem.
-
Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik bekannt. Vorliegend richtet sich das Interesse auf ein Kamerasystem, mittels welchem Objekte in der Umgebung des Kraftfahrzeugs detektiert werden können. Dazu werden insbesondere Frontkameras eingesetzt, welche üblicherweise Bilder eines Umgebungsbereiches vor dem Kraftfahrzeug bereitstellen. Diese Sequenz von Bildern wird mittels einer elektronischen Bildverarbeitungseinrichtung verarbeitet, welche in den Bildern Zielobjekte detektiert. Dazu werden die Bilder einem Objektdetektionsalgorithmus unterzogen. Solche Detektionsalgorithmen sind bereits Stand der Technik und basieren beispielsweise auf einer Mustererkennung. Um ein Zielobjekt zu detektieren, können zunächst sogenannte charakteristische Punkte aus dem Bild extrahiert und anhand dieser charakteristischen Punkte dann ein Zielobjekt identifiziert werden. Als Beispiel können dabei folgende Algorithmen genannt werden: Adaboost und HOG-SVM.
-
Wird ein Zielobjekt in einem Bild der Kamera identifiziert, so kann dieses Zielobjekt auch über die nachfolgenden Bilder der Sequenz hinweg verfolgt werden. Das Zielobjekt wird dabei in jedem Bild detektiert, wobei die Detektion in dem aktuellen Bild der Detektion aus dem vorherigen Bild zugeordnet werden muss. Durch das Verfolgen des Zielobjekts sind die aktuelle Position des Zielobjekts in dem Bildrahmen und somit auch die aktuelle relative Position des Zielobjekts bezüglich des Kraftfahrzeugs stets bekannt. Als Verfolgungsalgorithmus kann dabei beispielsweise die Lucas-Kanade-Methode genutzt werden.
-
Ein genanntes Kamerasystem mit einer Frontkamera kann als Kollisionswarnungssystem genutzt werden, mittels welchem der Fahrer vor einer Kollisionsgefahr mit dem Zielobjekt gewarnt werden kann. Ein solches Kollisionswarnungssystem kann beispielsweise Warnsignale ausgeben, um den Fahrer über die detektierte Kollisionsgefahr akustisch und/oder optisch und/oder haptisch zu informieren. Ergänzend oder alternativ kann das Kamerasystem auch als automatisches Bremsassistenzsystem genutzt werden, welches dazu ausgelegt ist, aufgrund der detektierten Kollisionsgefahr automatische Bremseingriffe des Kraftfahrzeugs vorzunehmen. Als Maß für die aktuelle Kollisionsgefahr kann dabei beispielsweise die so genannte Zeit bis zur Kollision (time to collision) genutzt werden, das heißt eine Zeitdauer, welche durch das Kraftfahrzeug voraussichtlich benötigt wird, um das Zielobjekt zu erreichen. Diese Zeit bis zur Kollision kann aus der eingeschätzten Entfernung des Zielobjekts sowie aus der relativen Geschwindigkeit berechnet werden.
-
Ein Kamerasystem zur Detektion von Objekten ist beispielsweise aus dem Dokument
US 2012/0119894 A1 bekannt. Dieses Kamerasystem ist zur Klassifizierung der detektierten Objekte ausgebildet und kann jedes Objekt zu einer Klasse bzw. Kategorie aus drei möglichen Klassen zuordnen. Dazu werden auch Daten eines Radarsensors verwendet.
-
Ein Verfahren, bei welchem einerseits Bilder einer Kamera und andererseits Daten eines Radarsensors miteinander kombiniert werden, ist des Weiteren aus dem Dokument
US 8 081 209 B2 bekannt. Anhand der Daten des Radarsensors werden hier Regionen von Interesse bestimmt, in denen dann die Bilder verarbeitet werden und in denen somit die Objekte gesucht werden.
-
Ein Verfahren zum Klassifizieren von Objekten mit Hilfe eines Klassifikators ist aus dem Dokument
US 7 724 962 B2 bekannt. Das Trainieren des Klassifikators erfolgt auf der Basis von Helligkeitswerten der Bilder, wobei Testbilddaten beispielsweise in drei Kategorien hinsichtlich der Helligkeit unterteilt werden.
-
Eine besondere Herausforderung bei heutigen Kamerasystemen besteht darin, eine Diagnose des Kamerasystems durchzuführen und das Kamerasystem somit auf die Zuverlässigkeit der Objekterkennung hin überprüfen zu können. Als problematisch hat sich insbesondere die Diagnose der bekannten Objektdetektionsalgorithmen sowie der Klassifizierungsalgorithmen erwiesen. Werden solche Algorithmen in einem Kamerasystem eines Kraftfahrzeugs verwendet, so besteht im Stand der Technik grundsätzlich keine Möglichkeit mehr, diese Algorithmen auf mögliche Detektionsfehler und/oder Klassifizierungsfehler hin zu überprüfen.
-
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie ein Kamerasystem eines Kraftfahrzeugs besonders zuverlässig diagnostiziert und somit auf seine Funktionsfähigkeit hin überprüft werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs. Mittels einer Kamera des Kamerasystems wird zumindest ein Bild eines Umgebungsbereiches des Kraftfahrzeugs bereitgestellt. Eine elektronische Bildverarbeitungseinrichtung des Kamerasystems detektiert zumindest ein fahrzeugexternes Objekt in dem Bild, insbesondere unter Verwendung eines Detektionsalgorithmus. Es kann dabei grundsätzlich ein beliebiger Detektionsalgorithmus verwendet werden, so dass vorliegend auf den Detektionsalgorithmus nicht näher eingegangen wird. Es werden außerdem Sensordaten mittels zumindest eines, insbesondere von der Kamera separaten, Sensors des Kraftfahrzeugs bereitgestellt, wobei die Sensordaten Umgebungsbedingungen des Kraftfahrzeugs charakterisieren und somit abhängig von den aktuellen Umgebungsbedingungen sind. Dann wird eine erste Klassifizierung des zumindest eines Objekts durchgeführt, indem das Objekt zu einer Klasse aus mehreren vorbestimmten Klassen in Abhängigkeit von den Umgebungsbedingungen zugeordnet wird. Die Klassen unterscheiden sich dabei hinsichtlich der Umgebungsbedingungen untereinander. Unabhängig davon wird eine zweite Klassifizierung des zumindest einen Objekts durchgeführt, indem das Objekt zu einer der genannten Klassen unabhängig von den Sensordaten und somit alleine anhand des Bilds zugeordnet wird. Dazu wird eine Klassifizierungseinrichtung bzw. ein Klassifikator verwendet, welche/welcher ein vorbestimmtes Klassifizierungsmodell anwendet. Das Klassifizierungsergebnis der ersten Klassifizierung wird dann mit dem Klassifizierungsergebnis der zweiten Klassifizierung verglichen, und die Diagnose wird abhängig von diesem Vergleich durchgeführt.
-
Erfindungsgemäß wird demnach ein Diagnoseverfahren bereitgestellt, bei welchem ein detektiertes Objekt mit zwei voneinander unabhängigen Klassifizierungsmethoden hinsichtlich der gleichen Klassen klassifiziert wird. Einerseits werden zur Klassifizierung des detektierten Objekts Sensordaten eines Fahrzeugsensors berücksichtigt, welche die Umgebungsbedingungen und somit die Szene zum Zeitpunkt der Aufnahme des Bilds beschreiben. Diese erste Klassifizierung kann ohne viel Aufwand mittels eines Verteilers (Splitter) durchgeführt werden und ist besonders wenig fehleranfällig, da Sensordaten zur Bestimmung der Umgebungsbedingungen herangezogen werden und die Klassifizierung somit direkt abhängig von den gemessenen, bekannten Umgebungsbedingungen erfolgen kann. Andererseits wird das Objekt mit Hilfe eines vorbestimmten Klassifizierungsmodells bzw. Klassifizierungsalgorithmus (Klassifikator) klassifiziert, wobei dieser zweiten Klassifizierung lediglich das Bild bzw. das detektierte Objekt zugrunde gelegt wird, ohne dass dazu die Sensordaten herangezogen werden. Wird eine Abweichung zwischen den beiden Klassifizierungsergebnissen festgestellt, so stellt dies einen Hinweis auf einen möglichen Fehler der Bildverarbeitungseinrichtung und/oder der Klassifizierungseinrichtung dar. Mit dem erfindungsgemäßen Verfahren lassen sich solche Fehler ohne viel Aufwand und besonders zuverlässig diagnostizieren, und es kann im Fehlerfall eine Warnmeldung an den Fahrer ausgegeben werden. Ein fehlerhafter Betrieb des Kamerasystems kann somit verhindert werden.
-
Die Kamera ist vorzugsweise eine Frontkamera, welche insbesondere hinter einer Windschutzscheibe des Kraftfahrzeugs angeordnet ist, beispielsweise direkt an der Windschutzscheibe im Innenraum des Kraftfahrzeugs. Die Frontkamera erfasst dann die Umgebung in Fahrtrichtung bzw. in Fahrzeuglängsrichtung vor dem Kraftfahrzeug. Dies kann insbesondere bedeuten, dass eine senkrecht zur Ebene des Bildsensors verlaufende Kameraachse parallel zur Fahrzeuglängsachse orientiert ist.
-
Die Kamera ist vorzugsweise eine Video-Kamera, welche eine Vielzahl von Bildern (Frames) pro Sekunde bereitstellen kann. Die Kamera kann eine CCD-Kamera oder eine CMOS-Kamera sein.
-
Also kann in einer Ausführungsform vorgesehen sein, dass falls durch das Kamerasystem detektiert wird, dass durch die erste Klassifizierung das Objekt einer anderen Klasse als durch die zweite Klassifizierung zugeordnet wurde, ein Fehlersignal durch das Kamerasystem erzeugt wird. Dieses Fehlersignal kann beispielsweise eine Warnmeldung in einem Kombiinstrument des Kraftfahrzeugs erzeugen. Ergänzend oder alternativ kann ein derartiges Fehlersignal auch dazu führen, dass das Kamerasystem deaktiviert und somit außer Betrieb genommen wird, um fehlerhafte Detektionen zu vermeiden.
-
Das detektierte Objekt wird hinsichtlich mehrerer vorbestimmter Klassen klassifiziert, wobei sich die Klassen in den Umgebungsbedingungen des Kraftfahrzeugs untereinander unterscheiden. Dabei wird das Objekt einer Klasse aus den mehreren Klassen zugeordnet. Insbesondere kann in diesem Zusammenhang vorgesehen sein, dass sich die mehreren Klassen in einer Helligkeit des Umgebungsbereiches untereinander unterscheiden. Eine Klasse kann beispielsweise Objekte beinhalten, welche bei einer hellen Umgebung (tagsüber) detektiert werden. Eine andere Klasse kann beispielsweise Objekte beinhalten, welche bei einer dunklen Umgebung (nachts) detektiert werden. Es können auch mehrere Helligkeitsgrade definiert werden.
-
Ergänzend oder alternativ können sich die Klassen auch in atmosphärischen Bedingungen des Umgebungsbereiches und somit in Wetterbedingungen untereinander unterscheiden. Eine der Klassen kann dabei beispielsweise einem Regen zugeordnet sein, während eine andere Klasse beispielsweise Objekte beinhalten kann, welche bei einer trockenen Umgebung detektiert werden. Auch hier können mehrere Zwischenstufe definiert werden.
-
Werden die oben genannten Ausführungsformen miteinander kombiniert, so kann eine erste Klasse beispielsweise Objekte beinhalten, die bei einer dunklen Umgebung und bei Regen detektiert werden, während eine andere Klasse Objekte beinhalten kann, die tagsüber und bei einer trockenen Umgebung detektiert werden.
-
Es erweist sich als besonders vorteilhaft, wenn als Sensordaten folgende Daten bereitgestellt und bei der ersten Klassifizierung des Objekts berücksichtigt werden:
- – Daten, die einen aktuellen Betriebszustand eines Scheinwerfers des Kraftfahrzeugs angeben, und/oder
- – Daten, die einen aktuellen Betriebszustand eines Scheibenwischers des Kraftfahrzeugs charakterisieren, und/oder
- – Sensordaten eines Regensensors und/oder
- – Sensordaten eines Helligkeitssensors des Kraftfahrzeugs.
-
Die oben genannten Daten haben den Vorteil, dass anhand dieser Daten die Helligkeit der Umgebung und/oder die aktuellen Wetterbedingungen ermittelt werden können. Diese Daten ermöglichen nämlich Rückschlüsse auf die Helligkeit der Umgebung und/oder auf die atmosphärischen Bedingungen des Umgebungsbereiches und ermöglichen somit eine zuverlässige (erste) Klassifizierung des zumindest einen Objekts.
-
Hinsichtlich des Klassifizierungsmodells, mittels welchem die zweite Klassifizierung vorgenommen wird, können folgende Ausführungsformen vorgesehen sein:
Als Klassifizierungsmodell kann beispielsweise ein HOG-Klassifikator (Histogram of Oriented Gradients) und/oder ein SVM-Klassifikator (Support Vector Machine) und/oder ein Klassifikator verwendet werden, der auf einer Klassifikationsbaum-Methode (Classification Tree Method) basiert. Diese Algorithmen können einerseits trainiert werden und ermöglichen andererseits eine zuverlässige und präzise Klassifizierung von Objekten.
-
Insbesondere wird als Klassifizierungsmodell ein Algorithmus verwendet, der mit Testbilddaten hinsichtlich der Klassifizierung trainiert wird. Beim Trainieren des Algorithmus wird vorzugsweise eine Testdatenbank bereitgestellt, welche Testbilddaten beinhaltet, das heißt eine sehr große Anzahl von Bildern. Diese Testbilddaten beinhalten eine Vielzahl von Objekten, welche mittels eines entsprechenden Objektdetektionsalgorithmus detektiert und dann in Klassen unterteilt werden. Diese klassifizierten Objekte werden dann dem Algorithmus „mitgeteilt” und so dem Training des Algorithmus zugrunde gelegt. Diese Klassen sollen also von dem Algorithmus „gelernt” werden. Ein bereits trainierter Algorithmus ist dann in der Lage, die detektierten Objekte hinsichtlich der gelernten Klassen zu klassifizieren.
-
Vorzugsweise erfolgt das Trainieren des Algorithmus folgendermaßen: In den Testbilddaten werden zunächst Objekte detektiert. Des Weiteren werden die Klassen definiert. Wie bereits ausgeführt, unterscheiden sich die Klassen untereinander in den Umgebungsbedingungen und somit in der Szene zum Zeitpunkt der Aufnahme der Bilddaten. Zu den Testbilddaten werden Sensordaten zugeordnet, welche mittels zumindest eines Sensors bereitgestellt werden und welche die Umgebungsbedingungen zum Zeitpunkt der Aufnahme der Testbilddaten charakterisieren. Die detektierten Objekte werden in Abhängigkeit von diesen Sensordaten jeweils zu einer Klasse aus den genannten Klassen zugeordnet. Diese klassifizierten Objekte werden dann dem Trainieren des Algorithmus zugrunde gelegt. Durch die Verwendung von Sensordaten zumindest eines Fahrzeugsensors kann das Training des Algorithmus besonders präzise und zuverlässig durchgeführt werden. Das Training basiert nämlich auf bereits klassifizierten Objekten, welche sehr präzise anhand der Sensordaten klassifiziert und somit den jeweiligen Klassen zugeordnet wurden. Das Training kann somit automatisiert durchgeführt werden, wodurch auch eine Vielzahl von Testbildern für dieses Training genutzt werden können und somit auch die Genauigkeit und Zuverlässigkeit des trainierten Algorithmus verbessert werden kann.
-
Hinsichtlich des Zeitpunkts des Trainings können prinzipiell zwei Ausführungsformen vorgesehen sein:
Das Trainieren des Algorithmus kann in einer Entwicklungsphase des Kamerasystems durchgeführt werden. In dieser Ausführungsform können die Testbilddaten beispielsweise mittels einer Kamera bereitgestellt werden, welche an einem Testfahrzeug angebracht ist. Auch die Sensordaten werden gleichzeitig mittels zumindest eines Sensors dieses Testfahrzeugs bereitgestellt und zeitlich zu den Testbilddaten zugeordnet.
-
Ergänzend oder alternativ kann das Trainieren des Algorithmus auch im Betrieb des Kamerasystems anhand von Bilddaten durchgeführt werden, welche im Betrieb des Kamerasystems mittels der Kamera bereitgestellt werden. Diese Vorgehensweise hat den Vorteil, dass der Algorithmus somit auch während des Betriebs präzisiert und somit verbessert werden kann, wodurch die Wahrscheinlichkeit eines Fehlers weiterhin reduziert wird.
-
Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, wobei das Kamerasystem zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.
-
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere Personenkraftwagen, umfasst ein erfindungsgemäßes Kamerasystem.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Es zeigen:
-
1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung; und
-
2 bis 4 Blockdiagramme zur Erläuterung eines Verfahrens gemäß einer Ausführungsform der Erfindung.
-
Ein in 1 gezeigtes Kraftfahrzeug 1 ist im Ausführungsbeispiel ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches zum Beispiel als Kollisionswarnungssystem dient, mittels welchem der Fahrer des Kraftfahrzeugs 1 vor einer Kollisionsgefahr gewarnt werden kann. Ergänzend oder alternativ kann das Kamerasystem 2 als automatisches Bremsassistenzsystem ausgebildet sein, mittels welchem das Kraftfahrzeug 1 aufgrund einer detektierten Kollisionsgefahr automatisch abgebremst werden kann.
-
Das Kamerasystem 2 umfasst eine Kamera 3, welche als Frontkamera ausgebildet ist. Die Kamera 3 ist im Innenraum des Kraftfahrzeugs 1 an einer Windschutzscheibe des Kraftfahrzeugs 1 angeordnet und erfasst einen Umgebungsbereich 4 vor dem Kraftfahrzeug 1. Die Kamera 3 ist beispielsweise eine CCD-Kamera oder aber eine CMOS-Kamera. Die Kamera 3 ist außerdem eine Video-Kamera, welche eine Sequenz von Bildern des Umgebungsbereichs 4 bereitstellt und an eine in den Figuren nicht dargestellte Bildverarbeitungseinrichtung übermittelt. Diese Bildverarbeitungseinrichtung und die Kamera 3 können optional auch in ein gemeinsames Gehäuse integriert sein.
-
Wie aus 1 hervorgeht, befindet sich auf einer Fahrbahn 5 vor dem Kraftfahrzeug 1 ein Objekt 6, hier ein Zielfahrzeug. Die Bildverarbeitungseinrichtung ist so eingerichtet, dass sie auf die Bilder des Umgebungsbereichs 4 einen Detektionsalgorithmus anwenden kann, welcher zur Detektion von Objekten 6 ausgelegt ist. Dieser Detektionsalgorithmus kann beispielsweise in einem Speicher der Bildverarbeitungseinrichtung abgelegt sein und beispielsweise auf dem Algorithmus AdaBoost basieren. Solche Detektionsalgorithmen sind bereits Stand der Technik und werden hier nicht näher beschrieben. Wird das Objekt 6 detektiert, so kann dieses durch die Bildverarbeitungseinrichtung über die Zeit verfolgt werden. Auch dazu sind entsprechende Verfolgungsalgorithmen bekannt.
-
Das Kamerasystem 2 ist so ausgebildet, dass es eine Diagnose des Kamerasystems 2 im Betrieb durchführen kann. Dazu wird eine Klassifizierungseinrichtung eingesetzt, welche die detektierten Objekte 6 unter Verwendung eines vorbestimmten Klassifizierungsmodells klassifizieren kann. Diese Klassifizierungsmodell stellt einen Algorithmus dar, welcher zunächst in einer „offline”-Phase (in der Entwicklung des Kamerasystems 2) und/oder im Betrieb des Kraftfahrzeugs 1 trainiert wird. Als Algorithmus kann beispielsweise ein HOG-Klassifikator und/oder ein SVM-Klassifikator und/oder eine Klassifikationsbaum-Methode verwendet werden.
-
Ein Blockdiagramm, welches zum Trainieren des Algorithmus bzw. des Klassifizierungsmodells dient, ist in 2 schematisch dargestellt. Zumindest ein Fahrzeugsensor 7 (ein Sensor eines Testfahrzeugs und/oder ein Sensor des Kraftfahrzeug 1) stellt Sensordaten SD bereit, welche die Umgebungsbedingungen des Kraftfahrzeugs charakterisieren. Beispielsweise werden folgende Sensordaten SD bereitgestellt:
- – Daten, die einen aktuellen Betriebszustand eines Scheinwerfers des Kraftfahrzeugs 1 (bzw. des Testfahrzeugs) angeben, und/oder
- – Daten, die einen aktuellen Betriebszustand eines Scheibenwischers des Kraftfahrzeugs 1 (bzw. des Testfahrzeugs) angeben und/oder
- – Sensordaten eines Regensensors und/oder eines Helligkeitssensors des Kraftfahrzeugs 1 (bzw. des Testfahrzeugs).
-
Mittels der Kamera 3 (diese kann in 2 am Testfahrzeug und/oder am Kraftfahrzeug 1 angebracht sein) werden Testbilddaten TBD bereitgestellt. Sowohl die Sensordaten SD als auch die Testbilddaten TBD werden einem Objektdetektionsalgorithmus 8 zugeführt, welcher in der genannten Bildverarbeitungseinrichtung implementiert sein kann. Der Objektdetektionsalgorithmus 8 detektiert in den Bilddaten TBD ein Objekt 6 und gibt dieses an einen Verteiler 9 (Splitter) ab, welcher zusätzlich auch die Sensordaten SD empfängt. Der Verteiler 9 ordnet das detektierte Objekt 6 zu einer Klasse aus mehreren vorbestimmten Klassen K1 bis K4 in Abhängigkeit von den Sensordaten SD zu. Dies bedeutet, dass das Objekt 6 in Abhängigkeit von den Umgebungsbedingungen klassifiziert und hierbei einer der Klassen K1 bis K4 zugeordnet wird.
-
Die Klassen K1 bis K4 können sich in der Helligkeit der Umgebung und/oder in den atmosphärischen Bedingungen untereinander unterscheiden. Eine der Klassen K1 bis K4 kann für Objekte 6 bestimmt sein, welche bei einer dunklen Umgebung und beim Regen detektiert werden. Eine andere der Klassen K1 bis K4 kann für Objekte 6 bestimmt sein, welche bei einer hellen und trockenen Umgebung detektiert werden. Zu welcher der Klassen K1 bis K4 das detektierte Objekt 6 zugeordnet wird, wird abhängig von den Sensordaten SD bestimmt.
-
Grundsätzlich ist die Anzahl der Klassen K1 bis K4 nicht beschränkt. Die Anzahl der Klassen K1 bis K4 wird jedoch derart festgelegt, dass beim Trainieren des Algorithmus jede der Klassen K1 bis K4 eine Mindestanzahl von Objekten enthält.
-
Die klassifizierten Objekte werden dann einem Lehrling 10 (Learner) zugeführt, um so das Klassifizierungsmodell 11 zu erzeugen bzw. zu trainieren. Das Klassifizierungsmodell 11 stellt also einen Klassifizierungsalgorithmus und somit einen Klassifikator dar.
-
Das oben beschriebene Verfahren dient also zum Trainieren des Klassifizierungsmodells 11 mit Hilfe von Testbilddaten TBD. Wie bereits ausgeführt, kann das Training in der Entwicklung des Kamerasystems 2 und/oder im Betrieb des Kraftfahrzeugs 1 durchgeführt werden. In der Entwicklung kann dabei ein Testfahrzeug verwendet werden, an welchem eine entsprechende Kamera 3 angebracht ist, welche die Testbilddaten bereitstellt. Zumindest ein Sensor 7 dieses Testfahrzeugs stellt dann die Sensordaten SD bereit. Wird das Training im Betrieb des Kraftfahrzeugs 1 durchgeführt, so werden die Testbilddaten durch die Kamera 3 des Kraftfahrzeugs 1 bereitgestellt, während die Sensordaten SD mittels zumindest eines Fahrzeugsensors 7 des Kraftfahrzeugs 1 bereitgestellt werden.
-
Im Betrieb des Kamerasystems 2 wird dann eine Diagnose durchgeführt. Ein entsprechendes Blockdiagramm ist in 3 dargestellt: Zumindest ein Fahrzeugsensor 7 des Kraftfahrzeugs 1 stellt aktuelle Sensordaten SD bereit, welche die oben bereits genannten Daten beinhalten können, das heißt Informationen über den aktuellen Betriebszustands des Scheinwerfers und/oder Informationen über den aktuellen Betriebszustand des Scheibenwischers und/oder Informationen eines Regensensors und/oder Informationen eines Helligkeitssensors. Die Kamera 3 stellt aktuelle Bilddaten BD bereit. Sowohl die Sensordaten SD als auch die Bilddaten BD werden dem Objektdetektionsalgorithmus 8 zugeführt, welcher in der genannten Bildverarbeitungseinrichtung implementiert ist. Der Objektdetektionsalgorithmus 8 detektiert ein Objekt 6 und übermittelt das Ergebnis der Detektion einerseits an eine Klassifizierungseinrichtung 12, in welcher der trainierte Klassifizierungsalgorithmus bzw. das Klassifizierungsmodell 11 implementiert ist, sowie andererseits an den Verteiler 9 (Splitter). Der Verteiler 9 und/oder die Klassifizierungseinrichtung 12 können auch in der Bildverarbeitungseinrichtung implementiert sein.
-
Der Verteiler 9 empfängt außerdem die aktuellen Sensordaten SD. Diese Sensordaten SD werden jedoch nicht an die Klassifizierungseinrichtung 12 übermittelt.
-
Nun wird das detektierte Objekt 6 auf zwei unterschiedliche Arten klassifiziert, nämlich einerseits mittels des Verteilers 9 und andererseits auch mittels des Klassifizierungsmodells 11. Der Verteiler 9 führt eine erste Klassifizierung des Objekts 6 durch, indem das Objekt 6 in Abhängigkeit von den Sensordaten SD einer der Klassen K1 bis K4 zugeordnet wird. Unabhängig davon und somit unabhängig von den Sensordaten SD wird das Objekt 6 auch mittels des Klassifizierungsmodells 11 klassifiziert, welches das Objekt 6 einer der Klassen K1 bis K4 zuordnet.
-
Eine Diagnoseeinrichtung 13, welche ebenfalls in der Bildverarbeitungseinrichtung implementiert sein kann, vergleicht dann die Klassifizierungsergebnisse der ersten und der zweiten Klassifizierung und führt die Diagnose des Kamerasystems 2 abhängig von dem Vergleich. Wird eine Abweichung zwischen den Klassifizierungsergebnissen festgestellt, kann ein Fehlersignal 14 ausgegeben werden.
-
Das Kamerasystem 2 gemäß 4 unterscheidet sich von dem Kamerasystem 2 gemäß 3 dadurch, dass die Klassifizierungseinrichtung 12 mit dem Klassifizierungsmodell 11 ein Teil des Objektdetektionsalgorithmus 8 ist. In diesem Fall stellt das Trainieren des Klassifizierungsmodells 11 einen Teil des Systems bzw. des Objekterkennungsalgorithmus 8 dar. Das Training kann hier lediglich eine entsprechende Einstellung des Verteilers 9 beinhalten, um gleiche Ergebnisse wie mit dem Objektdetektionsalgorithmus 8 zu erhalten. Ein Vorteil dieser Ausführungsform besteht in der Reduktion der Rechenzeit durch die Verwendung von Ergebnissen des Objekterkennungsalgorithmus 8.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2012/0119894 A1 [0005]
- US 8081209 B2 [0006]
- US 7724962 B2 [0007]
