DE102008001256A1 - Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems - Google Patents
Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems Download PDFInfo
- Publication number
- DE102008001256A1 DE102008001256A1 DE102008001256A DE102008001256A DE102008001256A1 DE 102008001256 A1 DE102008001256 A1 DE 102008001256A1 DE 102008001256 A DE102008001256 A DE 102008001256A DE 102008001256 A DE102008001256 A DE 102008001256A DE 102008001256 A1 DE102008001256 A1 DE 102008001256A1
- Authority
- DE
- Germany
- Prior art keywords
- traffic
- objects
- situation
- model
- situations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Ein Verfahren zum Einrichten eines solchen Verkehrsobjekt-Erkennungssystems sieht folgende Verfahrensschritte vor. Ein Szenengenerator simuliert dreidimensionale Simulationen verschiedener Verkehrssituationen mit wenigstens einem der Verkehrsobjekte. Eine Projektionseinrichtung erzeugt Signale, die denen entsprechen, die der Sensor bei einer durch die dreidimensionale Simulation simulierte Verkehrssituation erfassen würde. Die Signale werden der Auswertungseinrichtung zum Erkennen von Verkehrsobjekten zugeführt und die Mustererkennung wird basierend auf einer Abweichung zwischen den in den dreidimensionalen Simulationen der Verkehrssituationen simulierten Verkehrsobjekten und den darin erkannten Verkehrsobjekten trainiert.
Description
- Die vorliegende Erfindung betrifft ein Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems und ein Verkehrsobjekt-Erkennungssystem insbesondere für ein Kraftfahrzeug und ein Verfahren zum Erkennen eines Verkehrsobjekts.
- In der Publikation "Classifier training based an synthetically generated samples" von Héléne Hössler u. a., veröffentlicht in Proceedings of the Fifth International Conference an Computer Vision Systems, publiziert 2007 durch Applied Computer Science Group, ist ein Trainingsansatz für ein Kraftfahrzeug-Erkennungssystem für Verkehrszeichen beschrieben. Bei dem beschriebenen Verfahren werden idealisierte Abbildungen von Verkehrszeichen bereitgestellt. Aus diesen Abbildungen werden Proben zum Trainieren des Erkennungssystems durch Anwenden einer parametrischen Transformation erzeugt. Die parametrische Transformation verzerrt die idealisierten Abbildungen, um Projektionsrichtungen, Bewegungen oder Grauwertanomalien zu berücksichtigen. Die verwendeten Transformationen für geometrische Verschiebungen, Drehungen oder sonstige Verzerrungen der Schilder lassen sich leicht anhand einfacher geometrischer Überlegungen ermitteln. Darüber hinaus gehende parametrische Transformationen, die unter anderem Zwielicht, Regentropfen auf der Windschutzscheibe, Belichtungszeiten der Kamera berücksichtigen sollen, müssen auf ihre Tauglichkeit selbst überprüft werden. Daher wird ein Zweifel bestehen bleiben, ob Proben, die anhand solcher Transformationen erzeugt wurden, geeignet sind, ein Erkennungssystem zu trainieren.
- Das erfindungsgemäße Verkehrsobjekt-Erkennungssystem zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation beinhaltet wenigstens einen Sensor zum Erfassen einer Verkehrssituation und eine Mustererkennungseinrichtung zum Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation. Die Mustererkennungseinrichtung ist anhand von dreidimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert.
- Das erfindungsgemäße Verfahren zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation verwendet nachfolgende Schritte: Erfassen einer Verkehrssituation mit wenigstens einem Sensor und Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation mit einer Mustererkennungseinrichtung, die anhand von drei-dimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert ist.
- Das erfindungsgemäße Verfahren zum Einrichten eines solchen Verkehrsobjekt-Erkennungssystems sieht folgende Verfahrensschritte vor. Ein Szenengenerator simuliert dreidimensionale Simulationen verschiedener Verkehrssituation mit wenigstens einem der Verkehrsobjekte. Eine Projektionseinrichtung erzeugt Signale, die denen entsprechen, die der Sensor bei einer durch die dreidimensionale Simulation simulierte Verkehrssituation erfassen würde. Die Signale werden der Auswertungseinrichtung zum Erkennen von Verkehrsobjekten zugeführt und die Mustererkennung wird basierend auf einer Abweichung zwischen den in den dreidimensionalen Simulationen der Verkehrssituationen simulierten Verkehrsobjekten und den darin erkannten Verkehrsobjekten trainiert.
- Anhand der dreidimensionalen Simulationen wird das physische Erscheinungsbild der Verkehrsobjekte, z. B. der Verkehrsschilder, wiedergegeben. Die relative Anordnung der Verkehrsobjekte zu dem Sensor im Raum kann überprüfbar in der Simulation implementiert werden. Sämtliche Erscheinungen, die zu einer veränderten Wahrnehmung des Verkehrsobjekts führen können, z. B. Regen, ungleichmäßige Beleuchtung der Schilder durch Schattenwürfe von Bäumen, etc., können unmittelbar durch die verursachenden Objekte, also z. B. den Regen und die Bäume, simuliert werden. Dies erleichtert das Training der Mustererkennungseinrichtung, da ein geringer zeitlicher Aufwand erforderlich ist.
- In den Figuren zeigen:
-
1 ein Schema zur Erläuterung eines Klassifikatortrainings; -
2 eine erste Ausführungsform zum synthetischen Trainieren von Klassifikatoren; -
3 eine zweite Ausführungsform zum Trainieren von Klassifikatoren; -
4 eine dritte Ausführungsform zum Trainieren von Klassifikatoren; -
5 einen Verfahrensablauf zum Synthetisieren von digitalen Proben für videobasierte Klassifikatoren. - Die nachfolgenden Ausführungsformen beschreiben videobasierte Bilderkennungssysteme. Die Signale für diese Bilderkennungssysteme werden von Kameras bereitgestellt. Das Bilderkennungssystem soll in den Signalen je nach Einrichtung unterschiedliche Verkehrsobjekte wiedererkennen, z. B. Fahr zeuge, Fußgänger, Verkehrszeichen, etc. Andere Erkennungssysteme basieren auf Radar- oder Ultraschallsensoren, die durch eine entsprechende Abtastung der Umgebung Signale entsprechend einer Verkehrssituation ausgeben.
- Das Erkennungssystem von Verkehrsobjekten basiert auf einer Mustererkennung. Für jedes Verkehrsobjekt werden ein oder mehrere Klassifikatoren bereitgestellt. Diese Klassifikatoren werden mit den eingehenden Signalen verglichen. Ergibt sich eine Übereinstimmung der Signale mit den Klassifikatoren bzw. erfüllen die Signale die Bedingungen der Klassifikatoren, gilt das entsprechende Verkehrsobjekt als erkannt. Die nachfolgend beschriebenen Ausführungsformen befassen sich insbesondere mit der Ermittlung geeigneter Klassifikatoren.
-
1 zeigt einen ersten Ansatz zum Trainieren bzw. Festlegen von Klassifikatoren für eine Mustererkennung. Eine oder mehrere Kameras1 generieren einen Videodatenstrom. Zunächst wird eine sogenannte Lernstichprobe2 erzeugt. Diese enthält die einzelnen Bilddaten10 . Zu den Bilddaten wird die entsprechende korrespondierende Bedeutungsinformation (ground-truth)3 generiert. Die korrespondierende Bedeutungsinformation kann enthalten, ob die Bilddaten ein Verkehrsobjekt wiedergeben, gegebenenfalls welches Verkehrsobjekt, an welcher relativen Position, mit welcher relativen Geschwindigkeit etc. Die korrespondierende Bedeutungsinformation3 kann durch einen Betreiber7 manuell editiert werden. Nachfolgende Ausführungsformen zeigen auf, wie die korrespondierende Bedeutungsinformation auch automatisiert generiert werden kann. - Die Bilddaten
10 und die korrespondierende Bedeutungsinformation3 der Lernstichprobe2 werden einem Trainingsmodul4 der Mustererkennung wiederholt zugeführt. Das Trainingsmodul4 adaptiert die Klassifikatoren der Mustererkennung so lange bis eine ausreichende Übereinstimmung zwischen den korrespondierenden Bedeutungsinformationen3 , also den in den Bilddaten enthaltenen Verkehrsobjekten, und den durch die Mustererkennung erkannten Verkehrsobjekten erreicht ist. - Neben der Lernstichprobe
2 wird auch eine Teststichprobe5 erzeugt. Die Teststichprobe kann in gleicher Weise wie die Lernstichprobe2 erzeugt werden. Die Teststichprobe5 mit den darin enthaltenen Bilddaten11 und korrespondierenden Bedeutungsinformationen6 wird verwendet, um die Güte des bisher trainierten Klassifikators zu testen. Dem bisher trainierten Klassifikator40 werden die einzelnen Proben der Teststichprobe5 zugeführt und die Erkennungsrate der Verkehrsobjekte statistisch ausgewertet. Eine Auswertungseinrichtung9 ermittelt dabei die Erkennungsraten und die Fehlerraten des Klassifkators40 . -
2 zeigt eine Ausführungsform zum Trainieren von Klassifikatoren bei der die Bedeutungsinformation erzeugt wird. Ein Szenengenerator26 generiert dreidimensionale Simulationen verschiedener Verkehrssituationen. Eine zentrale Steuerungseinrichtung25 kann kontrollieren, welche Szenen der Szenengenerator26 simulieren soll. Die Steuerungseinrichtung25 kann dazu über ein Protokoll angewiesen werden, welche Bedeutungsinformationen28 , d. h. welche Verkehrsobjekte, in den simulierten Verkehrssituationen enthalten sein sollen. - Für die Simulation kann die zentrale Steuerungseinrichtung
25 dazu zwischen verschiedenen Modulen20 bis24 auswählen, die dem Szenengenerator26 zugeschaltet werden. Jedes Modul20 bis24 beinhaltet eine physische oder physikalische Beschreibung von Verkehrsobjekten, anderen Objekten, Witterungsverhältnissen, Lichtverhältnissen, und gegebenenfalls auch der verwendeten Sensoren. In einer Ausgestaltung kann auch eine Bewegung des Kraftfahrzeuges bzw. des aufnehmenden Sensors durch ein Bewegungsmodell22 berücksichtigt werden. - Die simulierte Verkehrssituation wird projiziert. In einer Ausgestaltung kann die Projektion auf eine Leinwand oder sonstig geartete Projektionsflächen erfolgen. Die Kamera oder ein anderer Sensor erfasst die projizierte Simulation der Verkehrssituation. Die Signale des Sensors können einer Lernstichprobe
27 oder gegebenenfalls einer Teststichprobe zugeführt werden. Die korrespondierende Bedeutungsinformation28 , d. h. die dargestellten zu erkennenden Verkehrsobjekte, sind aus der Simulation bekannt. Die zentrale Steuerungseinrichtung25 oder der Szenengenerator26 liegen synchron zu dem erfassten Bilddaten der Lernstichprobe27 die korrespondierenden Bedeutungsinformationen28 ab. - In einer anderen Ausgestaltung wird der Sensor ebenfalls durch ein Modul simuliert. Das Modul erzeugt dabei die Signale, die denen entsprechen würden, die der reale Sensor bei der der Simulation entsprechenden Verkehrssituation erfassen würde. Die Projektion oder Abbildung der dreidimensionalen Simulation kann somit im Rahmen der Simulation erfolgen. Die weitere Verarbeitung der generierten Signale als Lernstichprobe und der zugehörigen Bedeutungsinformationen
28 erfolgt wie oben beschrieben. - Die Lernstichprobe
27 und die zugehörigen Bedeutungsinformationen werden an einem Trainingsmodul4 zum Trainieren eines Klassifikators zugeführt. -
3 zeigt eine weitere Ausführungsform zum Testen und/oder Trainieren eines Klassifikators. Ein Szenensimulator30 erzeugt eine Lernstichprobe27 mit zugehörigen korrespondierenden Bedeutungsinformationen28 . Die Lernstichprobe wird synthetisch erzeugt, wie in der vorherigen Ausführungsform in Zusammenhang mit2 beschrieben. Eine Lernstichprobe27 wird basierend auf realen Bilddaten bereitgestellt. Mit einer Kamera1 kann beispielsweise ein Videodatenstrom aufgenommen werden. Eine Verarbeitungseinrichtung, typischerweise mit Unterstützung eines Betreibers ermittelt die korrespondierende Bedeutungsinformation38 . Ein Klassifikator wird mittels eines Trainingsmoduls42 sowohl mittels der synthetischen Lernstichprobe27 als auch mit der realen Lernstichprobe37 trainiert. Eine Auswertungseinrichtung35 kann dabei analysieren, wie hoch die Erkennungsrate des Klassifikators im Hinblick auf bestimmte simulierte Verkehrssituationen ist. Um dies zu ermöglichen, speichert der Szenengenerator30 neben den simulierten Signalen für die Lernstichprobe27 und den zugehörigen Bedeutungsinformationen28 auch Simulationsparameter29 ab. Die Simulationsparameter29 umfassen insbesondere die verwendeten Module und deren Einstellungen. - Eine analoge Auswertung der Erkennungsrate des Klassifikators kann für die realen Bilddaten erfolgen. Hierfür werden für die erfassten Bilddaten nicht nur die zugehörigen Bedeutungsinformationen sondern auch weitere Informationen
39 zugehörig zu den Bilddaten bestimmt und abgespeichert. Diese weiteren Informationen können die allgemeine Verkehrssituation die relative Position des zu erkennenden Verkehrsobjekts zu dem Sensor betreffen, die Wetterbedingungen, Lichtverhältnisse etc.. - Die Erkennungsraten der synthetischen Lernstichprobe und der realen Lernstichprobe können durch eine weitere Auswertungseinrichtung
52 miteinander verglichen werden. Dies ermöglicht nicht nur Rückschlüsse auf die Qualität des trainierten Klassifikators, sondern auch auf die Qualität der dreidimensionalen Simulationen von Verkehrssituationen. In4 ist hierzu schematisch dargestellt, wie eine automatische Anpassung des Szenengenerators26 erfolgen kann. - Synthetische erzeugte Muster
27 ,30 und reale Muster36 ,37 der Stichproben werden dem Klassifikator43 zugeführt. Der Klassifikator42 klassifiziert die Muster. Das Ergebnis aus dem Klassifizieren wird mit der Ground Truth Information, d. h. der Bedeutungsinformation31 ,38 verglichen. Abweichungen werdem im Vergleichsmodul60 bestimmt. Das System besitzt zum Verbessern der Klassifikatorleistung eine Lernkomponente63 , die ein Nachtraining des Klassifikators62 mittels synthetischer oder realer Trainingsmuster61 ermöglicht. - Die Trainingsmuster
61 können aus den Muster ausgewählt werden, bei denen das Vergleichsmodul60 Abweichungen zwischen der Bedeutungsinformation und der Klassifikation durch den Klassifikator42 bestimmt hat. Das Trainingsmuster61 kann auch weitere Muster enthalten, die zwar zu keiner fehlerhaften Erkennung geführt haben, aber dennoch verbessert werden können. - Die erkannten Abweichungen können auch zum Verbessern der Synthese
26 und der damit verbundenen Eingangsmodule20 –24 verwendet werden. - Anhand von
5 wird eine beispielhafte Ausgestaltung eines Verfahrensablaufes zum Trainieren eines videobasierten Klassifikators beschrieben. Ein Verkehrsobjekt20 , z. B. ein Verkehrsschild wird durch ein Objektmodell20 in seinen physischen Abmessungen und seinem physischen Erscheinungsbild dargestellt. Ein Szenenmodell21 gibt die relative Anordnung und Bewegung des Verkehrsobjekts zu dem imaginären Sensor vor. Zudem kann das Szenenmodell andere Objekte umfassen, wie z. B. Bäume, Häuser, Straßenverlauf etc.. Das Beleuchtungsmodell23 und das Szenenmodell geben die Beleuchtung80 vor. Diese hat Einfluss auf das synthetisierte Objekt81 , welches zusätzlich durch das Objektmodell20 und das Szenenmodell21 gesteuert wird. Das realistisch belichtete Objekt passiert den optischen Kanal82 , der durch das Beleuchtungsmodell und das Szenenmodell vorgegeben wird. Nach dem Passieren von optischen Störungen83 , die durch das Kameramodell24 vorgegeben sein können, findet die Belichtung84 und Kameraabbildung85 statt. Das Bewegungsmodell der Kamera22 steuert die Belichtung und die Abbildung in der Kamera85 , die im Wesentlichen durch das Kameramodell24 festgelegt wird. Die Kameraabbildung85 oder Projektion wird nachfolgend als Stichprobe für das Training der Klassifikatoren benutzt. - Der Test des Klassifikators kann wie beschrieben an synthetischen und realen Signalen vorgenommen werden. Eine Erprobung an realen Daten, wie im Zusammenhang mit
3 beschrieben, kann denen die Qualität des synthetischen Trainings für eine reale Situation zu bewerten. Ein Objektmodell20 für ein Verkehrsobjekt kann so gestaltet werden, dass es das Verkehrsobjekt ideal beschreibt. Vorzugsweise ist jedoch auch vorgesehen kleinere Störungen in das Objektmodell20 zu integrieren. Ein Objektmodell kann unter anderem eine geometrische Beschreibung des Objekts aufweisen. Für flächige Objekte, wie z. B. Verkehrszeichen kann eine grafische Definition des Zeichens in geeigneter Form gewählt werden. Bei voluminösen Objekten, z. B. einem Fahrzeug oder einem Fußgänger, beinhaltet das Objektmodell vorzugsweise eine dreidimensionale Beschreibung. Die genannten kleineren Störungen können bei der Objektgeometrie eine Verbiegung des Objekts, eine Verdeckung durch andere Objekte oder ein Fehlen von Einzelteilen des Objekts beinhalten. Ein solch ein fehlendes Objekt kann z. B. eine fehlende Stoßstange sein. In dem Objektmodell kann ferner die Oberflächeneigenschaft des Objekts beschrieben sein. Dies umfasst das Muster der Oberfläche, Farbe, Symbole, etc.. Ferner können Textureigenschaften der Objekte in dem Objektmodell integriert sein. Des weiteren umfasst das Objektmodell vorteilhafter Weise ein Reflexionsmodell einfallender Lichtstrahlen, eine mögliche selbstleuchtende Charakteristik (z. B. bei Ampeln, Blinker, Verkehrslampen etc.). Verschmutzungen, Schnee, Kratzer, Löcher oder grafische Umgestaltungen auf der Oberfläche können ebenfalls durch das Objektmodell beschrieben sein. - Die Position des Objekts im Raum kann ebenfalls in dem Objektmodell integriert sein, alternativ kann dessen Position auch in dem nachfolgend beschriebenen Szenenmodell
21 beschrieben werden. Die Position umfasst einerseits eine statische Position, eine Orientierung im Raum, die relative Position. Darüber hinaus kann die Bewegung des Objekts im Raum, sowohl deren Translation als auch Rotation beschrieben werden. - Das Szenenmodell umfasst beispielsweise ein Fahrbahnmodell, wie den Verlauf der Fahrbahn und der Fahrstreifen innerhalb der Fahrbahn, ein Wettermodell oder Witterungsmodell, mit Angaben über trockenes Wetter, ein Regenmodell, Sprühregen, Leichtregen, Starkregen, Platzregen etc., ein Schneemodell, ein Hagelmodell, ein Nebelmodell, eine Sichtweitensimulation; ein Landschaftsmodell mit Oberflächen und Geländemodellen, einem Vegetationsmodell einschließlich Bäumen, Blättern etc., einem Bebauungsmodell, einem Himmelmodell einschließlich von Wolken, direkten, indirekten Licht, diffusen Licht, Sonne, Tages- und Nachtzeiten.
- Ein Modell des Sensors
22 kann innerhalb der simulierten Szene bewegt werden. Das Sensormodell kann dazu ein Bewegungsmodell des Messaufnehmers beinhalten. Die folgenden Parameter können dabei berücksichtigt werden: Geschwindigkeit, Lenkgradwinkel, Lenkradwinkelgeschwindigkeit, Lenkwinkel, Lenkwinkelgeschwindigkeit, Nickwinkel, Nickgrate, Giergrate, Gierwinkel, Wankwinkel, Wankgrate. Ein realitätsnahes dynamisches Bewegungsmodell des Fahrzeugs an dem der Sensor angebracht ist, kann ebenfalls berücksichtigt werden, wofür ein Modell für ein Fahrzeugrücken, -wanken oder -gieren bereitgestellt wird. Ein Modellieren von üblichen Fahrmanövern, wie Kurvenfahrten, Fahrspurwechsel, Brems- und Beschleunigungsvorgängen, Vorwärts- und Rückwärtsfahrten ist ebenfalls möglich. - Das Beleuchtungsmodell
23 beschreibt die Beleuchtung des Szene mit allen vorhandenen Lichtquellen. Dies können u. a. folgende Eigenschaften sein: das Beleuchtungsspektrum der jeweiligen Lichtquelle, eine Beleuchtung durch die Sonne bei blauem Himmel, unterschiedlichen Sonnenständen, diffusem Licht bei z. B. bedecktem Himmel, Gegenlicht, Beleuchtung von hinten (Auflicht), Dämmerung. Ferner werden auch die Lichtkegel von Fahrzeugscheinwerfern bei Standlicht, Abblendlicht und Fernlicht von den unterschiedlichen Scheinwerfertypen, z. B. Halogenlicht, Xenonlicht, Natriumdampflicht, Quecksilberdampflicht etc. berücksichtigt. - Ein Modell des Sensors
24 umfasst beispielsweise einen videobasierten Sensor mit Abbildungseigenschaften der Kamera, der Optik und des Strahlengangs unmittelbar vor der Optik. Hierbei können die Belichtungseigenschaften der Kamerapixel, deren Kennlinie bei Beleuchtung, deren dynamisches Verhalten, Rauschverhalten und Temperaturverhalten berücksichtigt werden. Eine Belichtungssteuerung, der Regelalgorithmus und Shutter-Charakteristik kann berücksichtigt werden. Die Modellierung der Optik können die spektralen Eigenschaften, die Brennweite, die Blendenzahl, die Kalibrierung, die Verzeichnung (Kissen, Tonnenverzeichnung) innerhalb der Optik, Streulichter etc. umfassen. Ferner können Berechnungseigenschaften, spektrale Filtereigenschaften einer Scheibe, Verschmierungen, Schlieren, Tropfen, Wasser und sonstige Verunreinigungen berücksichtigt werden. - Der Szenengenerator
26 führt die Daten der verschiedenen Modelle zusammen und erzeugt daraus die synthetisierten Daten. In einer ersten Variante kann das Aussehen der gesamten dreidimensionalen Simulation bestimmt werden und als Sequenz von Videobildern gespeichert werden. Die zugehörigen Bedeutungsinformationen und Syntheseparametern werden gespeichert. In einer anderen Variante wird nur das Aussehen des jeweils zu erkennenden Verkehrsobjekts bestimmt und abgespeichert. Letzteres lässt sich schneller durchführen und spart Speicherplatz. Ein Training des Klassifikators kann jedoch auch an nur dem einzelnen Verkehrsobjekt durchgeführt werden. - ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Nicht-Patentliteratur
-
- - ”Classifier training based an synthetically generated samples” von Héléne Hössler u. a., veröffentlicht in Proceedings of the Fifth International Conference an Computer Vision Systems, publiziert 2007 durch Applied Computer Science Group [0002]
Claims (10)
- Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems, das vorzugsweise wenigstens einen Sensor zum Erfassen einer Verkehrssituation und eine Mustererkennungseinrichtung zum Erkennen eines oder mehrerer Verkehrsobjekte in der erfassten Verkehrssituation aufweist, wobei ein Szenengenerator drei-dimensionale Simulationen verschiedener Verkehrssituationen mit dem einem oder den mehreren Verkehrsobjekten simuliert, eine Projektionseinrichtung Signale erzeugt, die denen entsprechen, die der Sensor bei einer durch die drei-dimensionale Simulation simulierten Verkehrssituation erfasst, der Mustererkennungseinrichtung die Signale zum Erkennen von Verkehrsobjekte zugeführt werden und die Mustererkennungseinrichtung basierend auf einer Abweichung zwischen den in Verkehrssituationen simulierten Verkehrsobjekten und den erkannten Verkehrsobjekten trainiert wird.
- Verfahren nach Anspruch 1, wobei das Verkehrsobjekt-Erkennungssystem zusätzlich mit realen Verkehrssituationen trainiert wird.
- Verfahren nach Anspruch 1 oder 2, wobei der Szenengenerator und/oder die Projektionseinrichtung basierend auf einer Abweichung zwischen den in Verkehrssituationen simulierten Verkehrsobjekten und den erkannten Verkehrsobjekten adaptiert werden.
- Verfahren nach einem der Ansprüche 1 bis 3, wobei die Projektionseinrichtung die simulierte Verkehrssituation physikalisch projiziert und der Sensor die physikalisch projizierte Verkehrssituation zum Erzeugen der Signale erfasst.
- Verfahren nach einem der Ansprüche 1 bis 4, wobei die Simulation der Verkehrssituation ein Fahrbahnmodell, ein Wettermodell, ein Landschaftsmodell und/oder ein Himmelmodell umfasst.
- Verfahren nach einem der Ansprüche 1 bis 5, wobei die Simulation der Verkehrssituation ein Beleuchtungsmodell und/oder ein Lichtstrahl-Verfolgungsmodell aufweist.
- Verfahren nach einem der Ansprüche 1 bis 6, wobei die Simulation der Verkehrssituation ein Bewegungsmodell eines Fahrzeuges mit dem Sensor umfasst.
- Verfahren nach einem der Ansprüche 1 bis 7, wobei zusätzlich Daten mit aufgezeichnete realen Verkehrsituationen und Informationen über die in der aufgezeichneten realen Verkehrsituation auftretenden Verkehrsobjekte bereitgestellt werden und die Mustererkennungseinrichtung basierend auf einer Abweichung zwischen den in den aufgezeichneten realen Verkehrssituationen auftretenden Verkehrsobjekten und den von der Mustererkennung erkannten Verkehrsobjekten trainiert wird.
- Verkehrsobjekt-Erkennungssystem zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation mit wenigstens einem Sensor zum Erfassen einer Verkehrssituation und einer Mustererkennungseinrichtung zum Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation, wobei die Mustererkennungseinrichtung anhand von drei-dimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert ist.
- Verfahren zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation mit den Schritten: Erfassen einer Verkehrssituation mit wenigstens einem Sensor und Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation mit einer Mustererkennungseinrichtung, die anhand von drei-dimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert ist.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008001256A DE102008001256A1 (de) | 2008-04-18 | 2008-04-18 | Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems |
PCT/EP2008/065793 WO2009127271A1 (de) | 2008-04-18 | 2008-11-19 | Verkehrsobjekt-erkennungssystem, verfahren zum erkennen eines verkehrsobjekts und verfahren zum einrichten eines verkehrsobjekt-erkennungssystems |
EP08873947A EP2266073A1 (de) | 2008-04-18 | 2008-11-19 | Verkehrsobjekt-erkennungssystem, verfahren zum erkennen eines verkehrsobjekts und verfahren zum einrichten eines verkehrsobjekt-erkennungssystems |
US12/988,389 US20110184895A1 (en) | 2008-04-18 | 2008-11-19 | Traffic object recognition system, method for recognizing a traffic object, and method for setting up a traffic object recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008001256A DE102008001256A1 (de) | 2008-04-18 | 2008-04-18 | Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102008001256A1 true DE102008001256A1 (de) | 2009-10-22 |
Family
ID=40225250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102008001256A Withdrawn DE102008001256A1 (de) | 2008-04-18 | 2008-04-18 | Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems |
Country Status (4)
Country | Link |
---|---|
US (1) | US20110184895A1 (de) |
EP (1) | EP2266073A1 (de) |
DE (1) | DE102008001256A1 (de) |
WO (1) | WO2009127271A1 (de) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010055866A1 (de) | 2010-12-22 | 2011-07-28 | Daimler AG, 70327 | Verfahren zum Testen einer Erkennungsvorrichtung und Testvorrichtung |
DE102010013943A1 (de) * | 2010-04-06 | 2011-10-06 | Audi Ag | Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens |
EP2546778A2 (de) | 2011-07-15 | 2013-01-16 | Audi AG | Verfahren zum evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs |
DE102012008117A1 (de) | 2012-04-25 | 2013-10-31 | Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr | Verfahren zur Darstellung eines Kraftfahrzeugumfeldes zum Testen von Fahrerassistenzsystemen |
WO2017167528A1 (de) * | 2016-03-31 | 2017-10-05 | Siemens Aktiengesellschaft | Verfahren und system zur validierung eines hinderniserkennungssystems |
WO2018007171A1 (de) * | 2016-07-06 | 2018-01-11 | Audi Ag | Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem |
DE102019124504A1 (de) * | 2019-09-12 | 2021-04-01 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Simulation und Bewertung eines Sensorsystems für ein Fahrzeug sowie Verfahren und Vorrichtung zum Entwurf eines Sensorsystems zur Umfelddetektion für ein Fahrzeug |
DE102021200452A1 (de) | 2021-01-19 | 2022-07-21 | Psa Automobiles Sa | Verfahren und Trainingssystem zum Trainieren eines kamerabasierten Steuerungssystems |
DE102021202083A1 (de) | 2021-03-04 | 2022-09-08 | Psa Automobiles Sa | Computerimplementiertes Verfahren zum Trainieren wenigstens eines Algorithmus für eine Steuereinheit eines Kraftfahrzeugs, Computerprogrammprodukt, Steuereinheit sowie Kraftfahrzeug |
US11468687B2 (en) | 2017-12-04 | 2022-10-11 | Robert Bosch Gmbh | Training and operating a machine learning system |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9092696B2 (en) * | 2013-03-26 | 2015-07-28 | Hewlett-Packard Development Company, L.P. | Image sign classifier |
WO2014170758A2 (en) * | 2013-04-14 | 2014-10-23 | Morato Pablo Garcia | Visual positioning system |
US20140306953A1 (en) * | 2013-04-14 | 2014-10-16 | Pablo Garcia MORATO | 3D Rendering for Training Computer Vision Recognition |
DE102013217827A1 (de) | 2013-09-06 | 2015-03-12 | Robert Bosch Gmbh | Verfahren und Steuergerät zum Erkennen eines Objekts in einer Bildinformation |
US9610893B2 (en) | 2015-03-18 | 2017-04-04 | Car1St Technologies, Llc | Methods and systems for providing alerts to a driver of a vehicle via condition detection and wireless communications |
US10328855B2 (en) | 2015-03-18 | 2019-06-25 | Uber Technologies, Inc. | Methods and systems for providing alerts to a connected vehicle driver and/or a passenger via condition detection and wireless communications |
US9740944B2 (en) * | 2015-12-18 | 2017-08-22 | Ford Global Technologies, Llc | Virtual sensor data generation for wheel stop detection |
KR102107499B1 (ko) * | 2016-01-05 | 2020-05-29 | 그레이스노트, 인코포레이티드 | 채널 변화 기반 트리거 피처를 갖는 컴퓨팅 시스템 |
US10474964B2 (en) * | 2016-01-26 | 2019-11-12 | Ford Global Technologies, Llc | Training algorithm for collision avoidance |
US20180011953A1 (en) * | 2016-07-07 | 2018-01-11 | Ford Global Technologies, Llc | Virtual Sensor Data Generation for Bollard Receiver Detection |
US10769461B2 (en) * | 2017-12-14 | 2020-09-08 | COM-IoT Technologies | Distracted driver detection |
US11726210B2 (en) | 2018-08-05 | 2023-08-15 | COM-IoT Technologies | Individual identification and tracking via combined video and lidar systems |
CN109190504B (zh) * | 2018-08-10 | 2020-12-22 | 百度在线网络技术(北京)有限公司 | 汽车图像数据的处理方法、装置及可读存储介质 |
GB2581523A (en) * | 2019-02-22 | 2020-08-26 | Bae Systems Plc | Bespoke detection model |
EP3948328A1 (de) | 2019-03-29 | 2022-02-09 | BAE SYSTEMS plc | System und verfahren zur klassifizierung von fahrzeugverhalten |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5914720A (en) * | 1994-04-21 | 1999-06-22 | Sandia Corporation | Method of using multiple perceptual channels to increase user absorption of an N-dimensional presentation environment |
DE19829527A1 (de) * | 1998-07-02 | 1999-02-25 | Kraiss Karl Friedrich Prof Dr | Verfahren zur ansichten-basierten Adressierung von Datenbanken |
JP4361389B2 (ja) * | 2004-02-26 | 2009-11-11 | 本田技研工業株式会社 | 道路交通シミュレーション装置 |
WO2008019299A2 (en) * | 2006-08-04 | 2008-02-14 | Ikonisys, Inc. | Image processing method for a microscope system |
-
2008
- 2008-04-18 DE DE102008001256A patent/DE102008001256A1/de not_active Withdrawn
- 2008-11-19 US US12/988,389 patent/US20110184895A1/en not_active Abandoned
- 2008-11-19 WO PCT/EP2008/065793 patent/WO2009127271A1/de active Application Filing
- 2008-11-19 EP EP08873947A patent/EP2266073A1/de not_active Withdrawn
Non-Patent Citations (1)
Title |
---|
"Classifier training based an synthetically generated samples" von Héléne Hössler u. a., veröffentlicht in Proceedings of the Fifth International Conference an Computer Vision Systems, publiziert 2007 durch Applied Computer Science Group |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010013943A1 (de) * | 2010-04-06 | 2011-10-06 | Audi Ag | Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens |
EP2402827A1 (de) * | 2010-04-06 | 2012-01-04 | Audi AG | Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens |
DE102010013943B4 (de) * | 2010-04-06 | 2018-02-22 | Audi Ag | Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens |
DE102010055866A1 (de) | 2010-12-22 | 2011-07-28 | Daimler AG, 70327 | Verfahren zum Testen einer Erkennungsvorrichtung und Testvorrichtung |
EP2546778A2 (de) | 2011-07-15 | 2013-01-16 | Audi AG | Verfahren zum evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs |
DE102011107458A1 (de) | 2011-07-15 | 2013-01-17 | Audi Ag | Verfahren zum Evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs |
US9286525B2 (en) | 2011-07-15 | 2016-03-15 | Audi Ag | Method for evaluating an object recognition device of a motor vehicle |
DE102012008117A1 (de) | 2012-04-25 | 2013-10-31 | Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr | Verfahren zur Darstellung eines Kraftfahrzeugumfeldes zum Testen von Fahrerassistenzsystemen |
CN109311497A (zh) * | 2016-03-31 | 2019-02-05 | 西门子移动有限公司 | 用于验证障碍物识别系统的方法和系统 |
WO2017167528A1 (de) * | 2016-03-31 | 2017-10-05 | Siemens Aktiengesellschaft | Verfahren und system zur validierung eines hinderniserkennungssystems |
US11427239B2 (en) | 2016-03-31 | 2022-08-30 | Siemens Mobility GmbH | Method and system for validating an obstacle identification system |
WO2018007171A1 (de) * | 2016-07-06 | 2018-01-11 | Audi Ag | Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem |
US10913455B2 (en) | 2016-07-06 | 2021-02-09 | Audi Ag | Method for the improved detection of objects by a driver assistance system |
DE102016008218A1 (de) * | 2016-07-06 | 2018-01-11 | Audi Ag | Verfahren zum verbesserten Erkennen von Objekten durch ein Fahrerassistenzsystem |
US11468687B2 (en) | 2017-12-04 | 2022-10-11 | Robert Bosch Gmbh | Training and operating a machine learning system |
DE102019124504A1 (de) * | 2019-09-12 | 2021-04-01 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Simulation und Bewertung eines Sensorsystems für ein Fahrzeug sowie Verfahren und Vorrichtung zum Entwurf eines Sensorsystems zur Umfelddetektion für ein Fahrzeug |
DE102021200452A1 (de) | 2021-01-19 | 2022-07-21 | Psa Automobiles Sa | Verfahren und Trainingssystem zum Trainieren eines kamerabasierten Steuerungssystems |
DE102021202083A1 (de) | 2021-03-04 | 2022-09-08 | Psa Automobiles Sa | Computerimplementiertes Verfahren zum Trainieren wenigstens eines Algorithmus für eine Steuereinheit eines Kraftfahrzeugs, Computerprogrammprodukt, Steuereinheit sowie Kraftfahrzeug |
Also Published As
Publication number | Publication date |
---|---|
US20110184895A1 (en) | 2011-07-28 |
EP2266073A1 (de) | 2010-12-29 |
WO2009127271A1 (de) | 2009-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102008001256A1 (de) | Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems | |
DE102018201054A1 (de) | System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs | |
EP2087459B1 (de) | Vorrichtung, verfahren und computerprogramm zum bestimmen einer position basierend auf einem kamerabild | |
DE102009005505B4 (de) | Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs | |
DE19860676A1 (de) | Visualisierungseinrichtung für die von wenigstens einem Scheinwerfer eines Fahrzeugs bewirkte Beleuchtung vor dem Fahrzeug | |
DE112018000858T5 (de) | Vorrichtung und Verfahren zur Anzeige von Informationen | |
WO2012168055A2 (de) | Verfahren und vorrichtung zur erkennung von objekten in einem umfeld eines fahrzeugs | |
WO2022128014A1 (de) | Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung | |
DE10124005A1 (de) | Verfahren und Vorrichtung zur Verbesserung der Sicht in Fahrzeugen | |
DE102006053109B3 (de) | Verfahren zur bildhaften Darstellung einer Fahrzeugumgebung und Bilderfassungssystem | |
DE102016114693A1 (de) | Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug | |
DE102011121473A1 (de) | Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm | |
DE102013220839B4 (de) | Verfahren zum dynamischen Einstellen einer Helligkeit eines Bilds einer Rückansichts-Anzeigevorrichtung sowie entsprechendes Fahrzeugabbildungssystem | |
DE102007008542B4 (de) | Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Fahrzeugs | |
DE102015209550A1 (de) | Verfahren und vorrichtung zur erkennung von objekten in einer fahrzeugumgebung eines fahrzeugs | |
WO2022128013A1 (de) | Korrektur von bildern einer kamera bei regen, lichteinfall und verschmutzung | |
EP1962245B1 (de) | Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten | |
DE102022213200A1 (de) | Verfahren zum transmissivitätsbewussten Chroma-Keying | |
DE102022002766B4 (de) | Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung | |
DE102021103367A1 (de) | Erzeugung realistischer bildbasierter Daten zum Entwickeln und Testen von Fahrerassistenzsystemen | |
WO2008135295A1 (de) | Verfahren und vorrichtung zur verkehrszeichenerkennung | |
DE102013021958A1 (de) | Verfahren zum Testen und Wiedergeben von dynamischen Lichtverteilungen | |
DE102022001440A1 (de) | Verfahren zur Erfassung einer Fahrzeugumgebung | |
DE102023002809A1 (de) | Verfahren zur Verbesserung der Bildqualität eines Multikamerasystems | |
DE102012008117A1 (de) | Verfahren zur Darstellung eines Kraftfahrzeugumfeldes zum Testen von Fahrerassistenzsystemen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R012 | Request for examination validly filed |
Effective date: 20150108 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |