DE102008001256A1 - Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems - Google Patents

Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems Download PDF

Info

Publication number
DE102008001256A1
DE102008001256A1 DE102008001256A DE102008001256A DE102008001256A1 DE 102008001256 A1 DE102008001256 A1 DE 102008001256A1 DE 102008001256 A DE102008001256 A DE 102008001256A DE 102008001256 A DE102008001256 A DE 102008001256A DE 102008001256 A1 DE102008001256 A1 DE 102008001256A1
Authority
DE
Germany
Prior art keywords
traffic
objects
situation
model
situations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102008001256A
Other languages
English (en)
Inventor
Holger Janssen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102008001256A priority Critical patent/DE102008001256A1/de
Priority to PCT/EP2008/065793 priority patent/WO2009127271A1/de
Priority to EP08873947A priority patent/EP2266073A1/de
Priority to US12/988,389 priority patent/US20110184895A1/en
Publication of DE102008001256A1 publication Critical patent/DE102008001256A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren zum Einrichten eines solchen Verkehrsobjekt-Erkennungssystems sieht folgende Verfahrensschritte vor. Ein Szenengenerator simuliert dreidimensionale Simulationen verschiedener Verkehrssituationen mit wenigstens einem der Verkehrsobjekte. Eine Projektionseinrichtung erzeugt Signale, die denen entsprechen, die der Sensor bei einer durch die dreidimensionale Simulation simulierte Verkehrssituation erfassen würde. Die Signale werden der Auswertungseinrichtung zum Erkennen von Verkehrsobjekten zugeführt und die Mustererkennung wird basierend auf einer Abweichung zwischen den in den dreidimensionalen Simulationen der Verkehrssituationen simulierten Verkehrsobjekten und den darin erkannten Verkehrsobjekten trainiert.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems und ein Verkehrsobjekt-Erkennungssystem insbesondere für ein Kraftfahrzeug und ein Verfahren zum Erkennen eines Verkehrsobjekts.
  • In der Publikation "Classifier training based an synthetically generated samples" von Héléne Hössler u. a., veröffentlicht in Proceedings of the Fifth International Conference an Computer Vision Systems, publiziert 2007 durch Applied Computer Science Group, ist ein Trainingsansatz für ein Kraftfahrzeug-Erkennungssystem für Verkehrszeichen beschrieben. Bei dem beschriebenen Verfahren werden idealisierte Abbildungen von Verkehrszeichen bereitgestellt. Aus diesen Abbildungen werden Proben zum Trainieren des Erkennungssystems durch Anwenden einer parametrischen Transformation erzeugt. Die parametrische Transformation verzerrt die idealisierten Abbildungen, um Projektionsrichtungen, Bewegungen oder Grauwertanomalien zu berücksichtigen. Die verwendeten Transformationen für geometrische Verschiebungen, Drehungen oder sonstige Verzerrungen der Schilder lassen sich leicht anhand einfacher geometrischer Überlegungen ermitteln. Darüber hinaus gehende parametrische Transformationen, die unter anderem Zwielicht, Regentropfen auf der Windschutzscheibe, Belichtungszeiten der Kamera berücksichtigen sollen, müssen auf ihre Tauglichkeit selbst überprüft werden. Daher wird ein Zweifel bestehen bleiben, ob Proben, die anhand solcher Transformationen erzeugt wurden, geeignet sind, ein Erkennungssystem zu trainieren.
  • Das erfindungsgemäße Verkehrsobjekt-Erkennungssystem zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation beinhaltet wenigstens einen Sensor zum Erfassen einer Verkehrssituation und eine Mustererkennungseinrichtung zum Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation. Die Mustererkennungseinrichtung ist anhand von dreidimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert.
  • Das erfindungsgemäße Verfahren zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation verwendet nachfolgende Schritte: Erfassen einer Verkehrssituation mit wenigstens einem Sensor und Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation mit einer Mustererkennungseinrichtung, die anhand von drei-dimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert ist.
  • Das erfindungsgemäße Verfahren zum Einrichten eines solchen Verkehrsobjekt-Erkennungssystems sieht folgende Verfahrensschritte vor. Ein Szenengenerator simuliert dreidimensionale Simulationen verschiedener Verkehrssituation mit wenigstens einem der Verkehrsobjekte. Eine Projektionseinrichtung erzeugt Signale, die denen entsprechen, die der Sensor bei einer durch die dreidimensionale Simulation simulierte Verkehrssituation erfassen würde. Die Signale werden der Auswertungseinrichtung zum Erkennen von Verkehrsobjekten zugeführt und die Mustererkennung wird basierend auf einer Abweichung zwischen den in den dreidimensionalen Simulationen der Verkehrssituationen simulierten Verkehrsobjekten und den darin erkannten Verkehrsobjekten trainiert.
  • Anhand der dreidimensionalen Simulationen wird das physische Erscheinungsbild der Verkehrsobjekte, z. B. der Verkehrsschilder, wiedergegeben. Die relative Anordnung der Verkehrsobjekte zu dem Sensor im Raum kann überprüfbar in der Simulation implementiert werden. Sämtliche Erscheinungen, die zu einer veränderten Wahrnehmung des Verkehrsobjekts führen können, z. B. Regen, ungleichmäßige Beleuchtung der Schilder durch Schattenwürfe von Bäumen, etc., können unmittelbar durch die verursachenden Objekte, also z. B. den Regen und die Bäume, simuliert werden. Dies erleichtert das Training der Mustererkennungseinrichtung, da ein geringer zeitlicher Aufwand erforderlich ist.
  • In den Figuren zeigen:
  • 1 ein Schema zur Erläuterung eines Klassifikatortrainings;
  • 2 eine erste Ausführungsform zum synthetischen Trainieren von Klassifikatoren;
  • 3 eine zweite Ausführungsform zum Trainieren von Klassifikatoren;
  • 4 eine dritte Ausführungsform zum Trainieren von Klassifikatoren;
  • 5 einen Verfahrensablauf zum Synthetisieren von digitalen Proben für videobasierte Klassifikatoren.
  • Die nachfolgenden Ausführungsformen beschreiben videobasierte Bilderkennungssysteme. Die Signale für diese Bilderkennungssysteme werden von Kameras bereitgestellt. Das Bilderkennungssystem soll in den Signalen je nach Einrichtung unterschiedliche Verkehrsobjekte wiedererkennen, z. B. Fahr zeuge, Fußgänger, Verkehrszeichen, etc. Andere Erkennungssysteme basieren auf Radar- oder Ultraschallsensoren, die durch eine entsprechende Abtastung der Umgebung Signale entsprechend einer Verkehrssituation ausgeben.
  • Das Erkennungssystem von Verkehrsobjekten basiert auf einer Mustererkennung. Für jedes Verkehrsobjekt werden ein oder mehrere Klassifikatoren bereitgestellt. Diese Klassifikatoren werden mit den eingehenden Signalen verglichen. Ergibt sich eine Übereinstimmung der Signale mit den Klassifikatoren bzw. erfüllen die Signale die Bedingungen der Klassifikatoren, gilt das entsprechende Verkehrsobjekt als erkannt. Die nachfolgend beschriebenen Ausführungsformen befassen sich insbesondere mit der Ermittlung geeigneter Klassifikatoren.
  • 1 zeigt einen ersten Ansatz zum Trainieren bzw. Festlegen von Klassifikatoren für eine Mustererkennung. Eine oder mehrere Kameras 1 generieren einen Videodatenstrom. Zunächst wird eine sogenannte Lernstichprobe 2 erzeugt. Diese enthält die einzelnen Bilddaten 10. Zu den Bilddaten wird die entsprechende korrespondierende Bedeutungsinformation (ground-truth) 3 generiert. Die korrespondierende Bedeutungsinformation kann enthalten, ob die Bilddaten ein Verkehrsobjekt wiedergeben, gegebenenfalls welches Verkehrsobjekt, an welcher relativen Position, mit welcher relativen Geschwindigkeit etc. Die korrespondierende Bedeutungsinformation 3 kann durch einen Betreiber 7 manuell editiert werden. Nachfolgende Ausführungsformen zeigen auf, wie die korrespondierende Bedeutungsinformation auch automatisiert generiert werden kann.
  • Die Bilddaten 10 und die korrespondierende Bedeutungsinformation 3 der Lernstichprobe 2 werden einem Trainingsmodul 4 der Mustererkennung wiederholt zugeführt. Das Trainingsmodul 4 adaptiert die Klassifikatoren der Mustererkennung so lange bis eine ausreichende Übereinstimmung zwischen den korrespondierenden Bedeutungsinformationen 3, also den in den Bilddaten enthaltenen Verkehrsobjekten, und den durch die Mustererkennung erkannten Verkehrsobjekten erreicht ist.
  • Neben der Lernstichprobe 2 wird auch eine Teststichprobe 5 erzeugt. Die Teststichprobe kann in gleicher Weise wie die Lernstichprobe 2 erzeugt werden. Die Teststichprobe 5 mit den darin enthaltenen Bilddaten 11 und korrespondierenden Bedeutungsinformationen 6 wird verwendet, um die Güte des bisher trainierten Klassifikators zu testen. Dem bisher trainierten Klassifikator 40 werden die einzelnen Proben der Teststichprobe 5 zugeführt und die Erkennungsrate der Verkehrsobjekte statistisch ausgewertet. Eine Auswertungseinrichtung 9 ermittelt dabei die Erkennungsraten und die Fehlerraten des Klassifkators 40.
  • 2 zeigt eine Ausführungsform zum Trainieren von Klassifikatoren bei der die Bedeutungsinformation erzeugt wird. Ein Szenengenerator 26 generiert dreidimensionale Simulationen verschiedener Verkehrssituationen. Eine zentrale Steuerungseinrichtung 25 kann kontrollieren, welche Szenen der Szenengenerator 26 simulieren soll. Die Steuerungseinrichtung 25 kann dazu über ein Protokoll angewiesen werden, welche Bedeutungsinformationen 28, d. h. welche Verkehrsobjekte, in den simulierten Verkehrssituationen enthalten sein sollen.
  • Für die Simulation kann die zentrale Steuerungseinrichtung 25 dazu zwischen verschiedenen Modulen 20 bis 24 auswählen, die dem Szenengenerator 26 zugeschaltet werden. Jedes Modul 20 bis 24 beinhaltet eine physische oder physikalische Beschreibung von Verkehrsobjekten, anderen Objekten, Witterungsverhältnissen, Lichtverhältnissen, und gegebenenfalls auch der verwendeten Sensoren. In einer Ausgestaltung kann auch eine Bewegung des Kraftfahrzeuges bzw. des aufnehmenden Sensors durch ein Bewegungsmodell 22 berücksichtigt werden.
  • Die simulierte Verkehrssituation wird projiziert. In einer Ausgestaltung kann die Projektion auf eine Leinwand oder sonstig geartete Projektionsflächen erfolgen. Die Kamera oder ein anderer Sensor erfasst die projizierte Simulation der Verkehrssituation. Die Signale des Sensors können einer Lernstichprobe 27 oder gegebenenfalls einer Teststichprobe zugeführt werden. Die korrespondierende Bedeutungsinformation 28, d. h. die dargestellten zu erkennenden Verkehrsobjekte, sind aus der Simulation bekannt. Die zentrale Steuerungseinrichtung 25 oder der Szenengenerator 26 liegen synchron zu dem erfassten Bilddaten der Lernstichprobe 27 die korrespondierenden Bedeutungsinformationen 28 ab.
  • In einer anderen Ausgestaltung wird der Sensor ebenfalls durch ein Modul simuliert. Das Modul erzeugt dabei die Signale, die denen entsprechen würden, die der reale Sensor bei der der Simulation entsprechenden Verkehrssituation erfassen würde. Die Projektion oder Abbildung der dreidimensionalen Simulation kann somit im Rahmen der Simulation erfolgen. Die weitere Verarbeitung der generierten Signale als Lernstichprobe und der zugehörigen Bedeutungsinformationen 28 erfolgt wie oben beschrieben.
  • Die Lernstichprobe 27 und die zugehörigen Bedeutungsinformationen werden an einem Trainingsmodul 4 zum Trainieren eines Klassifikators zugeführt.
  • 3 zeigt eine weitere Ausführungsform zum Testen und/oder Trainieren eines Klassifikators. Ein Szenensimulator 30 erzeugt eine Lernstichprobe 27 mit zugehörigen korrespondierenden Bedeutungsinformationen 28. Die Lernstichprobe wird synthetisch erzeugt, wie in der vorherigen Ausführungsform in Zusammenhang mit 2 beschrieben. Eine Lernstichprobe 27 wird basierend auf realen Bilddaten bereitgestellt. Mit einer Kamera 1 kann beispielsweise ein Videodatenstrom aufgenommen werden. Eine Verarbeitungseinrichtung, typischerweise mit Unterstützung eines Betreibers ermittelt die korrespondierende Bedeutungsinformation 38. Ein Klassifikator wird mittels eines Trainingsmoduls 42 sowohl mittels der synthetischen Lernstichprobe 27 als auch mit der realen Lernstichprobe 37 trainiert. Eine Auswertungseinrichtung 35 kann dabei analysieren, wie hoch die Erkennungsrate des Klassifikators im Hinblick auf bestimmte simulierte Verkehrssituationen ist. Um dies zu ermöglichen, speichert der Szenengenerator 30 neben den simulierten Signalen für die Lernstichprobe 27 und den zugehörigen Bedeutungsinformationen 28 auch Simulationsparameter 29 ab. Die Simulationsparameter 29 umfassen insbesondere die verwendeten Module und deren Einstellungen.
  • Eine analoge Auswertung der Erkennungsrate des Klassifikators kann für die realen Bilddaten erfolgen. Hierfür werden für die erfassten Bilddaten nicht nur die zugehörigen Bedeutungsinformationen sondern auch weitere Informationen 39 zugehörig zu den Bilddaten bestimmt und abgespeichert. Diese weiteren Informationen können die allgemeine Verkehrssituation die relative Position des zu erkennenden Verkehrsobjekts zu dem Sensor betreffen, die Wetterbedingungen, Lichtverhältnisse etc..
  • Die Erkennungsraten der synthetischen Lernstichprobe und der realen Lernstichprobe können durch eine weitere Auswertungseinrichtung 52 miteinander verglichen werden. Dies ermöglicht nicht nur Rückschlüsse auf die Qualität des trainierten Klassifikators, sondern auch auf die Qualität der dreidimensionalen Simulationen von Verkehrssituationen. In 4 ist hierzu schematisch dargestellt, wie eine automatische Anpassung des Szenengenerators 26 erfolgen kann.
  • Synthetische erzeugte Muster 27, 30 und reale Muster 36, 37 der Stichproben werden dem Klassifikator 43 zugeführt. Der Klassifikator 42 klassifiziert die Muster. Das Ergebnis aus dem Klassifizieren wird mit der Ground Truth Information, d. h. der Bedeutungsinformation 31, 38 verglichen. Abweichungen werdem im Vergleichsmodul 60 bestimmt. Das System besitzt zum Verbessern der Klassifikatorleistung eine Lernkomponente 63, die ein Nachtraining des Klassifikators 62 mittels synthetischer oder realer Trainingsmuster 61 ermöglicht.
  • Die Trainingsmuster 61 können aus den Muster ausgewählt werden, bei denen das Vergleichsmodul 60 Abweichungen zwischen der Bedeutungsinformation und der Klassifikation durch den Klassifikator 42 bestimmt hat. Das Trainingsmuster 61 kann auch weitere Muster enthalten, die zwar zu keiner fehlerhaften Erkennung geführt haben, aber dennoch verbessert werden können.
  • Die erkannten Abweichungen können auch zum Verbessern der Synthese 26 und der damit verbundenen Eingangsmodule 2024 verwendet werden.
  • Anhand von 5 wird eine beispielhafte Ausgestaltung eines Verfahrensablaufes zum Trainieren eines videobasierten Klassifikators beschrieben. Ein Verkehrsobjekt 20, z. B. ein Verkehrsschild wird durch ein Objektmodell 20 in seinen physischen Abmessungen und seinem physischen Erscheinungsbild dargestellt. Ein Szenenmodell 21 gibt die relative Anordnung und Bewegung des Verkehrsobjekts zu dem imaginären Sensor vor. Zudem kann das Szenenmodell andere Objekte umfassen, wie z. B. Bäume, Häuser, Straßenverlauf etc.. Das Beleuchtungsmodell 23 und das Szenenmodell geben die Beleuchtung 80 vor. Diese hat Einfluss auf das synthetisierte Objekt 81, welches zusätzlich durch das Objektmodell 20 und das Szenenmodell 21 gesteuert wird. Das realistisch belichtete Objekt passiert den optischen Kanal 82, der durch das Beleuchtungsmodell und das Szenenmodell vorgegeben wird. Nach dem Passieren von optischen Störungen 83, die durch das Kameramodell 24 vorgegeben sein können, findet die Belichtung 84 und Kameraabbildung 85 statt. Das Bewegungsmodell der Kamera 22 steuert die Belichtung und die Abbildung in der Kamera 85, die im Wesentlichen durch das Kameramodell 24 festgelegt wird. Die Kameraabbildung 85 oder Projektion wird nachfolgend als Stichprobe für das Training der Klassifikatoren benutzt.
  • Der Test des Klassifikators kann wie beschrieben an synthetischen und realen Signalen vorgenommen werden. Eine Erprobung an realen Daten, wie im Zusammenhang mit 3 beschrieben, kann denen die Qualität des synthetischen Trainings für eine reale Situation zu bewerten. Ein Objektmodell 20 für ein Verkehrsobjekt kann so gestaltet werden, dass es das Verkehrsobjekt ideal beschreibt. Vorzugsweise ist jedoch auch vorgesehen kleinere Störungen in das Objektmodell 20 zu integrieren. Ein Objektmodell kann unter anderem eine geometrische Beschreibung des Objekts aufweisen. Für flächige Objekte, wie z. B. Verkehrszeichen kann eine grafische Definition des Zeichens in geeigneter Form gewählt werden. Bei voluminösen Objekten, z. B. einem Fahrzeug oder einem Fußgänger, beinhaltet das Objektmodell vorzugsweise eine dreidimensionale Beschreibung. Die genannten kleineren Störungen können bei der Objektgeometrie eine Verbiegung des Objekts, eine Verdeckung durch andere Objekte oder ein Fehlen von Einzelteilen des Objekts beinhalten. Ein solch ein fehlendes Objekt kann z. B. eine fehlende Stoßstange sein. In dem Objektmodell kann ferner die Oberflächeneigenschaft des Objekts beschrieben sein. Dies umfasst das Muster der Oberfläche, Farbe, Symbole, etc.. Ferner können Textureigenschaften der Objekte in dem Objektmodell integriert sein. Des weiteren umfasst das Objektmodell vorteilhafter Weise ein Reflexionsmodell einfallender Lichtstrahlen, eine mögliche selbstleuchtende Charakteristik (z. B. bei Ampeln, Blinker, Verkehrslampen etc.). Verschmutzungen, Schnee, Kratzer, Löcher oder grafische Umgestaltungen auf der Oberfläche können ebenfalls durch das Objektmodell beschrieben sein.
  • Die Position des Objekts im Raum kann ebenfalls in dem Objektmodell integriert sein, alternativ kann dessen Position auch in dem nachfolgend beschriebenen Szenenmodell 21 beschrieben werden. Die Position umfasst einerseits eine statische Position, eine Orientierung im Raum, die relative Position. Darüber hinaus kann die Bewegung des Objekts im Raum, sowohl deren Translation als auch Rotation beschrieben werden.
  • Das Szenenmodell umfasst beispielsweise ein Fahrbahnmodell, wie den Verlauf der Fahrbahn und der Fahrstreifen innerhalb der Fahrbahn, ein Wettermodell oder Witterungsmodell, mit Angaben über trockenes Wetter, ein Regenmodell, Sprühregen, Leichtregen, Starkregen, Platzregen etc., ein Schneemodell, ein Hagelmodell, ein Nebelmodell, eine Sichtweitensimulation; ein Landschaftsmodell mit Oberflächen und Geländemodellen, einem Vegetationsmodell einschließlich Bäumen, Blättern etc., einem Bebauungsmodell, einem Himmelmodell einschließlich von Wolken, direkten, indirekten Licht, diffusen Licht, Sonne, Tages- und Nachtzeiten.
  • Ein Modell des Sensors 22 kann innerhalb der simulierten Szene bewegt werden. Das Sensormodell kann dazu ein Bewegungsmodell des Messaufnehmers beinhalten. Die folgenden Parameter können dabei berücksichtigt werden: Geschwindigkeit, Lenkgradwinkel, Lenkradwinkelgeschwindigkeit, Lenkwinkel, Lenkwinkelgeschwindigkeit, Nickwinkel, Nickgrate, Giergrate, Gierwinkel, Wankwinkel, Wankgrate. Ein realitätsnahes dynamisches Bewegungsmodell des Fahrzeugs an dem der Sensor angebracht ist, kann ebenfalls berücksichtigt werden, wofür ein Modell für ein Fahrzeugrücken, -wanken oder -gieren bereitgestellt wird. Ein Modellieren von üblichen Fahrmanövern, wie Kurvenfahrten, Fahrspurwechsel, Brems- und Beschleunigungsvorgängen, Vorwärts- und Rückwärtsfahrten ist ebenfalls möglich.
  • Das Beleuchtungsmodell 23 beschreibt die Beleuchtung des Szene mit allen vorhandenen Lichtquellen. Dies können u. a. folgende Eigenschaften sein: das Beleuchtungsspektrum der jeweiligen Lichtquelle, eine Beleuchtung durch die Sonne bei blauem Himmel, unterschiedlichen Sonnenständen, diffusem Licht bei z. B. bedecktem Himmel, Gegenlicht, Beleuchtung von hinten (Auflicht), Dämmerung. Ferner werden auch die Lichtkegel von Fahrzeugscheinwerfern bei Standlicht, Abblendlicht und Fernlicht von den unterschiedlichen Scheinwerfertypen, z. B. Halogenlicht, Xenonlicht, Natriumdampflicht, Quecksilberdampflicht etc. berücksichtigt.
  • Ein Modell des Sensors 24 umfasst beispielsweise einen videobasierten Sensor mit Abbildungseigenschaften der Kamera, der Optik und des Strahlengangs unmittelbar vor der Optik. Hierbei können die Belichtungseigenschaften der Kamerapixel, deren Kennlinie bei Beleuchtung, deren dynamisches Verhalten, Rauschverhalten und Temperaturverhalten berücksichtigt werden. Eine Belichtungssteuerung, der Regelalgorithmus und Shutter-Charakteristik kann berücksichtigt werden. Die Modellierung der Optik können die spektralen Eigenschaften, die Brennweite, die Blendenzahl, die Kalibrierung, die Verzeichnung (Kissen, Tonnenverzeichnung) innerhalb der Optik, Streulichter etc. umfassen. Ferner können Berechnungseigenschaften, spektrale Filtereigenschaften einer Scheibe, Verschmierungen, Schlieren, Tropfen, Wasser und sonstige Verunreinigungen berücksichtigt werden.
  • Der Szenengenerator 26 führt die Daten der verschiedenen Modelle zusammen und erzeugt daraus die synthetisierten Daten. In einer ersten Variante kann das Aussehen der gesamten dreidimensionalen Simulation bestimmt werden und als Sequenz von Videobildern gespeichert werden. Die zugehörigen Bedeutungsinformationen und Syntheseparametern werden gespeichert. In einer anderen Variante wird nur das Aussehen des jeweils zu erkennenden Verkehrsobjekts bestimmt und abgespeichert. Letzteres lässt sich schneller durchführen und spart Speicherplatz. Ein Training des Klassifikators kann jedoch auch an nur dem einzelnen Verkehrsobjekt durchgeführt werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • - ”Classifier training based an synthetically generated samples” von Héléne Hössler u. a., veröffentlicht in Proceedings of the Fifth International Conference an Computer Vision Systems, publiziert 2007 durch Applied Computer Science Group [0002]

Claims (10)

  1. Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems, das vorzugsweise wenigstens einen Sensor zum Erfassen einer Verkehrssituation und eine Mustererkennungseinrichtung zum Erkennen eines oder mehrerer Verkehrsobjekte in der erfassten Verkehrssituation aufweist, wobei ein Szenengenerator drei-dimensionale Simulationen verschiedener Verkehrssituationen mit dem einem oder den mehreren Verkehrsobjekten simuliert, eine Projektionseinrichtung Signale erzeugt, die denen entsprechen, die der Sensor bei einer durch die drei-dimensionale Simulation simulierten Verkehrssituation erfasst, der Mustererkennungseinrichtung die Signale zum Erkennen von Verkehrsobjekte zugeführt werden und die Mustererkennungseinrichtung basierend auf einer Abweichung zwischen den in Verkehrssituationen simulierten Verkehrsobjekten und den erkannten Verkehrsobjekten trainiert wird.
  2. Verfahren nach Anspruch 1, wobei das Verkehrsobjekt-Erkennungssystem zusätzlich mit realen Verkehrssituationen trainiert wird.
  3. Verfahren nach Anspruch 1 oder 2, wobei der Szenengenerator und/oder die Projektionseinrichtung basierend auf einer Abweichung zwischen den in Verkehrssituationen simulierten Verkehrsobjekten und den erkannten Verkehrsobjekten adaptiert werden.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei die Projektionseinrichtung die simulierte Verkehrssituation physikalisch projiziert und der Sensor die physikalisch projizierte Verkehrssituation zum Erzeugen der Signale erfasst.
  5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Simulation der Verkehrssituation ein Fahrbahnmodell, ein Wettermodell, ein Landschaftsmodell und/oder ein Himmelmodell umfasst.
  6. Verfahren nach einem der Ansprüche 1 bis 5, wobei die Simulation der Verkehrssituation ein Beleuchtungsmodell und/oder ein Lichtstrahl-Verfolgungsmodell aufweist.
  7. Verfahren nach einem der Ansprüche 1 bis 6, wobei die Simulation der Verkehrssituation ein Bewegungsmodell eines Fahrzeuges mit dem Sensor umfasst.
  8. Verfahren nach einem der Ansprüche 1 bis 7, wobei zusätzlich Daten mit aufgezeichnete realen Verkehrsituationen und Informationen über die in der aufgezeichneten realen Verkehrsituation auftretenden Verkehrsobjekte bereitgestellt werden und die Mustererkennungseinrichtung basierend auf einer Abweichung zwischen den in den aufgezeichneten realen Verkehrssituationen auftretenden Verkehrsobjekten und den von der Mustererkennung erkannten Verkehrsobjekten trainiert wird.
  9. Verkehrsobjekt-Erkennungssystem zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation mit wenigstens einem Sensor zum Erfassen einer Verkehrssituation und einer Mustererkennungseinrichtung zum Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation, wobei die Mustererkennungseinrichtung anhand von drei-dimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert ist.
  10. Verfahren zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation mit den Schritten: Erfassen einer Verkehrssituation mit wenigstens einem Sensor und Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation mit einer Mustererkennungseinrichtung, die anhand von drei-dimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert ist.
DE102008001256A 2008-04-18 2008-04-18 Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems Withdrawn DE102008001256A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102008001256A DE102008001256A1 (de) 2008-04-18 2008-04-18 Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems
PCT/EP2008/065793 WO2009127271A1 (de) 2008-04-18 2008-11-19 Verkehrsobjekt-erkennungssystem, verfahren zum erkennen eines verkehrsobjekts und verfahren zum einrichten eines verkehrsobjekt-erkennungssystems
EP08873947A EP2266073A1 (de) 2008-04-18 2008-11-19 Verkehrsobjekt-erkennungssystem, verfahren zum erkennen eines verkehrsobjekts und verfahren zum einrichten eines verkehrsobjekt-erkennungssystems
US12/988,389 US20110184895A1 (en) 2008-04-18 2008-11-19 Traffic object recognition system, method for recognizing a traffic object, and method for setting up a traffic object recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008001256A DE102008001256A1 (de) 2008-04-18 2008-04-18 Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems

Publications (1)

Publication Number Publication Date
DE102008001256A1 true DE102008001256A1 (de) 2009-10-22

Family

ID=40225250

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008001256A Withdrawn DE102008001256A1 (de) 2008-04-18 2008-04-18 Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems

Country Status (4)

Country Link
US (1) US20110184895A1 (de)
EP (1) EP2266073A1 (de)
DE (1) DE102008001256A1 (de)
WO (1) WO2009127271A1 (de)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010055866A1 (de) 2010-12-22 2011-07-28 Daimler AG, 70327 Verfahren zum Testen einer Erkennungsvorrichtung und Testvorrichtung
DE102010013943A1 (de) * 2010-04-06 2011-10-06 Audi Ag Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
EP2546778A2 (de) 2011-07-15 2013-01-16 Audi AG Verfahren zum evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs
DE102012008117A1 (de) 2012-04-25 2013-10-31 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Darstellung eines Kraftfahrzeugumfeldes zum Testen von Fahrerassistenzsystemen
WO2017167528A1 (de) * 2016-03-31 2017-10-05 Siemens Aktiengesellschaft Verfahren und system zur validierung eines hinderniserkennungssystems
WO2018007171A1 (de) * 2016-07-06 2018-01-11 Audi Ag Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem
DE102019124504A1 (de) * 2019-09-12 2021-04-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Simulation und Bewertung eines Sensorsystems für ein Fahrzeug sowie Verfahren und Vorrichtung zum Entwurf eines Sensorsystems zur Umfelddetektion für ein Fahrzeug
DE102021200452A1 (de) 2021-01-19 2022-07-21 Psa Automobiles Sa Verfahren und Trainingssystem zum Trainieren eines kamerabasierten Steuerungssystems
DE102021202083A1 (de) 2021-03-04 2022-09-08 Psa Automobiles Sa Computerimplementiertes Verfahren zum Trainieren wenigstens eines Algorithmus für eine Steuereinheit eines Kraftfahrzeugs, Computerprogrammprodukt, Steuereinheit sowie Kraftfahrzeug
US11468687B2 (en) 2017-12-04 2022-10-11 Robert Bosch Gmbh Training and operating a machine learning system

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092696B2 (en) * 2013-03-26 2015-07-28 Hewlett-Packard Development Company, L.P. Image sign classifier
WO2014170758A2 (en) * 2013-04-14 2014-10-23 Morato Pablo Garcia Visual positioning system
US20140306953A1 (en) * 2013-04-14 2014-10-16 Pablo Garcia MORATO 3D Rendering for Training Computer Vision Recognition
DE102013217827A1 (de) 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen eines Objekts in einer Bildinformation
US9610893B2 (en) 2015-03-18 2017-04-04 Car1St Technologies, Llc Methods and systems for providing alerts to a driver of a vehicle via condition detection and wireless communications
US10328855B2 (en) 2015-03-18 2019-06-25 Uber Technologies, Inc. Methods and systems for providing alerts to a connected vehicle driver and/or a passenger via condition detection and wireless communications
US9740944B2 (en) * 2015-12-18 2017-08-22 Ford Global Technologies, Llc Virtual sensor data generation for wheel stop detection
KR102107499B1 (ko) * 2016-01-05 2020-05-29 그레이스노트, 인코포레이티드 채널 변화 기반 트리거 피처를 갖는 컴퓨팅 시스템
US10474964B2 (en) * 2016-01-26 2019-11-12 Ford Global Technologies, Llc Training algorithm for collision avoidance
US20180011953A1 (en) * 2016-07-07 2018-01-11 Ford Global Technologies, Llc Virtual Sensor Data Generation for Bollard Receiver Detection
US10769461B2 (en) * 2017-12-14 2020-09-08 COM-IoT Technologies Distracted driver detection
US11726210B2 (en) 2018-08-05 2023-08-15 COM-IoT Technologies Individual identification and tracking via combined video and lidar systems
CN109190504B (zh) * 2018-08-10 2020-12-22 百度在线网络技术(北京)有限公司 汽车图像数据的处理方法、装置及可读存储介质
GB2581523A (en) * 2019-02-22 2020-08-26 Bae Systems Plc Bespoke detection model
EP3948328A1 (de) 2019-03-29 2022-02-09 BAE SYSTEMS plc System und verfahren zur klassifizierung von fahrzeugverhalten

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5914720A (en) * 1994-04-21 1999-06-22 Sandia Corporation Method of using multiple perceptual channels to increase user absorption of an N-dimensional presentation environment
DE19829527A1 (de) * 1998-07-02 1999-02-25 Kraiss Karl Friedrich Prof Dr Verfahren zur ansichten-basierten Adressierung von Datenbanken
JP4361389B2 (ja) * 2004-02-26 2009-11-11 本田技研工業株式会社 道路交通シミュレーション装置
WO2008019299A2 (en) * 2006-08-04 2008-02-14 Ikonisys, Inc. Image processing method for a microscope system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Classifier training based an synthetically generated samples" von Héléne Hössler u. a., veröffentlicht in Proceedings of the Fifth International Conference an Computer Vision Systems, publiziert 2007 durch Applied Computer Science Group

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010013943A1 (de) * 2010-04-06 2011-10-06 Audi Ag Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
EP2402827A1 (de) * 2010-04-06 2012-01-04 Audi AG Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
DE102010013943B4 (de) * 2010-04-06 2018-02-22 Audi Ag Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
DE102010055866A1 (de) 2010-12-22 2011-07-28 Daimler AG, 70327 Verfahren zum Testen einer Erkennungsvorrichtung und Testvorrichtung
EP2546778A2 (de) 2011-07-15 2013-01-16 Audi AG Verfahren zum evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs
DE102011107458A1 (de) 2011-07-15 2013-01-17 Audi Ag Verfahren zum Evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs
US9286525B2 (en) 2011-07-15 2016-03-15 Audi Ag Method for evaluating an object recognition device of a motor vehicle
DE102012008117A1 (de) 2012-04-25 2013-10-31 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Darstellung eines Kraftfahrzeugumfeldes zum Testen von Fahrerassistenzsystemen
CN109311497A (zh) * 2016-03-31 2019-02-05 西门子移动有限公司 用于验证障碍物识别系统的方法和系统
WO2017167528A1 (de) * 2016-03-31 2017-10-05 Siemens Aktiengesellschaft Verfahren und system zur validierung eines hinderniserkennungssystems
US11427239B2 (en) 2016-03-31 2022-08-30 Siemens Mobility GmbH Method and system for validating an obstacle identification system
WO2018007171A1 (de) * 2016-07-06 2018-01-11 Audi Ag Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem
US10913455B2 (en) 2016-07-06 2021-02-09 Audi Ag Method for the improved detection of objects by a driver assistance system
DE102016008218A1 (de) * 2016-07-06 2018-01-11 Audi Ag Verfahren zum verbesserten Erkennen von Objekten durch ein Fahrerassistenzsystem
US11468687B2 (en) 2017-12-04 2022-10-11 Robert Bosch Gmbh Training and operating a machine learning system
DE102019124504A1 (de) * 2019-09-12 2021-04-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Simulation und Bewertung eines Sensorsystems für ein Fahrzeug sowie Verfahren und Vorrichtung zum Entwurf eines Sensorsystems zur Umfelddetektion für ein Fahrzeug
DE102021200452A1 (de) 2021-01-19 2022-07-21 Psa Automobiles Sa Verfahren und Trainingssystem zum Trainieren eines kamerabasierten Steuerungssystems
DE102021202083A1 (de) 2021-03-04 2022-09-08 Psa Automobiles Sa Computerimplementiertes Verfahren zum Trainieren wenigstens eines Algorithmus für eine Steuereinheit eines Kraftfahrzeugs, Computerprogrammprodukt, Steuereinheit sowie Kraftfahrzeug

Also Published As

Publication number Publication date
US20110184895A1 (en) 2011-07-28
EP2266073A1 (de) 2010-12-29
WO2009127271A1 (de) 2009-10-22

Similar Documents

Publication Publication Date Title
DE102008001256A1 (de) Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems
DE102018201054A1 (de) System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs
EP2087459B1 (de) Vorrichtung, verfahren und computerprogramm zum bestimmen einer position basierend auf einem kamerabild
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
DE19860676A1 (de) Visualisierungseinrichtung für die von wenigstens einem Scheinwerfer eines Fahrzeugs bewirkte Beleuchtung vor dem Fahrzeug
DE112018000858T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
WO2012168055A2 (de) Verfahren und vorrichtung zur erkennung von objekten in einem umfeld eines fahrzeugs
WO2022128014A1 (de) Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung
DE10124005A1 (de) Verfahren und Vorrichtung zur Verbesserung der Sicht in Fahrzeugen
DE102006053109B3 (de) Verfahren zur bildhaften Darstellung einer Fahrzeugumgebung und Bilderfassungssystem
DE102016114693A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102011121473A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm
DE102013220839B4 (de) Verfahren zum dynamischen Einstellen einer Helligkeit eines Bilds einer Rückansichts-Anzeigevorrichtung sowie entsprechendes Fahrzeugabbildungssystem
DE102007008542B4 (de) Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Fahrzeugs
DE102015209550A1 (de) Verfahren und vorrichtung zur erkennung von objekten in einer fahrzeugumgebung eines fahrzeugs
WO2022128013A1 (de) Korrektur von bildern einer kamera bei regen, lichteinfall und verschmutzung
EP1962245B1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten
DE102022213200A1 (de) Verfahren zum transmissivitätsbewussten Chroma-Keying
DE102022002766B4 (de) Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung
DE102021103367A1 (de) Erzeugung realistischer bildbasierter Daten zum Entwickeln und Testen von Fahrerassistenzsystemen
WO2008135295A1 (de) Verfahren und vorrichtung zur verkehrszeichenerkennung
DE102013021958A1 (de) Verfahren zum Testen und Wiedergeben von dynamischen Lichtverteilungen
DE102022001440A1 (de) Verfahren zur Erfassung einer Fahrzeugumgebung
DE102023002809A1 (de) Verfahren zur Verbesserung der Bildqualität eines Multikamerasystems
DE102012008117A1 (de) Verfahren zur Darstellung eines Kraftfahrzeugumfeldes zum Testen von Fahrerassistenzsystemen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R012 Request for examination validly filed

Effective date: 20150108

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee