EP2266073A1 - Verkehrsobjekt-erkennungssystem, verfahren zum erkennen eines verkehrsobjekts und verfahren zum einrichten eines verkehrsobjekt-erkennungssystems - Google Patents

Verkehrsobjekt-erkennungssystem, verfahren zum erkennen eines verkehrsobjekts und verfahren zum einrichten eines verkehrsobjekt-erkennungssystems

Info

Publication number
EP2266073A1
EP2266073A1 EP08873947A EP08873947A EP2266073A1 EP 2266073 A1 EP2266073 A1 EP 2266073A1 EP 08873947 A EP08873947 A EP 08873947A EP 08873947 A EP08873947 A EP 08873947A EP 2266073 A1 EP2266073 A1 EP 2266073A1
Authority
EP
European Patent Office
Prior art keywords
traffic
objects
model
situation
pattern recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP08873947A
Other languages
English (en)
French (fr)
Inventor
Holger Janssen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2266073A1 publication Critical patent/EP2266073A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle

Definitions

  • Traffic object recognition system A method for recognizing a traffic object and method for setting up a traffic object recognition system
  • the present invention relates to a method for setting up a traffic object recognition system and a traffic object recognition system, in particular for a motor vehicle, and to a method for recognizing a traffic object.
  • the inventive traffic object recognition system for recognizing one or more traffic objects in a traffic situation includes at least one sensor for detecting a traffic situation and a pattern recognition device for recognizing the one or the traffic objects in the detected traffic situation.
  • the pattern recognition device is trained on the basis of three-dimensional virtual traffic situations that contain the traffic object (s).
  • the erfmdungshacke method for detecting one or more traffic objects in a traffic situation uses the following steps: detecting a traffic situation with at least a sensor and detecting the one or the traffic objects in the detected traffic situation with a pattern recognition device that is trained on the basis of three-dimensional virtual traffic situations containing the traffic object or objects.
  • the method according to the invention for setting up such a traffic object recognition system provides the following method steps.
  • a scene generator simulates three-dimensional simulations of different traffic situations with at least one of the traffic objects.
  • a projection device generates signals which correspond to those which the sensor would detect in a traffic situation simulated by the three-dimensional simulation.
  • the signals are fed to the evaluation device for detecting traffic objects and the pattern recognition is trained based on a deviation between the traffic objects simulated in the three-dimensional simulations of the traffic situations and the traffic objects recognized therein.
  • the relative arrangement of the traffic objects to the sensor in space can be verifiably implemented in the simulation. All phenomena that can lead to a changed perception of the traffic object, eg. As rain, uneven illumination of the signs by shadows of trees, etc., can be directly caused by the causative objects, ie, for. As the rain and trees are simulated. This facilitates the training of the pattern recognition device, since a small amount of time is required.
  • 1 is a diagram for explaining a classifier training.
  • FIG. 2 shows a first embodiment for the synthetic training of classifiers
  • 5 shows a method sequence for synthesizing digital samples for video-based classifiers.
  • the following embodiments describe video-based image recognition systems.
  • the signals for these image recognition systems are provided by cameras.
  • the image recognition system should recognize in the signals depending on the device different traffic objects, z. Driving witnesses, pedestrians, traffic signs, etc.
  • Other detection systems are based on radar or ultrasound sensors that output signals corresponding to a traffic situation by an appropriate scanning of the surroundings.
  • the traffic object recognition system is based on pattern recognition. For each traffic object, one or more classifiers are provided. These classifiers are compared to the incoming signals. If the signals agree with the classifiers or if the signals meet the conditions of the classifiers, the corresponding traffic object is considered recognized.
  • the embodiments described below deal in particular with the determination of suitable classifiers.
  • FIG. 1 shows a first approach to training classifiers for pattern recognition.
  • One or more cameras 1 generate a video data stream.
  • a so-called learning sample 2 is generated.
  • the corresponding corresponding meaning information (ground truth) 3 is generated for the image data.
  • the corresponding meaning information may contain whether the image data reproduce a traffic object, possibly which traffic object, at which relative position, with which relative speed etc.
  • the corresponding meaning information 3 can be edited manually by an operator 7. Subsequent embodiments show how the corresponding meaning information can also be generated automatically.
  • the image data 10 and the corresponding meaning information 3 of the training sample 2 are repeatedly supplied to a training module 4 of pattern recognition.
  • the training module 4 adapts the classifiers of the pattern recognition until a sufficient correspondence is achieved between the corresponding meaning information 3, ie the traffic objects contained in the image data, and the traffic objects recognized by the pattern recognition.
  • test sample 5 is also generated.
  • the test sample can be generated in the same way as the learning sample 2.
  • the test sample 5 with the image data 11 and corresponding meaning information 6 contained therein is used to test the quality of the previously trained classifier.
  • the previously trained classifier 40, the individual samples of the test sample 5 are fed and evaluated the detection rate of the traffic objects statistically.
  • An evaluation device 9 determines the recognition rates and the error rates of the classifier 40.
  • Fig. 2 shows an embodiment for training classifiers in which the meaning information is generated.
  • a scene generator 26 generates three-dimensional simulations of various Traffic situations.
  • a central controller 25 can control which scenes the scene generator 26 should simulate.
  • the control device 25 can be instructed via a protocol which meaning information 28, ie which traffic objects, should be contained in the simulated traffic situations.
  • the central control device 25 can select between different modules 20 to 24, which are connected to the scene generator 26.
  • Each module 20 to 24 includes a physical or physical description of traffic objects, other objects, weather conditions, lighting conditions, and possibly also the sensors used.
  • a movement of the motor vehicle or the receiving sensor by a movement model 22 can be considered.
  • the simulated traffic situation is projected.
  • the projection can take place on a screen or other kind of projection surfaces.
  • the camera or another sensor detects the projected simulation of the traffic situation.
  • the signals from the sensor may be applied to a training sample 27 or, optionally, a test sample.
  • the corresponding meaning information 28, d. H. the illustrated traffic objects to be recognized are known from the simulation.
  • the central control device 25 or the scene generator 26 are in sync with the detected image data of the learning sample 27, the corresponding meaning information 28 from.
  • the senor is also simulated by a module.
  • the module generates the signals which would correspond to those which the real sensor would detect during the traffic situation corresponding to the simulation.
  • the projection or imaging of the three-dimensional simulation can thus take place within the scope of the simulation.
  • the further processing of the generated signals as a learning sample and the associated meaning information 28 takes place as described above.
  • the learning sample 27 and the associated meaning information are supplied to a training module 4 for training a classifier.
  • FIG. 3 shows a further embodiment for testing and / or training a classifier.
  • a scene simulator 30 generates a learning sample 27 with associated corresponding meaning information 28.
  • the training sample is generated synthetically, as described in the previous embodiment in connection with FIG.
  • a learning sample 27 is provided based on real image data. With a camera 1, for example, a video data stream can be recorded.
  • a processing device typically determined with the assistance of an operator the corresponding meaning information 38.
  • a classifier is trained by means of a training module 42 both by means of the synthetic learning sample 27 and with the real learning sample 37.
  • An evaluation device 35 can analyze how high the recognition rate of the classifier is with regard to certain simulated traffic situations.
  • the scene generator 30 also stores simulation parameters 29 in addition to the simulated signals for the training sample 27 and the associated meaning information 28.
  • the simulation parameters 29 include in particular the modules used and their settings.
  • An analogous evaluation of the recognition rate of the classifier can take place for the real image data.
  • not only the associated meaning information but also further information 39 belonging to the image data are determined and stored for the acquired image data.
  • This further information may relate to the general traffic situation, the relative position of the object of traffic to be recognized to the sensor, the weather conditions, lighting conditions, etc.
  • FIG. 4 schematically shows how an automatic adaptation of the scene generator 26 can take place.
  • Synthetic generated patterns 27, 30 and real samples 36, 37 of the samples are fed to the classifier 43.
  • the classifier 42 classifies the patterns.
  • the result of the classification is compared with the ground truth information, i. the meaning information 31, 38 compared. Deviations are determined in comparison module 60.
  • the system has a learning component 63 that enables night training of the classifier 62 using synthetic or real training patterns 61.
  • the training patterns 61 may be selected from the patterns in which the comparison module 60 has determined deviations between the meaning information and the classification by the classifier 42.
  • the training pattern 61 may also include other patterns that, while not leading to erroneous recognition, may still be improved.
  • the detected deviations may also be used to enhance the synthesis 26 and associated input modules 20-24.
  • a traffic object 20, z. B. becomes a traffic sign represented by an object model 20 in its physical dimensions and physical appearance.
  • a scene model 21 specifies the relative placement and movement of the traffic object to the imaginary sensor.
  • the scene model may include other objects, such. As trees, houses, road, etc.
  • the lighting model 23 and the scene model specify the lighting 80. This has influence on the synthesized object 81, which is additionally controlled by the object model 20 and the scene model 21.
  • the realistically exposed object passes through the optical channel 82, which is given by the illumination model and the scene model.
  • optical interference 83 which may be predetermined by the camera model 24, the exposure 84 and camera image 85 take place.
  • the motion model of the camera 22 controls the exposure and imaging in the camera 85, which is essentially determined by the camera model 24.
  • the camera image 85 or projection is subsequently used as a sample for the training of the classifiers.
  • the test of the classifier can be made as described on synthetic and real signals. Testing on real data, as described in connection with FIG. 3, can evaluate the quality of the synthetic training for a real situation.
  • An object model 20 for a traffic object can be designed so that it ideally describes the traffic object. However, it is also preferable to integrate smaller disturbances into the object model 20.
  • An object model may include, but is not limited to, a geometric description of the object. For flat objects, such. As traffic signs, a graphic definition of the character can be selected in a suitable form. For bulky objects, such. As a vehicle or a pedestrian, the object model preferably includes a three-dimensional description.
  • the mentioned smaller interferences may include, in the object geometry, a bending of the object, a concealment by other objects or a lack of individual parts of the object.
  • a missing object can, for. B. may be a missing bumper.
  • the object model may also describe the surface property of the object. This includes the pattern of surface, color, symbols, etc.
  • texture properties of the objects may be integrated in the object model.
  • the object model advantageously comprises a reflection model of incident light beams, a possible self-illuminating characteristic (eg in the case of traffic lights, turn signals, traffic lights, etc.). Dirt, snow, scratches, holes, or surface graphical reshaping may also be described by the object model.
  • the position of the object in space can also be integrated in the object model, alternatively its position can also be described in the scene model 21 described below.
  • the position includes a static position, an orientation in space, the relative position.
  • the scene model includes, for example, a road model, such as the lane and lane course, weather model or weather model, with information about dry weather, a rain model, drizzle, light rain, heavy rain, downpour, etc., a snow model, a hail model Fog model, a visibility simulation; a landscape model with surfaces and terrain models, a vegetation model including trees, leaves etc., a building model, a sky model including clouds, direct, indirect light, diffused light, sun, day and night times.
  • a road model such as the lane and lane course, weather model or weather model, with information about dry weather, a rain model, drizzle, light rain, heavy rain, downpour, etc., a snow model, a hail model Fog model, a visibility simulation
  • a landscape model with surfaces and terrain models a vegetation model including trees, leaves etc.
  • a building model a sky model including clouds, direct, indirect light, diffused light, sun, day and night times.
  • a model of the sensor 22 may be moved within the simulated scene.
  • the sensor model may include a motion model of the sensor for this purpose.
  • the following parameters can be taken into account: speed, steering angle, steering wheel angular velocity, steering angle, steering angle velocity, pitch angle, pitch, yaw rate, yaw angle, roll angle, roll rate.
  • a realistic dynamic motion model of the vehicle to which the sensor is attached may also be considered, for which a model for a vehicle pitch,
  • Modeling common driving maneuvers such as cornering, lane change, braking and acceleration, forward and reverse driving is also possible.
  • the illumination model 23 describes the illumination of the scene with all existing light sources. This can u. a. following characteristics are: the illumination spectrum of the respective light source, a lighting by the sun with blue sky, different sun states, diffused light with z. Cloudy sky, backlit, backlit (reflected light), twilight. Furthermore, the light cone of vehicle headlamps in parking lights, low beam and high beam from the different types of headlights, z. As halogen light, Xenon light, sodium, light, mercury vapor light etc. taken into account.
  • a model of the sensor 24 includes, for example, a video-based sensor with imaging properties of the camera, the optics and the beam path immediately in front of the optics.
  • the exposure properties of the camera pixels whose characteristic in lighting, their dynamic
  • the modeling of the optics can include the spectral properties, the focal length, the f-number, the calibration, the distortion (cushions, barrel distortion) within the optics, scattered light etc. Furthermore, calculation properties, spectral filter characteristics of a disk, smears, streaks, drops, water and other impurities can be taken into account.
  • the scene generator 26 merges the data of the various models and generates therefrom the synthesized data. In a first variant, the appearance of the entire three-dimensional simulation can be determined and stored as a sequence of video images. The associated meaning information and synthesis parameters are stored. In another variant, only the appearance of the respective traffic object to be recognized is determined and stored. The latter can be done faster and saves storage space. However, a training of the classifier can also be carried out on only the individual traffic object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren zum Einrichten eines solchen Verkehrsobjekt-Erkennungssystems sieht folgende Verfahrensschritte vor. Ein Szenengenerator simuliert dreidimensionale Simulationen verschiedener Verkehrssituation mit wenigstens einem der Verkehrsobjekte. Eine Projektionseinrichtung erzeugt SignaIe, die denen entsprechen, die der Sensor bei einer durch die dreidimensionale Simulation simulierte Verkehrssituation erfassen würde. Die Signale werden der Auswertungseinrichtung zum Erkennen von Verkehrsobjekten zugeführt und die Mustererkennung wird basierend auf einer Abweichung zwischen den in den dreidimensionalen Simulationen der Verkehrssituationen simulierten Verkehrsobjekten und den darin erkannten Verkehrsobjekten trainiert.

Description

Beschreibung
Titel
Verkehrsobjekt-Erkennungssystem Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems
Die vorliegende Erfindung betrifft ein Verfahren zum Einrichten eines Verkehrsobjekt- Erkennungssystems und ein Verkehrsobjekt-Erkennungssystem insbesondere für ein Kraftfahrzeug und ein Verfahren zum Erkennen eines Verkehrsobjekts.
In der Publikation "Classifϊer training based on synthetically generated samples" von Helene Hössler u. a., veröffentlicht in Proceedings of the Fifth International Conference on Computer Vision Systems, publiziert 2007 durch Applied Computer Science Group, ist ein Trainingsansatz für ein Kraftfahrzeug- Erkennungssystem für Verkehrszeichen beschrieben. Bei dem beschriebenen Verfahren werden idealisierte Abbildungen von Verkehrszeichen bereitgestellt. Aus diesen Abbildungen werden Proben zum Trainieren des Erkennungssystems durch Anwenden einer parametrischen Transformation erzeugt. Die parametrische Transformation verzerrt die idealisierten Abbildungen, um Projektionsrichtungen, Bewegungen oder Grauwertanomalien zu berücksichtigen. Die verwendeten Transformationen für geometrische Verschiebungen, Drehungen oder sonstige Verzerrungen der Schilder lassen sich leicht anhand einfacher geometrischer Überlegungen ermitteln. Darüber hinaus gehende parametrische Transformationen, die unter anderem Zwielicht, Regentropfen auf der Windschutzscheibe, Belichtungszeiten der Kamera berücksichtigen sollen, müssen auf ihre Tauglichkeit selbst überprüft werden. Daher wird ein Zweifel bestehen bleiben, ob Proben, die anhand solcher Transformationen erzeugt wurden, geeignet sind, ein Erkennungssystem zu trainieren.
Das erfmdungsgemäße Verkehrsobjekt-Erkennungssystem zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation beinhaltet wenigstens einen Sensor zum Erfassen einer Verkehrssituation und eine Mustererkennungseinrichtung zum Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation. Die Mustererkennungseinrichtung ist anhand von dreidimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert.
Das erfmdungsgemäße Verfahren zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation verwendet nachfolgende Schritte:Erfassen einer Verkehrssituation mit wenigstens einem Sensor und Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation mit einer Mustererkennungseinrichtung, die anhand von drei-dimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert ist.
Das erfindungsgemäße Verfahren zum Einrichten eines solchen Verkehrsobjekt-Erkennungssystems sieht folgende Verfahrensschritte vor. Ein Szenengenerator simuliert dreidimensionale Simulationen verschiedener Verkehrssituation mit wenigstens einem der Verkehrsobjekte. Eine Projektionsemrichtung erzeugt Signale, die denen entsprechen, die der Sensor bei einer durch die dreidimensionale Simulation simulierte Verkehrssituation erfassen würde. Die Signale werden der Auswertungseinrich- tung zum Erkennen von Verkehrsobjekten zugeführt und die Mustererkennung wird basierend auf einer Abweichung zwischen den in den dreidimensionalen Simulationen der Verkehrssituationen simulierten Verkehrsobjekten und den darin erkannten Verkehrsobjekten trainiert.
Anhand der dreidimensionalen Simulationen wird das physische Erscheinungsbild der Verkehrsobjek- te, z. B. der Verkehrsschilder, wiedergegeben. Die relative Anordnung der Verkehrsobjekte zu dem Sensor im Raum kann überprüfbar in der Simulation implementiert werden. Sämtliche Erscheinungen, die zu einer veränderten Wahrnehmung des Verkehrsobjekts führen können, z. B. Regen, ungleichmäßige Beleuchtung der Schilder durch Schattenwürfe von Bäumen, etc., können unmittelbar durch die verursachenden Objekte, also z. B. den Regen und die Bäume, simuliert werden. Dies erleichtert das Training der Mustererkennungseinrichtung, da ein geringer zeitlicher Aufwand erforderlich ist.
In den Figuren zeigen:
Fig. 1 ein Schema zur Erläuterung eines Klassifikatortrainings;
Fig. 2 eine erste Ausführungsform zum synthetischen Trainieren von Klassifikatoren;
Fig. 3 eine zweite Ausführungsform zum Trainieren von Klassifikatoren;
Fig. 4 eine dritte Ausführungsform zum Trainieren von Klassifikatoren;
Fig. 5 einen Verfahrensablauf zum Synthetisieren von digitalen Proben für videobasierte Klassifikatoren.
Die nachfolgenden Ausführungsformen beschreiben videobasierte Bilderkennungssysteme. Die Signale für diese Bilderkennungssysteme werden von Kameras bereitgestellt. Das Bilderkennungssystem soll in den Signalen je nach Einrichtung unterschiedliche Verkehrsobjekte wiedererkennen, z. B. Fahr- zeuge, Fußgänger, Verkehrszeichen, etc. Andere Erkennungssysteme basieren auf Radar- oder Ultraschallsensoren, die durch eine entsprechende Abtastung der Umgebung Signale entsprechend einer Verkehrssituation ausgeben.
Das Erkennungssystem von Verkehrsobjekten basiert auf einer Mustererkennung. Für jedes Verkehrsobjekt werden ein oder mehrere Klassifikatoren bereitgestellt. Diese Klassifikatoren werden mit den eingehenden Signalen verglichen. Ergibt sich eine Übereinstimmung der Signale mit den Klassifikatoren bzw. erfüllen die Signale die Bedingungen der Klassifikatoren, gilt das entsprechende Verkehrsobjekt als erkannt. Die nachfolgend beschriebenen Ausführungsformen befassen sich insbesondere mit der Ermittlung geeigneter Klassifikatoren.
Fig. 1 zeigt einen ersten Ansatz zum Trainieren bzw. Festlegen von Klassifikatoren für eine Mustererkennung. Eine oder mehrere Kameras 1 generieren einen Videodatenstrom. Zunächst wird eine sogenannte Lernstichprobe 2 erzeugt. Diese enthält die einzelnen Bilddaten 10. Zu den Bilddaten wird die entsprechende korrespondierende Bedeutungsinformation (ground-truth) 3 generiert. Die korrespondierende Bedeutungsinformation kann enthalten, ob die Bilddaten ein Verkehrsobjekt wiedergeben, gegebenenfalls welches Verkehrsobjekt, an welcher relativen Position, mit welcher relativen Geschwindigkeit etc. Die korrespondierende Bedeutungsinformation 3 kann durch einen Betreiber 7 manuell editiert werden. Nachfolgende Ausführungsformen zeigen auf, wie die korrespondierende Be- deutungsinformation auch automatisiert generiert werden kann.
Die Bilddaten 10 und die korrespondierende Bedeutungsinformation 3 der Lernstichprobe 2 werden einem Trainingsmodul 4 der Mustererkennung wiederholt zugeführt. Das Trainingsmodul 4 adaptiert die Klassifikatoren der Mustererkennung so lange bis eine ausreichende Übereinstimmung zwischen den korrespondierenden Bedeutungsinformationen 3, also den in den Bilddaten enthaltenen Verkehrsobjekten, und den durch die Mustererkennung erkannten Verkehrsobjekten erreicht ist.
Neben der Lernstichprobe 2 wird auch eine Teststichprobe 5 erzeugt. Die Teststichprobe kann in gleicher Weise wie die Lernstichprobe 2 erzeugt werden. Die Teststichprobe 5 mit den darin enthaltenen Bilddaten 11 und korrespondierenden Bedeutungsinformationen 6 wird verwendet, um die Güte des bisher trainierten Klassifikators zu testen. Dem bisher trainierten Klassifikator 40 werden die einzelnen Proben der Teststichprobe 5 zugeführt und die Erkennungsrate der Verkehrsobjekte statistisch ausgewertet. Eine Auswertungseinrichtung 9 ermittelt dabei die Erkennungsraten und die Fehlerraten des Klassifkators 40.
Fig. 2 zeigt eine Ausführungsform zum Trainieren von Klassifikatoren bei der die Bedeutungsinformation erzeugt wird. Ein Szenengenerator 26 generiert dreidimensionale Simulationen verschiedener Verkehrssituationen. Eine zentrale Steuerungseinrichtung 25 kann kontrollieren, welche Szenen der Szenengenerator 26 simulieren soll. Die Steuerungseinrichtung 25 kann dazu über ein Protokoll angewiesen werden, welche Bedeutungsinformationen 28, d.h. welche Verkehrsobjekte, in den simulierten Verkehrssituationen enthalten sein sollen.
Für die Simulation kann die zentrale Steuerungseinrichtung 25 dazu zwischen verschiedenen Modulen 20 bis 24 auswählen, die dem Szenengenerator 26 zugeschaltet werden. Jedes Modul 20 bis 24 beinhaltet eine physische oder physikalische Beschreibung von Verkehrsobjekten, anderen Objekten, Witterungsverhärtnissen, Lichtverhältnissen, und gegebenenfalls auch der verwendeten Sensoren. In einer Ausgestaltung kann auch eine Bewegung des Kraftfahrzeuges bzw. des aufnehmenden Sensors durch ein Bewegungsmodell 22 berücksichtigt werden.
Die simulierte Verkehrssituation wird projiziert. In einer Ausgestaltung kann die Projektion auf eine Leinwand oder sonstig geartete Projektionsflächen erfolgen. Die Kamera oder ein anderer Sensor er- fasst die projizierte Simulation der Verkehrssituation. Die Signale des Sensors können einer Lernstichprobe 27 oder gegebenenfalls einer Teststichprobe zugeführt werden. Die korrespondierende Bedeutungsinformation 28, d. h. die dargestellten zu erkennenden Verkehrsobjekte, sind aus der Simulation bekannt. Die zentrale Steuerungseinrichtung 25 oder der Szenengenerator 26 liegen synchron zu dem erfassten Bilddaten der Lernstichprobe 27 die korrespondierenden Bedeutungsinformationen 28 ab.
In einer anderen Ausgestaltung wird der Sensor ebenfalls durch ein Modul simuliert. Das Modul erzeugt dabei die Signale, die denen entsprechen würden, die der reale Sensor bei der der Simulation entsprechenden Verkehrssituation erfassen würde. Die Projektion oder Abbildung der dreidimensiona- len Simulation kann somit im Rahmen der Simulation erfolgen. Die weitere Verarbeitung der generierten Signale als Lernstichprobe und der zugehörigen Bedeutungsinformationen 28 erfolgt wie oben beschrieben.
Die Lernstichprobe 27 und die zugehörigen Bedeutungsinformationen werden an einem Trainingsmo- dul 4 zum Trainieren eines Klassifikators zugeführt.
Figur 3 zeigt eine weitere Ausführungsform zum Testen und/oder Trainieren eines Klassifikators. Ein Szenensimulator 30 erzeugt eine Lernstichprobe 27 mit zugehörigen korrespondierenden Bedeutungsinformationen 28. Die Lernstichprobe wird synthetisch erzeugt, wie in der vorherigen Ausführungs- form in Zusammenhang mit Figur 2 beschrieben. Eine Lernstichprobe 27 wird basierend auf realen Bilddaten bereitgestellt. Mit einer Kamera 1 kann beispielsweise ein Videodatenstrom aufgenommen werden. Eine Verarbeitungseinrichtung, typischerweise mit Unterstützung eines Betreibers ermittelt die korrespondierende Bedeutungsinformation 38. Ein Klassifikator wird mittels eines Trainingsmo- duls 42 sowohl mittels der synthetischen Lernstichprobe 27 als auch mit der realen Lernstichprobe 37 trainiert. Eine Auswertungseinrichtung 35 kann dabei analysieren, wie hoch die Erkennungsrate des Klassifikators im Hinblick auf bestimmte simulierte Verkehrssituationen ist. Um dies zu ermöglichen, speichert der Szenengenerator 30 neben den simulierten Signalen für die Lernstichprobe 27 und den zugehörigen Bedeutungsinformationen 28 auch Simulationsparameter 29 ab. Die Simulationsparameter 29 umfassen insbesondere die verwendeten Module und deren Einstellungen.
Eine analoge Auswertung der Erkennungsrate des Klassifikators kann für die realen Bilddaten erfol- gen. Hierfür werden für die erfassten Bilddaten nicht nur die zugehörigen Bedeutungsinformationen sondern auch weitere Informationen 39 zugehörig zu den Bilddaten bestimmt und abgespeichert. Diese weiteren Informationen können die allgemeine Verkehrssituation die relative Position des zu erkennenden Verkehrs objekts zu dem Sensor betreffen, die Wetterbedingungen, Lichtverhältnisse etc..
Die Erkennungsraten der synthetischen Lernstichprobe und der realen Lernstichprobe können durch eine weitere Auswertungseinrichtung 52 miteinander verglichen werden. Dies ermöglicht nicht nur Rückschlüsse auf die Qualität des trainierten Klassifikators, sondern auch auf die Qualität der dreidimensionalen Simulationen von Verkehrssituationen. In Figur 4 ist hierzu schematisch dargestellt, wie eine automatische Anpassung des Szenengenerators 26 erfolgen kann.
Synthetische erzeugte Muster 27, 30 und reale Muster 36, 37 der Stichproben werden dem Klassifikator 43 zugeführt. Der Klassifikator 42 klassifiziert die Muster. Das Ergebnis aus dem Klassifizieren wird mit der Ground Truth Information, d.h. der Bedeutungsinformation 31, 38 verglichen. Abweichungen werdem im Vergleichsmodul 60 bestimmt. Das System besitzt zum Verbessern der Klassifi- katorleistung eine Lernkomponente 63, die ein Nachtraining des Klassifikators 62 mittels synthetischer oder realer Trainingsmuster 61 ermöglicht.
Die Trainingsmuster 61 können aus den Mustern ausgewählt werden, bei denen das Vergleichsmodul 60 Abweichungen zwischen der Bedeutungsinformation und der Klassifikation durch den Klassifika- tor 42 bestimmt hat. Das Trainingsmuster 61 kann auch weitere Muster enthalten, die zwar zu keiner fehlerhaften Erkennung geführt haben, aber dennoch verbessert werden können.
Die erkannten Abweichungen können auch zum Verbessern der Synthese 26 und der damit verbundenen Eingangsmodule 20-24 verwendet werden.
Anhand von Figur 5 wird eine beispielhafte Ausgestaltung eines Verfahrensablaufes zum Trainieren eines videobasierten Klassifikators beschrieben. Ein Verkehrsobjekt 20, z. B. ein Verkehrsschild wird durch ein Objektmodell 20 in seinen physischen Abmessungen und seinem physischen Erscheinungsbild dargestellt. Ein Szenenmodell 21 gibt die relative Anordnung und Bewegung des Verkehrsobjekts zu dem imaginären Sensor vor. Zudem kann das Szenenmodell andere Objekte umfassen, wie z. B. Bäume, Häuser, Straßenverlauf etc.. Das Beleuchtungsmodell 23 und das Szenenmodell geben die Beleuchtung 80 vor. Diese hat Einfluss auf das synthetisierte Objekt 81, welches zusätzlich durch das Objektmodell 20 und das Szenenmodell 21 gesteuert wird. Das realistisch belichtete Objekt passiert den optischen Kanal 82, der durch das Beleuchtungsmodell und das Szenenmodell vorgegeben wird. Nach dem Passieren von optischen Störungen 83, die durch das Kameramodell 24 vorgegeben sein können, findet die Belichtung 84 und Kameraabbildung 85 statt. Das Bewegungsmodell der Kamera 22 steuert die Belichtung und die Abbildung in der Kamera 85, die im Wesentlichen durch das Kameramodell 24 festgelegt wird. Die Kameraabbildung 85 oder Projektion wird nachfolgend als Stichprobe für das Training der Klassifikatoren benutzt.
Der Test des Klassifikators kann wie beschrieben an synthetischen und realen Signalen vorgenommen werden. Eine Erprobung an realen Daten, wie im Zusammenhang mit Figur 3 beschrieben, kann denen die Qualität des synthetischen Trainings für eine reale Situation zu bewerten. Ein Objektmodell 20 für ein Verkehrsobjekt kann so gestaltet werden, dass es das Verkehrsobjekt ideal beschreibt. Vorzugsweise ist jedoch auch vorgesehen kleinere Störungen in das Objektmodell 20 zu integrieren. Ein Objektmodell kann unter anderem eine geometrische Beschreibung des Objekts aufweisen. Für flächige Objekte, wie z. B. Verkehrszeichen kann eine grafische Definition des Zeichens in geeigneter Form gewählt werden. Bei voluminösen Objekten, z. B. einem Fahrzeug oder einem Fußgänger, beinhaltet das Objektmodell vorzugsweise eine dreidimensionale Beschreibung. Die genannten kleineren Störungen können bei der Objektgeometrie eine Verbiegung des Objekts, eine Verdeckung durch andere Objekte oder ein Fehlen von Einzelteilen des Objekts beinhalten. Ein solch ein fehlendes Objekt kann z. B. eine fehlende Stoßstange sein. In dem Objektmodell kann ferner die Oberflächeneigenschaft des Objekts beschrieben sein. Dies umfasst das Muster der Oberfläche, Farbe, Symbole, etc.. Ferner können Textureigenschaften der Objekte in dem Objektmodell integriert sein. Des weiteren umfasst das Objektmodell vorteilhafter Weise ein Reflexionsmodell einfallender Lichtstrahlen, eine mögliche selbstleuchtende Charakteristik (z. B. bei Ampeln, Blinkern, Verkehrslampen etc.). Verschmutzungen, Schnee, Kratzer, Löcher oder grafische Umgestaltungen auf der Oberfläche können ebenfalls durch das Objektmodell beschrieben sein.
Die Position des Objekts im Raum kann ebenfalls in dem Objektmodell integriert sein, alternativ kann dessen Position auch in dem nachfolgend beschriebenen Szenenmodell 21 beschrieben werden. Die Position umfasst einerseits eine statische Position, eine Orientierung im Raum, die relative Position.
Darüber hinaus kann die Bewegung des Objekts im Raum, sowohl deren Translation als auch Rotation beschrieben werden. Das Szenenmodell umfasst beispielsweise ein Fahrbahnmodell, wie den Verlauf der Fahrbahn und der Fahrstreifen innerhalb der Fahrbahn, ein Wettermodell oder Witterungsmodell, mit Angaben über trockenes Wetter, ein Regenmodell, Sprühregen, Leichtregen, Starkregen, Platzregen etc., ein Schneemodell, ein Hagelmodell, ein Nebelmodell, eine Sichtweitensimulation; ein Landschaftsmodell mit Oberflächen und Geländemodellen, einem Vegetationsmodell einschließlich Bäumen, Blättern etc., einem Bebauungsmodell, einem Himmelmodell einschließlich von Wolken, direkten, indirekten Licht, diffusen Licht, Sonne, Tages- und Nachtzeiten.
Ein Modell des Sensors 22 kann innerhalb der simulierten Szene bewegt werden. Das Sensormodell kann dazu ein Bewegungsmodell des Messaufnehmers beinhalten. Die folgenden Parameter können dabei berücksichtigt werden: Geschwindigkeit, Lenkgradwinkel, Lenkradwinkelgeschwindigkeit, Lenkwinkel, Lenkwinkelgeschwindigkeit, Nickwinkel, Nickgrate, Giergrate, Gierwinkel, Wankwin- kel, Wankgrate. Ein realitätsnahes dynamisches Bewegungsmodell des Fahrzeugs an dem der Sensor angebracht ist, kann ebenfalls berücksichtigt werden, wofür ein Modell für ein Fahrzeugnicken,
-wanken oder -gieren bereitgestellt wird. Ein Modellieren von üblichen Fahrmanövern, wie Kurvenfahrten, Fahrspurwechsel, Brems- und Beschleunigungsvorgängen, Vorwärts- und Rückwärtsfahrten ist ebenfalls möglich.
Das Beleuchtungsmodell 23 beschreibt die Beleuchtung des Szene mit allen vorhandenen Lichtquellen. Dies können u. a. folgende Eigenschaften sein: das Beleuchtungsspektrum der jeweiligen Lichtquelle, eine Beleuchtung durch die Sonne bei blauem Himmel, unterschiedlichen Sonnenständen, diffusem Licht bei z. B. bedecktem Himmel, Gegenlicht, Beleuchtung von hinten (Auflicht), Dämmerung. Ferner werden auch die Lichtkegel von Fahrzeugscheinwerfern bei Standlicht, Abblendlicht und Fernlicht von den unterschiedlichen Scheinwerfertypen, z. B. Halogenlicht, Xenonlicht, Natriumdampflicht, Quecksilberdampflicht etc. berücksichtigt.
Ein Modell des Sensors 24 umfasst beispielsweise einen videobasierten Sensor mit Abbildungseigenschaften der Kamera, der Optik und des Strahlengangs unmittelbar vor der Optik. Hierbei können die Belichtungseigenschaften der Kamerapixel, deren Kennlinie bei Beleuchtung, deren dynamisches
Verhalten, Rauschverhalten und Temperaturverhalten berücksichtigt werden. Eine Belichtungssteuerung, der Regelalgorithmus und Shutter-Charakteristik kann berücksichtigt werden. Die Modellierung der Optik können die spektralen Eigenschaften, die Brennweite, die Blendenzahl, die Kalibrierung, die Verzeichnung (Kissen, Tonnenverzeichnung) innerhalb der Optik, Streulichter etc. umfassen. Ferner können Berechnungseigenschaften, spektrale Filtereigenschaften einer Scheibe, Verschmierungen, Schlieren, Tropfen, Wasser und sonstige Verunreinigungen berücksichtigt werden. Der Szenengenerator 26 führt die Daten der verschiedenen Modelle zusammen und erzeugt daraus die synthetisierten Daten. In einer ersten Variante kann das Aussehen der gesamten dreidimensionalen Simulation bestimmt werden und als Sequenz von Videobildern gespeichert werden. Die zugehörigen Bedeutungsinformationen und Syntheseparametern werden gespeichert. In einer anderen Variante wird nur das Aussehen des jeweils zu erkennenden Verkehrsobjekts bestimmt und abgespeichert. Letzteres lässt sich schneller durchfuhren und spart Speicherplatz. Ein Training des Klassifikators kann jedoch auch an nur dem einzelnen Verkehrsobjekt durchgeführt werden.

Claims

Ansprüche
1. Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems, das vorzugsweise wenigstens einen Sensor zum Erfassen einer Verkehrssituation und eine Mustererkennungseinrichtung zum Erkennen eines oder mehrerer Verkehrsobjekte in der erfassten Verkehrssituation aufweist, wobei ein Szenengenerator drei-dimensionale Simulationen verschiedener Verkehrssituationen mit dem einem oder den mehreren Verkehrsobjekten simuliert, eine Projektionseinrichtung Signale erzeugt, die denen entsprechen, die der Sensor bei einer durch die drei-dimensionale Simulation simulierten Verkehrssituation erfasst, der Mustererkennungseinrichtung die Signale zum Erkennen von Verkehrsobjekte zugeführt werden und die Mustererkennungseinrichtung basierend auf einer Abweichung zwischen den in Verkehrssituationen simulierten Verkehrsobjekten und den erkannten Verkehrsobjekten trainiert wird.
2. Verfahren nach Anspruch 1, wobei das Verkehrsobjekt-Erkennungssystem zusätzlich mit rea- len Verkehrssituationen trainiert wird.
3. Verfahren nach Anspruch 1 oder 2, wobei der Szenengenerator und/oder die Projektionsemrichtung basierend auf einer Abweichung zwischen den in Verkehrssituationen simulierten Verkehrsobjekten und den erkannten Verkehrsobjekten adaptiert werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei die Projektionseinrichtung die simulierte Verkehrssituation physikalisch projiziert und der Sensor die physikalisch projizierte Verkehrssituation zum Erzeugen der Signale erfasst.
5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Simulation der Verkehrssituation ein
Fahrbahnmodell, ein Wettermodell, ein Landschaftsmodell und/oder ein Himmelmodell umfasst.
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei die Simulation der Verkehrssituation ein Beleuchtungsmodell und/oder ein Lichtstrahl- Verfolgungsmodell aufweist.
7. Verfahren nach einem der Ansprüche 1 bis 6, wobei die Simulation der Verkehrssituation ein Bewegungsmodell eines Fahrzeuges mit dem Sensor umfasst.
8. Verfahren nach einem der Ansprüche 1 bis 7, wobei zusätzlich
Daten mit aufgezeichnete realen Verkehrsituationen und Informationen über die in der aufgezeichneten realen Verkehrsituation auftretenden Verkehrsobjekte bereitgestellt werden und die Mustererkennungseinrichtung basierend auf einer Abweichung zwischen den in den aufgezeichneten realen Verkehrssituationen auftretenden Verkehrsobjekten und den von der Mustererkennung erkannten Verkehrsobjekten trainiert wird.
9. Verkehrsobjekt-Erkennungssystem zum Erkennen von einem oder mehreren Verkehrsobjek- ten in einer Verkehrsituation mit wenigstens einem Sensor zum Erfassen einer Verkehrssituation und einer Mustererkennungseinrichtung zum Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation, wobei die Mustererkennungseinrichtung anhand von drei-dimensionalen virtuellen Verkehrssituatio- nen, die das oder die Verkehrsobjekte enthalten, trainiert ist.
10. Verfahren zum Erkennen von einem oder mehreren Verkehrsobjekten in einer Verkehrsituation mit den Schritten:
Erfassen einer Verkehrssituation mit wenigstens einem Sensor und Erkennen des einen oder der Verkehrsobjekte in der erfassten Verkehrssituation mit einer Mustererkennungseinrichtung, die anhand von drei-dimensionalen virtuellen Verkehrssituationen, die das oder die Verkehrsobjekte enthalten, trainiert ist.
EP08873947A 2008-04-18 2008-11-19 Verkehrsobjekt-erkennungssystem, verfahren zum erkennen eines verkehrsobjekts und verfahren zum einrichten eines verkehrsobjekt-erkennungssystems Withdrawn EP2266073A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008001256A DE102008001256A1 (de) 2008-04-18 2008-04-18 Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems
PCT/EP2008/065793 WO2009127271A1 (de) 2008-04-18 2008-11-19 Verkehrsobjekt-erkennungssystem, verfahren zum erkennen eines verkehrsobjekts und verfahren zum einrichten eines verkehrsobjekt-erkennungssystems

Publications (1)

Publication Number Publication Date
EP2266073A1 true EP2266073A1 (de) 2010-12-29

Family

ID=40225250

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08873947A Withdrawn EP2266073A1 (de) 2008-04-18 2008-11-19 Verkehrsobjekt-erkennungssystem, verfahren zum erkennen eines verkehrsobjekts und verfahren zum einrichten eines verkehrsobjekt-erkennungssystems

Country Status (4)

Country Link
US (1) US20110184895A1 (de)
EP (1) EP2266073A1 (de)
DE (1) DE102008001256A1 (de)
WO (1) WO2009127271A1 (de)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010013943B4 (de) * 2010-04-06 2018-02-22 Audi Ag Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
DE102010055866A1 (de) 2010-12-22 2011-07-28 Daimler AG, 70327 Verfahren zum Testen einer Erkennungsvorrichtung und Testvorrichtung
DE102011107458A1 (de) 2011-07-15 2013-01-17 Audi Ag Verfahren zum Evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs
DE102012008117A1 (de) 2012-04-25 2013-10-31 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Darstellung eines Kraftfahrzeugumfeldes zum Testen von Fahrerassistenzsystemen
US9092696B2 (en) * 2013-03-26 2015-07-28 Hewlett-Packard Development Company, L.P. Image sign classifier
WO2014170758A2 (en) * 2013-04-14 2014-10-23 Morato Pablo Garcia Visual positioning system
US20140306953A1 (en) * 2013-04-14 2014-10-16 Pablo Garcia MORATO 3D Rendering for Training Computer Vision Recognition
DE102013217827A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen eines Objekts in einer Bildinformation
US10328855B2 (en) 2015-03-18 2019-06-25 Uber Technologies, Inc. Methods and systems for providing alerts to a connected vehicle driver and/or a passenger via condition detection and wireless communications
US9610893B2 (en) 2015-03-18 2017-04-04 Car1St Technologies, Llc Methods and systems for providing alerts to a driver of a vehicle via condition detection and wireless communications
US9740944B2 (en) * 2015-12-18 2017-08-22 Ford Global Technologies, Llc Virtual sensor data generation for wheel stop detection
WO2017120339A1 (en) * 2016-01-05 2017-07-13 Gracenote, Inc. Computing system with content-characteristic-based trigger feature
US10474964B2 (en) * 2016-01-26 2019-11-12 Ford Global Technologies, Llc Training algorithm for collision avoidance
DE102016205392A1 (de) * 2016-03-31 2017-10-05 Siemens Aktiengesellschaft Verfahren und System zur Validierung eines Hinderniserkennungssystems
DE102016008218A1 (de) * 2016-07-06 2018-01-11 Audi Ag Verfahren zum verbesserten Erkennen von Objekten durch ein Fahrerassistenzsystem
US20180011953A1 (en) * 2016-07-07 2018-01-11 Ford Global Technologies, Llc Virtual Sensor Data Generation for Bollard Receiver Detection
DE102017221765A1 (de) 2017-12-04 2019-06-06 Robert Bosch Gmbh Trainieren und Betreiben eines Maschinen-Lern-Systems
US10769461B2 (en) * 2017-12-14 2020-09-08 COM-IoT Technologies Distracted driver detection
US11726210B2 (en) 2018-08-05 2023-08-15 COM-IoT Technologies Individual identification and tracking via combined video and lidar systems
CN109190504B (zh) * 2018-08-10 2020-12-22 百度在线网络技术（北京）有限公司 汽车图像数据的处理方法、装置及可读存储介质
GB2581523A (en) * 2019-02-22 2020-08-26 Bae Systems Plc Bespoke detection model
JP7259070B2 (ja) 2019-03-29 2023-04-17 ビ－エイイ－ システムズ パブリック リミテッド カンパニ－ ビークル挙動を分類するシステムおよび方法
DE102019124504A1 (de) * 2019-09-12 2021-04-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Simulation und Bewertung eines Sensorsystems für ein Fahrzeug sowie Verfahren und Vorrichtung zum Entwurf eines Sensorsystems zur Umfelddetektion für ein Fahrzeug
DE102021200452A1 (de) 2021-01-19 2022-07-21 Psa Automobiles Sa Verfahren und Trainingssystem zum Trainieren eines kamerabasierten Steuerungssystems
DE102021202083A1 (de) 2021-03-04 2022-09-08 Psa Automobiles Sa Computerimplementiertes Verfahren zum Trainieren wenigstens eines Algorithmus für eine Steuereinheit eines Kraftfahrzeugs, Computerprogrammprodukt, Steuereinheit sowie Kraftfahrzeug

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5914720A (en) * 1994-04-21 1999-06-22 Sandia Corporation Method of using multiple perceptual channels to increase user absorption of an N-dimensional presentation environment
DE19829527A1 (de) * 1998-07-02 1999-02-25 Kraiss Karl Friedrich Prof Dr Verfahren zur ansichten-basierten Adressierung von Datenbanken
JP4361389B2 (ja) * 2004-02-26 2009-11-11 本田技研工業株式会社 道路交通シミュレーション装置
JP2010500573A (ja) * 2006-08-04 2010-01-07 イコニシス インコーポレーテッド 顕微鏡システムのための画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009127271A1 *

Also Published As

Publication number Publication date
WO2009127271A1 (de) 2009-10-22
US20110184895A1 (en) 2011-07-28
DE102008001256A1 (de) 2009-10-22

Similar Documents

Publication Publication Date Title
EP2266073A1 (de) Verkehrsobjekt-erkennungssystem, verfahren zum erkennen eines verkehrsobjekts und verfahren zum einrichten eines verkehrsobjekt-erkennungssystems
CN103770708B (zh) 通过景物亮度估计的动态后视镜自适应减低亮度覆盖
DE102018201054A1 (de) System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs
EP2087459B1 (de) Vorrichtung, verfahren und computerprogramm zum bestimmen einer position basierend auf einem kamerabild
DE102007034657B4 (de) Bildverarbeitungsvorrichtung
DE19860676A1 (de) Visualisierungseinrichtung für die von wenigstens einem Scheinwerfer eines Fahrzeugs bewirkte Beleuchtung vor dem Fahrzeug
DE112018000858T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
DE102019115459A1 (de) Verfahren und vorrichtung zur bewertung einer fahrbahnoberfläche für kraftfahrzeuge
WO2022128014A1 (de) Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
DE10124005A1 (de) Verfahren und Vorrichtung zur Verbesserung der Sicht in Fahrzeugen
DE102006053109B3 (de) Verfahren zur bildhaften Darstellung einer Fahrzeugumgebung und Bilderfassungssystem
DE102013220839B4 (de) Verfahren zum dynamischen Einstellen einer Helligkeit eines Bilds einer Rückansichts-Anzeigevorrichtung sowie entsprechendes Fahrzeugabbildungssystem
DE102007008542B4 (de) Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Fahrzeugs
WO2022128013A1 (de) Korrektur von bildern einer kamera bei regen, lichteinfall und verschmutzung
DE102022213200A1 (de) Verfahren zum transmissivitätsbewussten Chroma-Keying
DE102022002766B4 (de) Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung
DE102018214875A1 (de) Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
WO2008135295A1 (de) Verfahren und vorrichtung zur verkehrszeichenerkennung
DE102021103367A1 (de) Erzeugung realistischer bildbasierter Daten zum Entwickeln und Testen von Fahrerassistenzsystemen
DE102017206175A1 (de) Surround-View-System für ein Fahrzeug
EP3384469A2 (de) Verfahren zur darstellung einer simulationsumgebung
DE102013021958A1 (de) Verfahren zum Testen und Wiedergeben von dynamischen Lichtverteilungen
DE102023002809A1 (de) Verfahren zur Verbesserung der Bildqualität eines Multikamerasystems
DE112021001771T5 (de) Renderingsystem und system zur verifizierung automatisierten fahrens

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20101118

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20130304

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20141114

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20150325