EP4214628A1 - VERFAHREN ZUM DETEKTIEREN UND KLASSIFIZIEREN VON OBJEKTEN IM STRAßENVERKEHR - Google Patents

VERFAHREN ZUM DETEKTIEREN UND KLASSIFIZIEREN VON OBJEKTEN IM STRAßENVERKEHR

Info

Publication number
EP4214628A1
EP4214628A1 EP21746497.3A EP21746497A EP4214628A1 EP 4214628 A1 EP4214628 A1 EP 4214628A1 EP 21746497 A EP21746497 A EP 21746497A EP 4214628 A1 EP4214628 A1 EP 4214628A1
Authority
EP
European Patent Office
Prior art keywords
symbolic
neural network
monitoring algorithm
detection
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21746497.3A
Other languages
English (en)
French (fr)
Inventor
Robert Lutz
Frank Lindner
Daniel Hundsdoerfer
Jonathan Kausch
Libor Novak
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP4214628A1 publication Critical patent/EP4214628A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to a method for detecting and classifying at least one object in road traffic.
  • detection of light signal systems is a safety-relevant aspect. For example, it may be the case that an erroneously detected signal, which requires the autonomous motor vehicle to be stopped, results in a sudden braking process being initiated within the framework of the control system, which can lead to a rear-end collision, for example. Conversely, such a signal may not be recognized, which can lead to violation of traffic rules and also to an accident. For this reason, a method for detecting and classifying a traffic light system should be designed in such a way that unexpected or inappropriate driving maneuvers can be avoided. In addition, a corresponding detection system must be protected against misuse and attacks.
  • a detection of an object can be broken down in such a way that different sensors are involved, as a result of which a lower reliability of a first sensor can be compensated by a relatively higher reliability of a second sensor.
  • this is not possible when detecting traffic signals in road traffic, since only one sensor modality, namely a camera, can detect a color of a signal generator of a traffic signal system by providing color images of the traffic signal system. For this reason it is necessary to ensure a minimum level of integrity of the detection of traffic signals by a camera. This can be achieved, for example, in that the detection takes place in a redundant manner. It is known to use neural networks to detect and classify traffic lights in images from a camera.
  • neural networks provide a high probability of object detection and only a small number of false positives.
  • neural networks also have disadvantages. For example, this is a technology whose properties cannot yet be fully understood. For example, a decision-making process of a neural network cannot be analyzed and interpreted. This leaves it unclear what prompts a neural network to make certain decisions. Even if a neural network can be trained and tested using a comprehensive data set, it can still be due to rare or atypical traffic scenarios or traffic situations that are not sufficiently represented in the training and test data set, or due to noise and/or artifacts in a Image behaving in unexpected ways.
  • neural networks are vulnerable to artificial pattern attacks that can cause false detection and/or classification.
  • Such patterns can be printed on film, for example, and stuck to a windshield of a motor vehicle and/or to a signal generator of a traffic signal system.
  • the patterns could also be generated virtually and overlaid with the images from a camera.
  • An object of the present invention is to provide an improved method for detecting and classifying at least one object in road traffic, a system that is set up to carry out the method, to provide a computer program comprising instructions that are executed when the computer program is executed cause a computer to perform the method, to provide it and to provide a machine-readable storage medium on which the computer program is stored.
  • This object is achieved by a method for detecting and classifying at least one object in road traffic, by a system that is set up to carry out the method, a computer program, comprising instructions which, when the computer program is executed by a computer, cause the computer to carry out procedures and a machine-readable storage medium on which the computer program is stored having the features of the respective independent claims.
  • a method for detecting and classifying at least one object in road traffic includes the following method steps. First, sensor data from a sensor are provided. At least one object is detected and classified by means of a neural network on the basis of the sensor data. In addition, the object is detected and classified based on the sensor data using a redundant symbolic monitoring algorithm. It is checked whether the neural network and the symbolic monitoring algorithm deliver consistent results with regard to the detection and the classification of the object.
  • the object can be, for example, a traffic signal system with signal generators that is provided for traffic management in road traffic.
  • the object can also be a sign, a motor vehicle, a pedestrian or a cyclist.
  • the symbolic monitoring algorithm is based on a symbolic machine learning approach. It is therefore a classic and rule-based algorithm.
  • trained examples are explicitly represented, i.e. the decision-making process of the symbolic monitoring algorithm is comprehensible.
  • the neural network is based on a non-/sub-symbolic approach, i.e. trained examples are implicitly represented.
  • the method is advantageously characterized in that the object is detected and classified redundantly.
  • the neural network represents a first path of detection and classification, while the symbolic surveillance algorithm represents a second path of detection and classification.
  • the second detection and classification path is formed independently of the first detection path. Because the neural network is additionally monitored, the object can be reliably detected and classified, even if the neural network is susceptible to erroneous detections and/or faulty classifications.
  • the second detection path can make it possible for attacks using the neural network to be untrained artificial patterns that are designed to deceive the neural network can be prevented (English: adversarial attacks).
  • the method can advantageously contribute to road traffic safety through a high degree of reliability.
  • an additional symbolic monitoring algorithm checks whether the object detected and classified by the neural network has predefined properties.
  • results of the neural network are additionally checked as a result. This makes it possible to use the results of the detection and classification of the neural network in relatively uncritical traffic situations for controlling an autonomous motor vehicle.
  • the additional symbolic monitoring algorithm is configured to examine output data of the neural network, which contains the results of the detection and the classification of the object by the neural network.
  • the output data contains a representation of the detected and classified object, which is checked for predefined properties by the additional monitoring algorithm.
  • the additional symbolic monitoring algorithm can check, for example, whether a geometry of the object, a size of the object and/or its color are meaningfully represented within the output data. Alternatively or additionally, it can also be checked whether a color distribution corresponds to sensible specifications.
  • the symbolic monitoring algorithm and/or the additional symbolic monitoring algorithm comprises a plurality of symbolic sub-algorithms or additional symbolic sub-algorithms.
  • This can be, for example, a bright point detector and/or a circle detector and/or a symbolic classifier.
  • the sensor data is provided at a predefined frequency and the consistency check is carried out at predefined time intervals.
  • the method can advantageously be adapted to a traffic situation as a result.
  • the consistency check can take place at different time intervals depending on the traffic situation. For example it may be necessary in the immediate vicinity of an intersection or in a critical situation to carry out consistency checks at shorter time intervals.
  • results of the detection and classification of the neural network and the symbolic monitoring algorithm are stored in a memory.
  • statistics are created on the results of a plurality of consistency checks within a predefined period of time. This temporal statistic can advantageously increase the reliability of the detection and/or the classification of the object and thereby contribute to more safety in road traffic.
  • the first detection and classification path and the second detection and classification path do not have to be designed with identical performance.
  • One detection and classification path can be superior (e.g. the first detection and classification path comprising the neural network) and mainly enable availability and high comfort behavior of an autonomous motor vehicle, while the other detection and classification path can validate more critical decisions.
  • the statistics include information about how often the object was detected by the neural network and the symbolic monitoring algorithm and how often results of the neural network were validated by the symbolic monitoring algorithm for detection and classification.
  • the object is considered detected and classified when there are a predefined number of consistent results.
  • the predefined number of consistent events is determined depending on a distance of the object from the sensor. In principle, the closer the object is to the sensor, the more likely it is that it can be correctly detected and correctly classified. A certain number of consistent results on both detection and classification paths are required for critical driving maneuvers. For comfortable driving maneuvers, on the other hand, a detection and classification path can be sufficient to deliver reliable results. This approach is based on the idea that critical driving maneuvers tend to be in the near range of an object, such as a traffic signal system, must be initiated. In the area close to the object, both detection and classification paths can detect the object with a high probability. This procedure thus prevents the naturally different detection probabilities/performances of the two detection and classification paths from deteriorating a detection and classification performance overall, which can be the case, for example, due to a failed comparison at a great distance from the object.
  • the senor is a camera that provides images as sensor data.
  • a camera advantageously makes it possible to capture colors of the object and an area surrounding the object, as a result of which states of traffic signal systems can be captured, for example.
  • traffic signs, vehicles, pedestrians, cyclists or other road users or objects can also be detected and classified.
  • the senor is part of an autonomous motor vehicle.
  • an object that is considered to be detected and classified is taken into account as part of an automatic control of the autonomous motor vehicle.
  • the vehicle is operated based on the classification. For example, lateral and/or longitudinal control can take place based on the classification.
  • a system is set up to carry out the method for detecting and classifying at least one object.
  • a computer program includes instructions which, when the computer program is executed by a computer, are used to carry out the method for detecting and classifying at least one object.
  • the computer program is stored on a machine-readable storage medium.
  • Fig. 2 a system is set up to carry out the method of Fig. 1;
  • FIG. 1 schematically shows a method 10 for detecting and classifying at least one object in road traffic.
  • sensor data from a sensor are provided.
  • a camera that provides sensor data in the form of images can be used as a sensor.
  • the camera can be designed to generate images in the visible electromagnetic spectrum.
  • the camera can also be designed as an infrared camera.
  • a camera does not necessarily have to be used as a sensor.
  • the sensor could also be a LIDAR (light detection and ranging) system, for example.
  • the sensor can be a component of an autonomous motor vehicle, for example. However, the sensor can also be part of an ordinary motor vehicle.
  • a neural network based on the sensor data.
  • the neural network can be provided with images that are recorded as part of a journey by an autonomous motor vehicle.
  • the neural network can be embodied, for example, as a deep neural network (DNN), ie the neural network can have a large number of processing neuron layers.
  • the neural network can also be a convolutional network (CNN), for example.
  • the neural network is trained to detect and classify objects.
  • the neural network can do this be trained to detect and classify traffic lights intended for traffic management in road traffic.
  • the neural network can be trained to detect and classify street signs and/or other objects such as motor vehicles or buildings.
  • the training of the neural network can also include learning to detect and classify pedestrians and/or cyclists.
  • a suitable neural network can be used depending on which objects are to be detected and classified within the scope of the method 10 .
  • the neural network represents a first detection and classification path.
  • the neural network As a result of the detection and the classification, the neural network generates output data containing a representation of the detected and classified object.
  • the neural network can be designed in such a way that detected objects are surrounded by a rectangular box (English: bounding box).
  • the neural network can also be designed to detect and classify colors in the sensor data. This allows the neural network to recognize a status of a traffic signal system, for example.
  • Information about states of light signal systems can be used within the framework of an automatic control of an autonomous motor vehicle.
  • a third method step 13 of the method 10 which can be carried out simultaneously with the second method step 12, the at least one object is additionally detected and classified redundantly by means of a symbolic monitoring algorithm based on the sensor data.
  • the symbolic monitoring algorithm is based on a symbolic approach. In this case, trained examples are represented explicitly. In this way, the decision-making process of the symbolic monitoring algorithm can be understood and reasons for a decision-making process can be named. This is not the case with the neural network.
  • the symbolic monitoring algorithm represents a second redundant detection and classification path.
  • a fourth method step 14 of the method 10 it is checked whether the neural network and the symbolic monitoring algorithm deliver consistent results with regard to the detection and the classification of the object. If this is the case, the object is considered to have been detected and classified. In this case, information about the object can be used, for example, as part of an automatic control of an autonomous motor vehicle. For example, a status of a traffic signal system can be detected, classified and used for automatic control. For example, the object can be considered detected and classified if there is a predefined number of consistent results. Because the neural network is additionally monitored using the symbolic monitoring algorithm, the object can be reliably detected and classified. The method can advantageously contribute to road traffic safety through a high degree of reliability.
  • an additional symbolic monitoring algorithm is used to check whether the object detected and classified by the neural network has predefined properties.
  • the additional symbolic monitoring algorithm is also based on a symbolic approach and is classically rule-based.
  • the additional symbolic monitoring algorithm is designed to check the representation of the detected and classified object in the output data of the neural network.
  • the additional symbolic monitoring algorithm can check, for example, whether a geometry of the object, a size of the object and/or its color are meaningfully represented within the output data. Alternatively or additionally, it can also be checked whether a color distribution, e.g. in traffic lights, corresponds to sensible specifications. If the object does not have any predefined properties, in one embodiment of the method 10 the detection and the classification of the object are marked as unreliable.
  • the symbolic monitoring algorithm and/or the additional symbolic monitoring algorithm can comprise a plurality of symbolic sub-algorithms or additional symbolic sub-algorithms.
  • the symbolic surveillance algorithms may include a bright spot detector.
  • a bright point detector is designed to detect and/or classify bright pixels in front of a dark background within an image.
  • the symbolic monitoring algorithms can alternatively or additionally include a circle detector.
  • a bright point detector and a circle detector are suitable, for example, for the detection and classification of signal transmitters of a traffic light system in road traffic.
  • a further symbolic sub-algorithm can be designed, for example, to count a number of colored pixels within the signal generator in order to compare the signal state recognized by the neural network with the state that results from the plurality of colored pixels.
  • the method 10 can be carried out, for example, in such a way that the sensor data is provided at a predefined frequency.
  • the sensor data can be provided with a frequency of 15 Hz, for example. However, this is not mandatory.
  • the sensor data can be provided at any frequency for the detection and classification of at least one object.
  • the consistency check or a plurality of consistency checks can also take place at predefined time intervals, for example every 40 seconds. However, consistency checks can also be carried out at other time intervals.
  • the time intervals can be regular or irregular.
  • the time intervals between the consistency checks can be predefined as a function of a distance between the object and the sensor, for example.
  • the results of the detection and classification of the neural network and the symbolic monitoring algorithm can be stored in a memory.
  • statistics are created on the results of a plurality of consistency checks within a predefined period of time. This procedure can also be referred to as "merge and track", since the results of the detection and classification of the neural network and the symbolic monitoring algorithm are each linked and recorded over a certain period of time.
  • the statistics can, for example, contain information about calculated how often the object was detected by the neural network and by the symbolic monitoring algorithm and how often results of the neural network were validated by the symbolic monitoring algorithm with regard to detection and classification. In this case, too, the object can be deemed to have been detected and classified, for example, if there is a predefined number of consistent results. Whether the object is considered to be detected and/or classified can be displayed in a seventh optional method step 17 .
  • the object considered to be detected and classified can be taken into account, for example, as part of an automatic control of the autonomous motor vehicle.
  • a traffic light system that was in a red phase at the time of detection can be detected.
  • the autonomous motor vehicle may be stopped in response.
  • the predefined number of consistent events can be defined as a function of a distance of the object from the sensor. A probability that an object is correctly detected and classified increases with decreasing distance. If the method 10 is used as part of an automatic control of an autonomous motor vehicle, a specific number of consistent results on both detection and classification paths is required for critical driving maneuvers. For comfortable driving maneuvers, on the other hand, a detection and classification path can be sufficient to deliver reliable results.
  • FIG. 2 schematically shows a system 20 set up to carry out the method 10 of FIG. 1 .
  • the system 20 has the sensor 21 .
  • the sensor 21 is designed to generate the sensor data and to make the neural network 22 and the symbolic monitoring algorithm 23 available.
  • the symbolic monitoring algorithm 23 may comprise the bright spot detector 24, the circle detector 25 and/or a symbolic classifier 26.
  • the system 20 also includes the additional symbolic monitoring algorithm 27 . However, this is only optional and can also be omitted.
  • System 20 may also include memory 28 .
  • the system 20 has a comparison device 29 to check whether the neural network and the symbolic monitoring algorithm deliver consistent results with regard to the detection and the classification of the object.
  • the comparison device 29 can be designed to create the statistics on the results of a plurality of consistency checks within a predefined period of time.
  • an additional evaluation device which is not shown in FIG. 2, can be designed to create the statistics.
  • the comparison device 29 or alternatively a display device not shown in FIG. 2 can be designed to mark the object as detected and classified if a predefined number of consistent results, for example within the framework of the statistics, are present.
  • the system 20 can, for example, be part of a motor vehicle 40 , for example an autonomous motor vehicle 40 . All the elements of the system 20 shown in FIG. 2 can be part of a motor vehicle 40 . However, this is not mandatory.
  • the system 20 can only partially be a component of a motor vehicle 40, for example. It is possible, for example, that only the sensor 21 of the system 20 is part of a motor vehicle 40 .
  • FIG. 3 schematically shows a machine-readable storage medium 30 on which a computer program 31 is stored, which includes instructions 32 which, when the computer program is executed by a computer, cause the latter to execute the method of FIG. 1 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Ein Verfahren (10) zum Detektieren und Klassifizieren von zumindest einem Objekt im Straßenverkehr umfasst folgende Verfahrensschritte (11, 12, 13, 14). Zunächst werden Sensordaten eines Sensors (21) bereitgestellt. Mittels eines neuronalen Netzes (22) wird auf Basis der Sensordaten zumindest ein Objekt detektiert und klassifiziert. Zusätzlich wird das Objekt auf Basis der Sensordaten mittels eines symbolischen Überwachungsalgorithmus (23) detektiert und klassifiziert. Es wird geprüft, ob das neuronale Netz (22) und der symbolischen Überwachungsalgorithmus (23) konsistente Ergebnisse hinsichtlich der Detektion und der Klassifikation des Objekts liefern.

Description

Beschreibung
Verfahren zum Detektieren und Klassifizieren von Objekten im Straßenverkehr
Die vorliegende Erfindung betrifft ein Verfahren zum Detektieren und Klassifizieren von zumindest einem Objekt im Straßenverkehr.
Im Rahmen einer Steuerung eines autonomen Kraftfahrzeugs ist eine Detektion von Lichtsignalanlagen ein sicherheitsrelevanter Aspekt. Beispielsweise kann es sein, dass ein fälschlicherweise detektiertes Signal, das ein Anhalten des autonomen Kraftfahrzeugs erfordert, dazu führt, dass im Rahmen der Steuerung ein plötzlicher Bremsvorgang eingeleitet wird, der beispielsweise zu einem Auffahrunfall führen kann. Umgekehrt kann es sein, dass ein solches Signal nicht erkannt wird, was zu einer Verletzung von Verkehrsregeln und auch zu einem Unfall führen kann. Aus diesem Grund sollte ein Verfahren zum Detektieren und Klassifizieren einer Lichtsignalanlage derart ausgebildet sein, dass unerwartete oder nicht angebrachte Fahrmanöver vermieden werden können. Darüber hinaus muss ein entsprechendes Detektionssystem gegen Missbrauch und Angriffe geschützt sein.
Allgemein kann eine Detektion eines Objekts derart zerlegt werden, dass verschiedene Sensoren daran beteiligt sind, wodurch eine geringere Zuverlässigkeit eines ersten Sensors durch eine relativ höhere Zuverlässigkeit eines zweiten Sensors kompensiert werden kann. Bei der Detektion von Lichtsignalanlagen im Straßenverkehr ist dies jedoch nicht möglich, da lediglich eine Sensormodalität, nämlich eine Kamera eine Farbe eines Signalgebers einer Lichtsignalanlage erfassen kann, indem sie Farbbilder der Lichtsignalanlage bereitstellt. Aus diesem Grund ist es erforderlich, ein Mindestmaß einer Integrität der Detektion von Lichtsignalanlagen durch eine Kamera sicherzustellen. Dies kann beispielsweise dadurch erreicht werden, dass die Detektion in redundanter Art und Weise erfolgt. Es ist bekannt neuronale Netze zur Detektion und Klassifikation von Lichtsignalanlagen in Bildern einer Kamera zu verwenden. Ein Vorteil von neuronalen Netzen besteht darin, dass sie eine hohe Objekterkennungswahrscheinlichkeit und nur eine geringe Anzahl falscher positiver Ergebnisse liefern. Neuronale Netze weisen allerdings auch Nachteile auf. Beispielsweise handelt es sich hierbei um eine Technologie, deren Eigenschaften noch nicht vollständig nachvollzogen werden können. Ein Entscheidungsprozess eines neuronalen Netzes kann beispielsweise nicht analysiert und interpretiert werden. Dadurch bleibt es unklar, wodurch ein neuronales Netz dazu veranlasst wird, bestimmte Entscheidungen zu treffen. Auch wenn ein neuronales Netz mittels eines umfassenden Datensatzes trainiert und getestet werden kann, so kann es sich dennoch aufgrund von seltenen oder untypischen Verkehrsszenarien oder Verkehrssituationen, die nicht ausreichend im Trainings- und Testdatensatz repräsentiert sind, oder aufgrund von Rauschen und/oder Artefakten in einem Bild auf unerwartete Art und Weise verhalten.
Ferner sind neuronale Netze anfällig für Angriffe mittels künstlichen Mustern, die eine falsche Detektion und/oder Klassifikation bewirken können. Solche Muster können beispielsweise auf Folie gedruckt sein und auf einer Windschutzscheibe eines Kraftfahrzeugs und/oder auf einem Signalgeber einer Lichtsignalanlage aufgeklebt sein. Die Muster könnten jedoch auch virtuell erzeugt und mit den Bildern einer Kamera überlagert werden.
Eine Aufgabe der vorliegenden Erfindung besteht darin, ein verbessertes Verfahren zum Detektieren und Klassifizieren von zumindest einem Objekt im Straßenverkehr anzugeben, ein System, das dazu eingerichtet ist, das Verfahren auszuführen, bereitzustellen, ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen dazu veranlassen, das Verfahren auszuführen, bereitzustellen und ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist, bereitzustellen. Diese Aufgabe wird durch ein Verfahren zum Detektieren und Klassifizieren von zumindest einem Objekt im Straßenverkehr, durch ein System, das dazu eingerichtet ist, das Verfahren auszuführen, ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen dazu veranlassen, das Verfahren auszuführen und ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist mit den Merkmalen der jeweils unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in abhängigen Ansprüchen angegeben.
Ein Verfahren zum Detektieren und Klassifizieren von zumindest einem Objekt im Straßenverkehr umfasst folgende Verfahrensschritte. Zunächst werden Sensordaten eines Sensors bereitgestellt. Mittels eines neuronalen Netzes wird auf Basis der Sensordaten zumindest ein Objekt detektiert und klassifiziert. Zusätzlich wird das Objekt auf Basis der Sensordaten mittels eines redundanten symbolischen Überwachungsalgorithmus detektiert und klassifiziert. Es wird geprüft, ob das neuronale Netz und der symbolischen Überwachungsalgorithmus konsistente Ergebnisse hinsichtlich der Detektion und der Klassifikation des Objekts liefern.
Bei dem Objekt kann es sich beispielsweise um eine Lichtsignalanlage mit Signalgebern handeln, die zur Verkehrsführung im Straßenverkehr vorgesehen ist. Das Objekt kann jedoch auch ein Schild, ein Kraftfahrzeug, ein Fußgänger oder ein Fahrradfahrer sein. Der symbolische Überwachungsalgorithmus beruht auf einem symbolischem Ansatz maschinellen Lernens. Es handelt hierbei also um einen klassischen und regelbasierten Algorithmus. Beim symbolischen Überwachungsalgorithmus sind trainierte Beispiele explizit repräsentiert, d.h. Entscheidungsfindungen des symbolischen Überwachungsalgorithmus sind nachvollziehbar. Im Gegensatz dazu beruht das neuronale Netz auf einem nicht-/ subsymbolischen Ansatz, d.h. trainierte Beispiele sind implizit repräsentiert.
Das Verfahren zeichnet sich vorteilhafterweise dadurch aus, dass eine redundante Detektion und Klassifikation des Objekts erfolgt. Das neuronale Netz stellt einen ersten Detektions- und Klassifikationspfad dar, während der symbolische Überwachungsalgorithmus einen zweiten Detektions- und Klassifikationspfad darstellt. Der zweite Detektions- und Klassifikationspfad ist dabei unabhängig vom ersten Detektionspfad ausgebildet. Dadurch, dass das neuronale Netz zusätzlich überwacht wird, kann das Objekt zuverlässig detektiert und klassifiziert werden, selbst wenn das neuronale Netz anfällig für Fehldetektionen und/oder fehlerhafte Klassifikationen ist. Darüber hinaus kann es der zweite Detektionspfad ermöglichen, dass Angriffe mittels dem neuronalen Netz nicht antrainierten künstlichen Mustern, die dazu ausgebildet sind, das neuronale Netz zu täuschen, verhindert werden können (englisch: adversarial attacks). Das Verfahren kann vorteilhafterweise durch ein hohes Maß an Zuverlässigkeit zur Sicherheit im Straßenverkehr beitragen.
In einer Ausführungsform prüft vor der Konsistenzprüfung ein zusätzlicher symbolischer Überwachungsalgorithmus, ob das vom neuronalen Netz detektierte und klassifizierte Objekt vordefinierte Eigenschaften aufweist. Vorteilhafterweise werden Ergebnisse des neuronalen Netzes dadurch zusätzlich überprüft. Dies ermöglicht es, die Ergebnisse der Detektion und Klassifikation des neuronalen Netzes in relativ unkritischen Verkehrssituationen für eine Steuerung eines autonomen Kraftfahrzeugs zu verwenden. Der zusätzliche symbolische Überwachungsalgorithmus ist dazu ausgebildet, Ausgabedaten des neuronalen Netzes, die die Ergebnisse der Detektion und der Klassifikation des Objekts durch das neuronalen Netzes enthalten, zu überprüfen. Die Ausgabedaten enthalten eine Repräsentation des detektierten und klassifizierten Objekts, die vom zusätzlichen Überwachungsalgorithmus auf vordefinierte Eigenschaften hin überprüft werden. Dabei kann vom zusätzlichen symbolischen Überwachungsalgorithmus beispielsweise überprüft werden, ob eine Geometrie des Objekts, eine Größe des Objekts und/oder seine Farbe innerhalb der Ausgabedaten sinnvoll repräsentiert sind. Alternativ oder zusätzlich kann auch überprüft werden, ob eine Farbverteilung sinnvollen Vorgaben entspricht.
In einer Ausführungsform umfasst der symbolische Überwachungsalgorithmus und/oder der zusätzliche symbolische Überwachungsalgorithmus eine Mehrzahl symbolischer Subalgorithmen bzw. zusätzlicher symbolischer Subalgorithmen. Hierbei kann es sich beispielsweise um einen Hellpunkterkenner und/oder einen Kreiserkenner und/oder einen symbolischen Klassifikator handeln.
In einer Ausführungsform werden die Sensordaten mit einer vordefinierten Frequenz bereitgestellt und die Konsistenzprüfung erfolgt in vordefinierten zeitlichen Abständen. Vorteilhafterweise kann das Verfahren dadurch einer Verkehrssituation angepasst werden. Beispielsweise kann die Konsistenzprüfung je nach Verkehrssituation in unterschiedlichen zeitlichen Abständen erfolgen. Beispielsweise kann es in der unmittelbaren Nähe einer Kreuzung oder in einer kritischen Situation erforderlich sein, Konsistenzprüfungen in kürzeren zeitlichen Abständen durchzuführen.
In einer Ausführungsform werden Ergebnisse der Detektion und Klassifikation des neuronalen Netzes und des symbolischen Überwachungsalgorithmus in einem Speicher hinterlegt. Im Rahmen eines zusätzlichen Verfahrensschritts des Verfahrens wird eine Statistik über die Ergebnisse einer Mehrzahl von Konsistenzprüfungen innerhalb eines vordefinierten Zeitraums erstellt. Diese zeitliche Statistik kann vorteilhafterweise die Zuverlässigkeit der Detektion und/oder der Klassifikation des Objekts erhöhen, und dadurch zu mehr Sicherheit im Straßenverkehr beitragen. Dadurch müssen der erste Detektions- und Klassifikationspfad und der der zweite Detektions- und Klassifikationspfad nicht identisch performant ausgebildet sein. Ein Detektions- und Klassifikationspfad kann überlegener sein (z. B. der das neuronale Netz aufweisende erste Detektions- und Klassifikationspfad) und hauptsächlich eine Verfügbarkeit und ein hohes Komfortverhalten eines autonomen Kraftfahrzeugs ermöglichen, während der andere Detektionsund Klassifikationspfad kritischere Entscheidungen validieren kann. In einer Ausführungsform enthält die Statistik Informationen darüber, wie oft das Objekt vom neuronalen Netz und vom symbolischen Überwachungsalgorithmus detektiert wurde und wie oft Ergebnisse des neuronalen Netzes durch den symbolischen Überwachungsalgorithmus bezüglich Detektion und Klassifikation validiert wurden.
In einer Ausführungsform gilt das Objekt als detektiert und klassifiziert, wenn eine vordefinierte Anzahl konsistenter Ergebnisse vorliegt. In einer Ausführungsform wird die vordefinierte Anzahl konsistenter Ereignisse abhängig von einem Abstand des Objekts zum Sensor festgelegt. Grundsätzlich gilt, dass je näher das Objekt am Sensor befindlich ist, es desto eher korrekt detektiert und korrekt klassifiziert werden kann. Für kritische Fahrmanöver ist eine bestimmte Anzahl konsistenter Ergebnisse auf beiden Detektions- und Klassifikationspfaden erforderlich. Für komfortable Fahrmanöver kann hingegen ein Detektions- und Klassifikationspfad genügen, um zuverlässige Ergebnisse zu liefern. Diesem Ansatz liegt der Gedanke zugrunde, dass kritische Fahrmanöver tendenziell im Bereich nahe eines Objekts, beispielsweise einer Lichtsignalanlage, eingeleitet werden müssen. Im Bereich nahe des Objekts, können beide Detektions- und Klassifikationspfade das Objekt mit einer hoher Wahrscheinlichkeit erkennen. Dieses Vorgehen verhindert somit, dass die naturgemäß unterschiedlichen Detektionswahrscheinlichkeiten/ -leistungen der beiden Detektions- und Klassifikationspfade eine Er- kennungs- und Klassifikationsleistung insgesamt verschlechtert, was beispielsweise aufgrund eines gescheiterten Vergleichs in großer Entfernung zum Objekt der Fall sein kann.
In einer Ausführungsform ist der Sensor eine Kamera, die Bilder als Sensordaten bereitstellt. Vorteilhafterweise ermöglicht es eine Kamera, Farben des Objekts und einer Umgebung des Objekts zu erfassen, wodurch beispielsweise Zustände von Lichtsignalanlagen erfasst werden können. Es können jedoch auch Verkehrsschilder, Fahrzeuge, Fußgänger, Fahrradfahrer oder andere Verkehrsteilnehmer oder Objekte detektiert und klassifiziert werden.
In einer Ausführungsform ist der Sensor Bestandteil eines autonomen Kraftfahrzeugs. In einer Ausführungsform wird ein als detektiert und klassifiziert geltendes Objekt im Rahmen einer automatischen Steuerung des autonomen Kraftfahrzeugs berücksichtigt. Hierbei wird das Fahrzeug basierend auf der Klassifikation betrieben. Beispielsweise kann eine Quer- und oder Längssteuerung basierend auf der Klassifikation erfolgen.
Ein System ist dazu eingerichtet, das Verfahren zum Detektieren und Klassifizieren von zumindest einem Objekt auszuführen. Ein Computerprogramm umfasst Befehle, die bei der Ausführung des Computerprogramms durch einen Computer dazu dienen, das Verfahren zum Detektieren und Klassifizieren von zumindest einem Objekt auszuführen. Das Computerprogramm ist auf einem maschinenlesbaren Speichermedium gespeichert.
Die oben beschriebenen Merkmale und Vorteile dieser Erfindung werden klarer und verständlicher im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den schematischen Zeichnungen näher erläutert werden. Es zeigen: Fig. 1 : ein Verfahren zum Detektieren und Klassifizieren von zumindest einem Objekt im Straßenverkehr;
Fig. 2: ein System ist dazu eingerichtet, das Verfahren der Fig. 1 auszuführen; und
Fig. 3. ein maschinenlesbares Speichermedium auf dem ein Computerprogramm gespeichert ist, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen dazu veranlassen, das Verfahren der Fig.
1 auszuführen.
Fig. 1 zeigt schematisch ein Verfahren 10 zum Detektieren und Klassifizieren von zumindest einem Objekt im Straßenverkehr.
Im Rahmen eines ersten Verfahrensschritts 11 des Verfahrens 10 werden Sensordaten eines Sensors bereitgestellt. Als Sensor kann beispielsweise eine Kamera verwendet werden, die Sensordaten in Form von Bildern bereitstellt. Die Kamera kann beispielsweise dazu ausgebildet sein, Bilder im sichtbaren elektromagnetischen Spektrum zu generieren. Alternativ kann die Kamera auch als Infrarot-Kamera ausgebildet sein. Als Sensor muss jedoch nicht notwendigerweise eine Kamera verwendet werden. Der Sensor könnte beispielsweise auch ein LIDAR-System (englisch: light detection and ranging) sein. Der Sensor kann beispielsweise ein Bestandteil eines autonomen Kraftfahrzeugs sein. Der Sensor kann jedoch auch Bestandteil eines gewöhnlichen Kraftfahrzeugs sein.
In einem zweiten Verfahrensschritt 12 des Verfahrens 10 wird zumindest ein Objekt mittels eines neuronalen Netzes auf Basis der Sensordaten detektiert und klassifiziert. Beispielsweise können dem neuronalen Netz Bilder bereitgestellt werden, die im Rahmen einer Fahrt eines autonomen Kraftfahrzeugs erfasst werden. Das neuronale Netz kann beispielsweise als tiefes neuronales Netz ausgebildet sein (englisch deep neuronal network, DNN), d.h. das neuronale Netz kann eine hohe Anzahl von verarbeitenden Neuronenschichten aufweisen. Das neuronale Netz kann beispielsweise auch ein Faltungsnetz sein (englisch: convolutional neuronal network, CNN). Das neuronale Netz ist dazu trainiert, Objekte zu detektieren und zu klassifizieren. Beispielsweise kann das neuronale Netz dazu trainiert sein, Lichtsignalanlagen zu detektieren und zu klassifizieren, die zur Verkehrsführung im Straßenverkehr vorgesehen sind. Das neuronale Netz kann dazu trainiert sein, Straßenschilder und /oder andere Objekte wie Kraftfahrzeuge oder Gebäude zu detektieren und zu klassifizieren. Das Training des neuronalen Netzes kann auch das Erlernen der Detektion und Klassifikation von Fußgänger und/oder Fahrradfahrern umfassen. Je nachdem, welche Objekte im Rahmen des Verfahrens 10 detektiert und klassifiziert werden sollen, kann ein geeignetes neuronales Netz verwendet werden. Das neuronale Netz stellt einen ersten De- tektions- und Klassifikationspfad dar.
Als Ergebnis der Detektion und der Klassifikation erzeugt das neuronale Netz Ausgabedaten, die eine Repräsentation des detektierten und klassifizierten Objekts enthalten. Beispielsweise kann das neuronale Netz so entworfen sein, dass detektierte Objekte von einer rechteckigen Box umrahmt werden (englisch: bounding box). Das neuronale Netz kann auch dazu ausgebildet sein, Farben in den Sensordaten zu detektieren und zu klassifizieren. Dadurch kann das neuronale Netz beispielsweise einen Zustand einer Lichtsignalanlage erkennen. Informationen über Zustände von Lichtsignalanlagen können im Rahmen einer automatischen Steuerung eines autonomen Kraftfahrzeugs verwendet werden.
In einem dritten Verfahrensschritt 13 des Verfahrens 10, der gleichzeitig mit dem zweiten Verfahrensschritt 12 durchgeführt werden kann, wird das zumindest eine Objekt zusätzlich mittels eines symbolischen Überwachungsalgorithmus auf Basis der Sensordaten redundant detektiert und klassifiziert. Im Gegensatz zu einem neuronalen Netz, das auf einem nicht- und/ oder subsymbolischen Lernansatz beruht, bei dem trainierte Beispiele implizit repräsentiert sind, beruht der symbolische Überwachungsalgorithmus auf einem Symbolischen Ansatz. In diesem Fall sind trainierte Beispiele explizit repräsentiert. Dadurch kann die Entscheidungsfindung des symbolischen Überwachungsalgorithmus nachvollzogen werden und Ursachen für eine Entscheidungsfindung benannt werden. Dies ist beim neuronalen Netz nicht der Fall. Der symbolische Überwachungsalgorithmus stellt einen zweiten redundanten Detektions- und Klassifikationspfad dar. In einem vierten Verfahrensschritt 14 des Verfahrens 10 wird geprüft, ob das neuronale Netz und der symbolischen Überwachungsalgorithmus konsistente Ergebnisse hinsichtlich der Detektion und der Klassifikation des Objekts liefern. Ist dies der Fall gilt das Objekt als detektiert und klassifiziert. In diesem Fall können Informationen über das Objekt beispielsweise im Rahmen einer automatischen Steuerung eines autonomen Kraftfahrzeugs verwendet werden. Beispielsweise kann ein Zustand einer Lichtsignalanlage detektiert, klassifiziert und zu automatischen Steuerung verwendet werden. Das Objekt kann beispielsweise als detektiert und klassifiziert gelten, wenn eine vordefinierte Anzahl konsistenter Ergebnisse vorliegt. Dadurch, dass das neuronale Netz zusätzlich mittels des symbolischen Überwachungsalgorithmus überwacht wird, kann das Objekt zuverlässig detektiert und klassifiziert werden. Das Verfahren kann vorteilhafterweise durch ein hohes Maß an Zuverlässigkeit zur Sicherheit im Straßenverkehr beitragen.
In einem optionalen fünften Verfahrensschritt 15 des Verfahrens 10 wird vor der Konsistenzprüfung mittels eines zusätzlichen symbolischen Überwachungsalgorithmus überprüft, ob das vom neuronalen Netz detektierte und klassifizierte Objekt vordefinierte Eigenschaften aufweist. Der zusätzliche symbolische Überwachungsalgorithmus basiert ebenfalls auf einem symbolischen Ansatz und ist klassisch regelbasiert ausgebildet. Der zusätzliche symbolische Überwachungsalgorithmus ist dazu ausgebildet, die Repräsentation des detektierten und klassifizierten Objekts in den Ausgabedaten des neuronalen Netzes zu überprüfen. Dabei kann vom zusätzlichen symbolischen Überwachungsalgorithmus beispielsweise überprüft werden, ob eine Geometrie des Objekts, eine Größe des Objekts und/oder seine Farbe innerhalb der Ausgabedaten sinnvoll repräsentiert sind. Alternativ oder zusätzlich kann auch überprüft werden, ob eine Farbverteilung, z.B. bei Lichtsignalanlagen, sinnvollen Vorgaben entspricht. Weist das Objekt keine vordefinierten Eigenschaften auf, wird in einer Ausführungsform des Verfahrens 10 die Detektion und die Klassifikation des Objekts als unzuverlässig gekennzeichnet.
Der symbolische Überwachungsalgorithmus und/oder der zusätzliche symbolische Überwachungsalgorithmus können eine Mehrzahl symbolischer Subalgorithmen bzw. zusätzlicher symbolischer Subalgorithmen umfassen. Beispiels- weise können die symbolischen Überwachungsalgorithmen einen Hellpunkterkenner umfassen. Ein Hellpunkterkenner ist dazu ausgebildet, helle Pixel vor dunklem Hintergrund innerhalb eines Bildes zu detektieren und/oder zu klassifizieren. Die symbolischen Überwachungsalgorithmen können alternativ oder zusätzlich einen Kreiserkenner umfassen. Ein Hellpunkterkenner und ein Kreiserkenner eignen sich beispielsweise zur Detektion und Klassifikation von Signalgebern einer Lichtsignalanlage im Straßenverkehr. Ein weiterer symbolischer Subalgorithmus kann beispielsweise dazu ausgebildet sein, eine Anzahl von farbigen Pixeln innerhalb des Signalgebers zu zählen, um den vom neuronalen Netz erkannten Signalzustand mit dem Zustand zu vergleichen, der sich aus der Mehrzahl der farbigen Pixel ergibt.
Das Verfahren 10 kann beispielsweise derart ausgeführt werden, dass die Sensordaten mit einer vordefinierten Frequenz bereitgestellt werden. Die Sensordaten können beispielsweise mit einer Frequenz von 15Hz bereitgestellt werden. Dies ist jedoch nicht zwingend erforderlich. Die Sensordaten können mit einer beliebigen Frequenz für die Detektion und Klassifikation von zumindest einem Objektbereitgestellt werden. Zusätzlich kann auch die Konsistenzprüfung bzw. eine Mehrzahl von Konsistenzprüfungen in vordefinierten zeitlichen Abständen erfolgen, beispielsweise alle 40 Sekunden. Konsistenzprüfungen können jedoch auch in anderen zeitlichen Abständen erfolgen. Die zeitlichen Abstände können dabei regelmäßig oder unregelmäßig erfolgen. Die zeitlichen Abstände der Konsistenzprüfungen können beispielsweise in Abhängigkeit von einem Abstand des Objekts zum Sensor vordefiniert werden.
Die Ergebnisse der Detektion und Klassifikation des neuronalen Netzes und des symbolischen Überwachungsalgorithmus können in einem Speicher hinterlegt werden. In einem sechsten optionalen Verfahrensschritt 16 des Verfahrens 10 wird eine Statistik über die Ergebnisse einer Mehrzahl von Konsistenzprüfungen innerhalb eines vordefinierten Zeitraums erstellt. Dieses Vorgehen kann auch als „merge and track“ bezeichnet werden, da die Ergebnisse der Detektion und Klassifikation des neuronalen Netzes und des symbolischen Überwachungsalgorithmus jeweils über einen gewissen Zeitraum und miteinander verknüpft und aufgezeichnet werden. Die Statistik kann beispielsweise Informationen darüber enthal- ten, wie oft das Objekt vom neuronalen Netz und vom symbolischen Überwa- chungsalgorithmus detektiert wurde und wie oft Ergebnisse des neuronalen Netzes durch den symbolischen Überwachungsalgorithmus bezüglich Detektion und Klassifikation validiert wurden. Auch in diesem Fall kann das Objekt beispielsweise als detektiert und klassifiziert gelten, wenn eine vordefinierte Anzahl konsistenter Ergebnisse vorliegt. Ob das Objekt als detektiert und/oder klassifiziert gilt, kann in einem siebten optionalen Verfahrensschritt 17 angezeigt werden.
Das als detektiert und klassifiziert geltende Objekt kann beispielsweise im Rahmen einer automatischen Steuerung des autonomen Kraftfahrzeugs berücksichtigt werden. Beispielsweise kann eine Lichtsignalanlage detektiert werden, die sich zum Zeitpunkt der Detektion in einer Rotphase befand. Das autonome Kraftfahrzeug kann als Reaktion darauf angehalten werden. Um grundsätzlich angemessen auf eine Verkehrssituation reagieren zu können, kann in einer Ausführungsform des Verfahrens 10 die vordefinierte Anzahl konsistenter Ereignisse abhängig von einem Abstand des Objekts zum Sensor festgelegt werden. Eine Wahrscheinlichkeit dafür, dass ein Objekt korrekterweise detektiert und klassifiziert wird, nimmt mit abnehmendem Abstand zu. Wird das Verfahren 10 im Rahmen einer automatischen Steuerung eines autonomen Kraftfahrzeugs verwendet, ist für kritische Fahrmanöver eine bestimmte Anzahl konsistenter Ergebnisse auf beiden Detektions- und Klassifikationspfaden erforderlich. Für komfortable Fahrmanöver kann hingegen ein Detektions- und Klassifikationspfad genügen, um zuverlässige Ergebnisse zu liefern. Kritische Fahrmanöver müssen regelmäßig im Bereich nahe einer Lichtsignalanlage eingeleitet werden. Im Bereich nahe des Objekts, können beide Detektions- und Klassifikationspfade das Objekt mit einer hohen Wahrscheinlichkeit erkennen. Dieses Vorgehen verhindert somit, dass die naturgemäß unterschiedlichen Detektionswahrscheinlichkeiten/ -leistungen der beiden Detektions- und Klassifikationspfade eine Erkennungs- und Klassifikationsleistung insgesamt verschlechtert, was beispielsweise aufgrund eines gescheiterten Vergleichs in großer Entfernung zum Objekt der Fall sein kann.
Fig. 2 zeigt schematisch ein System 20, das dazu eingerichtet ist, das Verfahren 10 der Fig. 1 auszuführen. Das System 20 weist den Sensor 21 auf. Der Sensor 21 ist dazu ausgebildet, die Sensordaten zu generieren und dem neuronalen Netz 22 und dem symbolischen Überwachungsalgorithmus 23 bereitzustellen. Der symbolische Überwachungsalgorithmus 23 kann den Hellpunkterkenner 24, den Kreiserkenner 25 und/oder einen symbolischen Klassifikator 26 umfassen.
Das System 20 weist ferner den zusätzlichen symbolischen Überwachungsalgorithmus 27 auf. Dieser ist jedoch lediglich optional und kann auch entfallen. Das System 20 kann auch einen Speicher 28 aufweisen. Zum Überprüfen, ob das neuronale Netz und der symbolischen Überwachungsalgorithmus konsistente Ergebnisse hinsichtlich der Detektion und der Klassifikation des Objekts liefern, weist das System 20 eine Vergleichseinrichtung 29 auf. Die Vergleichseinrichtung 29 kann dazu ausgebildet sein, die Statistik über die Ergebnisse einer Mehrzahl von Konsistenzprüfungen innerhalb eines vordefinierten Zeitraums zu erstellen. Alternativ kann eine zusätzliche Evaluierungseinrichtung, die in Fig. 2 nicht gezeigt ist, dazu ausgebildet sein, die Statistik zu erstellen. Die Vergleichseinrichtung 29 oder alternativ eine in Fig. 2 nicht dargestellt Anzeigevorrichtung kann dazu ausgebildet sein, das Objekt als detektiert und klassifiziert zu kennzeichnen, wenn eine vordefinierte Anzahl konsistenter Ergebnisse, beispielsweise im Rahmen der Statistik, vorliegt.
Das System 20 kann beispielsweise Bestandteil eines Kraftfahrzeugs 40, beispielsweise eines autonomen Kraftfahrzeugs 40 sein. Dabei können alle in Fig. 2 dargestellten Elemente des Systems 20 Bestandteil eines Kraftfahrzeugs 40 sein. Dies ist jedoch nicht zwingend erforderlich. Das System 20 kann beispielsweise nur teilweise Bestandteil eines Kraftfahrzeugs 40 sein. Es ist beispielsweise möglich, dass lediglich der Sensor 21 des Systems 20 Bestandteil eines Kraftfahrzeugs 40 ist.
Fig. 3 zeigt schematisch ein maschinenlesbares Speichermedium 30 auf dem ein Computerprogramm 31 gespeichert ist, das Befehle 32 umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen dazu veranlassen, das Verfahren der Fig. 1 auszuführen.

Claims

Patentansprüche
1. Verfahren (10) zum Detektieren und Klassifizieren von zumindest einem Objekt im Straßenverkehr mit folgenden Verfahrensschritten (11, 12, 13, 14):
- Bereitstellen von Sensordaten eines Sensors (21),
- Detektieren und Klassifizieren zumindest eines Objekts mittels eines neuronalen Netzes (22) auf Basis der Sensordaten,
- Detektieren und Klassifizieren des Objekts mittels eines symbolischen Überwa- chungsalgorithmus (23) auf Basis der Sensordaten,
- Prüfen, ob das neuronale Netz (22) und der symbolischen Überwachungsalgo- rithmus (23) konsistente Ergebnisse hinsichtlich der Detektion und der Klassifikation des Objekts liefern.
2. Verfahren (10) gemäß Anspruch 1 , wobei vor der Konsistenzprüfung ein zusätzlicher symbolischer Überwachungsal- gorithmus (27) prüft, ob das vom neuronalen Netz (22) detektierte und klassifizierte Objekt vordefinierte Eigenschaften aufweist.
3. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei der symbolische Überwachungsalgorithmus (23) und/oder der zusätzliche symbolische Überwachungsalgorithmus (27) eine Mehrzahl symbolischer Subalgorithmen (24, 25, 26) bzw. zusätzlicher symbolischer Subalgorithmen umfasst.
4. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei die Sensordaten mit einer vordefinierten Frequenz bereitgestellt werden und die Konsistenzprüfung in vordefinierten zeitlichen Abständen erfolgt.
5. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei Ergebnisse der Detektion und Klassifikation des neuronalen Netzes (22) und des symbolischen Überwachungsalgorithmus (23) in einem Speicher (28) hinterlegt werden, wobei das Verfahren (10) folgenden zusätzlichen Verfahrensschritt (16) umfasst: - Erstellen einer Statistik über die Ergebnisse einer Mehrzahl von Konsistenzprüfungen innerhalb eines vordefinierten Zeitraums.
6. Verfahren (10) gemäß Anspruch 5, wobei die Statistik Informationen darüber enthält, wie oft das Objekt vom neuronalen Netz (22) und vom symbolischen Überwachungsalgorithmus (23) detektiert wurde und wie oft Ergebnisse des neuronalen Netzes (22) durch den symbolischen Überwachungsalgorithmus (23) bezüglich Detektion und Klassifikation validiert wurden.
7. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei das Objekt als detektiert und klassifiziert gilt, wenn eine vordefinierte Anzahl konsistenter Ergebnisse vorliegt.
8. Verfahren (10) gemäß Anspruch 7, wobei die vordefinierte Anzahl konsistenter Ereignisse abhängig von einem Abstand des Objekts zum Sensor (21) festgelegt wird.
9. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei der Sensor (21) eine Kamera ist, die Bilder als Sensordaten bereitstellt.
10. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei der Sensor (21) Bestandteil eines autonomen Kraftfahrzeugs (40) ist.
11. Verfahren (10) gemäß Anspruch 10, wobei ein als detektiert und klassifiziert geltendes Objekt im Rahmen einer automatischen Steuerung des autonomen Kraftfahrzeugs (40) berücksichtigt wird.
12. System (20), das dazu eingerichtet ist, ein Verfahren (10) gemäß einem der Ansprüche 1 bis 11 auszuführen.
13. Computerprogramm (31), umfassend Befehle (32), die bei der Ausführung des Computerprogramms (31) durch einen Computer diesen dazu veranlassen, ein Verfahren (10) gemäß einem der Ansprüchel bis 11 auszuführen. - 15 -
14. Maschinenlesbares Speichermedium (30), auf dem das Computerprogramm (31) gemäß Anspruch 13 gespeichert ist.
EP21746497.3A 2020-09-16 2021-07-26 VERFAHREN ZUM DETEKTIEREN UND KLASSIFIZIEREN VON OBJEKTEN IM STRAßENVERKEHR Pending EP4214628A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020211586.9A DE102020211586A1 (de) 2020-09-16 2020-09-16 Verfahren zum Detektieren und Klassifizieren von Objekten im Straßenverkehr
PCT/EP2021/070816 WO2022058074A1 (de) 2020-09-16 2021-07-26 VERFAHREN ZUM DETEKTIEREN UND KLASSIFIZIEREN VON OBJEKTEN IM STRAßENVERKEHR

Publications (1)

Publication Number Publication Date
EP4214628A1 true EP4214628A1 (de) 2023-07-26

Family

ID=77071583

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21746497.3A Pending EP4214628A1 (de) 2020-09-16 2021-07-26 VERFAHREN ZUM DETEKTIEREN UND KLASSIFIZIEREN VON OBJEKTEN IM STRAßENVERKEHR

Country Status (7)

Country Link
US (1) US20230306751A1 (de)
EP (1) EP4214628A1 (de)
JP (1) JP7562847B2 (de)
KR (1) KR20230069165A (de)
CN (1) CN116075867A (de)
DE (1) DE102020211586A1 (de)
WO (1) WO2022058074A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022131850A1 (de) 2022-12-01 2024-06-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Überprüfen einer mittels eines künstlichen neuronalen Netzwerks durchgeführten Objektklassifizierung für ein Kraftfahrzeug

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1779295A4 (de) * 2004-07-26 2012-07-04 Automotive Systems Lab Schutzsystem für gefährdete strassenbenutzer
JP5071198B2 (ja) 2008-03-28 2012-11-14 富士通株式会社 信号機認識装置，信号機認識方法および信号機認識プログラム
EP3291146A1 (de) 2016-09-05 2018-03-07 Fujitsu Limited Wissensextraktion aus einem neuronalen konvolutionsnetzwerk
US11308391B2 (en) 2017-03-06 2022-04-19 Baidu Usa Llc Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles
US10304329B2 (en) 2017-06-28 2019-05-28 Zendrive, Inc. Method and system for determining traffic-related characteristics
EP3687863A4 (de) 2017-09-29 2020-12-02 Netradyne, Inc. Bestimmung eines mehrfach-belichtungsereignisses

Also Published As

Publication number Publication date
KR20230069165A (ko) 2023-05-18
JP2023541205A (ja) 2023-09-28
WO2022058074A1 (de) 2022-03-24
JP7562847B2 (ja) 2024-10-07
DE102020211586A1 (de) 2022-03-17
US20230306751A1 (en) 2023-09-28
CN116075867A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
DE102015213521A1 (de) Verfahren und Vorrichtung zum Warnen vor einem falsch fahrenden Fahrzeug
DE102018222720B4 (de) Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen
DE102020209680B3 (de) Signalverarbeitungspfad, Vorrichtung zur Umfelderkennung und Verfahren zur Validierung eines automatisiert betreibbaren Fahrsystems
DE102020113611A1 (de) Verfahren und Sicherheitssystem zum Absichern einer automatisierten Fahrzeugfunktion und Kraftfahrzeug
DE102022205084B3 (de) Verfahren, Computerprogramm und Vorrichtung zur Umfeldwahrnehmung im Fahrzeug sowie entsprechendes Fahrzeug
WO2020020666A1 (de) Verfahren und vorrichtung zur kontrolle eines fahrverhaltens eines hochautomatisiert fahrenden fahrzeugs sowie infrastrukturanlage, fahrzeug oder überwachungsfahrzeug mit der vorrichtung
DE102017214531A1 (de) Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs in einem automatisierten Fahrbetrieb sowie Kraftfahrzeug
WO2022058074A1 (de) VERFAHREN ZUM DETEKTIEREN UND KLASSIFIZIEREN VON OBJEKTEN IM STRAßENVERKEHR
WO2022069546A1 (de) Verfahren zum erzeugen einer freigabe für eine nutzung eines seitenstreifens mittels eines überwachungssystems, sowie überwachungssystem
DE102019121919A1 (de) Identifizierung von Verschmutzungen auf einer Fahrbahn
DE102020215885A1 (de) Verfahren und system zur erkennung und mitigation von störungen
DE102019204269A1 (de) Verfahren und Einrichtung zum Erzeugen eines Statussignals
DE102015216086A1 (de) Verfahren und Vorrichtung zum Überwachen eines Zustandes einer elektronischen Schaltungseinheit eines Fahrzeugs
DE102018205146A1 (de) Testverfahren für hochauflösende Scheinwerfer mittels KI
DE102017206396A1 (de) Steuerverfahren, Steuereinheit, Umfelderfassungssystem und mobile und/oder stationäre Einrichtung
DE102021005731A1 (de) Verfahren zum Betrieb einer sensorgestützten Umgebungsüberwachung eines Fahrzeugs
DE102017207658A1 (de) Verfahren zum Identifizieren eines Fahrzeugs mit einem Zu-satzkennzeichen, und eine Vorrichtung zur Durchführung des Verfahrens
DE102021101363A1 (de) Bildbasiertes Verfahren zum Vereinfachen einer fahrzeugexternen Kontrollübernahme über ein Kraftfahrzeug, Assistenzeinrichtung und Kraftfahrzeug
DE102021201255A1 (de) Computerimplementiertes Verfahren und System zum Detektieren einer Sichteinschränkung eines bildgebenden Sensors und Trainingsverfahren
DE102021131868A1 (de) Zuverlässigkeitsüberprüfung einer Objektklassifizierung
EP4154499B1 (de) Reduzierung eines kollisionsrisikos mit einem verdeckten kraftfahrzeug
DE102020207990B4 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem
DE102023201045A1 (de) Verfahren zur dynamischen Konfiguration einer Sicherheitsarchitektur eines Fahrsystems für ein zumindest teilweise automatisches Fahren
DE102022211951A1 (de) Verfahren und Klassifikationsvorrichtung zum Verwenden eines Klassifikators zum Klassifizieren eines Objekts im Bereich einer Baumaschine und Baumaschine mit einer Klassifikationsvorrichtung
DE102004021547A1 (de) Verfahren und Anordnung zur Fahrerassistenz in Gefahrensituationen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230417

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)