EP4196903A1 - Method for operating an assistance system for determining a length of an object, computer program product, computer-readable storage medium and assistance system - Google Patents

Method for operating an assistance system for determining a length of an object, computer program product, computer-readable storage medium and assistance system

Info

Publication number
EP4196903A1
EP4196903A1 EP21752685.4A EP21752685A EP4196903A1 EP 4196903 A1 EP4196903 A1 EP 4196903A1 EP 21752685 A EP21752685 A EP 21752685A EP 4196903 A1 EP4196903 A1 EP 4196903A1
Authority
EP
European Patent Office
Prior art keywords
length
camera
computing device
electronic computing
assistance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21752685.4A
Other languages
German (de)
French (fr)
Inventor
Muhammad Nassef Abdelkader HASSAAN
Jean Francois Bariant
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4196903A1 publication Critical patent/EP4196903A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the invention relates to a method for operating an assistance system of a motor vehicle, in which an object in an area surrounding the motor vehicle is detected by means of a detection device of the assistance system and the object is classified by means of an electronic computing device of the assistance system for further evaluation by means of the electronic computing device, with depending a first length of the object is specified by the classification for further evaluation by means of the electronic computing device, and the object is additionally recorded and evaluated by means of a camera of the assistance system and classified by means of the camera and a second length of the object is determined and the classification and the second length can be transmitted to the electronic computing device for further evaluation. Furthermore, the invention relates to a computer program product, a computer-readable storage medium and an assistance system.
  • a front camera in a motor vehicle cannot measure the length of a dynamic object.
  • the camera classifies the object and, depending on this classification, a predefined length for this object is then determined.
  • the classification of the camera is not very stable, since it changes the class several times, for example from a passenger car to a truck.
  • the predefined length is then implemented by the camera to update an item of object information, for example during object tracking, the length cannot be changed, for example on the basis of another sensor.
  • the camera can specify that an object is 2.5 m long, while for example a lidar sensor device provides information that the object is 5 m long. This leads to conflicts in a tracking algorithm, so that the corresponding length can only be determined and used with difficulty.
  • US 2013/0245929 A1 discloses a filter method for sensor data that is formed by a sensor system for detecting objects.
  • a measurement takes place a scaling value from the sensor data, the scaling value corresponding to a change in the size of an object from the sensor data over a time interval, and determining a measurement error parameter of the scaling value and performing Kalman filtering that is directly based on the measured scaling value, the time interval, and the measurement error parameter based to estimate at least one normalized motion parameter of the object relative to the sensor system.
  • CN105631414 A relates to a vehicle-carried device and method for classifying multiple obstacles based on a Bayesian classifier.
  • the classification device consists of a camera and a PC connected to the camera, a Kalman filter module for performing Kalman filtering on the video image of the front of the vehicle captured by a camera and for detecting an obstacle, a feature extraction module for performing the feature extraction is used on the detected obstacle, and a Bayesian classification module used for using a Bayesian classifier to obtain the classification of the obstacle target according to the obstacle target's features, the features being a symmetry feature, a horizontal edge straightness feature and include a feature of aspect ratio; and the classification includes a cyclist/motorcyclist, a vehicle side face, a vehicle front face, and pedestrians.
  • the object of the present invention is to create a method, a computer program product, a computer-readable storage medium and an assistance system, by means of which improved object tracking for a motor vehicle can be carried out.
  • One aspect of the invention relates to a method for operating an assistance system of a motor vehicle, in which an object in an area surrounding the motor vehicle is detected by means of a detection device of the assistance system and the object is classified by means of an electronic computing device of the assistance system for further evaluation by means of the electronic computing device, wherein depending on the classification, a first length of the object for the further one Evaluation is specified by the electronic computing device and the object is also detected and evaluated by a camera of the assistance system and is classified by the camera and a second length of the object is determined and the classification and the second length are transmitted to the electronic computing device for further evaluation will.
  • object tracking which can also be referred to as object tracking
  • current length information about the object can thus be adjusted, for example.
  • the invention thus solves the problem that the length determined by means of the camera can be updated by means of other sensors without conflicts arising between further information about the length with the other sensors.
  • a method for processing the data from a vehicle camera, in particular a front camera is proposed or for tracking objects in the vehicle environment using a map, with a length of an object, for example another vehicle or a truck, being able to be determined and this length is now processed further, whereby the Kalman filter restriction is used in particular for this purpose.
  • the restricted Kalman filter can also be referred to as a constrained Kalman filter.
  • a minimum length for example 2.5 m for passenger cars or 5 m for trucks
  • a maximum length for example 5 m for passenger cars
  • this specification then in turn acting as a restriction on the Kalman filter for determining the length is given, so that these lie in these minimum and maximum values.
  • the classification of the object is thus carried out in order to estimate a length of the object.
  • the Kalman filter filters in particular over time, with a probability being specified, in particular by empirical tests. By appropriately classifying the object in an object class, a minimum length and/or a maximum length can be specified for the object.
  • the Kalman filter then in turn operates under a condition or constraint, this constraint for the Kalman filter being the particular class of camera.
  • A corresponds to the Langrage multiplier and is typically used to find the solution of a least squares problem with a constraint
  • x describes the new estimate considering the constraint
  • P n is the covariance matrix of the estimate without considering the constraint, i.e. the result of the Kalman filter.
  • D can also be used to specify a constraint to a linear combination of the state parameters, e.g.
  • the object in the camera is classified by means of a Bayesian filter of the camera.
  • the Bayes filter can be used to provide a simple yet reliable method by which the camera can be classified.
  • the Bayesian filter uses corresponding probabilities and can decide under given conditions whether a class change has taken place.
  • the Bayesian filter is thus switched between the classification of the camera and the electronic computing device, so that a sporadic class change of the camera can be filtered out using the Bayesian filter.
  • a short-term class jump can thus be neglected when evaluating the camera, so that a more reliable classification can be carried out.
  • the classification of the Bayes filter is then in turn transmitted to the electronic computing device for further evaluation.
  • a passenger car and a truck and a pedestrian and a bicycle and a motorcycle are specified for classification as object classes of the camera and/or electronic computing device.
  • Different object classes can thus be specified, in which case the object can then be divided into one of these classes.
  • possible road users can thus be classified, making robust object tracking possible.
  • each of the object classes of the camera is assigned the same probability in the Bayes filter at the beginning of a classification. For example, if five classes are specified, the probability in the Bayes filter at the beginning of the object classification would be 0.2 in particular. Thus, when object tracking is initialized, the respective probabilities for the object classes are assigned the same value.
  • an object class is determined by means of a further electronic computing device of the camera and this is transmitted to the Bayes filter and a respective probability of an object class im Bayes filter increased after a respective object class determination by the additional electronic computing device of the camera.
  • an object class can thus be determined by the camera, which in turn is then transmitted to the Bayes filter.
  • the Bayesian filter increases the probability for the passenger car object class, while the other probabilities for the other classes decrease.
  • the camera uses the additional electronic computing device to determine that the object of the object class can be assigned to a passenger car, then the probability in the Bayes filter is set to 0.7, for example.
  • the further probabilities for the further object classes decrease accordingly.
  • the classification of the camera can be filtered, allowing more robust object tracking to be performed.
  • the object is classified by the camera and this is transmitted to the electronic computing device.
  • a probability threshold value for one of the object classes is reached by the Bayes filter.
  • the object is classified by the camera and this is transmitted to the electronic computing device.
  • the probability in the Bayes filter is higher than 0.6, a corresponding classification is carried out by the Bayes filter.
  • the camera If a change is then carried out by the camera, in which case the camera then in turn transfers a different object class to the Bayes filter, the Bayes filter will reject this information since the probability is still too high to carry out a change of object class.
  • the camera should inform the Bayesian filter over a specified period of time that a corresponding class change is to be carried out.
  • the limitation of the Kalman filter is specified as a linear limitation.
  • the restricted Kalman filter is based on an estimate of the Kalman filter after a measurement update (update) x n and performs a further estimation x such that the linear constraint
  • the current length is adjusted to the second length determined by the camera using the restricted Kalman filter. A reliable length update is thus made possible.
  • the current length is adjusted to the predefined first length by means of the Kalman filter. This allows a reliable and robust length update to be performed.
  • the object in the surroundings is detected by means of an ultrasonic sensor device and/or by means of a radar sensor device and/or by means of a lidar sensor device as the detection device.
  • the object can preferably be detected by means of the radar sensor device and/or by means of the lidar sensor device, since these have in particular a large range and high resolution.
  • a length of the object can be reliably determined by means of the radar sensor device and/or by means of the lidar sensor device.
  • a further aspect of the invention relates to a computer program product with program code means which are stored in a computer-readable medium in order to carry out the method for operating the assistance system according to the preceding aspect when the computer program product is processed on a processor of an electronic computing device.
  • Yet another aspect of the invention relates to a computer-readable storage medium with a computer program product according to the preceding aspect.
  • the computer-readable storage medium can in particular be designed as part of an electronic computing device.
  • a further aspect of the invention relates to an assistance system for a motor vehicle with at least one detection device, with a camera and with an electronic computing device which has at least one restricted Kalman filter, the assistance system being designed to carry out a method according to the preceding aspect. In particular, the method is carried out using the assistance system.
  • Yet another aspect of the invention relates to a motor vehicle with an assistance system according to the preceding aspect.
  • the motor vehicle is designed in particular as a passenger car.
  • the motor vehicle can be operated in particular as an at least partially autonomous motor vehicle or as a fully autonomous motor vehicle.
  • Advantageous configurations of the method are to be regarded as advantageous configurations of the computer program product, the computer-readable storage medium, the assistance system and the motor vehicle.
  • the assistance system and the motor vehicle have specific features which enable the method to be carried out or an advantageous embodiment thereof.
  • FIG. 1 shows a schematic plan view of a motor vehicle with an embodiment of an assistance system
  • FIG. 2 shows a schematic flowchart according to an embodiment of the method.
  • the assistance system 2 has at least one detection device 3 and a camera 4. Furthermore, the assistance system 2 has an electronic computing device 5 . In particular, the camera 4 also has a further electronic computing device 6 . In particular, the electronic computing device 5 also has a restricted Kalman filter 7 .
  • the detection device 3 can in particular be embodied as an ultrasonic sensor device and/or as a radar sensor device and/or as a lidar sensor device.
  • FIG. 1 shows that an object 9 can be detected in an environment 8 of the motor vehicle 1 .
  • the object 9 can be a passenger car, a truck, a pedestrian, a bicycle or a motorcycle, for example.
  • the object 9 is shown in particular as a truck.
  • the object 9 in the surroundings 8 of the motor vehicle 1 is detected by the detection device 3 of the assistance system 2
  • the object 9 is detected by the electronic computing device 5 of the assistance system 2 for further evaluation by means of the electronic Computing device 5 is classified, with a first length L of the object 9 being specified for further evaluation by means of the electronic computing device 5 depending on the classification, and with the object 9 is detected and evaluated by the camera 4 of the assistance system 2 and classified by the camera 4 and a second length L of the object 9 is determined and the classification and the second length L are transmitted to the electronic computing device 5 for further evaluation.
  • the object 9 in the camera 4 is classified by means of a Bayes filter 10 of the camera 4 .
  • a car and a truck and a pedestrian and a bicycle and a motorcycle can be specified as object classes of the camera 4 and/or the electronic computing device 5 for classification.
  • each of the object classes of the camera 4 is assigned an equal probability in the Bayes filter 10 at the start of a classification.
  • the probabilities in the Bayes filter 10 result in particular in the value of 1.
  • a second step S2 of the method provision is made in particular for an object class to be determined using the additional electronic computing device 6 of the camera 4 and for this to be transmitted to the Bayes filter 10 and a respective probability of an object class in the Bayes filter 10 after a respective object class determination is increased by the additional electronic computing device 6 of the camera 4.
  • the probabilities being defined, for example, in such a way that a probability indicates that the camera 4 specifies, for example, that the object 9 is a motor vehicle, the object 9 also being a motor vehicle.
  • a true positive rate can thus be specified for the motor vehicle or the passenger car.
  • the Bayes filter also requires the probabilities in the event that the camera 4 reproduces that it is not a passenger car although it is a passenger car. In the sum are all Probabilities 1. In particular, only when the Bayes filter 10 reaches a probability threshold value for one of the object classes is the object 9 classified by the camera 4 and this is transmitted to the electronic computing device 5, the probability threshold value being able to be 0.6, for example .
  • the length L is then determined using the restricted Kalman filter 7, the restriction being in particular a linear restriction.
  • a class with the highest probability can be selected by the Bayes filter 10 .
  • a minimum length for example 2.5 m for passenger cars or 5 m for trucks, can then be specified, for example, or a maximum length, for example 5 m for passenger cars, with this specification then in turn as a restriction for the Kalman filter 7 to determine of the length L is specified, so that the determined length L lies in these minimum and maximum value ranges.
  • the third step S3 it can be provided in particular that if the length L of the object 9 determined by the camera 4 is greater than the predetermined first length L, then the current length L by means of the limited Kalman filter 7 to the by means of the camera 4 specific second length L is adjusted. Alternatively, if the length L of the object 9 determined using the camera 4 is less than the specified first length L, then the current length L is adjusted to the specified first length L using the restricted Kalman filter 7 .
  • the constraint of the Kalman filtering can be performed, for example, with a Kalman filter estimate after the first detection update x n and a further estimate x, which then satisfies the linear constraint
  • A corresponds to the Langrage multiplier and is typically used to find the solution of a least squares problem with a constraint
  • x describes the new estimate considering the constraint
  • P n is the covariance matrix of the estimate without considering the constraint, i.e. the result of the Kalman filter.
  • D can also be used to specify a constraint to a linear combination of the state parameters, e.g.
  • the figure shows a determination of the length using a camera 4 based on a filtered class.

Abstract

The invention relates to a method for operating an assistance system (2), in which an object (9) is detected and the object (9) is classified for further evaluation by means of an electronic computing device (5), wherein the classification is taken as a basis for predefining a first length (L) of the object (9), and wherein additionally the object (9) is captured by means of a camera (4), evaluated and classified and a second length (L) of the object (9) is determined and the classification and the second length (L) are transmitted to the electronic computing device (5), wherein the predefined first length (L) is adapted on the basis of the second length (L) to produce a current length (L) and a limited Kalman filter (7) is used to update the current length (L), the limitation of the Kalman filter (7) being predefined by the classification determined by means of the camera (4). The invention also relates to a computer program product, a computer-readable storage medium and an assistance system (2).

Description

Verfahren zum Betreiben eines Assistenzsystems zur Bestimmung einer Länge eines Objekts, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem Method for operating an assistance system for determining the length of an object, computer program product, computer-readable storage medium and assistance system
Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs, bei welchem ein Objekt in einer Umgebung des Kraftfahrzeugs mittels einer Erfassungseinrichtung des Assistenzsystems erfasst wird und das Objekt mittels einer elektronischen Recheneinrichtung des Assistenzsystems zur weiteren Auswertung mittels der elektronischen Recheneinrichtung klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge des Objekts für die weitere Auswertung mittels der elektronischen Recheneinrichtung vorgegeben wird, und wobei zusätzlich das Objekt mittels einer Kamera des Assistenzsystems erfasst und ausgewertet und mittels der Kamera klassifiziert wird und eine zweite Länge des Objekts bestimmt wird und die Klassifizierung und die zweite Länge an die elektronische Recheneinrichtung zur weiteren Auswertung übertragen werden. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem. The invention relates to a method for operating an assistance system of a motor vehicle, in which an object in an area surrounding the motor vehicle is detected by means of a detection device of the assistance system and the object is classified by means of an electronic computing device of the assistance system for further evaluation by means of the electronic computing device, with depending a first length of the object is specified by the classification for further evaluation by means of the electronic computing device, and the object is additionally recorded and evaluated by means of a camera of the assistance system and classified by means of the camera and a second length of the object is determined and the classification and the second length can be transmitted to the electronic computing device for further evaluation. Furthermore, the invention relates to a computer program product, a computer-readable storage medium and an assistance system.
Es ist bekannt, dass Kameras in Kraftfahrzeugen, beispielsweise eine Frontkamera im Kraftfahrzeug, keine Länge eines dynamischen Objekts messen können. Die Kamera klassifiziert das Objekt und in Abhängigkeit von dieser Klassifizierung wird dann eine vorgegebene Länge zu diesem Objekt bestimmt. Insbesondere ist die Klassifizierung der Kamera nicht sehr stabil, da diese beispielsweise mehrfach die Klasse ändert, beispielsweise von einem Personenkraftwagen zu einem Lastkraftwagen. Sollte dann die vorgegebene Länge von der Kamera zu einer Aktualisierung einer Objektinformation, beispielsweise bei einem Objekt-Tracking, durchgeführt werden, so kann eine Änderung der Länge, beispielsweise auf Basis eines anderen Sensors, nicht durchgeführt werden. Beispielsweise kann von der Kamera vorgegeben werden, dass ein Objekt 2,5 m lang ist, während beispielsweise eine Lidarsensor-Einrichtung eine Information gibt, dass das Objekt 5 m lang ist. Dies führt bei einem Tracking-Algorithmus zu Konflikten, so dass nur schwer die entsprechende Länge bestimmt und genutzt werden kann. It is known that cameras in motor vehicles, for example a front camera in a motor vehicle, cannot measure the length of a dynamic object. The camera classifies the object and, depending on this classification, a predefined length for this object is then determined. In particular, the classification of the camera is not very stable, since it changes the class several times, for example from a passenger car to a truck. If the predefined length is then implemented by the camera to update an item of object information, for example during object tracking, the length cannot be changed, for example on the basis of another sensor. For example, the camera can specify that an object is 2.5 m long, while for example a lidar sensor device provides information that the object is 5 m long. This leads to conflicts in a tracking algorithm, so that the corresponding length can only be determined and used with difficulty.
Die US 2013/0245929 A1 offenbart ein Filterverfahren für Sensordaten, die von einem Sensorsystem zur Erfassung von Objekten gebildet werden. Es erfolgen ein Messen eines Skalierungswerts aus den Sensordaten, wobei der Skalierungswert einer Änderung der Größe eines Objektes aus den Sensordaten über ein Zeitintervall entspricht, sowie ein Bestimmen eines Messfehlerparameters des Skalierungswerts und ein Ausführen einer Kalman-Filterung, die unmittelbar auf dem gemessenen Skalierungswert, dem Zeitintervall und dem Messfehlerparameter basiert, um mindestens einen normierten Bewegungsparameter des Objekts relativ zum Sensorsystem abzuschätzen. US 2013/0245929 A1 discloses a filter method for sensor data that is formed by a sensor system for detecting objects. A measurement takes place a scaling value from the sensor data, the scaling value corresponding to a change in the size of an object from the sensor data over a time interval, and determining a measurement error parameter of the scaling value and performing Kalman filtering that is directly based on the measured scaling value, the time interval, and the measurement error parameter based to estimate at least one normalized motion parameter of the object relative to the sensor system.
Die CN105631414 A bezieht sich auf eine Fahrzeug-getragene Vorrichtung und Methode zur Klassifizierung von mehreren Hindernissen auf der Grundlage eines Bayes- Klassifikators. Die Klassifizierungsvorrichtung besteht aus einer Kamera und einem PC, der mit Kamera verbunden ist, einem Kalman-Filter-Modul zur Durchführung der Kalman- Filterung an dem von einer Kamera aufgenommenen Videobild der Fahrzeugfront und zur Erkennung eines Hindernisses, einem Merkmalsextraktionsmodul, das zur Durchführung der Merkmalsextraktion an dem erkannten Hindernis verwendet wird, und einem Bayes- Klassifizierungsmodul, das für die Verwendung eines Bayes-Klassifikators verwendet wird, um die Klassifizierung des Hindernisziels gemäß den Merkmalen des Hindernisziels zu erhalten, wobei die Merkmale ein Symmetriemerkmal, ein Merkmal der horizontalen Kantengeradheit und ein Merkmal des Längen- und Breitenverhältnisses umfassen und die Klassifizierung einen Radfahrer/Motorradfahrer, eine Fahrzeugseitenfläche, eine Fahrzeugvorderseite und Fußgänger umfasst. CN105631414 A relates to a vehicle-carried device and method for classifying multiple obstacles based on a Bayesian classifier. The classification device consists of a camera and a PC connected to the camera, a Kalman filter module for performing Kalman filtering on the video image of the front of the vehicle captured by a camera and for detecting an obstacle, a feature extraction module for performing the feature extraction is used on the detected obstacle, and a Bayesian classification module used for using a Bayesian classifier to obtain the classification of the obstacle target according to the obstacle target's features, the features being a symmetry feature, a horizontal edge straightness feature and include a feature of aspect ratio; and the classification includes a cyclist/motorcyclist, a vehicle side face, a vehicle front face, and pedestrians.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem zu schaffen, mittels welchem eine verbesserte Objektverfolgung für ein Kraftfahrzeug durchgeführt werden kann. The object of the present invention is to create a method, a computer program product, a computer-readable storage medium and an assistance system, by means of which improved object tracking for a motor vehicle can be carried out.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben. This object is achieved by a method, a computer program product, a computer-readable storage medium and an assistance system according to the independent patent claims. Advantageous embodiments are specified in the dependent claims.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs, bei welchem ein Objekt in einer Umgebung des Kraftfahrzeugs mittels einer Erfassungseinrichtung des Assistenzsystems erfasst wird und das Objekt mittels einer elektronischen Recheneinrichtung des Assistenzsystems zur weiteren Auswertung mittels der elektronischen Recheneinrichtung klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge des Objekts für die weitere Auswertung mittels der elektronischen Recheneinrichtung vorgegeben wird und wobei zusätzlich das Objekt mittels einer Kamera des Assistenzsystems erfasst und ausgewertet wird und mittels der Kamera klassifiziert wird und eine zweite Länge des Objekts bestimmt wird und die Klassifizierung und die zweite Länge an die elektronische Recheneinrichtung zur weiteren Auswertung übertragen werden. One aspect of the invention relates to a method for operating an assistance system of a motor vehicle, in which an object in an area surrounding the motor vehicle is detected by means of a detection device of the assistance system and the object is classified by means of an electronic computing device of the assistance system for further evaluation by means of the electronic computing device, wherein depending on the classification, a first length of the object for the further one Evaluation is specified by the electronic computing device and the object is also detected and evaluated by a camera of the assistance system and is classified by the camera and a second length of the object is determined and the classification and the second length are transmitted to the electronic computing device for further evaluation will.
Es ist vorgesehen, dass die vorgegebene erste Länge in Abhängigkeit von der mittels der Kamera bestimmten zweiten Länge zu einer aktuellen Länge mittels der elektronischen Recheneinrichtung angepasst wird und mittels eines beschränkten Kalman-Filters der elektronischen Recheneinrichtung die aktuelle Länge aktualisiert wird, wobei die Beschränkung des Kalman-Filters durch die mittels der Kamera bestimmten Klassifizierung vorgegeben ist. Provision is made for the predetermined first length to be adapted to a current length by means of the electronic computing device as a function of the second length determined by means of the camera, and for the current length to be updated using a restricted Kalman filter of the electronic computing device, with the limitation of the Kalman -Filter is predetermined by the classification determined by the camera.
Dadurch ist es ermöglicht, dass eine verbesserte Objektverfolgung, welche auch als Objekt-Tracking bezeichnet werden kann, durchgeführt werden kann. Insbesondere können somit beispielsweise aktuelle Längeninformationen über das Objekt angepasst werden. Insbesondere löst somit die Erfindung das Problem, dass mittels anderer Sensoren die mittels der Kamera bestimmte Länge aktualisiert werden kann, ohne dass Konflikte zwischen weiteren Informationen über die Länge mit den anderen Sensoren entstehen. This makes it possible for improved object tracking, which can also be referred to as object tracking, to be able to be carried out. In particular, current length information about the object can thus be adjusted, for example. In particular, the invention thus solves the problem that the length determined by means of the camera can be updated by means of other sensors without conflicts arising between further information about the length with the other sensors.
Mit anderen Worten ist ein Verfahren zum Verarbeiten der Daten einer Fahrzeugkamera, insbesondere einer Frontkamera, vorgeschlagen beziehungsweise zum Tracken von Objekten in der Fahrzeugumgebung mittels einer Karte, wobei eine Länge eines Objekts, zum Beispiel ein anderes Fahrzeug oder ein Lastwagen, bestimmt werden kann und diese Länge nun weiterbearbeitet wird, wobei hierzu insbesondere der Beschränkung Kalman- Filter genutzt wird. Der beschränkte Kalman-Filter kann auch als Constrained-Kalman- Filter bezeichnet werden. In other words, a method for processing the data from a vehicle camera, in particular a front camera, is proposed or for tracking objects in the vehicle environment using a map, with a length of an object, for example another vehicle or a truck, being able to be determined and this length is now processed further, whereby the Kalman filter restriction is used in particular for this purpose. The restricted Kalman filter can also be referred to as a constrained Kalman filter.
Es kann also abhängig von der mittels der Kamera bestimmten Klasse dann beispielsweise eine minimale Länge, beispielsweise 2,5 m für Personenkraftwagen oder 5 m für Lastkraftwagen vorgegeben werden oder eine maximale Länge, beispielsweise 5 m für Personenkraftwagen, wobei diese Vorgabe dann wiederum als Beschränkung dem Kalman-Filter zur Bestimmung der Länge vorgegeben wird, so dass diese in diesen Minimal- und Maximalwerten liegen. Insbesondere wird somit die Klassifizierung des Objekts durchgeführt, um eine Länge des Objekts abzuschätzen. Der Kalman-Filter filtert insbesondere über die Zeit, wobei eine Wahrscheinlichkeit, insbesondere durch empirische Versuche, vorgegeben wird. Durch die entsprechende Klassifizierung des Objekts in einer Objektklasse kann insbesondere eine Mindestlänge und/oder eine Maximallänge für das Objekt vorgegeben werden. Der Kalman-Filter arbeitet dann wiederum unter einer Bedingung beziehungsweise Beschränkung, wobei diese Beschränkung für den Kalman-Filter die bestimmte Klasse der Kamera ist. Depending on the class determined by the camera, a minimum length, for example 2.5 m for passenger cars or 5 m for trucks, can then be specified, for example, or a maximum length, for example 5 m for passenger cars, with this specification then in turn acting as a restriction on the Kalman filter for determining the length is given, so that these lie in these minimum and maximum values. In particular, the classification of the object is thus carried out in order to estimate a length of the object. The Kalman filter filters in particular over time, with a probability being specified, in particular by empirical tests. By appropriately classifying the object in an object class, a minimum length and/or a maximum length can be specified for the object. The Kalman filter then in turn operates under a condition or constraint, this constraint for the Kalman filter being the particular class of camera.
Insbesondere kann mittels der nachfolgenden Formel unter der Bedingung D*x=d die Filterung mittels des beschränkten Kalman-Filters durchgeführt werden: In particular, filtering can be carried out using the restricted Kalman filter using the following formula under the condition D*x=d:
Hierdurch entsteht die Beschränkung als Schätzung: This gives the constraint as an estimate:
, wobei A dem Langrage-Multiplikator entspricht und wird typischerweise verwendet, um die Lösung eines Least-Square-Problems mit einer Nebenbedingung zu finden, x beschreibt die neue Schätzung unter Berücksichtigung der Beschränkung, ^entspricht der Erwartung der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. Pn ist die Kovarianzmatrix der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. D ist die Matrix, die die lineare Beschränkung auf den Zustand angibt, beispielsweise wenn nur ein bestimmter Wert des Zustands an einen festen Wert gebunden werden soll, D=[0, 0,0,1], wenn dies der vierte Wert des Zustands ist. D kann auch verwendet werden, um eine Beschränkung auf eine lineare Kombination der Zustandsparameter zu spezifizieren, beispielsweise wird D=[1 ,0,0, 0,0.5] eine Beschränkung auf die erste Komponente des Zustands plus die Hälfte der letzten Komponente spezifizieren. Es können mehrere lineare Beschränkungen gleichzeitig angegeben werden, dann hat D mehrere Zeilen, wie beispielsweise D=[0, 0,0,1 ; 1 ,0, 0,0,0] gibt zwei Beschränkungen an, eine auf den ersten Wert, eine auf den letzten Wert des Zustands, d ist der Wert der gewünschten Beschränkung(en). Die Anzahl der Zeilen von d ist die gleiche wie D. Gemäß einer vorteilhaften Ausgestaltungsform wird mittels eines Bayes-Filters der Kamera das Objekt in der Kamera klassifiziert. Insbesondere kann mittels des Bayes- Filters eine einfache und dennoch zuverlässige Methode bereitgestellt werden, mittels welcher die Klassifizierung der Kamera durchgeführt werden kann. Insbesondere nutzt das Bayes-Filter entsprechende Wahrscheinlichkeiten und kann unter gegebenen Bedingungen entscheiden, ob ein Klassenwechsel stattgefunden hat. Insbesondere wird somit das Bayes-Filter zwischen die Klassifizierung der Kamera und der elektronischen Recheneinrichtung geschaltet, so dass ein sporadischer Klassenwechsel der Kamera mittels des Bayes-Filters herausgefiltert werden kann. Somit kann ein kurzfristiger Klassensprung bei der Auswertung der Kamera vernachlässigt werden, so dass eine zuverlässigere Klassifizierung durchgeführt werden kann. Die Klassifizierung des Bayes- Filters wird dann wiederum an die elektronische Recheneinrichtung zur weiteren Auswertung übertragen. , where A corresponds to the Langrage multiplier and is typically used to find the solution of a least squares problem with a constraint, x describes the new estimate considering the constraint, ^corresponds to the expectation of the estimate without considering the constraint, i.e the result of the Kalman filter. P n is the covariance matrix of the estimate without considering the constraint, i.e. the result of the Kalman filter. D is the matrix that specifies the linear constraint on the state, e.g. if only one particular value of the state is to be bound to a fixed value, D=[0,0,0,1] if this is the fourth value of the state . D can also be used to specify a constraint to a linear combination of the state parameters, e.g. D=[1,0,0,0,0.5] will specify a constraint to the first component of the state plus half the last component. Multiple linear constraints can be specified at the same time, then D has multiple lines, such as D=[0, 0,0,1 ; 1 ,0,0,0,0] specifies two constraints, one on the first value, one on the last value of the state, d is the value of the desired constraint(s). The number of rows of d is the same as D. According to an advantageous embodiment, the object in the camera is classified by means of a Bayesian filter of the camera. In particular, the Bayes filter can be used to provide a simple yet reliable method by which the camera can be classified. In particular, the Bayesian filter uses corresponding probabilities and can decide under given conditions whether a class change has taken place. In particular, the Bayesian filter is thus switched between the classification of the camera and the electronic computing device, so that a sporadic class change of the camera can be filtered out using the Bayesian filter. A short-term class jump can thus be neglected when evaluating the camera, so that a more reliable classification can be carried out. The classification of the Bayes filter is then in turn transmitted to the electronic computing device for further evaluation.
Weiterhin vorteilhaft ist, wenn als Objektklassen der Kamera und/oder elektronischen Recheneinrichtung ein Personenkraftwagen und ein Lastkraftwagen und ein Fußgänger und ein Fahrrad und ein Motorrad zum Klassifizieren vorgegeben werden. Somit können unterschiedliche Objektklassen vorgegeben werden, wobei dann das Objekt in einer dieser Klassen eingeteilt werden kann. Insbesondere sind somit mögliche Verkehrsteilnehmer klassifizierbar, wodurch eine robuste Objektverfolgung ermöglicht ist. It is also advantageous if a passenger car and a truck and a pedestrian and a bicycle and a motorcycle are specified for classification as object classes of the camera and/or electronic computing device. Different object classes can thus be specified, in which case the object can then be divided into one of these classes. In particular, possible road users can thus be classified, making robust object tracking possible.
Weiterhin vorteilhaft ist, wenn jedem der Objektklassen der Kamera bei Beginn einer Klassifizierung eine gleiche Wahrscheinlichkeit im Bayes-Filter zugewiesen wird. Sollten beispielsweise fünf Klassen vorgegeben werden, so würde die Wahrscheinlichkeit im Bayes-Filter zu Beginn der Objektklassifizierung insbesondere 0,2 sein. Somit wird bei einer Initialisierung der Objektverfolgung den jeweiligen Wahrscheinlichkeiten für die Objektklassen der gleiche Wert zugewiesen. It is also advantageous if each of the object classes of the camera is assigned the same probability in the Bayes filter at the beginning of a classification. For example, if five classes are specified, the probability in the Bayes filter at the beginning of the object classification would be 0.2 in particular. Thus, when object tracking is initialized, the respective probabilities for the object classes are assigned the same value.
Ferner hat es sich als vorteilhaft erwiesen, wenn die Wahrscheinlichkeit im Bayes-Filter aufaddiert einen Wert von 1 ergeben. Somit können unterschiedliche Objektklassen berücksichtigt werden, wobei mittels des Bayes-Filters eine robuste Objektverfolgung, welche insbesondere dem sporadischen Objektklassenwechsel durch die Kamera entgegentritt, durchgeführt wird. Furthermore, it has proven to be advantageous if the added probability in the Bayes filter results in a value of 1. Different object classes can thus be taken into account, with a robust object tracking being carried out by means of the Bayesian filter, which in particular counteracts the sporadic object class change by the camera.
In einer weiteren vorteilhaften Ausgestaltungsform wird mittels einer weiteren elektronischen Recheneinrichtung der Kamera eine Objektklasse bestimmt und diese an das Bayes-Filter übertragen und eine jeweilige Wahrscheinlichkeit einer Objektklasse im Bayes-Filter nach einer jeweiligen Objektklassenbestimmung durch die weitere elektronische Recheneinrichtung der Kamera erhöht. Insbesondere kann somit von der Kamera eine Objektklasse bestimmt werden, welche dann wiederum dem Bayes-Filter übertragen wird. Sollte dann beispielsweise die Kamera einen Personenkraftwagen als Objektklasse bestimmen, so erhöht das Bayes-Filter die Wahrscheinlichkeit für die Objektklasse Personenkraftwagen, während die anderen Wahrscheinlichkeiten für die anderen Klassen sinken. Beispielsweise, wenn die Kamera mittels der weiteren elektronischen Recheneinrichtung bestimmt, dass das Objekt der Objektklasse einem Personenkraftwagen zugeordnet werden kann, so wird die Wahrscheinlichkeit im Bayes- Filter beispielsweise auf 0,7 gesetzt. Die weiteren Wahrscheinlichkeiten für die weiteren Objektklassen sinken dementsprechend. Somit kann die Klassifizierung der Kamera gefiltert werden, wodurch eine robustere Objektverfolgung durchgeführt werden kann. In a further advantageous embodiment, an object class is determined by means of a further electronic computing device of the camera and this is transmitted to the Bayes filter and a respective probability of an object class im Bayes filter increased after a respective object class determination by the additional electronic computing device of the camera. In particular, an object class can thus be determined by the camera, which in turn is then transmitted to the Bayes filter. If, for example, the camera then determines a passenger car as an object class, the Bayesian filter increases the probability for the passenger car object class, while the other probabilities for the other classes decrease. For example, if the camera uses the additional electronic computing device to determine that the object of the object class can be assigned to a passenger car, then the probability in the Bayes filter is set to 0.7, for example. The further probabilities for the further object classes decrease accordingly. Thus, the classification of the camera can be filtered, allowing more robust object tracking to be performed.
Ferner hat es sich als vorteilhaft erwiesen, wenn beim Erreichen eines Wahrscheinlichkeitsschwellwerts für eine der Objektklassen durch das Bayes-Filter die Klassifizierung des Objekts mittels der Kamera durchgeführt wird und diese an die elektronische Recheneinrichtung übertragen wird. Insbesondere kann beispielsweise vorgesehen sein, sollte die Wahrscheinlichkeit im Bayes-Filter höher als 0,6 liegen, so wird vom Bayes-Filter eine entsprechende Klassifizierung durchgeführt. Sollte dann ein Wechsel durch die Kamera durchgeführt werden, wobei die Kamera dann wiederum dem Bayes-Filter eine andere Objektklasse übergibt, so wird das Bayes-Filter diese Information zurückweisen, da die Wahrscheinlichkeit noch zu hoch ist, um einen Objektklassenwechsel durchzuführen. Damit ein Objektklassenwechsel durch die Informationen der Kamera durchgeführt wird, sollte die Kamera den Bayes-Filter über eine vorgegeben Zeit mitteilen, dass eine entsprechende Klassenänderung durchzuführen ist. Furthermore, it has proven to be advantageous if, when a probability threshold value for one of the object classes is reached by the Bayes filter, the object is classified by the camera and this is transmitted to the electronic computing device. In particular, it can be provided, for example, that if the probability in the Bayes filter is higher than 0.6, a corresponding classification is carried out by the Bayes filter. If a change is then carried out by the camera, in which case the camera then in turn transfers a different object class to the Bayes filter, the Bayes filter will reject this information since the probability is still too high to carry out a change of object class. In order for an object class change to be carried out using the information from the camera, the camera should inform the Bayesian filter over a specified period of time that a corresponding class change is to be carried out.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn bei einem Wert von 0,6 als Wahrscheinlichkeitsschwellwert eine Klassifizierung des Objekts mittels des Bayes-Filters durchgeführt wird. Somit kann eine robuste Objektverfolgung durchgeführt werden, da erst bei einem Überschreiten von 0,6 als Wahrscheinlichkeit eine entsprechende Klassifizierung durchgeführt wird. Dadurch können sporadische Klassenwechsel durch die Kamera unberücksichtigt bleiben. It has also proven to be advantageous if, given a value of 0.6 as the probability threshold value, the object is classified using the Bayes filter. Robust object tracking can thus be carried out, since a corresponding classification is only carried out if the probability exceeds 0.6. As a result, sporadic class changes can be ignored by the camera.
Ebenfalls vorteilhaft ist, wenn die Beschränkung des Kalman-Filters als lineare Beschränkung vorgegeben wird. Insbesondere kann beispielsweise vorgesehen sein, dass der beschränkte Kalman-Filter von einer Schätzung des Kalman-Filters nach einer Messungsaktualisierung (Update) xn und eine weitere Abschätzung x durchführt, so dass die lineare Beschränkung It is also advantageous if the limitation of the Kalman filter is specified as a linear limitation. In particular, it can be provided, for example, that the restricted Kalman filter is based on an estimate of the Kalman filter after a measurement update (update) x n and performs a further estimation x such that the linear constraint
D * x = d erfüllt. Dadurch kann eine zuverlässige Objektverfolgung durchgeführt werden. D * x = d satisfied. This enables reliable object tracking to be carried out.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird, wenn die mittels der Kamera bestimmte zweite Länge des Objekts größer ist als die vorgegebene erste Länge, dann die aktuelle Länge mittels des beschränkten Kalman-Filters an die mittels der Kamera bestimmten zweite Länge angepasst. Somit ist eine zuverlässige Längenaktualisierung ermöglicht. According to a further advantageous embodiment, if the second length of the object determined by the camera is greater than the predetermined first length, then the current length is adjusted to the second length determined by the camera using the restricted Kalman filter. A reliable length update is thus made possible.
Ferner wird, wenn die mittels der Kamera bestimmte zweite Länge des Objekts kleiner ist als die vorgegebene erste Länge, dann die aktuelle Länge mittels des Kalman-Filters an die vorgegebene erste Länge angepasst. Dadurch kann eine zuverlässige und robuste Längenaktualisierung durchgeführt werden. Furthermore, if the second length of the object determined by means of the camera is smaller than the predefined first length, then the current length is adjusted to the predefined first length by means of the Kalman filter. This allows a reliable and robust length update to be performed.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn mittels einer Ultraschallsensor- Einrichtung und/oder mittels einer Radarsensor-Einrichtung und/oder mittels einer Lidarsensor-Einrichtung als Erfassungseinrichtung das Objekt in der Umgebung erfasst wird. Bevorzugt kann das Objekt mittels der Radarsensor-Einrichtung und/oder mittels der Lidarsensor-Einrichtung erfasst werden, da diese insbesondere eine große Reichweite und eine große Auflösung aufweisen. Des Weiteren kann mittels der Radarsensor- Einrichtung und/oder mittels der Lidarsensor-Einrichtung zuverlässig eine Länge des Objekts bestimmt werden. It has also proven to be advantageous if the object in the surroundings is detected by means of an ultrasonic sensor device and/or by means of a radar sensor device and/or by means of a lidar sensor device as the detection device. The object can preferably be detected by means of the radar sensor device and/or by means of the lidar sensor device, since these have in particular a large range and high resolution. Furthermore, a length of the object can be reliably determined by means of the radar sensor device and/or by means of the lidar sensor device.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Betreiben des Assistenzsystems nach dem vorhergehenden Aspekt durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung abgearbeitet wird. A further aspect of the invention relates to a computer program product with program code means which are stored in a computer-readable medium in order to carry out the method for operating the assistance system according to the preceding aspect when the computer program product is processed on a processor of an electronic computing device.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein computerlesbares Speichermedium mit einem Computerprogrammprodukt nach dem vorhergehenden Aspekt. Das Computerlesbare Speichermedium kann insbesondere als Teil einer elektronischen Recheneinrichtung ausgebildet sein. Ein weiterer Aspekt der Erfindung betrifft ein Assistenzsystem für ein Kraftfahrzeug mit zumindest einer Erfassungseinrichtung, mit einer Kamera und mit einer elektronischen Recheneinrichtung, welche zumindest einen beschränkten Kalman-Filter aufweist, wobei das Assistenzsystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Assistenzsystems durchgeführt. Yet another aspect of the invention relates to a computer-readable storage medium with a computer program product according to the preceding aspect. The computer-readable storage medium can in particular be designed as part of an electronic computing device. A further aspect of the invention relates to an assistance system for a motor vehicle with at least one detection device, with a camera and with an electronic computing device which has at least one restricted Kalman filter, the assistance system being designed to carry out a method according to the preceding aspect. In particular, the method is carried out using the assistance system.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Assistenzsystem gemäß dem vorhergehenden Aspekt. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Das Kraftfahrzeug kann insbesondere als zumindest teilweise autonomes Kraftfahrzeug beziehungsweise als vollautonomes Kraftfahrzeug betrieben werden. Yet another aspect of the invention relates to a motor vehicle with an assistance system according to the preceding aspect. The motor vehicle is designed in particular as a passenger car. The motor vehicle can be operated in particular as an at least partially autonomous motor vehicle or as a fully autonomous motor vehicle.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts, des computerlesbaren Speichermediums, des Assistenzsystems sowie des Kraftfahrzeugs anzusehen. Das Assistenzsystems sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen. Advantageous configurations of the method are to be regarded as advantageous configurations of the computer program product, the computer-readable storage medium, the assistance system and the motor vehicle. For this purpose, the assistance system and the motor vehicle have specific features which enable the method to be carried out or an advantageous embodiment thereof.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen. Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Further features of the invention result from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and/or shown alone in the figures, can be used not only in the combination specified in each case, but also in other combinations, without going beyond the scope of the invention leaving. The invention is therefore also to be considered to include and disclose embodiments that are not explicitly shown and explained in the figures, but that result from the explained embodiments and can be generated by separate combinations of features. Versions and combinations of features are also to be regarded as disclosed which therefore do not have all the features of an originally formulated independent claim. Furthermore, embodiments and combinations of features, in particular through the embodiments presented above, are to be regarded as disclosed which go beyond or deviate from the combinations of features presented in the back references of the claims. The invention will now be explained in more detail using preferred exemplary embodiments and with reference to the accompanying drawings.
Dabei zeigen: show:
Fig. 1 eine schematische Draufsicht auf ein Kraftfahrzeug mit einer Ausführungsform eines Assistenzsystems; und 1 shows a schematic plan view of a motor vehicle with an embodiment of an assistance system; and
Fig. 2 ein schematisches Ablaufdiagramm gemäß einer Ausführungsform des Verfahrens. 2 shows a schematic flowchart according to an embodiment of the method.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen. Elements that are the same or have the same function are provided with the same reference symbols in the figures.
Fig. 1 zeigt eine schematische Draufsicht auf ein Kraftfahrzeug 1 mit einer Ausführungsform eines Assistenzsystems 2. Das Assistenzsystem 2 weist zumindest eine Erfassungseinrichtung 3 sowie eine Kamera 4 auf. Ferner weist das Assistenzsystem 2 eine elektronische Recheneinrichtung 5 auf. Die Kamera 4 weist insbesondere ferner eine weitere elektronische Recheneinrichtung 6 auf. Die elektronische Recheneinrichtung 5 weist insbesondere ferner einen beschränkten Kalman-Filter 7 auf. Die Erfassungseinrichtung 3 kann insbesondere als Ultraschallsensor-Einrichtung und/oder als Radarsensor-Einrichtung und/oder als Lidarsensor-Einrichtung ausgebildet sein. 1 shows a schematic plan view of a motor vehicle 1 with an embodiment of an assistance system 2. The assistance system 2 has at least one detection device 3 and a camera 4. Furthermore, the assistance system 2 has an electronic computing device 5 . In particular, the camera 4 also has a further electronic computing device 6 . In particular, the electronic computing device 5 also has a restricted Kalman filter 7 . The detection device 3 can in particular be embodied as an ultrasonic sensor device and/or as a radar sensor device and/or as a lidar sensor device.
Ferner zeigt die Fig. 1 , dass in einer Umgebung 8 des Kraftfahrzeugs 1 ein Objekt 9 erfasst werden kann. Das Objekt 9 kann beispielsweise ein Personenkraftwagen, ein Lastkraftwagen, ein Fußgänger, ein Fahrrad oder ein Motorrad sein. Vorliegend ist insbesondere das Objekt 9 als Lastkraftwagen dargestellt. Furthermore, FIG. 1 shows that an object 9 can be detected in an environment 8 of the motor vehicle 1 . The object 9 can be a passenger car, a truck, a pedestrian, a bicycle or a motorcycle, for example. In the present case, the object 9 is shown in particular as a truck.
Fig. 2 zeigt in einer schematischen Ansicht ein Ablaufdiagramm des Verfahrens. Bei dem Verfahren zum Betreiben des Assistenzsystems 2 des Kraftfahrzeugs 1 wird das Objekt 9 in der Umgebung 8 des Kraftfahrzeugs 1 mittels der Erfassungseinrichtung 3 des Assistenzsystems 2 erfasst, und das Objekt 9 wird mittels der elektronischen Recheneinrichtung 5 des Assistenzsystems 2 zur weiteren Auswertung mittels der elektronischen Recheneinrichtung 5 klassifiziert, wobei in Abhängigkeit von der Klassifizierung eine erste Länge L des Objekts 9 für die weitere Auswertung mittels der elektronischen Recheneinrichtung 5 vorgegeben wird, und wobei zusätzlich das Objekt 9 mittels der Kamera 4 des Assistenzsystems 2 erfasst und ausgewertet wird und mittels der Kamera 4 klassifiziert wird und eine zweite Länge L des Objekts 9 bestimmt wird und die Klassifizierung und die zweite Länge L an die elektronische Recheneinrichtung 5 zur weiteren Auswertung übertragen werden. 2 shows a flow chart of the method in a schematic view. In the method for operating the assistance system 2 of the motor vehicle 1, the object 9 in the surroundings 8 of the motor vehicle 1 is detected by the detection device 3 of the assistance system 2, and the object 9 is detected by the electronic computing device 5 of the assistance system 2 for further evaluation by means of the electronic Computing device 5 is classified, with a first length L of the object 9 being specified for further evaluation by means of the electronic computing device 5 depending on the classification, and with the object 9 is detected and evaluated by the camera 4 of the assistance system 2 and classified by the camera 4 and a second length L of the object 9 is determined and the classification and the second length L are transmitted to the electronic computing device 5 for further evaluation.
Es ist vorgesehen, dass die vorgegebene erste Länge L in Abhängigkeit von der mittels der Kamera 4 bestimmten zweiten Länge L zu einer aktuellen Länge L mittels der elektronischen Recheneinrichtung 5 angepasst wird und mittels des beschränkten Kalman-Filters 7 der elektronischen Recheneinrichtung 5 die Länge L aktualisiert wird, wobei die Beschränkung des Kalman-Filters 7 durch die mittels der Kamera 4 bestimmte Klassifizierung vorgegeben ist. Provision is made for the predetermined first length L to be adapted to a current length L using the electronic computing device 5 as a function of the second length L determined using the camera 4 and for the length L to be updated using the restricted Kalman filter 7 of the electronic computing device 5 is, the restriction of the Kalman filter 7 being predetermined by the classification determined by the camera 4 .
Insbesondere kann vorgesehen sein, dass mittels eines Bayes-Filters 10 der Kamera 4 das Objekt 9 in der Kamera 4 klassifiziert wird. Als Objektklassen der Kamera 4 und/oder der elektronischen Recheneinrichtung 5 kann beispielsweise ein Personenkraftwagen und ein Lastkraftwagen und ein Fußgänger und ein Fahrrad und ein Motorrad zum Klassifizieren vorgegeben werden. In particular, it can be provided that the object 9 in the camera 4 is classified by means of a Bayes filter 10 of the camera 4 . For example, a car and a truck and a pedestrian and a bicycle and a motorcycle can be specified as object classes of the camera 4 and/or the electronic computing device 5 for classification.
Insbesondere wird in einem ersten Schritt S1 des Verfahrens jedem der Objektklassen der Kamera 4 bei Beginn einer Klassifizierung eine gleiche Wahrscheinlichkeit im Bayes- Filter 10 zugewiesen. Die Wahrscheinlichkeiten im Bayes-Filter 10 ergeben aufaddiert insbesondere den Wert von 1 . In particular, in a first step S1 of the method, each of the object classes of the camera 4 is assigned an equal probability in the Bayes filter 10 at the start of a classification. When added up, the probabilities in the Bayes filter 10 result in particular in the value of 1.
In einem zweiten Schritt S2 des Verfahrens ist insbesondere vorgesehen, dass mittels der weiteren elektronischen Recheneinrichtung 6 der Kamera 4 eine Objektklasse bestimmt wird und diese an das Bayes-Filter 10 übertragen wird und eine jeweilige Wahrscheinlichkeit einer Objektklasse im Bayes-Filter 10 nach einer jeweiligen Objektklassenbestimmung durch die weitere elektronische Recheneinrichtung 6 der Kamera 4 erhöht wird. Mit anderen Worten kann insbesondere vorgesehen sein, wenn die Klassifizierung durch die Kamera 4 durchgeführt wurde, wird diese dem Bayes-Filter 10 übertragen, wobei die Wahrscheinlichkeiten beispielsweise derart definiert sind, dass eine Wahrscheinlichkeit angibt, dass die Kamera 4 beispielsweise vorgibt, dass das Objekt 9 ein Kraftfahrzeug ist, wobei das Objekt 9 auch ein Kraftfahrzeug ist. Somit kann eine True-Positive-Rate für das Kraftfahrzeug beziehungsweise den Personenkraftwagen vorgegeben werden. Ferner benötigt der Bayes-Filter auch die Wahrscheinlichkeiten für den Fall, dass die Kamera 4 wiedergibt, dass es sich nicht um einen Personenkraftwagen handelt, obwohl es sich um einen Personenkraftwagen handelt. In der Summe sind alle Wahrscheinlichkeiten 1. Insbesondere wird erst bei einem Erreichen eines Wahrscheinlichkeitsschwellwerts für eine der Objektklassen durch das Bayes-Filter 10 die Klassifizierung des Objekts 9 mittels der Kamera 4 durchgeführt und diese an die elektronische Recheneinrichtung 5 übertragen, wobei der Wahrscheinlichkeitsschwellwert beispielsweise bei 0,6 liegen kann. In a second step S2 of the method, provision is made in particular for an object class to be determined using the additional electronic computing device 6 of the camera 4 and for this to be transmitted to the Bayes filter 10 and a respective probability of an object class in the Bayes filter 10 after a respective object class determination is increased by the additional electronic computing device 6 of the camera 4. In other words, it can be provided in particular that if the classification was carried out by the camera 4, this is transmitted to the Bayes filter 10, with the probabilities being defined, for example, in such a way that a probability indicates that the camera 4 specifies, for example, that the object 9 is a motor vehicle, the object 9 also being a motor vehicle. A true positive rate can thus be specified for the motor vehicle or the passenger car. Furthermore, the Bayes filter also requires the probabilities in the event that the camera 4 reproduces that it is not a passenger car although it is a passenger car. In the sum are all Probabilities 1. In particular, only when the Bayes filter 10 reaches a probability threshold value for one of the object classes is the object 9 classified by the camera 4 and this is transmitted to the electronic computing device 5, the probability threshold value being able to be 0.6, for example .
In einem dritten Schritt S3 erfolgt dann die Bestimmung der Länge L mittels des beschränkten Kalman-Filters 7, wobei die Beschränkung insbesondere eine lineare Beschränkung ist. Beispielsweise kann von dem Bayes-Filter 10 eine Klasse mit der höchsten Wahrscheinlichkeit ausgewählt werden. Abhängig von dieser Klasse kann dann beispielsweise eine minimale Länge, beispielsweise 2,5 m für Personenkraftwagen oder 5 m für Lastkraftwagen vorgegeben werden oder eine maximale Länge, beispielsweise 5 m für Personenkraftwagen, wobei diese Vorgabe dann wiederum als Beschränkung dem Kalman-Filter 7 zur Bestimmung der Länge L vorgegeben wird, so dass die bestimmte Länge L in diesen Minimal- und Maximalwertebereichen liegen. Ferner kann im dritten Schritt S3 insbesondere vorgesehen sein, dass, wenn die mittels der Kamera 4 bestimmte Länge L des Objekts 9 größer ist als die vorgegebene erste Länge L, dann die aktuelle Länge L mittels des beschränkten Kalman-Filters 7 an die mittels der Kamera 4 bestimmte zweite Länge L angepasst wird. Alternativ, wenn die mittels der Kamera 4 bestimmte Länge L des Objekts 9 kleiner ist als die vorgegebene erste Länge L, dann wird die aktuelle Länge L mittels des beschränkten Kalman-Filters 7 an die vorgegebene erste Länge L angepasst. In a third step S3, the length L is then determined using the restricted Kalman filter 7, the restriction being in particular a linear restriction. For example, a class with the highest probability can be selected by the Bayes filter 10 . Depending on this class, a minimum length, for example 2.5 m for passenger cars or 5 m for trucks, can then be specified, for example, or a maximum length, for example 5 m for passenger cars, with this specification then in turn as a restriction for the Kalman filter 7 to determine of the length L is specified, so that the determined length L lies in these minimum and maximum value ranges. Furthermore, in the third step S3 it can be provided in particular that if the length L of the object 9 determined by the camera 4 is greater than the predetermined first length L, then the current length L by means of the limited Kalman filter 7 to the by means of the camera 4 specific second length L is adjusted. Alternatively, if the length L of the object 9 determined using the camera 4 is less than the specified first length L, then the current length L is adjusted to the specified first length L using the restricted Kalman filter 7 .
Insbesondere kann die Beschränkung der Kalman-Filterung beispielsweise mit einer Kalman-Filter-Schätzung nach dem ersten Erfassungs-Update xn und einer weiteren Schätzung x durchgeführt werden, wobei diese dann die lineare Beschränkung erfüllt In particular, the constraint of the Kalman filtering can be performed, for example, with a Kalman filter estimate after the first detection update x n and a further estimate x, which then satisfies the linear constraint
D * x = d D * x = d
Insbesondere kann mittels der nachfolgenden Formel unter der Bedingung D*x=d die Filterung mittels des beschränkten Kalman-Filters durchgeführt werden: In particular, filtering can be carried out using the restricted Kalman filter using the following formula under the condition D*x=d:
Hierdurch entsteht die Beschränkung als Schätzung: This gives the constraint as an estimate:
P^fx — xn) + DTA = 0 x — xn + PnDTA = 0 <=> x = xn — PnDTA = xn — PnDT DPnDT) 1(Dxn — d) P^fx — x n ) + D T A = 0 x — x n + P n D T A = 0 <=> x = x n — P n D T A = x n — P n D T DP n D T ) 1 (Dx n — d)
, wobei A dem Langrage-Multiplikator entspricht und wird typischerweise verwendet, um die Lösung eines Least-Square-Problems mit einer Nebenbedingung zu finden, x beschreibt die neue Schätzung unter Berücksichtigung der Beschränkung, ^entspricht der Erwartung der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. Pn ist die Kovarianzmatrix der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. D ist die Matrix, die die lineare Beschränkung auf den Zustand angibt, beispielsweise wenn nur ein bestimmter Wert des Zustands an einen festen Wert gebunden werden soll, D=[0, 0,0,1], wenn dies der vierte Wert des Zustands ist. D kann auch verwendet werden, um eine Beschränkung auf eine lineare Kombination der Zustandsparameter zu spezifizieren, beispielsweise wird D=[1 ,0,0, 0,0.5] eine Beschränkung auf die erste Komponente des Zustands plus die Hälfte der letzten Komponente spezifizieren. Es können mehrere lineare Beschränkungen gleichzeitig angegeben werden, dann hat D mehrere Zeilen, wie beispielsweise D=[0, 0,0,1 ; 1 ,0, 0,0,0] gibt zwei Beschränkungen an, eine auf den ersten Wert, eine auf den letzten Wert des Zustands, d ist der Wert der gewünschten Beschränkung(en). Die Anzahl der Zeilen von d ist die gleiche wie D. , where A corresponds to the Langrage multiplier and is typically used to find the solution of a least squares problem with a constraint, x describes the new estimate considering the constraint, ^corresponds to the expectation of the estimate without considering the constraint, i.e the result of the Kalman filter. P n is the covariance matrix of the estimate without considering the constraint, i.e. the result of the Kalman filter. D is the matrix that specifies the linear constraint on the state, e.g. if only one particular value of the state is to be bound to a fixed value, D=[0,0,0,1] if this is the fourth value of the state . D can also be used to specify a constraint to a linear combination of the state parameters, e.g. D=[1,0,0,0,0.5] will specify a constraint to the first component of the state plus half the last component. Multiple linear constraints can be specified at the same time, then D has multiple lines, such as D=[0, 0,0,1 ; 1 ,0,0,0,0] specifies two constraints, one on the first value, one on the last value of the state, d is the value of the desired constraint(s). The number of rows of d is the same as D.
Insgesamt zeigt die Figur eine Bestimmung der Länge mittels einer Kamera 4 basierend auf einer gefilterten Klasse. Overall, the figure shows a determination of the length using a camera 4 based on a filtered class.

Claims

Patentansprüche Verfahren zum Betreiben eines Assistenzsystems Claims Method for operating an assistance system
(2) eines Kraftfahrzeugs (1), bei welchem ein Objekt (9) in einer Umgebung (8) des Kraftfahrzeugs (1 ) mittels einer Erfassungseinrichtung (2) a motor vehicle (1), in which an object (9) in an environment (8) of the motor vehicle (1) by means of a detection device
(3) des Assistenzsystems (2) erfasst wird und das Objekt (9) mittels einer elektronischen Recheneinrichtung (5) des Assistenzsystem (2) zur weiteren Auswertung mittels der elektronischen Recheneinrichtung (5) klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge (L) des Objekts (9) für die weitere Auswertung mittels der elektronischen Recheneinrichtung (5) vorgegeben wird, und wobei zusätzlich das Objekt (9) mittels einer Kamera (4) des Assistenzsystems (2) erfasst und ausgewertet wird und mittels der Kamera (4) klassifiziert wird und eine zweite Länge (L) des Objekts (9) bestimmt wird und die Klassifizierung und die zweite Länge (L) an die elektronische Recheneinrichtung (5) zur weiteren Auswertung übertragen werden, dadurch gekennzeichnet, dass die vorgegebene erste Länge (L) in Abhängigkeit von der mittels der Kamera (4) bestimmten zweiten Länge (L) zu einer aktuellen Länge (L) mittels der elektronischen Recheneinrichtung (5) angepasst wird und mittels eines beschränkten Kalman-Filters (7) der elektronischen Recheneinrichtung (5) die aktuelle Länge (L) aktualisiert wird, wobei die Beschränkung des Kalman-Filters (7) durch die mittels der Kamera (4) bestimmte Klassifizierung vorgegeben ist. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mittels eines Bayes-Filters (10) der Kamera (4) das Objekt (9) in der Kamera (4) klassifiziert wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Objektklassen der Kamera (4) und/oder der elektronischen Recheneinrichtung (5) ein Personenkraftwagen und ein Lastkraftwagen und ein Fußgänger und ein Fahrrad und ein Motorrad zum Klassifizieren vorgegeben werden. (3) of the assistance system (2) is detected and the object (9) is classified by means of an electronic computing device (5) of the assistance system (2) for further evaluation by means of the electronic computing device (5), a first length depending on the classification (L) of the object (9) for further evaluation by means of the electronic computing device (5) is specified, and the object (9) is additionally recorded and evaluated by means of a camera (4) of the assistance system (2) and by means of the camera ( 4) is classified and a second length (L) of the object (9) is determined and the classification and the second length (L) are transmitted to the electronic computing device (5) for further evaluation, characterized in that the predetermined first length ( L) is adapted to a current length (L) by means of the electronic computing device (5) as a function of the second length (L) determined by means of the camera (4) and by means of e The current length (L) is updated in a restricted Kalman filter (7) of the electronic computing device (5), the restriction of the Kalman filter (7) being predetermined by the classification determined by the camera (4). Method according to Claim 1, characterized in that the object (9) in the camera (4) is classified by means of a Bayes filter (10) of the camera (4). Method according to claim 1 or 2, characterized in that A passenger car and a truck and a pedestrian and a bicycle and a motorcycle can be specified as object classes for the camera (4) and/or the electronic computing device (5) for classification.
4. Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass jedem der Objektklassen der Kamera (4) bei Beginn einer Klassifizierung eine gleiche Wahrscheinlichkeit im Bayes-Filter (10) zugewiesen wird. 4. The method according to any one of claims 2 or 3, characterized in that each of the object classes of the camera (4) is assigned an equal probability in the Bayes filter (10) at the start of a classification.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Wahrscheinlichkeiten im Bayes-Filter (10) aufaddiert einen Wert von 1 ergeben. 5. The method according to claim 4, characterized in that the probabilities in the Bayes filter (10) add up to a value of 1.
6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass mittels einer weiteren elektronischen Recheneinrichtung (6) der Kamera (4) eine Objektklasse bestimmt wird und diese an das Bayes-Filter (10) übertragen wird und eine jeweilige Wahrscheinlichkeit einer Objektklasse im Bayes-Filter (10) nach einer jeweiligen Objektklassenbestimmung durch die weitere elektronische Recheneinrichtung (6) der Kamera (4) erhöht wird. 6. The method according to claim 4 or 5, characterized in that an object class is determined by means of a further electronic computing device (6) of the camera (4) and this is transmitted to the Bayes filter (10) and a respective probability of an object class in Bayes filter (10) is increased after a respective object class determination by the additional electronic computing device (6) of the camera (4).
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass bei einem Erreichen eines Wahrscheinlichkeitsschwellwerts für eine der Objektklassen durch das Bayes-Filter (10) die Klassifizierung des Objekts (9) mittels der Kamera (4) durchgeführt wird und diese an die elektronische Recheneinrichtung (5) übertragen wird. 7. The method according to claim 6, characterized in that when a probability threshold value is reached for one of the object classes by the Bayes filter (10), the object (9) is classified by means of the camera (4) and this is transmitted to the electronic computing device ( 5) is transmitted.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass bei einem Wert von 0,6 als Wahrscheinlichkeitsschwellwert eine Klassifizierung des Objekts (9) mittels des Bayes-Filters (10) durchgeführt wird. 8. The method as claimed in claim 7, characterized in that the object (9) is classified by means of the Bayes filter (10) if the probability threshold value is 0.6.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 15 die Beschränkung des Kalman-Filters (7) als lineare Beschränkung vorgegeben wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenn die mittels der Kamera (4) bestimmte zweite Länge (L) des Objekts (9) größer ist als die vorgegebene erste Länge (L), dann wird die aktuelle Länge (L) mittels des beschränkten Kalman-Filters (7) an die mittels der Kamera (4) bestimmten zweiten Länge (L) angepasst. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass wenn die mittels der Kamera (4) bestimmte zweite Länge (L) des Objekts (9) kleiner ist als die vorgegebene erste Länge (L), dann wird die aktuelle Länge (L) mittels des beschränkten Kalman-Filters (7) an die vorgegebene erste Länge (L) angepasst. Verfahren ach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer Ultraschallsensoreinrichtung und/oder mittels einer Radarsensoreinrichtung und/oder mittels einer Lidarsensoreinrichtung als Erfassungseinrichtung (3) das Objekt (9) in der Umgebung (8) erfasst wird. Computerprogrammprodukt mit Programmcodemitteln mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren nach einem der vorhergehenden Ansprüche 1 bis 12 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung (5) abgearbeitet wird. Computerlesbares Speichermedium mit einem Computerprogrammprodukt nach Anspruch 13. Assistenzsystem (2) für ein Kraftfahrzeug (1 ) mit zumindest einer Erfassungseinrichtung (3), mit einer Kamera (4) und mit einer elektronischen Recheneinrichtung (5), welche zumindest einen beschränkten Kalman-Filter (7) 16 aufweist, wobei das Assistenzsystem (2) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 ausgebildet ist. 9. The method according to any one of the preceding claims, characterized in that 15 the constraint of the Kalman filter (7) is given as a linear constraint. Method according to one of the preceding claims, characterized in that if the camera (4) determined second length (L) of the object (9) is greater than the predetermined first length (L), then the current length (L) by means of the restricted Kalman filter (7) to the second length (L) determined by means of the camera (4). Method according to one of Claims 1 to 9, characterized in that if the second length (L) of the object (9) determined by means of the camera (4) is smaller than the predetermined first length (L), then the current length (L ) is adapted to the predetermined first length (L) by means of the restricted Kalman filter (7). Method according to one of the preceding claims, characterized in that the object (9) in the surroundings (8) is detected by means of an ultrasonic sensor device and/or by means of a radar sensor device and/or by means of a lidar sensor device as detection device (3). Computer program product with program code means with program code means, which are stored in a computer-readable medium, in order to carry out the method according to one of the preceding claims 1 to 12, when the computer program product is processed on a processor of an electronic computing device (5). Computer-readable storage medium with a computer program product according to Claim 13. Assistance system (2) for a motor vehicle (1) with at least one detection device (3), with a camera (4) and with an electronic computing device (5) which has at least one restricted Kalman filter ( 7) 16, wherein the assistance system (2) is designed to carry out a method according to any one of claims 1 to 12.
EP21752685.4A 2020-08-11 2021-08-02 Method for operating an assistance system for determining a length of an object, computer program product, computer-readable storage medium and assistance system Withdrawn EP4196903A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020121061.2A DE102020121061A1 (en) 2020-08-11 2020-08-11 Method for operating an assistance system for determining the length of an object, computer program product, computer-readable storage medium and assistance system
PCT/EP2021/071517 WO2022033905A1 (en) 2020-08-11 2021-08-02 Method for operating an assistance system for determining a length of an object, computer program product, computer-readable storage medium and assistance system

Publications (1)

Publication Number Publication Date
EP4196903A1 true EP4196903A1 (en) 2023-06-21

Family

ID=77300908

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21752685.4A Withdrawn EP4196903A1 (en) 2020-08-11 2021-08-02 Method for operating an assistance system for determining a length of an object, computer program product, computer-readable storage medium and assistance system

Country Status (6)

Country Link
US (1) US20230267633A1 (en)
EP (1) EP4196903A1 (en)
JP (1) JP2023537987A (en)
CN (1) CN116097317A (en)
DE (1) DE102020121061A1 (en)
WO (1) WO2022033905A1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10148064A1 (en) 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Detecting and tracking objects involves weighting current measurement value contributions, estimates and/or measurements for previous iteration depending on quality value for measurement
DE102012203909A1 (en) 2012-03-13 2013-09-19 Robert Bosch Gmbh Filter method and filter device for sensor data
CN105631414B (en) 2015-12-23 2019-04-05 上海理工大学 A kind of vehicle-mounted multi-obstacle avoidance sorter and method based on Bayes classifier

Also Published As

Publication number Publication date
JP2023537987A (en) 2023-09-06
WO2022033905A1 (en) 2022-02-17
DE102020121061A1 (en) 2022-02-17
US20230267633A1 (en) 2023-08-24
CN116097317A (en) 2023-05-09

Similar Documents

Publication Publication Date Title
AT521607B1 (en) Method and device for testing a driver assistance system
DE102006057552B4 (en) System and method for measuring the distance of a preceding vehicle
DE102010035232B4 (en) Method and system for displaying vehicle return camera images in various modes
DE102006038151B4 (en) Method and device for controlling personal protection devices
WO2019068291A1 (en) Testing a neural network
DE102006005512B4 (en) System and method for measuring the distance of a preceding vehicle
DE102007001099A1 (en) Driver assistance system for traffic sign recognition
DE102013019138A1 (en) A method for detecting a hidden state of a camera, camera system and motor vehicle
WO2012152268A2 (en) Redundant object detection for driver assistance systems
WO2018202552A1 (en) Method and device for classifying objects in the environment of a motor vehicle
EP3789926A1 (en) Method for detecting an adversarial fault in the input data of a neural network
WO2017102150A1 (en) Method for evaluating a hazardous situation which is sensed by at least one sensor of a vehicle, method for controlling reproduction of a hazard warning and method for reproducing a hazard warning
DE102018116922A1 (en) Method for determining a real position of a trailer ball head of a trailer coupling of a motor vehicle by means of an assistance system of the motor vehicle, assistance system and motor vehicle
DE102017202380A1 (en) Automated activation of a visual support system
EP4196903A1 (en) Method for operating an assistance system for determining a length of an object, computer program product, computer-readable storage medium and assistance system
WO2020233992A1 (en) Method for making a neural network more robust in a function-specific manner
EP4026058A1 (en) Methods for compressing a neural network
WO2021078512A1 (en) Method for making a neural network more robust against adversarial disruptions
DE102020128952A1 (en) Method and assistance device for two-stage image-based scene recognition and motor vehicle
DE102016103037A1 (en) Method for checking the functionality of a camera-monitor system, camera-monitor system and motor vehicle
DE102020001309A1 (en) Method for operating an electronic computing device for a motor vehicle, as well as an electronic computing device
WO2020233961A1 (en) Method for assessing a function-specific robustness of a neural network
DE102019219927A1 (en) Method and device for recognizing an alienation of a sensor data domain from a reference data domain
EP1852307B1 (en) Device and method for controlling the blind spot of vehicles
DE102018126826A1 (en) Method for determining a confidence value for a detection quality of a road marking boundary, driver assistance system and motor vehicle

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230201

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20231003