EP4196903A1 - Verfahren zum betreiben eines assistenzsystems zur bestimmung einer länge eines objekts, computerprogrammprodukt, computerlesbares speichermedium sowie assistenzsystem - Google Patents

Verfahren zum betreiben eines assistenzsystems zur bestimmung einer länge eines objekts, computerprogrammprodukt, computerlesbares speichermedium sowie assistenzsystem

Info

Publication number
EP4196903A1
EP4196903A1 EP21752685.4A EP21752685A EP4196903A1 EP 4196903 A1 EP4196903 A1 EP 4196903A1 EP 21752685 A EP21752685 A EP 21752685A EP 4196903 A1 EP4196903 A1 EP 4196903A1
Authority
EP
European Patent Office
Prior art keywords
length
camera
computing device
electronic computing
assistance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21752685.4A
Other languages
English (en)
French (fr)
Inventor
Muhammad Nassef Abdelkader HASSAAN
Jean Francois Bariant
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4196903A1 publication Critical patent/EP4196903A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the invention relates to a method for operating an assistance system of a motor vehicle, in which an object in an area surrounding the motor vehicle is detected by means of a detection device of the assistance system and the object is classified by means of an electronic computing device of the assistance system for further evaluation by means of the electronic computing device, with depending a first length of the object is specified by the classification for further evaluation by means of the electronic computing device, and the object is additionally recorded and evaluated by means of a camera of the assistance system and classified by means of the camera and a second length of the object is determined and the classification and the second length can be transmitted to the electronic computing device for further evaluation. Furthermore, the invention relates to a computer program product, a computer-readable storage medium and an assistance system.
  • a front camera in a motor vehicle cannot measure the length of a dynamic object.
  • the camera classifies the object and, depending on this classification, a predefined length for this object is then determined.
  • the classification of the camera is not very stable, since it changes the class several times, for example from a passenger car to a truck.
  • the predefined length is then implemented by the camera to update an item of object information, for example during object tracking, the length cannot be changed, for example on the basis of another sensor.
  • the camera can specify that an object is 2.5 m long, while for example a lidar sensor device provides information that the object is 5 m long. This leads to conflicts in a tracking algorithm, so that the corresponding length can only be determined and used with difficulty.
  • US 2013/0245929 A1 discloses a filter method for sensor data that is formed by a sensor system for detecting objects.
  • a measurement takes place a scaling value from the sensor data, the scaling value corresponding to a change in the size of an object from the sensor data over a time interval, and determining a measurement error parameter of the scaling value and performing Kalman filtering that is directly based on the measured scaling value, the time interval, and the measurement error parameter based to estimate at least one normalized motion parameter of the object relative to the sensor system.
  • CN105631414 A relates to a vehicle-carried device and method for classifying multiple obstacles based on a Bayesian classifier.
  • the classification device consists of a camera and a PC connected to the camera, a Kalman filter module for performing Kalman filtering on the video image of the front of the vehicle captured by a camera and for detecting an obstacle, a feature extraction module for performing the feature extraction is used on the detected obstacle, and a Bayesian classification module used for using a Bayesian classifier to obtain the classification of the obstacle target according to the obstacle target's features, the features being a symmetry feature, a horizontal edge straightness feature and include a feature of aspect ratio; and the classification includes a cyclist/motorcyclist, a vehicle side face, a vehicle front face, and pedestrians.
  • the object of the present invention is to create a method, a computer program product, a computer-readable storage medium and an assistance system, by means of which improved object tracking for a motor vehicle can be carried out.
  • One aspect of the invention relates to a method for operating an assistance system of a motor vehicle, in which an object in an area surrounding the motor vehicle is detected by means of a detection device of the assistance system and the object is classified by means of an electronic computing device of the assistance system for further evaluation by means of the electronic computing device, wherein depending on the classification, a first length of the object for the further one Evaluation is specified by the electronic computing device and the object is also detected and evaluated by a camera of the assistance system and is classified by the camera and a second length of the object is determined and the classification and the second length are transmitted to the electronic computing device for further evaluation will.
  • object tracking which can also be referred to as object tracking
  • current length information about the object can thus be adjusted, for example.
  • the invention thus solves the problem that the length determined by means of the camera can be updated by means of other sensors without conflicts arising between further information about the length with the other sensors.
  • a method for processing the data from a vehicle camera, in particular a front camera is proposed or for tracking objects in the vehicle environment using a map, with a length of an object, for example another vehicle or a truck, being able to be determined and this length is now processed further, whereby the Kalman filter restriction is used in particular for this purpose.
  • the restricted Kalman filter can also be referred to as a constrained Kalman filter.
  • a minimum length for example 2.5 m for passenger cars or 5 m for trucks
  • a maximum length for example 5 m for passenger cars
  • this specification then in turn acting as a restriction on the Kalman filter for determining the length is given, so that these lie in these minimum and maximum values.
  • the classification of the object is thus carried out in order to estimate a length of the object.
  • the Kalman filter filters in particular over time, with a probability being specified, in particular by empirical tests. By appropriately classifying the object in an object class, a minimum length and/or a maximum length can be specified for the object.
  • the Kalman filter then in turn operates under a condition or constraint, this constraint for the Kalman filter being the particular class of camera.
  • A corresponds to the Langrage multiplier and is typically used to find the solution of a least squares problem with a constraint
  • x describes the new estimate considering the constraint
  • P n is the covariance matrix of the estimate without considering the constraint, i.e. the result of the Kalman filter.
  • D can also be used to specify a constraint to a linear combination of the state parameters, e.g.
  • the object in the camera is classified by means of a Bayesian filter of the camera.
  • the Bayes filter can be used to provide a simple yet reliable method by which the camera can be classified.
  • the Bayesian filter uses corresponding probabilities and can decide under given conditions whether a class change has taken place.
  • the Bayesian filter is thus switched between the classification of the camera and the electronic computing device, so that a sporadic class change of the camera can be filtered out using the Bayesian filter.
  • a short-term class jump can thus be neglected when evaluating the camera, so that a more reliable classification can be carried out.
  • the classification of the Bayes filter is then in turn transmitted to the electronic computing device for further evaluation.
  • a passenger car and a truck and a pedestrian and a bicycle and a motorcycle are specified for classification as object classes of the camera and/or electronic computing device.
  • Different object classes can thus be specified, in which case the object can then be divided into one of these classes.
  • possible road users can thus be classified, making robust object tracking possible.
  • each of the object classes of the camera is assigned the same probability in the Bayes filter at the beginning of a classification. For example, if five classes are specified, the probability in the Bayes filter at the beginning of the object classification would be 0.2 in particular. Thus, when object tracking is initialized, the respective probabilities for the object classes are assigned the same value.
  • an object class is determined by means of a further electronic computing device of the camera and this is transmitted to the Bayes filter and a respective probability of an object class im Bayes filter increased after a respective object class determination by the additional electronic computing device of the camera.
  • an object class can thus be determined by the camera, which in turn is then transmitted to the Bayes filter.
  • the Bayesian filter increases the probability for the passenger car object class, while the other probabilities for the other classes decrease.
  • the camera uses the additional electronic computing device to determine that the object of the object class can be assigned to a passenger car, then the probability in the Bayes filter is set to 0.7, for example.
  • the further probabilities for the further object classes decrease accordingly.
  • the classification of the camera can be filtered, allowing more robust object tracking to be performed.
  • the object is classified by the camera and this is transmitted to the electronic computing device.
  • a probability threshold value for one of the object classes is reached by the Bayes filter.
  • the object is classified by the camera and this is transmitted to the electronic computing device.
  • the probability in the Bayes filter is higher than 0.6, a corresponding classification is carried out by the Bayes filter.
  • the camera If a change is then carried out by the camera, in which case the camera then in turn transfers a different object class to the Bayes filter, the Bayes filter will reject this information since the probability is still too high to carry out a change of object class.
  • the camera should inform the Bayesian filter over a specified period of time that a corresponding class change is to be carried out.
  • the limitation of the Kalman filter is specified as a linear limitation.
  • the restricted Kalman filter is based on an estimate of the Kalman filter after a measurement update (update) x n and performs a further estimation x such that the linear constraint
  • the current length is adjusted to the second length determined by the camera using the restricted Kalman filter. A reliable length update is thus made possible.
  • the current length is adjusted to the predefined first length by means of the Kalman filter. This allows a reliable and robust length update to be performed.
  • the object in the surroundings is detected by means of an ultrasonic sensor device and/or by means of a radar sensor device and/or by means of a lidar sensor device as the detection device.
  • the object can preferably be detected by means of the radar sensor device and/or by means of the lidar sensor device, since these have in particular a large range and high resolution.
  • a length of the object can be reliably determined by means of the radar sensor device and/or by means of the lidar sensor device.
  • a further aspect of the invention relates to a computer program product with program code means which are stored in a computer-readable medium in order to carry out the method for operating the assistance system according to the preceding aspect when the computer program product is processed on a processor of an electronic computing device.
  • Yet another aspect of the invention relates to a computer-readable storage medium with a computer program product according to the preceding aspect.
  • the computer-readable storage medium can in particular be designed as part of an electronic computing device.
  • a further aspect of the invention relates to an assistance system for a motor vehicle with at least one detection device, with a camera and with an electronic computing device which has at least one restricted Kalman filter, the assistance system being designed to carry out a method according to the preceding aspect. In particular, the method is carried out using the assistance system.
  • Yet another aspect of the invention relates to a motor vehicle with an assistance system according to the preceding aspect.
  • the motor vehicle is designed in particular as a passenger car.
  • the motor vehicle can be operated in particular as an at least partially autonomous motor vehicle or as a fully autonomous motor vehicle.
  • Advantageous configurations of the method are to be regarded as advantageous configurations of the computer program product, the computer-readable storage medium, the assistance system and the motor vehicle.
  • the assistance system and the motor vehicle have specific features which enable the method to be carried out or an advantageous embodiment thereof.
  • FIG. 1 shows a schematic plan view of a motor vehicle with an embodiment of an assistance system
  • FIG. 2 shows a schematic flowchart according to an embodiment of the method.
  • the assistance system 2 has at least one detection device 3 and a camera 4. Furthermore, the assistance system 2 has an electronic computing device 5 . In particular, the camera 4 also has a further electronic computing device 6 . In particular, the electronic computing device 5 also has a restricted Kalman filter 7 .
  • the detection device 3 can in particular be embodied as an ultrasonic sensor device and/or as a radar sensor device and/or as a lidar sensor device.
  • FIG. 1 shows that an object 9 can be detected in an environment 8 of the motor vehicle 1 .
  • the object 9 can be a passenger car, a truck, a pedestrian, a bicycle or a motorcycle, for example.
  • the object 9 is shown in particular as a truck.
  • the object 9 in the surroundings 8 of the motor vehicle 1 is detected by the detection device 3 of the assistance system 2
  • the object 9 is detected by the electronic computing device 5 of the assistance system 2 for further evaluation by means of the electronic Computing device 5 is classified, with a first length L of the object 9 being specified for further evaluation by means of the electronic computing device 5 depending on the classification, and with the object 9 is detected and evaluated by the camera 4 of the assistance system 2 and classified by the camera 4 and a second length L of the object 9 is determined and the classification and the second length L are transmitted to the electronic computing device 5 for further evaluation.
  • the object 9 in the camera 4 is classified by means of a Bayes filter 10 of the camera 4 .
  • a car and a truck and a pedestrian and a bicycle and a motorcycle can be specified as object classes of the camera 4 and/or the electronic computing device 5 for classification.
  • each of the object classes of the camera 4 is assigned an equal probability in the Bayes filter 10 at the start of a classification.
  • the probabilities in the Bayes filter 10 result in particular in the value of 1.
  • a second step S2 of the method provision is made in particular for an object class to be determined using the additional electronic computing device 6 of the camera 4 and for this to be transmitted to the Bayes filter 10 and a respective probability of an object class in the Bayes filter 10 after a respective object class determination is increased by the additional electronic computing device 6 of the camera 4.
  • the probabilities being defined, for example, in such a way that a probability indicates that the camera 4 specifies, for example, that the object 9 is a motor vehicle, the object 9 also being a motor vehicle.
  • a true positive rate can thus be specified for the motor vehicle or the passenger car.
  • the Bayes filter also requires the probabilities in the event that the camera 4 reproduces that it is not a passenger car although it is a passenger car. In the sum are all Probabilities 1. In particular, only when the Bayes filter 10 reaches a probability threshold value for one of the object classes is the object 9 classified by the camera 4 and this is transmitted to the electronic computing device 5, the probability threshold value being able to be 0.6, for example .
  • the length L is then determined using the restricted Kalman filter 7, the restriction being in particular a linear restriction.
  • a class with the highest probability can be selected by the Bayes filter 10 .
  • a minimum length for example 2.5 m for passenger cars or 5 m for trucks, can then be specified, for example, or a maximum length, for example 5 m for passenger cars, with this specification then in turn as a restriction for the Kalman filter 7 to determine of the length L is specified, so that the determined length L lies in these minimum and maximum value ranges.
  • the third step S3 it can be provided in particular that if the length L of the object 9 determined by the camera 4 is greater than the predetermined first length L, then the current length L by means of the limited Kalman filter 7 to the by means of the camera 4 specific second length L is adjusted. Alternatively, if the length L of the object 9 determined using the camera 4 is less than the specified first length L, then the current length L is adjusted to the specified first length L using the restricted Kalman filter 7 .
  • the constraint of the Kalman filtering can be performed, for example, with a Kalman filter estimate after the first detection update x n and a further estimate x, which then satisfies the linear constraint
  • A corresponds to the Langrage multiplier and is typically used to find the solution of a least squares problem with a constraint
  • x describes the new estimate considering the constraint
  • P n is the covariance matrix of the estimate without considering the constraint, i.e. the result of the Kalman filter.
  • D can also be used to specify a constraint to a linear combination of the state parameters, e.g.
  • the figure shows a determination of the length using a camera 4 based on a filtered class.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems (2), bei welchem ein Objekt (9) erfasst wird und das Objekt (9) zur weiteren Auswertung mittels einer elektronischen Recheneinrichtung (5) klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge (L) des Objekts (9) vorgegeben wird, und wobei zusätzlich das Objekt (9) mittels einer Kamera (4) erfasst, ausgewertet und klassifiziert wird und eine zweite Länge (L) des Objekts (9) bestimmt wird und die Klassifizierung und die zweite Länge (L) an die elektronische Recheneinrichtung (5) übertragen werden, wobei die vorgegebene erste Länge (L) in Abhängigkeit von zweiten Länge (L) zu einer aktuellen Länge (L) angepasst wird und mittels eines beschränkten Kalman-Filters (7) die aktuelle Länge (L) aktualisiert wird, wobei die Beschränkung des Kalman-Filters (7) durch die mittels der Kamera (4) bestimmte Klassifizierung vorgegeben ist. ferner betrifft die Erfindung ein Computer Programmprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem (2).

Description

Verfahren zum Betreiben eines Assistenzsystems zur Bestimmung einer Länge eines Objekts, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs, bei welchem ein Objekt in einer Umgebung des Kraftfahrzeugs mittels einer Erfassungseinrichtung des Assistenzsystems erfasst wird und das Objekt mittels einer elektronischen Recheneinrichtung des Assistenzsystems zur weiteren Auswertung mittels der elektronischen Recheneinrichtung klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge des Objekts für die weitere Auswertung mittels der elektronischen Recheneinrichtung vorgegeben wird, und wobei zusätzlich das Objekt mittels einer Kamera des Assistenzsystems erfasst und ausgewertet und mittels der Kamera klassifiziert wird und eine zweite Länge des Objekts bestimmt wird und die Klassifizierung und die zweite Länge an die elektronische Recheneinrichtung zur weiteren Auswertung übertragen werden. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem.
Es ist bekannt, dass Kameras in Kraftfahrzeugen, beispielsweise eine Frontkamera im Kraftfahrzeug, keine Länge eines dynamischen Objekts messen können. Die Kamera klassifiziert das Objekt und in Abhängigkeit von dieser Klassifizierung wird dann eine vorgegebene Länge zu diesem Objekt bestimmt. Insbesondere ist die Klassifizierung der Kamera nicht sehr stabil, da diese beispielsweise mehrfach die Klasse ändert, beispielsweise von einem Personenkraftwagen zu einem Lastkraftwagen. Sollte dann die vorgegebene Länge von der Kamera zu einer Aktualisierung einer Objektinformation, beispielsweise bei einem Objekt-Tracking, durchgeführt werden, so kann eine Änderung der Länge, beispielsweise auf Basis eines anderen Sensors, nicht durchgeführt werden. Beispielsweise kann von der Kamera vorgegeben werden, dass ein Objekt 2,5 m lang ist, während beispielsweise eine Lidarsensor-Einrichtung eine Information gibt, dass das Objekt 5 m lang ist. Dies führt bei einem Tracking-Algorithmus zu Konflikten, so dass nur schwer die entsprechende Länge bestimmt und genutzt werden kann.
Die US 2013/0245929 A1 offenbart ein Filterverfahren für Sensordaten, die von einem Sensorsystem zur Erfassung von Objekten gebildet werden. Es erfolgen ein Messen eines Skalierungswerts aus den Sensordaten, wobei der Skalierungswert einer Änderung der Größe eines Objektes aus den Sensordaten über ein Zeitintervall entspricht, sowie ein Bestimmen eines Messfehlerparameters des Skalierungswerts und ein Ausführen einer Kalman-Filterung, die unmittelbar auf dem gemessenen Skalierungswert, dem Zeitintervall und dem Messfehlerparameter basiert, um mindestens einen normierten Bewegungsparameter des Objekts relativ zum Sensorsystem abzuschätzen.
Die CN105631414 A bezieht sich auf eine Fahrzeug-getragene Vorrichtung und Methode zur Klassifizierung von mehreren Hindernissen auf der Grundlage eines Bayes- Klassifikators. Die Klassifizierungsvorrichtung besteht aus einer Kamera und einem PC, der mit Kamera verbunden ist, einem Kalman-Filter-Modul zur Durchführung der Kalman- Filterung an dem von einer Kamera aufgenommenen Videobild der Fahrzeugfront und zur Erkennung eines Hindernisses, einem Merkmalsextraktionsmodul, das zur Durchführung der Merkmalsextraktion an dem erkannten Hindernis verwendet wird, und einem Bayes- Klassifizierungsmodul, das für die Verwendung eines Bayes-Klassifikators verwendet wird, um die Klassifizierung des Hindernisziels gemäß den Merkmalen des Hindernisziels zu erhalten, wobei die Merkmale ein Symmetriemerkmal, ein Merkmal der horizontalen Kantengeradheit und ein Merkmal des Längen- und Breitenverhältnisses umfassen und die Klassifizierung einen Radfahrer/Motorradfahrer, eine Fahrzeugseitenfläche, eine Fahrzeugvorderseite und Fußgänger umfasst.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem zu schaffen, mittels welchem eine verbesserte Objektverfolgung für ein Kraftfahrzeug durchgeführt werden kann.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs, bei welchem ein Objekt in einer Umgebung des Kraftfahrzeugs mittels einer Erfassungseinrichtung des Assistenzsystems erfasst wird und das Objekt mittels einer elektronischen Recheneinrichtung des Assistenzsystems zur weiteren Auswertung mittels der elektronischen Recheneinrichtung klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge des Objekts für die weitere Auswertung mittels der elektronischen Recheneinrichtung vorgegeben wird und wobei zusätzlich das Objekt mittels einer Kamera des Assistenzsystems erfasst und ausgewertet wird und mittels der Kamera klassifiziert wird und eine zweite Länge des Objekts bestimmt wird und die Klassifizierung und die zweite Länge an die elektronische Recheneinrichtung zur weiteren Auswertung übertragen werden.
Es ist vorgesehen, dass die vorgegebene erste Länge in Abhängigkeit von der mittels der Kamera bestimmten zweiten Länge zu einer aktuellen Länge mittels der elektronischen Recheneinrichtung angepasst wird und mittels eines beschränkten Kalman-Filters der elektronischen Recheneinrichtung die aktuelle Länge aktualisiert wird, wobei die Beschränkung des Kalman-Filters durch die mittels der Kamera bestimmten Klassifizierung vorgegeben ist.
Dadurch ist es ermöglicht, dass eine verbesserte Objektverfolgung, welche auch als Objekt-Tracking bezeichnet werden kann, durchgeführt werden kann. Insbesondere können somit beispielsweise aktuelle Längeninformationen über das Objekt angepasst werden. Insbesondere löst somit die Erfindung das Problem, dass mittels anderer Sensoren die mittels der Kamera bestimmte Länge aktualisiert werden kann, ohne dass Konflikte zwischen weiteren Informationen über die Länge mit den anderen Sensoren entstehen.
Mit anderen Worten ist ein Verfahren zum Verarbeiten der Daten einer Fahrzeugkamera, insbesondere einer Frontkamera, vorgeschlagen beziehungsweise zum Tracken von Objekten in der Fahrzeugumgebung mittels einer Karte, wobei eine Länge eines Objekts, zum Beispiel ein anderes Fahrzeug oder ein Lastwagen, bestimmt werden kann und diese Länge nun weiterbearbeitet wird, wobei hierzu insbesondere der Beschränkung Kalman- Filter genutzt wird. Der beschränkte Kalman-Filter kann auch als Constrained-Kalman- Filter bezeichnet werden.
Es kann also abhängig von der mittels der Kamera bestimmten Klasse dann beispielsweise eine minimale Länge, beispielsweise 2,5 m für Personenkraftwagen oder 5 m für Lastkraftwagen vorgegeben werden oder eine maximale Länge, beispielsweise 5 m für Personenkraftwagen, wobei diese Vorgabe dann wiederum als Beschränkung dem Kalman-Filter zur Bestimmung der Länge vorgegeben wird, so dass diese in diesen Minimal- und Maximalwerten liegen. Insbesondere wird somit die Klassifizierung des Objekts durchgeführt, um eine Länge des Objekts abzuschätzen. Der Kalman-Filter filtert insbesondere über die Zeit, wobei eine Wahrscheinlichkeit, insbesondere durch empirische Versuche, vorgegeben wird. Durch die entsprechende Klassifizierung des Objekts in einer Objektklasse kann insbesondere eine Mindestlänge und/oder eine Maximallänge für das Objekt vorgegeben werden. Der Kalman-Filter arbeitet dann wiederum unter einer Bedingung beziehungsweise Beschränkung, wobei diese Beschränkung für den Kalman-Filter die bestimmte Klasse der Kamera ist.
Insbesondere kann mittels der nachfolgenden Formel unter der Bedingung D*x=d die Filterung mittels des beschränkten Kalman-Filters durchgeführt werden:
Hierdurch entsteht die Beschränkung als Schätzung:
, wobei A dem Langrage-Multiplikator entspricht und wird typischerweise verwendet, um die Lösung eines Least-Square-Problems mit einer Nebenbedingung zu finden, x beschreibt die neue Schätzung unter Berücksichtigung der Beschränkung, ^entspricht der Erwartung der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. Pn ist die Kovarianzmatrix der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. D ist die Matrix, die die lineare Beschränkung auf den Zustand angibt, beispielsweise wenn nur ein bestimmter Wert des Zustands an einen festen Wert gebunden werden soll, D=[0, 0,0,1], wenn dies der vierte Wert des Zustands ist. D kann auch verwendet werden, um eine Beschränkung auf eine lineare Kombination der Zustandsparameter zu spezifizieren, beispielsweise wird D=[1 ,0,0, 0,0.5] eine Beschränkung auf die erste Komponente des Zustands plus die Hälfte der letzten Komponente spezifizieren. Es können mehrere lineare Beschränkungen gleichzeitig angegeben werden, dann hat D mehrere Zeilen, wie beispielsweise D=[0, 0,0,1 ; 1 ,0, 0,0,0] gibt zwei Beschränkungen an, eine auf den ersten Wert, eine auf den letzten Wert des Zustands, d ist der Wert der gewünschten Beschränkung(en). Die Anzahl der Zeilen von d ist die gleiche wie D. Gemäß einer vorteilhaften Ausgestaltungsform wird mittels eines Bayes-Filters der Kamera das Objekt in der Kamera klassifiziert. Insbesondere kann mittels des Bayes- Filters eine einfache und dennoch zuverlässige Methode bereitgestellt werden, mittels welcher die Klassifizierung der Kamera durchgeführt werden kann. Insbesondere nutzt das Bayes-Filter entsprechende Wahrscheinlichkeiten und kann unter gegebenen Bedingungen entscheiden, ob ein Klassenwechsel stattgefunden hat. Insbesondere wird somit das Bayes-Filter zwischen die Klassifizierung der Kamera und der elektronischen Recheneinrichtung geschaltet, so dass ein sporadischer Klassenwechsel der Kamera mittels des Bayes-Filters herausgefiltert werden kann. Somit kann ein kurzfristiger Klassensprung bei der Auswertung der Kamera vernachlässigt werden, so dass eine zuverlässigere Klassifizierung durchgeführt werden kann. Die Klassifizierung des Bayes- Filters wird dann wiederum an die elektronische Recheneinrichtung zur weiteren Auswertung übertragen.
Weiterhin vorteilhaft ist, wenn als Objektklassen der Kamera und/oder elektronischen Recheneinrichtung ein Personenkraftwagen und ein Lastkraftwagen und ein Fußgänger und ein Fahrrad und ein Motorrad zum Klassifizieren vorgegeben werden. Somit können unterschiedliche Objektklassen vorgegeben werden, wobei dann das Objekt in einer dieser Klassen eingeteilt werden kann. Insbesondere sind somit mögliche Verkehrsteilnehmer klassifizierbar, wodurch eine robuste Objektverfolgung ermöglicht ist.
Weiterhin vorteilhaft ist, wenn jedem der Objektklassen der Kamera bei Beginn einer Klassifizierung eine gleiche Wahrscheinlichkeit im Bayes-Filter zugewiesen wird. Sollten beispielsweise fünf Klassen vorgegeben werden, so würde die Wahrscheinlichkeit im Bayes-Filter zu Beginn der Objektklassifizierung insbesondere 0,2 sein. Somit wird bei einer Initialisierung der Objektverfolgung den jeweiligen Wahrscheinlichkeiten für die Objektklassen der gleiche Wert zugewiesen.
Ferner hat es sich als vorteilhaft erwiesen, wenn die Wahrscheinlichkeit im Bayes-Filter aufaddiert einen Wert von 1 ergeben. Somit können unterschiedliche Objektklassen berücksichtigt werden, wobei mittels des Bayes-Filters eine robuste Objektverfolgung, welche insbesondere dem sporadischen Objektklassenwechsel durch die Kamera entgegentritt, durchgeführt wird.
In einer weiteren vorteilhaften Ausgestaltungsform wird mittels einer weiteren elektronischen Recheneinrichtung der Kamera eine Objektklasse bestimmt und diese an das Bayes-Filter übertragen und eine jeweilige Wahrscheinlichkeit einer Objektklasse im Bayes-Filter nach einer jeweiligen Objektklassenbestimmung durch die weitere elektronische Recheneinrichtung der Kamera erhöht. Insbesondere kann somit von der Kamera eine Objektklasse bestimmt werden, welche dann wiederum dem Bayes-Filter übertragen wird. Sollte dann beispielsweise die Kamera einen Personenkraftwagen als Objektklasse bestimmen, so erhöht das Bayes-Filter die Wahrscheinlichkeit für die Objektklasse Personenkraftwagen, während die anderen Wahrscheinlichkeiten für die anderen Klassen sinken. Beispielsweise, wenn die Kamera mittels der weiteren elektronischen Recheneinrichtung bestimmt, dass das Objekt der Objektklasse einem Personenkraftwagen zugeordnet werden kann, so wird die Wahrscheinlichkeit im Bayes- Filter beispielsweise auf 0,7 gesetzt. Die weiteren Wahrscheinlichkeiten für die weiteren Objektklassen sinken dementsprechend. Somit kann die Klassifizierung der Kamera gefiltert werden, wodurch eine robustere Objektverfolgung durchgeführt werden kann.
Ferner hat es sich als vorteilhaft erwiesen, wenn beim Erreichen eines Wahrscheinlichkeitsschwellwerts für eine der Objektklassen durch das Bayes-Filter die Klassifizierung des Objekts mittels der Kamera durchgeführt wird und diese an die elektronische Recheneinrichtung übertragen wird. Insbesondere kann beispielsweise vorgesehen sein, sollte die Wahrscheinlichkeit im Bayes-Filter höher als 0,6 liegen, so wird vom Bayes-Filter eine entsprechende Klassifizierung durchgeführt. Sollte dann ein Wechsel durch die Kamera durchgeführt werden, wobei die Kamera dann wiederum dem Bayes-Filter eine andere Objektklasse übergibt, so wird das Bayes-Filter diese Information zurückweisen, da die Wahrscheinlichkeit noch zu hoch ist, um einen Objektklassenwechsel durchzuführen. Damit ein Objektklassenwechsel durch die Informationen der Kamera durchgeführt wird, sollte die Kamera den Bayes-Filter über eine vorgegeben Zeit mitteilen, dass eine entsprechende Klassenänderung durchzuführen ist.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn bei einem Wert von 0,6 als Wahrscheinlichkeitsschwellwert eine Klassifizierung des Objekts mittels des Bayes-Filters durchgeführt wird. Somit kann eine robuste Objektverfolgung durchgeführt werden, da erst bei einem Überschreiten von 0,6 als Wahrscheinlichkeit eine entsprechende Klassifizierung durchgeführt wird. Dadurch können sporadische Klassenwechsel durch die Kamera unberücksichtigt bleiben.
Ebenfalls vorteilhaft ist, wenn die Beschränkung des Kalman-Filters als lineare Beschränkung vorgegeben wird. Insbesondere kann beispielsweise vorgesehen sein, dass der beschränkte Kalman-Filter von einer Schätzung des Kalman-Filters nach einer Messungsaktualisierung (Update) xn und eine weitere Abschätzung x durchführt, so dass die lineare Beschränkung
D * x = d erfüllt. Dadurch kann eine zuverlässige Objektverfolgung durchgeführt werden.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird, wenn die mittels der Kamera bestimmte zweite Länge des Objekts größer ist als die vorgegebene erste Länge, dann die aktuelle Länge mittels des beschränkten Kalman-Filters an die mittels der Kamera bestimmten zweite Länge angepasst. Somit ist eine zuverlässige Längenaktualisierung ermöglicht.
Ferner wird, wenn die mittels der Kamera bestimmte zweite Länge des Objekts kleiner ist als die vorgegebene erste Länge, dann die aktuelle Länge mittels des Kalman-Filters an die vorgegebene erste Länge angepasst. Dadurch kann eine zuverlässige und robuste Längenaktualisierung durchgeführt werden.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn mittels einer Ultraschallsensor- Einrichtung und/oder mittels einer Radarsensor-Einrichtung und/oder mittels einer Lidarsensor-Einrichtung als Erfassungseinrichtung das Objekt in der Umgebung erfasst wird. Bevorzugt kann das Objekt mittels der Radarsensor-Einrichtung und/oder mittels der Lidarsensor-Einrichtung erfasst werden, da diese insbesondere eine große Reichweite und eine große Auflösung aufweisen. Des Weiteren kann mittels der Radarsensor- Einrichtung und/oder mittels der Lidarsensor-Einrichtung zuverlässig eine Länge des Objekts bestimmt werden.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Betreiben des Assistenzsystems nach dem vorhergehenden Aspekt durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung abgearbeitet wird.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein computerlesbares Speichermedium mit einem Computerprogrammprodukt nach dem vorhergehenden Aspekt. Das Computerlesbare Speichermedium kann insbesondere als Teil einer elektronischen Recheneinrichtung ausgebildet sein. Ein weiterer Aspekt der Erfindung betrifft ein Assistenzsystem für ein Kraftfahrzeug mit zumindest einer Erfassungseinrichtung, mit einer Kamera und mit einer elektronischen Recheneinrichtung, welche zumindest einen beschränkten Kalman-Filter aufweist, wobei das Assistenzsystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Assistenzsystems durchgeführt.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Assistenzsystem gemäß dem vorhergehenden Aspekt. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Das Kraftfahrzeug kann insbesondere als zumindest teilweise autonomes Kraftfahrzeug beziehungsweise als vollautonomes Kraftfahrzeug betrieben werden.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts, des computerlesbaren Speichermediums, des Assistenzsystems sowie des Kraftfahrzeugs anzusehen. Das Assistenzsystems sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen. Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Dabei zeigen:
Fig. 1 eine schematische Draufsicht auf ein Kraftfahrzeug mit einer Ausführungsform eines Assistenzsystems; und
Fig. 2 ein schematisches Ablaufdiagramm gemäß einer Ausführungsform des Verfahrens.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
Fig. 1 zeigt eine schematische Draufsicht auf ein Kraftfahrzeug 1 mit einer Ausführungsform eines Assistenzsystems 2. Das Assistenzsystem 2 weist zumindest eine Erfassungseinrichtung 3 sowie eine Kamera 4 auf. Ferner weist das Assistenzsystem 2 eine elektronische Recheneinrichtung 5 auf. Die Kamera 4 weist insbesondere ferner eine weitere elektronische Recheneinrichtung 6 auf. Die elektronische Recheneinrichtung 5 weist insbesondere ferner einen beschränkten Kalman-Filter 7 auf. Die Erfassungseinrichtung 3 kann insbesondere als Ultraschallsensor-Einrichtung und/oder als Radarsensor-Einrichtung und/oder als Lidarsensor-Einrichtung ausgebildet sein.
Ferner zeigt die Fig. 1 , dass in einer Umgebung 8 des Kraftfahrzeugs 1 ein Objekt 9 erfasst werden kann. Das Objekt 9 kann beispielsweise ein Personenkraftwagen, ein Lastkraftwagen, ein Fußgänger, ein Fahrrad oder ein Motorrad sein. Vorliegend ist insbesondere das Objekt 9 als Lastkraftwagen dargestellt.
Fig. 2 zeigt in einer schematischen Ansicht ein Ablaufdiagramm des Verfahrens. Bei dem Verfahren zum Betreiben des Assistenzsystems 2 des Kraftfahrzeugs 1 wird das Objekt 9 in der Umgebung 8 des Kraftfahrzeugs 1 mittels der Erfassungseinrichtung 3 des Assistenzsystems 2 erfasst, und das Objekt 9 wird mittels der elektronischen Recheneinrichtung 5 des Assistenzsystems 2 zur weiteren Auswertung mittels der elektronischen Recheneinrichtung 5 klassifiziert, wobei in Abhängigkeit von der Klassifizierung eine erste Länge L des Objekts 9 für die weitere Auswertung mittels der elektronischen Recheneinrichtung 5 vorgegeben wird, und wobei zusätzlich das Objekt 9 mittels der Kamera 4 des Assistenzsystems 2 erfasst und ausgewertet wird und mittels der Kamera 4 klassifiziert wird und eine zweite Länge L des Objekts 9 bestimmt wird und die Klassifizierung und die zweite Länge L an die elektronische Recheneinrichtung 5 zur weiteren Auswertung übertragen werden.
Es ist vorgesehen, dass die vorgegebene erste Länge L in Abhängigkeit von der mittels der Kamera 4 bestimmten zweiten Länge L zu einer aktuellen Länge L mittels der elektronischen Recheneinrichtung 5 angepasst wird und mittels des beschränkten Kalman-Filters 7 der elektronischen Recheneinrichtung 5 die Länge L aktualisiert wird, wobei die Beschränkung des Kalman-Filters 7 durch die mittels der Kamera 4 bestimmte Klassifizierung vorgegeben ist.
Insbesondere kann vorgesehen sein, dass mittels eines Bayes-Filters 10 der Kamera 4 das Objekt 9 in der Kamera 4 klassifiziert wird. Als Objektklassen der Kamera 4 und/oder der elektronischen Recheneinrichtung 5 kann beispielsweise ein Personenkraftwagen und ein Lastkraftwagen und ein Fußgänger und ein Fahrrad und ein Motorrad zum Klassifizieren vorgegeben werden.
Insbesondere wird in einem ersten Schritt S1 des Verfahrens jedem der Objektklassen der Kamera 4 bei Beginn einer Klassifizierung eine gleiche Wahrscheinlichkeit im Bayes- Filter 10 zugewiesen. Die Wahrscheinlichkeiten im Bayes-Filter 10 ergeben aufaddiert insbesondere den Wert von 1 .
In einem zweiten Schritt S2 des Verfahrens ist insbesondere vorgesehen, dass mittels der weiteren elektronischen Recheneinrichtung 6 der Kamera 4 eine Objektklasse bestimmt wird und diese an das Bayes-Filter 10 übertragen wird und eine jeweilige Wahrscheinlichkeit einer Objektklasse im Bayes-Filter 10 nach einer jeweiligen Objektklassenbestimmung durch die weitere elektronische Recheneinrichtung 6 der Kamera 4 erhöht wird. Mit anderen Worten kann insbesondere vorgesehen sein, wenn die Klassifizierung durch die Kamera 4 durchgeführt wurde, wird diese dem Bayes-Filter 10 übertragen, wobei die Wahrscheinlichkeiten beispielsweise derart definiert sind, dass eine Wahrscheinlichkeit angibt, dass die Kamera 4 beispielsweise vorgibt, dass das Objekt 9 ein Kraftfahrzeug ist, wobei das Objekt 9 auch ein Kraftfahrzeug ist. Somit kann eine True-Positive-Rate für das Kraftfahrzeug beziehungsweise den Personenkraftwagen vorgegeben werden. Ferner benötigt der Bayes-Filter auch die Wahrscheinlichkeiten für den Fall, dass die Kamera 4 wiedergibt, dass es sich nicht um einen Personenkraftwagen handelt, obwohl es sich um einen Personenkraftwagen handelt. In der Summe sind alle Wahrscheinlichkeiten 1. Insbesondere wird erst bei einem Erreichen eines Wahrscheinlichkeitsschwellwerts für eine der Objektklassen durch das Bayes-Filter 10 die Klassifizierung des Objekts 9 mittels der Kamera 4 durchgeführt und diese an die elektronische Recheneinrichtung 5 übertragen, wobei der Wahrscheinlichkeitsschwellwert beispielsweise bei 0,6 liegen kann.
In einem dritten Schritt S3 erfolgt dann die Bestimmung der Länge L mittels des beschränkten Kalman-Filters 7, wobei die Beschränkung insbesondere eine lineare Beschränkung ist. Beispielsweise kann von dem Bayes-Filter 10 eine Klasse mit der höchsten Wahrscheinlichkeit ausgewählt werden. Abhängig von dieser Klasse kann dann beispielsweise eine minimale Länge, beispielsweise 2,5 m für Personenkraftwagen oder 5 m für Lastkraftwagen vorgegeben werden oder eine maximale Länge, beispielsweise 5 m für Personenkraftwagen, wobei diese Vorgabe dann wiederum als Beschränkung dem Kalman-Filter 7 zur Bestimmung der Länge L vorgegeben wird, so dass die bestimmte Länge L in diesen Minimal- und Maximalwertebereichen liegen. Ferner kann im dritten Schritt S3 insbesondere vorgesehen sein, dass, wenn die mittels der Kamera 4 bestimmte Länge L des Objekts 9 größer ist als die vorgegebene erste Länge L, dann die aktuelle Länge L mittels des beschränkten Kalman-Filters 7 an die mittels der Kamera 4 bestimmte zweite Länge L angepasst wird. Alternativ, wenn die mittels der Kamera 4 bestimmte Länge L des Objekts 9 kleiner ist als die vorgegebene erste Länge L, dann wird die aktuelle Länge L mittels des beschränkten Kalman-Filters 7 an die vorgegebene erste Länge L angepasst.
Insbesondere kann die Beschränkung der Kalman-Filterung beispielsweise mit einer Kalman-Filter-Schätzung nach dem ersten Erfassungs-Update xn und einer weiteren Schätzung x durchgeführt werden, wobei diese dann die lineare Beschränkung erfüllt
D * x = d
Insbesondere kann mittels der nachfolgenden Formel unter der Bedingung D*x=d die Filterung mittels des beschränkten Kalman-Filters durchgeführt werden:
Hierdurch entsteht die Beschränkung als Schätzung:
P^fx — xn) + DTA = 0 x — xn + PnDTA = 0 <=> x = xn — PnDTA = xn — PnDT DPnDT) 1(Dxn — d)
, wobei A dem Langrage-Multiplikator entspricht und wird typischerweise verwendet, um die Lösung eines Least-Square-Problems mit einer Nebenbedingung zu finden, x beschreibt die neue Schätzung unter Berücksichtigung der Beschränkung, ^entspricht der Erwartung der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. Pn ist die Kovarianzmatrix der Schätzung ohne Berücksichtigung der Beschränkung, also dem Ergebnis des Kalman-Filters. D ist die Matrix, die die lineare Beschränkung auf den Zustand angibt, beispielsweise wenn nur ein bestimmter Wert des Zustands an einen festen Wert gebunden werden soll, D=[0, 0,0,1], wenn dies der vierte Wert des Zustands ist. D kann auch verwendet werden, um eine Beschränkung auf eine lineare Kombination der Zustandsparameter zu spezifizieren, beispielsweise wird D=[1 ,0,0, 0,0.5] eine Beschränkung auf die erste Komponente des Zustands plus die Hälfte der letzten Komponente spezifizieren. Es können mehrere lineare Beschränkungen gleichzeitig angegeben werden, dann hat D mehrere Zeilen, wie beispielsweise D=[0, 0,0,1 ; 1 ,0, 0,0,0] gibt zwei Beschränkungen an, eine auf den ersten Wert, eine auf den letzten Wert des Zustands, d ist der Wert der gewünschten Beschränkung(en). Die Anzahl der Zeilen von d ist die gleiche wie D.
Insgesamt zeigt die Figur eine Bestimmung der Länge mittels einer Kamera 4 basierend auf einer gefilterten Klasse.

Claims

Patentansprüche Verfahren zum Betreiben eines Assistenzsystems
(2) eines Kraftfahrzeugs (1), bei welchem ein Objekt (9) in einer Umgebung (8) des Kraftfahrzeugs (1 ) mittels einer Erfassungseinrichtung
(3) des Assistenzsystems (2) erfasst wird und das Objekt (9) mittels einer elektronischen Recheneinrichtung (5) des Assistenzsystem (2) zur weiteren Auswertung mittels der elektronischen Recheneinrichtung (5) klassifiziert wird, wobei in Abhängigkeit von der Klassifizierung eine erste Länge (L) des Objekts (9) für die weitere Auswertung mittels der elektronischen Recheneinrichtung (5) vorgegeben wird, und wobei zusätzlich das Objekt (9) mittels einer Kamera (4) des Assistenzsystems (2) erfasst und ausgewertet wird und mittels der Kamera (4) klassifiziert wird und eine zweite Länge (L) des Objekts (9) bestimmt wird und die Klassifizierung und die zweite Länge (L) an die elektronische Recheneinrichtung (5) zur weiteren Auswertung übertragen werden, dadurch gekennzeichnet, dass die vorgegebene erste Länge (L) in Abhängigkeit von der mittels der Kamera (4) bestimmten zweiten Länge (L) zu einer aktuellen Länge (L) mittels der elektronischen Recheneinrichtung (5) angepasst wird und mittels eines beschränkten Kalman-Filters (7) der elektronischen Recheneinrichtung (5) die aktuelle Länge (L) aktualisiert wird, wobei die Beschränkung des Kalman-Filters (7) durch die mittels der Kamera (4) bestimmte Klassifizierung vorgegeben ist. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mittels eines Bayes-Filters (10) der Kamera (4) das Objekt (9) in der Kamera (4) klassifiziert wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Objektklassen der Kamera (4) und/oder der elektronischen Recheneinrichtung (5) ein Personenkraftwagen und ein Lastkraftwagen und ein Fußgänger und ein Fahrrad und ein Motorrad zum Klassifizieren vorgegeben werden.
4. Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass jedem der Objektklassen der Kamera (4) bei Beginn einer Klassifizierung eine gleiche Wahrscheinlichkeit im Bayes-Filter (10) zugewiesen wird.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Wahrscheinlichkeiten im Bayes-Filter (10) aufaddiert einen Wert von 1 ergeben.
6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass mittels einer weiteren elektronischen Recheneinrichtung (6) der Kamera (4) eine Objektklasse bestimmt wird und diese an das Bayes-Filter (10) übertragen wird und eine jeweilige Wahrscheinlichkeit einer Objektklasse im Bayes-Filter (10) nach einer jeweiligen Objektklassenbestimmung durch die weitere elektronische Recheneinrichtung (6) der Kamera (4) erhöht wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass bei einem Erreichen eines Wahrscheinlichkeitsschwellwerts für eine der Objektklassen durch das Bayes-Filter (10) die Klassifizierung des Objekts (9) mittels der Kamera (4) durchgeführt wird und diese an die elektronische Recheneinrichtung (5) übertragen wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass bei einem Wert von 0,6 als Wahrscheinlichkeitsschwellwert eine Klassifizierung des Objekts (9) mittels des Bayes-Filters (10) durchgeführt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 15 die Beschränkung des Kalman-Filters (7) als lineare Beschränkung vorgegeben wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenn die mittels der Kamera (4) bestimmte zweite Länge (L) des Objekts (9) größer ist als die vorgegebene erste Länge (L), dann wird die aktuelle Länge (L) mittels des beschränkten Kalman-Filters (7) an die mittels der Kamera (4) bestimmten zweiten Länge (L) angepasst. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass wenn die mittels der Kamera (4) bestimmte zweite Länge (L) des Objekts (9) kleiner ist als die vorgegebene erste Länge (L), dann wird die aktuelle Länge (L) mittels des beschränkten Kalman-Filters (7) an die vorgegebene erste Länge (L) angepasst. Verfahren ach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer Ultraschallsensoreinrichtung und/oder mittels einer Radarsensoreinrichtung und/oder mittels einer Lidarsensoreinrichtung als Erfassungseinrichtung (3) das Objekt (9) in der Umgebung (8) erfasst wird. Computerprogrammprodukt mit Programmcodemitteln mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren nach einem der vorhergehenden Ansprüche 1 bis 12 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung (5) abgearbeitet wird. Computerlesbares Speichermedium mit einem Computerprogrammprodukt nach Anspruch 13. Assistenzsystem (2) für ein Kraftfahrzeug (1 ) mit zumindest einer Erfassungseinrichtung (3), mit einer Kamera (4) und mit einer elektronischen Recheneinrichtung (5), welche zumindest einen beschränkten Kalman-Filter (7) 16 aufweist, wobei das Assistenzsystem (2) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 ausgebildet ist.
EP21752685.4A 2020-08-11 2021-08-02 Verfahren zum betreiben eines assistenzsystems zur bestimmung einer länge eines objekts, computerprogrammprodukt, computerlesbares speichermedium sowie assistenzsystem Withdrawn EP4196903A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020121061.2A DE102020121061A1 (de) 2020-08-11 2020-08-11 Verfahren zum Betreiben eines Assistenzsystems zur Bestimmung einer Länge eines Objekts, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
PCT/EP2021/071517 WO2022033905A1 (de) 2020-08-11 2021-08-02 Verfahren zum betreiben eines assistenzsystems zur bestimmung einer länge eines objekts, computerprogrammprodukt, computerlesbares speichermedium sowie assistenzsystem

Publications (1)

Publication Number Publication Date
EP4196903A1 true EP4196903A1 (de) 2023-06-21

Family

ID=77300908

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21752685.4A Withdrawn EP4196903A1 (de) 2020-08-11 2021-08-02 Verfahren zum betreiben eines assistenzsystems zur bestimmung einer länge eines objekts, computerprogrammprodukt, computerlesbares speichermedium sowie assistenzsystem

Country Status (6)

Country Link
US (1) US20230267633A1 (de)
EP (1) EP4196903A1 (de)
JP (1) JP2023537987A (de)
CN (1) CN116097317A (de)
DE (1) DE102020121061A1 (de)
WO (1) WO2022033905A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10148064A1 (de) 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
DE102012203909A1 (de) 2012-03-13 2013-09-19 Robert Bosch Gmbh Filterverfahren und Filtervorrichtung für Sensordaten
CN105631414B (zh) 2015-12-23 2019-04-05 上海理工大学 一种基于贝叶斯分类器的车载多障碍物分类装置及方法
US10160448B2 (en) * 2016-11-08 2018-12-25 Ford Global Technologies, Llc Object tracking using sensor fusion within a probabilistic framework
CN108171717A (zh) * 2016-12-07 2018-06-15 广州映博智能科技有限公司 基于图像序列互信息的移动机器人闭环检测方法
US11461915B2 (en) * 2020-01-06 2022-10-04 Qualcomm Incorporated Object size estimation using camera map and/or radar information

Also Published As

Publication number Publication date
JP2023537987A (ja) 2023-09-06
WO2022033905A1 (de) 2022-02-17
US20230267633A1 (en) 2023-08-24
CN116097317A (zh) 2023-05-09
DE102020121061A1 (de) 2022-02-17

Similar Documents

Publication Publication Date Title
WO2019068291A1 (de) - prüfen eines neuronalen netzes -
DE102006057552A1 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
DE102013019138A1 (de) Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
DE102011101246A1 (de) Redudante objektdetektion für fahrerassistenzsysteme
EP3789926A1 (de) Verfahren zum erkennen einer adversarialen störung in eingangsdaten eines neuronalen netzes
DE102017203276A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
DE102018213268A1 (de) Verfahren zur anwendung in einem fahrzeug
DE102007001099A1 (de) Fahrerassistenzsystem zur Verkehrszeichenerkennung
WO2018202552A1 (de) Verfahren und vorrichtung zum klassifizieren von objekten im umfeld eines kraftfahrzeuges
WO2021043517A1 (de) Verfahren zum komprimieren eines neuronalen netzes
EP3973466A1 (de) Verfahren zum funktionsspezifischen robustifizieren eines neuronalen netzes
DE102009026730A1 (de) Verfahren und Steuergerät zur Lokalisierung einer Parklücke für ein Fahrzeug
DE102018116922A1 (de) Verfahren zum Bestimmen einer realen Position eines Anhängerkugelkopfs einer Anhängerkupplung eines Kraftfahrzeugs mittels eines Assistenzsystems des Kraftfahrzeugs, Assistenzsystem sowie Kraftfahrzeug
WO2022033905A1 (de) Verfahren zum betreiben eines assistenzsystems zur bestimmung einer länge eines objekts, computerprogrammprodukt, computerlesbares speichermedium sowie assistenzsystem
DE102020128952A1 (de) Verfahren und Assistenzeinrichtung zur zweistufigen bildbasierten Szenenerkennung und Kraftfahrzeug
WO2020233961A1 (de) Verfahren zum beurteilen einer funktionsspezifischen robustheit eines neuronalen netzes
DE102023118374A1 (de) Verfahren zum Erkennen einer Reinigung einer Linse einer Kamera für ein Kraftfahrzeug mittels einer elektronischen Recheneinrichtung des Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung
DE102022121868A1 (de) Verfahren und Assistenzeinrichtung zum Klassifizieren von Sensordetektionen basierend auf Punktwolken und entsprechend eingerichtetes Kraftfahrzeug
EP1852307B1 (de) Einrichtung und Verfahren zur Überwachung des toten Winkels bei Fahrzeugen
DE102019202523A1 (de) Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems
EP4026063B1 (de) Verfahren zum komprimieren eines neuronalen netzes
DE102016103037A1 (de) Verfahren zum Überprüfen einer Funktionstüchtigkeit eines Kamera-Monitor-Systems, Kamera-Monitor-System sowie Kraftfahrzeug
DE102020001309A1 (de) Verfahren zum Betreiben einer elektronischen Recheneinrichtung für ein Kraftfahrzeug, sowie elektronische Recheneinrichtung
DE102013217648A1 (de) Kamera-basierte erkennung eines an einem fahrzeug montierbaren trägersystems
DE102020210116A1 (de) Verfahren zum Betreiben eines Assistenzsystems eines Fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230201

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20231003