DE102023100418A1 - Method and device for tracking the lateral distance of an object - Google Patents
Method and device for tracking the lateral distance of an object Download PDFInfo
- Publication number
- DE102023100418A1 DE102023100418A1 DE102023100418.2 DE102023100418A1 DE 102023100418 A1 DE102023100418 A1 DE 102023100418A1 DE 102023100418 A1 DE102023100418 A1 DE 102023100418A1
- Authority
- DE
- Germany
- Prior art keywords
- lateral distance
- vehicle
- time
- estimated value
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 20
- 230000007613 environmental effect Effects 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 12
- 238000007500 overflow downdraw method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 26
- 230000004927 fusion Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Images
Abstract
Es wird eine Vorrichtung zur Nachverfolgung eines Schätzwertes des lateralen Abstands eines Objektes im Umfeld eines Fahrzeugs beschrieben. Die Vorrichtung ist eingerichtet, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs einen Messwert des lateralen Abstands des Objektes für einen aktuellen Zeitpunkt zu ermitteln. Die Vorrichtung ist ferner eingerichtet, einen Schätzwert des lateralen Abstands für einen vorhergehenden Zeitpunkt auf Basis des Messwertes des lateralen Abstands für den aktuellen Zeitpunkt zu aktualisieren, um einen Schätzwert des lateralen Abstands für den aktuellen Zeitpunkt zu ermitteln. Des Weiteren ist die Vorrichtung eingerichtet, eine Fahrzeugfunktion des Fahrzeugs in Abhängigkeit von dem Schätzwert des lateralen Abstands für den aktuellen Zeitpunkt zu betreiben. A device for tracking an estimated value of the lateral distance of an object in the surroundings of a vehicle is described. The device is set up to determine a measured value of the lateral distance of the object for a current point in time based on sensor data from one or more surroundings sensors of the vehicle. The device is also set up to update an estimated value of the lateral distance for a previous point in time based on the measured value of the lateral distance for the current point in time in order to determine an estimated value of the lateral distance for the current point in time. Furthermore, the device is set up to operate a vehicle function of the vehicle depending on the estimated value of the lateral distance for the current point in time.
Description
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung, die darauf ausgerichtet sind, den lateralen Abstand eines Objektes zu einem Fahrzeug bzw. zu der Fahrspur eines Fahrzeugs nachzuverfolgen und bei dem Betrieb einer Fahrzeugfunktion des Fahrzeugs zu berücksichtigen.The invention relates to a method and a corresponding device which are designed to track the lateral distance of an object to a vehicle or to the lane of a vehicle and to take it into account when operating a vehicle function of the vehicle.
Ein Fahrzeug kann ein oder mehrere Fahrzeugfunktionen umfassen, die ausgebildet sind, den Fahrer des Fahrzeugs bei der Längs- und/oder Querführung des Fahrzeugs zu unterstützen. Die Fahrzeugfunktion kann z.B. ausgebildet sein, einen Warnhinweis auszugeben, wenn sich das Fahrzeug einem Objekt im Umfeld des Fahrzeugs nähert. Alternativ oder ergänzend kann die Fahrzeugfunktion ausgebildet sein, das Fahrzeug automatisiert längs- und/oder querzuführen.A vehicle can include one or more vehicle functions that are designed to assist the driver of the vehicle in guiding the vehicle longitudinally and/or laterally. The vehicle function can, for example, be designed to issue a warning when the vehicle approaches an object in the vehicle's surroundings. Alternatively or additionally, the vehicle function can be designed to automatically guide the vehicle longitudinally and/or laterally.
Das Fahrzeug umfasst für den Betrieb der Fahrzeugfunktion typischerweise ein oder mehrere Umfeldsensoren (z.B. ein oder mehrere Kameras, ein oder mehrere Radarsensoren, ein oder mehrere Lidarsensoren, ein oder mehrere Ultraschallsensoren, etc.), die jeweils eingerichtet sind, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen. Auf Basis der Sensordaten kann ein Objekt im Umfeld des Fahrzeugs erkannt werden, und die Fahrzeugfunktion kann in Abhängigkeit von dem erkannten Objekt, insbesondere in Abhängigkeit von Objektinformation (wie z.B. der Position und/oder der räumlichen Ausbreitung) zu dem erkannten Objekt, betrieben werden.To operate the vehicle function, the vehicle typically includes one or more environmental sensors (e.g. one or more cameras, one or more radar sensors, one or more lidar sensors, one or more ultrasonic sensors, etc.), each of which is set up to collect sensor data relating to the environment of the vehicle. Based on the sensor data, an object in the environment of the vehicle can be detected, and the vehicle function can be operated depending on the detected object, in particular depending on object information (such as the position and/or spatial spread) of the detected object.
Im Rahmen der Objekterkennung kann es zu Ungenauigkeiten bei der Ermittlung von Objektinformation für ein Objekt kommen, die sich auf die Güte der Fahrzeugfunktion auswirken können. Das vorliegende Dokument befasst sich mit der technischen Aufgabe, die Genauigkeit der Objektinformation für ein Umfeldobjekt eines Fahrzeugs in effizienter und zuverlässiger Weise zu erhöhen, insbesondere um die Güte einer darauf basierenden Fahrzeugfunktion zu erhöhen.In the context of object recognition, inaccuracies can occur when determining object information for an object, which can affect the quality of the vehicle function. This document deals with the technical task of increasing the accuracy of the object information for an object in the surroundings of a vehicle in an efficient and reliable manner, in particular in order to increase the quality of a vehicle function based on this.
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The problem is solved by each of the independent claims. Advantageous embodiments are described, among other things, in the dependent claims. It is pointed out that additional features of a patent claim dependent on an independent patent claim can form a separate invention without the features of the independent patent claim or only in combination with a subset of the features of the independent patent claim, which invention is independent of the combination of all features of the independent patent claim and can be made the subject of an independent claim, a divisional application or a subsequent application. This applies equally to technical teachings described in the description, which can form an invention independent of the features of the independent patent claims.
Gemäß einem Aspekt wird eine Vorrichtung zur Nachverfolgung des Schätzwertes des lateralen Abstands eines Objektes im Umfeld eines (Kraft-) Fahrzeugs beschrieben. Das Objekt kann z.B. ein anderer Verkehrsteilnehmer (z.B. ein anderes Fahrzeug) sein. Das Fahrzeug kann auf einer Fahrspur angeordnet sein, und das Objekt kann auf einer dazu benachbarten Fahrspur angeordnet sein.According to one aspect, a device for tracking the estimated value of the lateral distance of an object in the environment of a (motor) vehicle is described. The object can be, for example, another road user (e.g. another vehicle). The vehicle can be arranged in a lane and the object can be arranged in an adjacent lane.
Die Vorrichtung kann eingerichtet sein, den Schätzwert des lateralen Abstands des Objektes von dem Fahrzeug zu ermitteln. Alternativ oder ergänzend kann die Vorrichtung eingerichtet sein, den Schätzwert des lateralen Abstands des Objektes von zumindest einem Fahrschlauch, insbesondere von der Fahrspur (etwa von einer Fahrspurmarkierung), des Fahrzeugs zu ermitteln. Der laterale Abstand kann der Abstand entlang einer lateralen Richtung sein, wobei die laterale Richtung senkrecht zu der Fahrtrichtung des Fahrzeugs und/oder senkrecht zu dem Verlauf des Fahrschlauchs verlaufen kann.The device can be set up to determine the estimated value of the lateral distance of the object from the vehicle. Alternatively or additionally, the device can be set up to determine the estimated value of the lateral distance of the object from at least one travel path, in particular from the lane (for example from a lane marking), of the vehicle. The lateral distance can be the distance along a lateral direction, wherein the lateral direction can run perpendicular to the direction of travel of the vehicle and/or perpendicular to the course of the travel path.
Die Vorrichtung kann eingerichtet sein, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs einen Messwert des lateralen Abstands des Objektes für einen aktuellen Zeitpunkt zu ermitteln. Beispielhafte Umfeldsensoren sind eine Kamera, ein Lidarsensor, ein Radarsensor, ein Ultraschallsensor, etc.The device can be set up to determine a measured value of the lateral distance of the object for a current point in time based on sensor data from one or more environmental sensors of the vehicle. Examples of environmental sensors are a camera, a lidar sensor, a radar sensor, an ultrasonic sensor, etc.
Ggf. kann auf Basis der Sensordaten einer Vielzahl von Umfeldsensoren (z.B. von zwei oder mehr, oder von drei oder mehr Umfeldsensoren) des Fahrzeugs eine entsprechende Vielzahl von Einzel-Messwerten des lateralen Abstands des Objektes für den aktuellen Zeitpunkt ermittelt werden. Es kann somit auf Basis der Sensordaten der einzelnen Umfeldsensoren jeweils ein Einzel-Messwert des lateralen Abstands ermittelt werden. Die Vielzahl von Einzel-Messwerten kann fusioniert werden, um den (fusionierten) Messwert des lateralen Abstands des Objektes für den aktuellen Zeitpunkt zu ermitteln.If necessary, a corresponding number of individual measured values of the lateral distance of the object for the current point in time can be determined based on the sensor data of a large number of environmental sensors (e.g. from two or more, or from three or more environmental sensors) of the vehicle. An individual measured value of the lateral distance can thus be determined based on the sensor data of the individual environmental sensors. The large number of individual measured values can be merged to determine the (merged) measured value of the lateral distance of the object for the current point in time.
In diesem Zusammenhang kann die Vorrichtung eingerichtet sein, ein oder mehrere Fusionierungsmethoden zu verwenden, um die Vielzahl von Einzel-Messwerten zu fusionieren. Die ein oder mehreren Fusionierungsmethoden können umfassen,
- • die Ermittlung eines Mittelwertes auf Basis der Vielzahl von Einzel-Messwerten;
- • eine Ermittlung eines n-t niedrigsten Wertes der Vielzahl von Einzel-Messwerten (als den fusionierten Messwert des lateralen Abstands); wobei insbesondere n=2 oder n=3;
- • eine Ermittlung eines Medians auf Basis der Vielzahl von Einzel-Messwerten (als den fusionierten Messwert des lateralen Abstands);
- • die Ermittlung eines Minimalwerts der Vielzahl von Einzel-Messwerten;
- • die Gewichtung der Vielzahl von Einzel-Messwerten; und/oder
- • die Filterung der Vielzahl von Einzel-Messwerten, insbesondere unter Verwendung eines Alpha-Beta-Filters und/oder eines Kalman-Filters.
- • the determination of an average value based on the large number of individual measured values;
- • determining an nt lowest value of the plurality of individual measured values (as the fused measured value of the lateral distance); in particular, where n=2 or n=3;
- • determining a median based on the multitude of individual measurements (as the fused measurement value of the lateral distance);
- • determining a minimum value from a multitude of individual measured values;
- • the weighting of the multitude of individual measured values; and/or
- • filtering the multitude of individual measured values, in particular using an alpha-beta filter and/or a Kalman filter.
In einem bevorzugten Beispiel kann die Vielzahl von Einzel-Messwerten analysiert werden, um z.B. ein oder mehrere Ausreißer zu identifizieren. Die ein oder mehreren Ausreißer können bei der weiteren Fusionierung ignoriert werden. Es kann somit auf Basis der Vielzahl von Einzel-Messwerten eine korrigierte Menge von Einzel-Meswerten ermittelt werden (wobei die korrigierte Menge von Einzel-Messwerten der Vielzahl von Einzel-Messwerten ohne die ein oder mehreren identifizierten Ausreißer entsprechen kann).In a preferred example, the plurality of individual measurement values can be analyzed in order to identify, for example, one or more outliers. The one or more outliers can be ignored in the further fusion. A corrected set of individual measurement values can thus be determined on the basis of the plurality of individual measurement values (where the corrected set of individual measurement values can correspond to the plurality of individual measurement values without the one or more identified outliers).
Der (fusionierte) Messwert des lateralen Abstands kann anhand eines robusten Schätzverfahrens auf Basis der Vielzahl von Einzel-Messwerten oder auf Basis der korrigierten Menge von Einzel-Messwerten ermittelt werden. Beispielsweise kann der (fusionierte) Messwert des lateralen Abstands als der Median (oder als der direkt benachbarte Wert des Medians) der Vielzahl von Einzel-Messwerten oder der korrigierten Menge von Einzel-Messwerten ermittelt werden. Alternativ kann der (fusionierte) Messwert des lateralen Abstands als der n-t niedrigste (z.B. der zweit niedrigste) Wert der Vielzahl von Einzel-Messwerten oder der korrigierten Menge von Einzel-Messwerten ermittelt werden. So kann eine besonders robuste Fusionierung der Einzel-Messwerte bewirkt werden.The (fused) measured value of the lateral distance can be determined using a robust estimation method based on the large number of individual measured values or on the basis of the corrected set of individual measured values. For example, the (fused) measured value of the lateral distance can be determined as the median (or as the directly adjacent value of the median) of the large number of individual measured values or the corrected set of individual measured values. Alternatively, the (fused) measured value of the lateral distance can be determined as the n-t lowest (e.g. the second lowest) value of the large number of individual measured values or the corrected set of individual measured values. In this way, a particularly robust fusion of the individual measured values can be achieved.
Die Vorrichtung kann z.B. eingerichtet sein, eine Vielzahl von Indikatoren für die Zuverlässigkeit der entsprechenden Vielzahl von Einzel-Messwerten zu ermitteln (z.B. auf Basis eines Sensormodells für den jeweiligen Umfeldsensor). Die Vielzahl von Einzel-Messwerten kann unter Berücksichtigung der entsprechenden Vielzahl von Indikatoren fusioniert werden (wobei die Indikatoren z.B. als Gewichtungen für eine Mittelwertbildung verwendet werden können).The device can, for example, be set up to determine a plurality of indicators for the reliability of the corresponding plurality of individual measured values (e.g. based on a sensor model for the respective environmental sensor). The plurality of individual measured values can be merged taking into account the corresponding plurality of indicators (where the indicators can, for example, be used as weights for averaging).
Durch die Fusionierung von mehreren Einzel-Messwerten kann ein besonders präziser (fusionierter) Messwert des lateralen Abstands für den aktuellen Zeitpunkt bereitgestellt werden.By merging several individual measurements, a particularly precise (fused) measurement value of the lateral distance for the current point in time can be provided.
Die (Einzel-) Messwerte können jeweils auf Basis einer Bounding Box des Objekts ermittelt werden, wobei die jeweilige Bounding Box z.B. im Rahmen der Ermittlung eines Schätzwertes des Objektzustands des Objektes für den aktuellen Zeitpunkt ermittelt wird.The (individual) measured values can each be determined on the basis of a bounding box of the object, whereby the respective bounding box is determined, for example, as part of the determination of an estimated value of the object state of the object for the current point in time.
Die Vorrichtung kann z.B. eingerichtet sein, auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren des Fahrzeugs den Schätzwert des Objektzustands des Objektes für den aktuellen Zeitpunkt zu ermitteln. Der Objektzustand kann eine Vielzahl von Zustandsgrößen umfassen. Beispielhafte Zustandsgrößen sind die Orientierung und/oder die Dimension der Bounding Box für das Objekt, die Geschwindigkeit des Objektes, die Drehrate des Objektes, etc. Ggf. kann auf Basis der einzelnen Umfeldsensoren jeweils ein Einzel-Schätzwert des Objektzustands ermittelt werden. Die Einzel-Schätzwerte des Objektzustands können dann zu einem (fusionierten) Schätzwert des Objektzustands fusioniert werden. Die Einzel-Schätzwerte des Objektzustands können jeweils eine Bounding Box beschreiben (wobei sich die Bounding Boxes typischerweise voneinander unterscheiden). Der (fusionierte) Schätzwert des Objektzustand kann eine fusionierte Bounding Box für das Objekt beschreiben.The device can, for example, be set up to determine the estimated value of the object state of the object for the current point in time based on the sensor data from one or more environmental sensors of the vehicle. The object state can comprise a large number of state variables. Examples of state variables are the orientation and/or the dimension of the bounding box for the object, the speed of the object, the rotation rate of the object, etc. If necessary, an individual estimated value of the object state can be determined based on the individual environmental sensors. The individual estimated values of the object state can then be merged to form a (fused) estimated value of the object state. The individual estimated values of the object state can each describe a bounding box (where the bounding boxes typically differ from one another). The (fused) estimated value of the object state can describe a fused bounding box for the object.
Es kann somit auf Basis von Sensordaten zumindest oder genau eines Umfeldsensors des Fahrzeugs eine Bounding Box für das Objekt ermittelt werden. Des Weiteren kann ein Eckpunkt der Bounding Box für das Objekt identifiziert werden (insbesondere der Eckpunkt, der den niedrigsten lateralen Abstand aufweist). Der (Einzel-) Messwert des lateralen Abstands des Objektes für den aktuellen Zeitpunkt kann dann in präziser Weise auf Basis des lateralen Abstands des Eckpunktes der Bounding Box ermittelt werden. Dabei kann auf Basis der Sensordaten der Vielzahl von Umfeldsensoren eine entsprechende Vielzahl von Bounding Boxes ermittelt werden. Für die einzelnen Bounding Boxes kann jeweils ein Eckpunkt ermittelt werden, und basierend auf den jeweiligen Eckpunkten kann der entsprechende Einzel-Messwert des lateralen Abstands ermittelt werden.A bounding box for the object can thus be determined based on sensor data from at least or exactly one environmental sensor of the vehicle. Furthermore, a corner point of the bounding box for the object can be identified (in particular the corner point that has the smallest lateral distance). The (individual) measured value of the lateral distance of the object for the current point in time can then be determined precisely based on the lateral distance of the corner point of the bounding box. A corresponding plurality of bounding boxes can be determined based on the sensor data from the large number of environmental sensors. A corner point can be determined for each individual bounding box, and the corresponding individual measured value of the lateral distance can be determined based on the respective corner points.
Die Vorrichtung kann eingerichtet sein, einen Betrachtungsstrahl des jeweiligen Umfeldsensors auf den Eckpunkt der jeweiligen Bounding Box zu ermitteln. Es kann daraufhin ein Zwischenpunkt zwischen dem Umfeldsensor und dem Eckpunkt der Bounding Box ermittelt werden. Zu diesem Zweck kann die jeweilige Bounding Box mit der fusionierten Bounding Box für das Objekt verglichen werden, insbesondere um einen Skalierungsfaktor zu ermitteln, der die Stelle auf dem Betrachtungsstrahl anzeigt, an der sich der Zwischenpunkt befindet. Der (Einzel-) Messwert des lateralen Abstands des Objektes für den aktuellen Zeitpunkt kann dann in besonders präziser Weise auf Basis des lateralen Abstands des Zwischenpunktes ermittelt werden (insbesondere bei Verwendung von Sensordaten einer Kamera).The device can be set up to determine a viewing beam of the respective environment sensor on the corner point of the respective bounding box. An intermediate point between the environment sensor and the corner point of the bounding box can then be determined. For this purpose, the respective bounding box can be compared with the fused bounding box for the object, in particular to determine a scaling factor that indicates the location on the viewing beam at which where the intermediate point is located. The (individual) measured value of the lateral distance of the object for the current point in time can then be determined in a particularly precise manner based on the lateral distance of the intermediate point (especially when using sensor data from a camera).
Alternativ zu der Ermittlung eines Eckpunktes einer Bounding Box kann auf Basis der Sensordaten eines Radar- oder Lidarsensors ein Detektionspunkt ermittelt werden, der innerhalb oder in unmittelbarer Nähe zu der Bounding Box angeordnet ist. Dieser Detektionspunkt kann anstelle des Eckpunktes der Bounding Box verwendet werden, um einen (Einzel-) Messwert des lateralen Abstands des Objektes zu ermitteln. Durch die Verwendung eines tatsächlichen Detektionspunktes kann die Genauigkeit der Bestimmung des (Einzel-) Messwertes des lateralen Abstands des Objektes erhöht werden.As an alternative to determining a corner point of a bounding box, a detection point can be determined based on the sensor data of a radar or lidar sensor that is located within or in the immediate vicinity of the bounding box. This detection point can be used instead of the corner point of the bounding box to determine a (single) measured value of the lateral distance of the object. By using an actual detection point, the accuracy of determining the (single) measured value of the lateral distance of the object can be increased.
Die Vorrichtung kann insbesondere eingerichtet sein, auf Basis von Sensordaten eines ersten Umfeldsensors, insbesondere einer Kamera, des Fahrzeugs eine Bounding Box für das Objekt zu ermitteln. Ferner kann auf Basis von Sensordaten eines Abstands-messenden (zweiten) Umfeldsensors, insbesondere eines Radarsensors oder eines Lidarsensors, des Fahrzeugs ein Detektionspunkt in oder an der Bounding Box für das Objekt identifiziert werden. Der (Einzel-) Messwert des lateralen Abstands des Objektes für den aktuellen Zeitpunkt kann dann in besonders präziser Weise auf Basis des lateralen Abstands des Detektionspunktes zu ermitteln. Dabei kann der Betrachtungsstrahl des Abstands-messenden (zweiten) Umfeldsensors auf den Detektionspunkt in oder an der Bounding Box ermittelt werden. Ferner kann (durch Verwendung des Skalierungsfaktors) ein Zwischenpunkt zwischen dem Abstands-messenden Umfeldsensor und dem Detektionspunkt ermittelt werden. Der (Einzel-) Messwert des lateralen Abstands des Objektes für den aktuellen Zeitpunkt kann dann in besonders präziser Weise auf Basis des lateralen Abstands des Zwischenpunktes ermittelt werden.The device can in particular be set up to determine a bounding box for the object on the basis of sensor data from a first environmental sensor, in particular a camera, of the vehicle. Furthermore, a detection point in or on the bounding box for the object can be identified on the basis of sensor data from a distance-measuring (second) environmental sensor, in particular a radar sensor or a lidar sensor, of the vehicle. The (individual) measured value of the lateral distance of the object for the current point in time can then be determined in a particularly precise manner on the basis of the lateral distance of the detection point. The viewing beam of the distance-measuring (second) environmental sensor can be determined on the detection point in or on the bounding box. Furthermore (by using the scaling factor) an intermediate point between the distance-measuring environmental sensor and the detection point can be determined. The (individual) measured value of the lateral distance of the object for the current point in time can then be determined in a particularly precise manner based on the lateral distance of the intermediate point.
Die Vorrichtung kann ferner eingerichtet sein, den Schätzwert des lateralen Abstands für einen vorhergehenden Zeitpunkt auf Basis des Messwertes des lateralen Abstands für den aktuellen Zeitpunkt zu aktualisieren, um den Schätzwert des lateralen Abstands für den aktuellen Zeitpunkt zu ermitteln. Dies kann z.B. unter Verwendung eines Kalman-Filters erfolgen.The device can further be configured to update the estimated value of the lateral distance for a previous point in time based on the measured value of the lateral distance for the current point in time in order to determine the estimated value of the lateral distance for the current point in time. This can be done, for example, using a Kalman filter.
Es kann auf Basis des Schätzwertes des lateralen Abstands für den vorhergehenden Zeitpunkt und unter Verwendung eines Prädiktionsmodells ein prädizierter Wert des lateralen Abstands für den aktuellen Zeitpunkt ermittelt werden. Das Prädiktionsmodell kann von ein oder mehreren Betriebsparametern des Fahrzeugs und/oder von ein oder mehreren Zustandsgrößen (aus dem Objektzustand) des Objekts abhängen. Beispielhafte Betriebsparameter des Fahrzeugs sind:
- • die Fahrgeschwindigkeit des Fahrzeugs;
- • der Lenkwinkel des Fahrzeugs; und/oder
- • die Drehrate des Fahrzeugs.
- • the driving speed of the vehicle;
- • the steering angle of the vehicle; and/or
- • the turning rate of the vehicle.
Beispielhafte Zustandsgrößen (aus dem Objektzustand) des Objektes sind,
- • die Drehrate des Objektes;
- • die Bewegungsgeschwindigkeit des Objektes;
- • die Bewegungsrichtung des Objektes; und/oder
- • die Dimension (z.B. die Breite und/oder die Länge) des Objektes.
- • the rotation rate of the object;
- • the speed of movement of the object;
- • the direction of movement of the object; and/or
- • the dimension (e.g. width and/or length) of the object.
Die Vorrichtung kann eingerichtet sein, Werte für die ein oder mehreren Betriebsparameter des Fahrzeugs und/oder für die ein oder mehreren Zustandsgrößen des Objektes für den aktuellen Zeitpunkt zu ermitteln, um unter Verwendung des Prädiktionsmodells den prädizierten Wert des lateralen Abstands für den aktuellen Zeitpunkt zu ermitteln. Dabei kann z.B. der Schätzwert des Objektzustands des Objektes verwendet werden, um die Werte für die ein oder mehreren Zustandsgrößen des Objektes für den aktuellen Zeitpunkt zu ermitteln.The device can be set up to determine values for the one or more operating parameters of the vehicle and/or for the one or more state variables of the object for the current point in time in order to determine the predicted value of the lateral distance for the current point in time using the prediction model. For example, the estimated value of the object state of the object can be used to determine the values for the one or more state variables of the object for the current point in time.
Der Schätzwert des lateralen Abstands für den aktuellen Zeitpunkt kann in besonders präziser und robuster Weise auf Basis des Messwertes des lateralen Abstands für den aktuellen Zeitpunkt und auf Basis des prädizierten Wertes des lateralen Abstands für den aktuellen Zeitpunkt ermittelt werden.The estimated value of the lateral distance for the current time can be determined in a particularly precise and robust manner based on the measured value of the lateral distance for the current time and on the basis of the predicted value of the lateral distance for the current time.
In entsprechender Weise kann (rekursiv) der Schätzwert des lateralen Abstands des Objektes für eine Sequenz von aufeinanderfolgenden Zeitpunkten ermittelt werden. Es kann somit eine zeitliche Nachverfolgung des Schätzwerts des lateralen Abstands des Objektes bewirkt werden.In a corresponding manner, the estimated value of the lateral distance of the object can be determined (recursively) for a sequence of consecutive points in time. This makes it possible to track the estimated value of the lateral distance of the object over time.
Die Vorrichtung kann ferner eingerichtet sein, eine Fahrzeugfunktion des Fahrzeugs, insbesondere eine Fahrzeugfunktion zur automatisierten Längs- und/oder Querführung des Fahrzeugs, in Abhängigkeit von dem Schätzwert des lateralen Abstands für den aktuellen Zeitpunkt bzw. für die Sequenz von Zeitpunkten zu betreiben. Durch die direkte Berücksichtigung des zeitlich nachverfolgten lateralen Abstands eines Objektes kann die Güte der Fahrzeugfunktion erhöht werden.The device can also be set up to operate a vehicle function of the vehicle, in particular a vehicle function for automated longitudinal and/or transverse guidance of the vehicle, depending on the estimated value of the lateral distance for the current point in time or for the sequence of points in time. By directly taking into account the temporally tracked lateral distance of an object, the quality of the vehicle function can be increased.
Wie bereits weiter oben dargelegt, kann die Vorrichtung eingerichtet sein, auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren des Fahrzeugs den (ggf. fusionierten) Schätzwert des Objektzustands des Objektes für den aktuellen Zeitpunkt zu ermitteln. Dabei kann der Objektzustand eine Vielzahl von Zustandsgrößen umfassen, insbesondere die Orientierung und die Dimension (z.B. die Breite und/oder Länge) der Bounding Box für das Objekt.As already explained above, the device can be set up to determine the (possibly fused) estimated value of the object state of the object for the current point in time based on the sensor data from one or more environmental sensors of the vehicle. The object state can include a large number of state variables, in particular the orientation and the dimension (e.g. the width and/or length) of the bounding box for the object.
Die Vorrichtung kann eingerichtet sein, die Orientierung und/oder die Dimension der Bounding Box für das Objekt auf Basis des Schätzwertes des lateralen Abstands für den aktuellen Zeitpunkt anzupassen, um einen angepassten Schätzwert des Objektzustands des Objektes für den aktuellen Zeitpunkt zu ermitteln. Dabei kann die Anpassung derart erfolgen, dass ein Eckpunkt der angepassten Bounding Box für das Objekt (insbesondere der Eckpunkt mit dem niedrigsten lateralen Abstand) den Schätzwert des lateralen Abstands als lateralen Abstand aufweist.The device can be configured to adjust the orientation and/or the dimension of the bounding box for the object based on the estimated value of the lateral distance for the current point in time in order to determine an adjusted estimated value of the object state of the object for the current point in time. The adjustment can be carried out in such a way that a corner point of the adjusted bounding box for the object (in particular the corner point with the lowest lateral distance) has the estimated value of the lateral distance as the lateral distance.
Der Schätzwert des lateralen Abstands des Objekts kann somit zur Anpassung bzw. Korrektur des Objektzustands des Objekts verwendet werden. So kann die Güte des ermittelten Objektzustands erhöht werden. Ferner kann die Fahrzeugfunktion in Abhängigkeit von dem angepassten Schätzwert des Objektzustands des Objektes für den aktuellen Zeitpunkt betrieben werden, um die Güte der Fahrzeugfunktion zu erhöhen.The estimated value of the lateral distance of the object can thus be used to adjust or correct the object state of the object. In this way, the quality of the determined object state can be increased. Furthermore, the vehicle function can be operated depending on the adjusted estimated value of the object state of the object for the current point in time in order to increase the quality of the vehicle function.
Alternativ oder ergänzend kann der Schätzwert des lateralen Abstands des Objekts dazu verwendet werden, ein oder mehrere Attribute in Bezug auf das Objekt und/oder in Bezug auf den Objektzustand des Objekts zu aktualisieren. Ein beispielhaftes Attribut ist die Standardabweichung für den Schätzwert einer Zustandsgröße und/oder für den Schätzwert des Objektzustands. Ein weiteres beispielhaftes Attribut ist die Existenzwahrscheinlichkeit des Objektes. Beispielsweise kann die geschätzte Unsicherheit der Objektposition des Objektes erhöht werden, und/oder es kann die geschätzte Existenzwahrscheinlichkeit des Objektes verringert werden, wenn der Schätzwert des lateralen Abstands des Objekts eine relativ starke Inkonsistenz zu dem Schätzwert des Objektzustands des Objektes aufweist.Alternatively or additionally, the estimate of the lateral distance of the object can be used to update one or more attributes relating to the object and/or relating to the object state of the object. An example attribute is the standard deviation for the estimate of a state variable and/or for the estimate of the object state. Another example attribute is the probability of existence of the object. For example, the estimated uncertainty of the object position of the object can be increased and/or the estimated probability of existence of the object can be reduced if the estimate of the lateral distance of the object has a relatively strong inconsistency with the estimate of the object state of the object.
Die Vorrichtung kann somit eingerichtet sein, den Schätzwert des Objektzustands des Objektes mit dem Schätzwert des lateralen Abstands des Objekts zu vergleichen. Ein oder mehrere Attribute in Bezug auf das Objekt können dann in Abhängigkeit von dem Vergleich aktualisiert werden.The device may thus be arranged to compare the estimate of the object state of the object with the estimate of the lateral distance of the object. One or more attributes relating to the object may then be updated depending on the comparison.
Insbesondere kann die Vorrichtung eingerichtet sein, auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren des Fahrzeugs ein oder mehrere Attribute in Bezug auf das Objekt für den aktuellen Zeitpunkt zu ermitteln. Die ein oder mehreren Attribute können z.B. die Existenzwahrscheinlichkeit des Objektes und/oder die Konfidenz (insbesondere die Standardabweichung) des Schätzwertes des Objektzustands des Objektes umfassen. Die ein oder mehreren Attribute können auf Basis des Schätzwertes des lateralen Abstands für den aktuellen Zeitpunkt, insbesondere auf Basis eines Vergleichs des Schätzwertes des Objektzustands des Objektes mit dem Schätzwert des lateralen Abstands des Objekts, angepasst werden. Ferner kann die Fahrzeugfunktion in Abhängigkeit von den ein oder mehreren angepassten Attributen für den aktuellen Zeitpunkt betrieben werden. So kann die Güte der Fahrzeugfunktion weiter erhöht werden.In particular, the device can be set up to determine one or more attributes in relation to the object for the current point in time based on the sensor data from the one or more environmental sensors of the vehicle. The one or more attributes can include, for example, the probability of existence of the object and/or the confidence (in particular the standard deviation) of the estimated value of the object's state. The one or more attributes can be adapted based on the estimated value of the lateral distance for the current point in time, in particular based on a comparison of the estimated value of the object's state with the estimated value of the object's lateral distance. Furthermore, the vehicle function can be operated depending on the one or more adapted attributes for the current point in time. In this way, the quality of the vehicle function can be further increased.
Wie bereits dargelegt, kann die Vorrichtung eingerichtet sein, für eine Sequenz von aufeinanderfolgenden Zeitpunkten jeweils einen Schätzwert des lateralen Abstands des Objektes zu ermitteln. Es kann auf Basis der Schätzwerte des lateralen Abstands für die Sequenz von Zeitpunkten ein Schätzwert der lateralen Geschwindigkeit des Objektes (entlang der lateralen Richtung) ermittelt werden. Ferner kann die Fahrzeugfunktion in Abhängigkeit von dem Schätzwert der lateralen Geschwindigkeit des Objektes betrieben werden, um die Güte der Fahrzeugfunktion weiter zu erhöhen.As already explained, the device can be set up to determine an estimated value of the lateral distance of the object for a sequence of consecutive points in time. An estimated value of the lateral speed of the object (along the lateral direction) can be determined on the basis of the estimated values of the lateral distance for the sequence of points in time. Furthermore, the vehicle function can be operated depending on the estimated value of the lateral speed of the object in order to further increase the quality of the vehicle function.
Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.According to a further aspect, a (road) motor vehicle (in particular a passenger car or a truck or a bus or a motorcycle) is described which comprises the device described in this document.
Gemäß einem weiteren Aspekt wird ein Verfahren zur zeitlichen Nachverfolgung des Schätzwertes des lateralen Abstands eines Objektes (z.B. eines anderen Verkehrsteilnehmers) im Umfeld eines (Kraft-) Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs, eines Messwertes des lateralen Abstands des Objektes für einen aktuellen Zeitpunkt. Das Verfahren umfasst ferner das Aktualisierten des Schätzwertes des lateralen Abstands für einen vorhergehenden Zeitpunkt auf Basis des Messwertes des lateralen Abstands für den aktuellen Zeitpunkt, um den Schätzwert des lateralen Abstands für den aktuellen Zeitpunkt zu ermitteln. Des Weiteren kann das Verfahren umfassen, das Betreiben einer Fahrzeugfunktion des Fahrzeugs, insbesondere einer Fahrzeugfunktion zur automatisierten Längs- und/oder Querführung des Fahrzeugs, in Abhängigkeit von dem Schätzwert des lateralen Abstands für den aktuellen Zeitpunkt.According to a further aspect, a method for temporally tracking the estimated value of the lateral distance of an object (e.g. another road user) in the environment of a (motor) vehicle is described. The method comprises determining, on the basis of sensor data from one or more environmental sensors of the vehicle, a measured value of the lateral distance of the object for a current point in time. The method further comprises updating the estimated value of the lateral distance for a previous point in time on the basis of the measured value of the lateral distance for the current point in time in order to determine the estimated value of the lateral distance for the current point in time. The method can further comprise operating a vehicle function of the vehicle, in particular a vehicle function for automated longitudinal and/or transverse guidance of the vehicle, depending on the estimated value of the lateral distance for the current point in time.
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a software (SW) program is described. The SW program can be configured to be executed on a processor (eg on a control unit of a vehicle) and thereby to carry out the method described in this document.
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a storage medium is described. The storage medium can comprise a software program which is designed to be executed on a processor and thereby to carry out the method described in this document.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammern aufgeführte Merkmale als optionale Merkmale zu verstehen.It should be noted that the methods, devices and systems described in this document can be used alone or in combination with other methods, devices and systems described in this document. Furthermore, any aspects of the methods, devices and systems described in this document can be combined with one another in a variety of ways. In particular, the features of the claims can be combined with one another in a variety of ways. Furthermore, features listed in brackets are to be understood as optional features.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
-
1a beispielhafte Komponenten eines Fahrzeugs; -
1b ein beispielhaftes Objekt im Umfeld des Fahrzeugs; -
2 eine beispielhafte Ermittlung des lateralen Abstands eines Objektes; -
3 eine beispielhafte Vorrichtung zur Nachverfolgung des lateralen Abstands eines Objektes; -
4 eine beispielhafte Ermittlung eines Messwertes für den lateralen Abstand; -
5a und5b eine beispielhafte Prädiktion des lateralen Abstands; und -
6 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Nachverfolgung des lateralen Abstands eines Objektes.
-
1a exemplary components of a vehicle; -
1b an exemplary object in the vicinity of the vehicle; -
2 an example determination of the lateral distance of an object; -
3 an exemplary device for tracking the lateral distance of an object; -
4 an example determination of a measured value for the lateral distance; -
5a and5b an exemplary prediction of the lateral distance; and -
6 a flowchart of an example method for tracking the lateral distance of an object.
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Erhöhung der Genauigkeit von Objektinformation für ein im Umfeld eines Fahrzeugs erkanntes Objekt. In diesem Zusammenhang zeigt
Eine (Steuer-) Vorrichtung 101 des Fahrzeugs 100 ist eingerichtet, auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren Objektinformation in Bezug auf ein oder mehrere Objekte im Umfeld des Fahrzeugs 100 zu ermitteln. Es kann insbesondere für ein oder mehrere Objekte jeweils der Objektzustand ermittelt und über der Zeit nachverfolgt (bzw. getrackt) werden. Der Objektzustand kann durch die Werte einer Vielzahl von Zustandsgrößen beschrieben werden. Beispielhafte Zustandsgrößen sind,
- • die Position eines Referenzpunktes des Objektes (relativ zu dem Fahrzeug);
- • die Dimension (z.B. die Breite und/oder die Länge) einer Bounding Box für das Objekt;
- • eine Orientierung des Objekts bzw. der Bounding Box des Objektes;
- • eine Drehrate des Objektes; und/oder
- • eine Bewegungsgeschwindigkeit des Objektes.
- • the position of a reference point of the object (relative to the vehicle);
- • the dimension (e.g. width and/or length) of a bounding box for the object;
- • an orientation of the object or the bounding box of the object;
- • a rotation rate of the object; and/or
- • a movement speed of the object.
Der Objektzustand eines Objektes kann z.B. anhand eines Kalman-Filters und/oder anhand eines Partikelfilters über der Zeit nachverfolgt werden. Dabei kann ausgehend von dem Objektzustand an einem vorhergehenden Zeitpunkt mittels eines Prädiktionsmodells ein prädizierter Wert des Objektzustands an dem aktuellen Zeitpunkt ermittelt werden. Ferner kann anhand der Sensordaten von ein oder mehreren Umfeldsensoren 102 ein Messwert des Objektzustands an dem aktuellen Zeitpunkt ermittelt werden. Der Messwert des Objektzustands kann im Rahmen eines Messupdates dazu verwendet werden, auf Basis des prädizierten Wertes des Objektzustands für den aktuellen Zeitpunkt den Schätzwert des Objektzustands für den aktuellen Zeitpunkt zu ermitteln, der dann wieder als Basis für die Prädiktion des prädizierten Wertes des Objektzustands für den nachfolgenden Zeitpunkt verwendet werden kann.The object state of an object can be tracked over time, for example, using a Kalman filter and/or a particle filter. Based on the object state at a previous point in time, a predicted value of the object state at the current point in time can be determined using a prediction model. Furthermore, a measured value of the object state at the current point in time can be determined using the sensor data from one or more
Es kann somit der Schätzwert des Objektzustands eines Objektes für eine Sequenz von aufeinanderfolgenden Zeitpunkten ermittelt werden. Dies kann als Nachverfolgung des Objektzustand bzw. des Objektes bezeichnet werden. The estimated value of the object state of an object can thus be determined for a sequence of consecutive points in time. This can be referred to as tracking the object state or the object.
Die (Steuer-) Vorrichtung 101 kann ferner eingerichtet sein, ein oder mehrere Längs- und/oder Querführungsaktoren 103 des Fahrzeugs 100 (z.B. einen Antriebsmotor, eine Lenkung, eine Bremse, etc.) in Abhängigkeit von dem Schätzwert des Objektzustands von ein oder mehreren Objekten im Umfeld des Fahrzeugs 100 zu betreiben, um eine Fahrzeugfunktion mit automatisierter Längs- und/oder Querführung bereitzustellen.The (control)
Der Schätzwert des Objektzustands eines Objektes kann auf Basis der Fusion von Sensordaten von mehreren Umfeldsensoren 102 ermittelt werden. Dabei kann ggf. auf Basis der Sensordaten der einzelnen Umfeldsensoren 102 jeweils ein Sensorspezifischer Messwert des Objektzustands ermittelt werden. Die Sensorspezifischen Messwerte des Objektzustands können fusioniert werden (z.B. unter Berücksichtigung eines Indikators für die Güte der Sensordaten der einzelnen Umfeldsensoren 102), um einen fusionierten Messwert des Objektzustands zu ermitteln, der dazu verwendet wird (z.B. im Rahmen eines Messupdates), den Schätzwert des Objektzustands des Objekts zu ermitteln.The estimated value of the object state of an object can be determined based on the fusion of sensor data from several
Auf Basis der Fusion der beiden Messwerte 121, 122 kann ein fusionierter Messwert 120 des Objektzustands ermittelt werden. Dabei kann es vorkommen, dass sich durch die Fusion der unterschiedlichen Zustandsgrößen, insbesondere der Orientierung und der Dimension, eine Bounding Box ergibt, die zumindest teilweise in die Fahrspur 111 des Fahrzeugs 100 hineinragt, obwohl keiner der Einzel-Messwerte 121, 122 anzeigt, dass das Objekt in die Fahrspur 111 des Fahrzeugs 100 hineinragt. Eine solche Situation kann sich z.B. ergeben, wenn die Orientierung aus dem ersten Messwert 121 des Objektzustands mit der Dimension aus dem zweiten Messwert 122 des Objektzustands fusioniert wird.Based on the fusion of the two measured
Alternativ oder ergänzend können Messwerte 121, 122 von ein oder mehreren Umfeldsensoren 102 Messausreißer aufweisen. Beispielsweise kann zumindest vorübergehend eine signifikant fehlerhafte laterale Position, Orientierung und/oder Länge des Objektes ausgegeben werden. Dies kann dazu führen, dass das Objekt fälschlicherweise als in die Fahrspur 111 hineinragend ausgeben wird.Alternatively or additionally, measured
Es kann ggf. auch vorkommen, dass wenn in der Fusion von Messwerten 121, 122 ein (gewichteter) Mittelwert verwendet wird, das fusionierte Objekt als in die Fahrspur 111 hineinragend ausgeben wird.It may also happen that if a (weighted) average is used in the fusion of measured
Das fehlerhaft erkannte Hineinragen eines Objekts in die Fahrspur 111 (allgemein in den Fahrschlauch) des Fahrzeugs 100 kann zu einer fehlerhaften Reaktion einer Fahrzeugfunktion des Fahrzeugs 100 führen. Beispielsweise kann eine automatische Bremsung des Fahrzeugs 100 bewirkt werden, was zu einem reduzierten Komfort des Fahrzeugs 100 führen kann.The incorrectly detected protrusion of an object into the lane 111 (generally into the driving path) of the
In diesem Dokument werden Maßnahmen beschrieben, die es ermöglichen, (fehlerhafte) Ausreißer von Messwerten 121, 122 durch eine robuste Schätzung des lateral nächsten Punktes (d.h. des lateralen Abstands) zu unterdrücken.This document describes measures that allow to suppress (erroneous) outliers of measured
Die Vorrichtung 101 kann eingerichtet sein, den lateralen Abstand eines Objektes als Zustandsgröße zu ermitteln und nachzuverfolgen. Dabei kann der laterale Abstand separat nachverfolgt oder im Rahmen des Objektzustands, insbesondere im Rahmen des Zustandsvektors für den Objektzustand, des Objektes nachverfolgt werden. Der laterale Abstand kann sich auf den lateralen Abstand zu der Fahrspur 111 des Fahrzeugs 100 oder auf den lateralen Abstand zu dem Fahrzeug 100 selbst beziehen. Ferner kann der laterale Abstand der Abstand entlang der Querrichtung bzw. entlang der lateralen Richtung sein, die senkrecht zu der Fahrtrichtung des Fahrzeugs verläuft. Es kann jeweils der niedrigste laterale Abstand (d.h. der Punkt des Objekts mit dem niedrigsten lateralen Abstand) ermittelt und nachverfolgt werden.The
Die Einzel-Messwerte 221, 222 für den lateralen Abstand können fusioniert werden, um einen fusionierten Messwert 220 für den lateralen Abstand zu ermitteln. Der fusionierte Messwert 220 kann dazu verwendet werden (z.B. im Rahmen eines Messupdates), um den lateralen Abstand, insbesondere einen Schätzwert des lateralen Abstands, entlang der Zeit nachzuverfolgen.The
Auf Basis der Sensordaten 311 eines Umfeldsensors 102 kann in einer Messeinheit 302 ein Messwert 220 des lateralen Abstands (für den aktuellen Zeitpunkt) ermittelt werden. Dabei kann ggf. auf Basis einer Vielzahl von Umfeldsensoren 102 eine entsprechende Vielzahl von Einzel-Messwerten 221, 222 des lateralen Abstands ermittelt werden und zu einem fusionierten Messwert 220 des lateralen Abstands fusioniert werden.Based on the
Der (fusionierte) Messwert 220 für den lateralen Abstand kann in einer Updateeinheit 303 dazu verwendet werden, einen prädizierten Wert 314 des lateralen Abstands (für den aktuellen Zeitpunkt) zu korrigieren, um einen Schätzwert 313 des lateralen Abstands (für den aktuellen Zeitpunkt) zu ermitteln.The (fused) measured
Der prädizierte Wert 314 des lateralen Abstands (für den aktuellen Zeitpunkt) kann in einer Prädiktionseinheit 304 auf Basis des Schätzwertes 313 des lateralen Abstands (für den vorhergehenden Zeitpunkt) ermittelt worden sein. Dabei kann von der Prädiktionseinheit 304 ein Prädiktionsmodell verwendet worden sein, das von ein oder mehrere Betriebsparametern des Fahrzeugs 100 abhängt (wie z.B. dem Lenkwinkel, der Fahrgeschwindigkeit, der Beschleunigung, etc.).The predicted
Die Messeinheit 302 kann ausgebildet sein, auf Basis der Sensordaten 311 zumindest oder genau eines Umfeldsensors 102 eine Bounding Box für das Objekt zu ermitteln (z.B. als Teil des Messwertes 121, 121 des Objektzustands). Es können die vier Ecken der Bounding Box analysiert werden, um die Ecke zu identifizieren, die den geringsten lateralen Abstand aufweist. Dieser laterale Abstand kann als Messwert 220 des lateralen Abstands bereitgestellt werden.The measuring
Alternativ oder ergänzend kann der Messwert 220 des lateralen Abstands auf Basis des Betrachtungswinkels des Umfeldsensors 102, insbesondere einer Kamera, auf das Objekt ermittelt werden, wie beispielhaft in
Ein Objekt kann teilweise verdeckt sein, so dass die Ecke mit dem niedrigsten lateralen Abstand nicht direkt gemessen werden kann. In diesem Fall kann ggf. eine Schätzung des Messwertes 220 des lateralen Abstands durchgeführt werden. Bei der Schätzung des Messwertes 220 kann der Betrachtungswinkel des Umfeldsensors 102 auf eine Kante des Objekts berücksichtigt werden. Alternativ oder ergänzend kann die (ggf. bereits bekannte) Länge und/oder Breite des Objektes berücksichtigt werden, um den Eckpunkt mit dem niedrigsten lateralen Abstand zu lokalisieren.An object can be partially obscured so that the corner with the lowest lateral distance cannot be measured directly. In this case, an estimate of the measured
Es kann durch die Messeinheit 302 ein Indikator für die Genauigkeit und/oder für die Zuverlässigkeit der einzelnen Messwerte 221, 222 und/oder des fusionierten Messwertes 220 des lateralen Abstands ermittelt werden. Der Indikator kann bei der Fusion der einzelnen Messwerte 221, 222 und/oder im Rahmen des Messupdates in der Updateeinheit 303 berücksichtigt werden. So kann die Genauigkeit der Nachverfolgung des lateralen Abstands eines Objektes erhöht werden.The measuring
Die Fusionierung der einzelnen Messwerte 221, 222 des lateralen Abstands von unterschiedlichen Umfeldsensoren 102 kann unter Verwendung von ein oder mehreren unterschiedlichen Fusionierungsmethoden erfolgen. Beispielhafte Fusionierungsmethoden sind,
- • Mittelwertbildung der einzelnen Messwerte 221, 222, um
den fusionierten Messwert 220 zu ermitteln; - • Auswahl des Mindestwertes der einzelnen Messwerte 221, 222 als
den fusionierten Messwert 220; - • Auswahl des Medians (oder eines benachbarten Messwertes 221, 222) der einzelnen Messwerte 221, 222 als
den fusionierten Messwert 220; - • Auswahl des n-t niedrigsten Messwertes der einzelnen Messwerte 221, 222 als
den fusionierten Messwert 220; wobei z.B. n=2 oder n=3; - • Ermittlung eines gewichteten Mittelwertes der einzelnen Messwerte 221, 222, um
den fusionierten Messwert 220 zu ermitteln; dabei können die Indikatoren für die Genauigkeit und/oder für die Zuverlässigkeit der einzelnen Messwerte 221, 222 zur Gewichtung verwendet werden; - • Verwendung eines Alpha-Beta-Filters; und/oder
- • Verwendung eines Kalman-Filters.
- • Averaging the individual measured
221, 222 to determine the merged measuredvalues value 220; - • Selection of the minimum value of the individual measured
221, 222 as the merged measuredvalues value 220; - • selecting the median (or a neighboring
measurement value 221, 222) of the 221, 222 as theindividual measurements merged measurement value 220; - • Selecting the nt lowest measurement value of the
221, 222 as theindividual measurement values merged measurement value 220; where eg n=2 or n=3; - • Determination of a weighted average of the individual measured
221, 222 in order to determine the fusio nised measuredvalues value 220; the indicators for the accuracy and/or reliability of the individual measured 221, 222 can be used for weighting;values - • Use of an alpha-beta filter; and/or
- • Use of a Kalman filter.
Die Indikatoren für die Genauigkeit und/oder für die Zuverlässigkeit der einzelnen Messwerte 221, 222 und/oder die Varianzen können auf Basis von Performancemodellen für die jeweiligen Umfeldsensoren 102 ermittelt werden. Alternativ oder ergänzend kann die Unsicherheit in Bezug auf ein oder mehrere Zustandsgrößen aus dem Objektzustand verwendet werden, um die Indikatoren und/oder die Varianzen zu ermitteln.The indicators for the accuracy and/or reliability of the individual measured
Auf Basis der Fahrtrajektorie 501 des Fahrzeugs 100 kann eine Drehung des Fahrzeugs 100 (um die Hochachse des Fahrzeugs 100) prädiziert werden. Nach der Drehung des Fahrzeugs 100 ergibt sich eine neue Längsrichtung 502 des Fahrzeugs 100 (
Es können somit ein oder mehrere Betriebsparameter (wie z.B. die Drehrate, die Fahrgeschwindigkeit, der Lenkwinkel, etc.) des Fahrzeugs 100 verwendet werden, um den prädizierten Wert 314 des lateralen Abstands zu ermitteln. Alternativ oder ergänzend kann der Schätzwert des Objektzustands (insbesondere in Bezug auf die Geschwindigkeit, die Dimension, die Drehrate, etc.) des Objekts dazu verwendet werden, den prädizierten Wert 314 des lateralen Abstands zu ermitteln.Thus, one or more operating parameters (such as the rotation rate, the driving speed, the steering angle, etc.) of the
Wie bereits dargelegt, kann der laterale Abstand in Bezug auf das Fahrzeug 100 und/oder in Bezug auf die Fahrspur 111 bzw. auf den Fahrschlauch des Fahrzeugs 100 ermittelt werden. Ggf. können mehrere unterschiedliche Hypothesen für den vorausliegenden Fahrschlauch des Fahrzeugs 100 betrachtet werden, und es kann jeweils der laterale Abstand zu dem jeweiligen Fahrschlauch nachverfolgt werden. Basierend auf den unterschiedlichen lateralen Abständen kann dann eine der Hypothesen für den Betrieb des Fahrzeugs 100 ausgewählt werden. So kann eine besonders zuverlässige automatisierte Längs- und/oder Querführung des Fahrzeugs 100 bewirkt werden.As already explained, the lateral distance can be determined in relation to the
Anhand der in diesem Dokument beschriebenen Maßnahmen kann der laterale Abstand eines Objektes (zu dem Fahrzeug 100 oder zu dem Fahrschlauch des Fahrzeugs 100) als Funktion der Zeit ermittelt werden. Basierend darauf können die Bewegungsgeschwindigkeit und/oder die Beschleunigung des lateralen Abstands ermittelt werden, insbesondere um den lateralen Abstand in die Zukunft zu prädizieren. Zu diesem Zweck kann ein Kalman-Filter verwendet werden. Die Geschwindigkeit und/oder die Beschleunigung des lateralen Abstands (d.h. des Punktes des Objektes mit dem niedrigsten lateralen Abstand) können (z.B. unter Verwendung eines Kalman-Filters) über der Zeit nachverfolgt werden. So kann die Güte der Objektinformation für ein Objekt weiter erhöht werden.Using the measures described in this document, the lateral distance of an object (to the
Der Schätzwert 313 des lateralen Abstands kann dazu verwendet werden, den Schätzwert des Objektzustands (insbesondere die Bounding Box) des Objekts anzupassen. Dabei können insbesondere die Orientierung und/oder die Dimension des Objektzustands angepasst werden, insbesondere derart, dass der niedrigste laterale Abstand der Bounding Box dem Schätzwert 313 des lateralen Abstands entspricht. So kann die Güte der Objektinformation weiter erhöht werden.The estimated
Die Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, eine Fahrzeugfunktion des Fahrzeugs 100 in Abhängigkeit von dem ermittelten Schätzwert 313 des lateralen Abstands zu betreiben. Dabei kann insbesondere die automatisierte Längs- und/oder Querführung des Fahrzeugs 100 in Abhängigkeit von dem ermittelten Schätzwert 313 des lateralen Abstands bewirkt werden. So kann die Güte der Fahrzeugfunktion in effizienter und zuverlässiger Weise erhöht werden.The
Es werden somit Maßnahmen beschrieben, die es ermöglichen, direkt den am innen-liegensten Punkt (mit dem niedrigsten lateralen Abstand) zu bestimmen (auf Basis der Sensordaten 311 der ein oder mehreren Sensoren 102 und/oder auf Basis der von den einzelnen Sensoren 102 bereitgestellten Sensor-Objektbox für ein Objekt). Dieser Punkt kann über der Zeit gefiltert und/oder nachverfolgt werden. Durch eine direkte Bestimmung des innersten Punktes kann die Genauigkeit der Umfelderfassung erhöht werden. Ferner können Inkonsistenzen zwischen unterschiedlichen Sensoren 102 aufgelöst werden.Measures are thus described that make it possible to directly determine the innermost point (with the smallest lateral distance) (based on the
Das Verfahren 600 umfasst das Ermitteln 601, auf Basis von Sensordaten 311 von ein oder mehreren Umfeldsensoren 102 des Fahrzeugs 100, eines (ggf. fusionierten) Messwertes 220 des lateralen Abstands des Objektes für einen aktuellen Zeitpunkt.The
Das Verfahren 600 umfasst ferner das Aktualisierten 602 des Schätzwertes 313 des lateralen Abstands für einen vorhergehenden Zeitpunkt auf Basis des Messwertes 220 des lateralen Abstands für den aktuellen Zeitpunkt, um den Schätzwert 313 des lateralen Abstands für den aktuellen Zeitpunkt zu ermitteln. Dies kann z.B. unter Verwendung eines Kalman-Filter erfolgen.The
Des Weiteren umfasst das Verfahren 600 das Betreiben 603 einer Fahrzeugfunktion des Fahrzeugs 100, insbesondere einer Fahrzeugfunktion zur automatisierten Längs- und/oder Querführung des Fahrzeugs 100, in Abhängigkeit von dem Schätzwert 313 des lateralen Abstands für den aktuellen Zeitpunkt. Durch die Berücksichtigung des Schätzwertes 313 des lateralen Abstands (zusätzlich zu dem Schätzwert 423 des Objektzustands) kann die Güte der Fahrzeugfunktion in effizienter und zuverlässiger Weise erhöht werden.Furthermore, the
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.The present invention is not limited to the embodiments shown. In particular, it should be noted that the description and the figures are intended only to illustrate the principle of the proposed methods, devices and systems by way of example.
Claims (15)
Publications (1)
Publication Number | Publication Date |
---|---|
DE102023100418A1 true DE102023100418A1 (en) | 2024-07-11 |
Family
ID=
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009006113A1 (en) | 2008-03-03 | 2009-09-10 | Volkswagen Ag | Vehicle's surrounding representation providing method, involves subjecting sensor objects to fusion to generate fusion objects, and fusing existence possibilities of fusion objects based on existence possibilities of sensor objects |
DE102018205879A1 (en) | 2018-04-18 | 2019-10-24 | Volkswagen Aktiengesellschaft | Method, apparatus and computer readable storage medium with instructions for processing sensor data |
DE102018220024B3 (en) | 2018-11-22 | 2020-03-12 | Audi Ag | Method for fusing sensor data from several sensors and fusion device for fusing sensor data from several sensors |
DE112020001663T5 (en) | 2019-03-29 | 2022-03-24 | Intel Corporation | Autonomous Vehicle System |
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009006113A1 (en) | 2008-03-03 | 2009-09-10 | Volkswagen Ag | Vehicle's surrounding representation providing method, involves subjecting sensor objects to fusion to generate fusion objects, and fusing existence possibilities of fusion objects based on existence possibilities of sensor objects |
DE102018205879A1 (en) | 2018-04-18 | 2019-10-24 | Volkswagen Aktiengesellschaft | Method, apparatus and computer readable storage medium with instructions for processing sensor data |
DE102018220024B3 (en) | 2018-11-22 | 2020-03-12 | Audi Ag | Method for fusing sensor data from several sensors and fusion device for fusing sensor data from several sensors |
DE112020001663T5 (en) | 2019-03-29 | 2022-03-24 | Intel Corporation | Autonomous Vehicle System |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102015111535B4 (en) | Algorithm for precise curvature estimation for the path planning of autonomous vehicles | |
EP2561419B1 (en) | Method for determining the lane course for a vehicle | |
EP1680317B1 (en) | Driver assist method and device based on lane information | |
DE102010005293B4 (en) | System and method for tracking path estimation using a sensor combination | |
DE102011120497B4 (en) | Systems and methods for precise vehicle position determination within a lane | |
DE112014002019B4 (en) | Waveform modeling device, vehicle information processing system, waveform modeling method and waveform modeling program | |
EP3490862B1 (en) | Method and device for determining a roadway model for the surroundings of a vehicle | |
DE102020203756A1 (en) | MOTORWAY EXIT DETECTION AND LINE REFLECTION FOR VEHICLE TRACTION DETERMINATION | |
DE102020107349A1 (en) | METHOD AND APPARATUS FOR DYNAMIC YEAR RATE DEVIATION ESTIMATION | |
DE102017222017A1 (en) | Method and system for determining and providing a soil profile | |
WO2009013052A2 (en) | Method and device for sensing a lane with a driver assistance system | |
DE102017118651A1 (en) | Method and system for collision avoidance of a vehicle | |
DE102020211970A1 (en) | Method for controlling a vehicle | |
DE102016011366A1 (en) | Method for determining the position of a vehicle | |
EP1634241A1 (en) | Method and device for object recognition in driver aid systems for motor vehicles | |
EP4088224A1 (en) | Method for combining a plurality of data sets for generating a current lane model of a road and device for data processing | |
EP3938266A1 (en) | Method and computer program product for identifying signal signs for the traffic control of track-guided vehicles, signal-sign identification system, and track-guided vehicle, in particular rail vehicle | |
DE102008021380B4 (en) | Method and device for predicting a course of a roadway and driver assistance system | |
DE102020105192B4 (en) | Method for detecting moving objects in a vehicle environment and motor vehicle | |
DE102019132967A1 (en) | Method and device for determining a lane hypothesis | |
DE102023100418A1 (en) | Method and device for tracking the lateral distance of an object | |
DE102021214763A1 (en) | Method and control device for controlling an automated vehicle | |
DE102020118640A1 (en) | Method and vehicle system for determining a driving corridor for a vehicle | |
DE102022106744B4 (en) | Method and device for validating a distance measurement | |
DE102022201199B3 (en) | Method and device for monitoring a lane detection system, lane detection system |