DE102016106978A1 - Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle - Google Patents
Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle Download PDFInfo
- Publication number
- DE102016106978A1 DE102016106978A1 DE102016106978.7A DE102016106978A DE102016106978A1 DE 102016106978 A1 DE102016106978 A1 DE 102016106978A1 DE 102016106978 A DE102016106978 A DE 102016106978A DE 102016106978 A1 DE102016106978 A1 DE 102016106978A1
- Authority
- DE
- Germany
- Prior art keywords
- motor vehicle
- specific feature
- pose
- sensor data
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 9
- 230000004807 localization Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0225—Failure correction strategy
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
- B60W2050/021—Means for detecting failure or malfunction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
- B60W2050/0215—Sensor drifts or sensor failures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/408—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle for navigation systems
Abstract
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems (2) eines Kraftfahrzeugs (1) durch Erkennen eines Objektes (O) in durch eine fahrzeugseitige Sensoreinrichtung (S) aus einem Umgebungsbereich (3) des Kraftfahrzeugs (1) erfassten ersten Sensordaten und Identifizieren eines objektspezifischen Merkmals (M) an dem Objekt (O) in den ersten Sensordaten; Bestimmen einer ersten Pose des Kraftfahrzeugs (1) zu dem objektspezifischen Merkmal (M) anhand des objektspezifischen Merkmals (M), Wiedererkennen des Objektes (O) in durch die Sensoreinrichtung (S) erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals (M), Bestimmen einer zweiten Pose des Kraftfahrzeugs (1) zu dem objektspezifischen Merkmal (M) anhand des objektspezifischen Merkmals (M); Bestimmen einer durch eine Bewegung des Kraftfahrzeugs (1) zwischen der Erfassung der ersten und der zweiten Sensordaten resultierenden Pose des Kraftfahrzeugs (1) zu dem objektspezifischen Merkmal (M) mittels Odometrie; und Erkennen eines Odometriefehlers, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet. Die Erfindung betrifft außerdem eine Recheneinrichtung (9), ein Fahrerassistenzsystem (2) sowie ein Kraftfahrzeug (1).The invention relates to a method for operating a driver assistance system (2) of a motor vehicle (1) by detecting an object (O) in first sensor data detected by a vehicle-side sensor device (S) from a surrounding area (3) of the motor vehicle (1) and identifying an object-specific one Feature (M) on the object (O) in the first sensor data; Determining a first pose of the motor vehicle (1) to the object-specific feature (M) on the basis of the object-specific feature (M), recognizing the object (O) in the second sensor data detected by the sensor device (S) on the basis of the object-specific feature (M), determining a second pose of the motor vehicle (1) to the object-specific feature (M) on the basis of the object-specific feature (M); Determining a pose of the motor vehicle (1) resulting from a movement of the motor vehicle (1) between the detection of the first and the second sensor data to the object-specific feature (M) by means of odometry; and detecting an odometry error if a deviation between the resulting pose and the second pose exceeds a predetermined threshold. The invention also relates to a computing device (9), a driver assistance system (2) and a motor vehicle (1).
Description
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs durch Erkennen eines Objektes in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten, Identifizieren eines objektspezifischen Merkmals an dem Objekt in den ersten Sensordaten und Bestimmen einer ersten Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals. Die Erfindung betrifft außerdem eine Recheneinrichtung, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem. The invention relates to a method for operating a driver assistance system of a motor vehicle by detecting an object in first sensor data acquired by a vehicle-side sensor device from an environmental region of the motor vehicle, identifying an object-specific feature on the object in the first sensor data and determining a first pose of the motor vehicle to the object-specific Feature based on the object-specific feature. The invention also relates to a computing device, a driver assistance system and a motor vehicle having such a driver assistance system.
Ein Verfahren zum Betreiben eines Fahrerassistenzsystems der eingangs genannten Art ist beispielsweise aus der
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, ein vielseitig einsetzbares Fahrerassistenzsystem bereitzustellen, mittels welchem ein Kraftfahrzeug besonders zuverlässig lokalisiert werden kann. It is an object of the present invention to provide a solution to provide a versatile driver assistance system, by means of which a motor vehicle can be located particularly reliable.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Recheneinrichtung, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren. This object is achieved by a method by a computing device, by a driver assistance system and by a motor vehicle with the features according to the respective independent claims. Advantageous embodiments of the invention are subject of the dependent claims, the description and the figures.
In einer Ausgestaltung eines erfindungsgemäßen Verfahrens zum Betreiben eines Fahrerassistenzsystems kann ein Objekt in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten erkannt werden und ein objektspezifisches Merkmal an dem Objekt in den ersten Sensordaten identifiziert werden. Außerdem kann eine erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt werden. Darüber hinaus wird das Objekt in durch die Sensoreinrichtung aus dem Umgebungsbereich erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals wiedererkannt und eine zweite Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt. Darüber hinaus wird insbesondere eine durch eine Bewegung des Kraftfahrzeugs zwischen der Erfassung der ersten und der zweiten Sensordaten resultierende Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal mittels Odometrie bestimmt und der Odometriefehler erkannt, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet. In one embodiment of a method according to the invention for operating a driver assistance system, an object can be detected in first sensor data detected by a vehicle-side sensor device from a surrounding area of the motor vehicle, and an object-specific feature can be identified on the object in the first sensor data. In addition, a first pose of the motor vehicle to the object-specific feature can be determined based on the object-specific feature. In addition, the object is detected in second sensor data detected by the sensor device from the surrounding area on the basis of the object-specific feature, and a second pose of the motor vehicle for the object-specific feature is determined on the basis of the object-specific feature. In addition, in particular, a pose of the motor vehicle resulting from a movement of the motor vehicle between the detection of the first and second sensor data to the object-specific feature is determined by means of odometry and the odometry error is detected if a deviation between the resulting pose and the second pose exceeds a predetermined threshold value ,
Bei einer bevorzugten Ausgestaltung des Verfahrens zum Betreiben eines Fahrerassistenzsystems wird ein Objekt in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten erkannt und ein objektspezifisches Merkmal an dem Objekt in den ersten Sensordaten identifiziert. Außerdem wird eine erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand der ersten Sensordaten bestimmt. Darüber hinaus wird das Objekt in durch die Sensoreinrichtung aus dem Umgebungsbereich erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals wiedererkannt und eine zweite Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt. Außerdem wird eine durch eine Bewegung des Kraftfahrzeugs zwischen der Erfassung der ersten und der zweiten Sensordaten resultierende Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal mittels Odometrie bestimmt und der Odometriefehler erkannt, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet. In a preferred refinement of the method for operating a driver assistance system, an object is detected in first sensor data detected by a vehicle-side sensor device from an environmental region of the motor vehicle, and an object-specific feature is identified on the object in the first sensor data. In addition, a first pose of the motor vehicle is determined to the object-specific feature based on the first sensor data. In addition, the object is detected in the second sensor data detected by the sensor device from the surrounding area on the basis of the object-specific feature, and a second pose of the motor vehicle for the object-specific feature is determined on the basis of the object-specific feature. In addition, a pose of the motor vehicle to the object-specific feature resulting from a movement of the motor vehicle between the detection of the first and the second sensor data is determined by means of odometry and the odometry error is detected if a deviation between the resulting pose and the second pose exceeds a predetermined threshold value.
Mittels des Verfahrens kann ein Fahrerassistenzsystem realisiert werden, welches zur Posenbestimmung bezüglich zumindest eines Objektes in dem Umgebungsbereich des Kraftfahrzeugs und außerdem während der Posenbestimmung zum Erkennen eines Odometriefehlers ausgelegt ist. Die Pose beinhaltet dabei eine Position beziehungsweise einen Abstand des Kraftfahrzeugs relativ zu dem Objekt sowie eine Orientierung des Kraftfahrzeugs zu dem Objekt. Durch die Posenbestimmung, also die Bestimmung einer räumlichen Lage zwischen dem Kraftfahrzeug und dem Objekt, wird insbesondere ein sogenanntes SLAM-Verfahren (Simultaneous Localization and Mapping, Simultane Lokalisierung und Kartenerstellung) realisiert. Bei dem SLAM-Verfahren wird, beispielsweise durch eine Recheneinrichtung des Fahrerassistenzsystems, gleichzeitig eine den Umgebungsbereich beschreibende Umgebungskarte erstellt sowie die Pose des Kraftfahrzeugs innerhalb dieser Umgebungskarte geschätzt. Die Umgebungskarte ist dabei insbesondere eine zweidimensionale Karte, in welche die von der fahrzeugseitigen Sensoreinrichtung erfassten Objekte eingetragen werden können und damit räumlichen Lagen der Objekte zu dem Kraftfahrzeug angegeben sind. Dabei kann sich das Kraftfahrzeug beispielsweise in einem Ursprung eines die Umgebungskarte beschreibenden Koordinatensystems befinden. Unter Kenntnis einer absoluten Position des Kraftfahrzeugs, welche beispielsweise in GPS-Koordinaten angegeben ist, kann anhand von der bestimmten Pose eines Objektes zu dem Kraftfahrzeug auch die absolute Position des Objektes bestimmt werden. By means of the method, a driver assistance system can be implemented, which is designed to determine poses with respect to at least one object in the surrounding area of the motor vehicle and also during the pose determination for detecting an odometry error. The pose includes a position or a distance of the motor vehicle relative to the object and an orientation of the motor vehicle to the object. By the determination of the pose, that is to say the determination of a spatial position between the motor vehicle and the object, in particular a so-called SLAM method (Simultaneous Localization and Mapping, Simultaneous Localization and Map Creation) is realized. In the case of the SLAM method, an environmental map describing the surrounding area is created at the same time, for example by a computing device of the driver assistance system, and the pose of the motor vehicle within this environment map is estimated. The In this case, a map of surroundings is in particular a two-dimensional map into which the objects detected by the vehicle-side sensor device can be entered and thus spatial positions of the objects to the motor vehicle are indicated. In this case, the motor vehicle can be located, for example, in an origin of a coordinate system describing the environment map. With knowledge of an absolute position of the motor vehicle, which is indicated for example in GPS coordinates, the absolute position of the object can also be determined on the basis of the specific pose of an object with respect to the motor vehicle.
Solche an sich bekannten SLAM-Verfahren sind üblicherweise sehr rechenaufwendig, da die Umgebungskarte in der Regel inkrementell aufgebaut wird und somit Objekte, welche beispielsweise in einer ersten Messung erkannt wurden, in einer zweiten Messung besonders zuverlässig und genau wiedererkannt werden müssen. Besonders bei der Objektwiedererkennung von beispielsweise anderen Fahrzeugen mittels Ultraschallsensoren können die Positionen der Fahrzeuge nur sehr ungenau bestimmt werden, da die Ultraschallsensoren je nach Pose des Kraftfahrzeugs, also Orientierung beziehungsweise Winkel und Abstand des Kraftfahrzeugs zu dem anderen Fahrzeug, unterschiedliche Konturpunkte an dem anderen Fahrzeug messen. Um zuverlässigere Ergebnisse zu erhalten, werden somit in der Regel die Daten mehrerer Messzyklen und/oder Sensoren fusioniert, wodurch die Rechenleistung deutlich ansteigt. Such per se known SLAM methods are usually very computationally intensive, since the environment map is usually constructed incrementally and thus objects that were detected, for example, in a first measurement must be recognized particularly reliable and accurate in a second measurement. Particularly in the object recognition of, for example, other vehicles by means of ultrasonic sensors, the positions of the vehicles can be determined only very inaccurate, since the ultrasonic sensors measure depending on the pose of the motor vehicle, ie orientation or angle and distance of the motor vehicle to the other vehicle, different contour points on the other vehicle , In order to obtain more reliable results, the data of several measuring cycles and / or sensors are thus usually fused, whereby the computing power increases significantly.
Bei dem erfindungsgemäßen Verfahren ist es nun insbesondere vorgesehen, die Posenbestimmung des Kraftfahrzeugs anhand des objektspezifischen Merkmals, welches sich an dem Objekt befindet, durchzuführen. Dazu wird das Objekt zunächst anhand der ersten Sensordaten erkannt. Insbesondere werden als die ersten Sensordaten ein erstes Bild von zumindest einer Kamera des Kraftfahrzeugs erfasst und/oder als die ersten Sensordaten erste Laserscannerdaten von zumindest einem Laserscanner des Kraftfahrzeugs erfasst. Vorzugsweise sind die ersten Sensordaten ein erstes, von der Kamera erfasstes Bild des Umgebungsbereiches des Kraftfahrzeugs. In diesem ersten Bild des Umgebungsbereiches, welches zu einem ersten Messzeitpunkt erfasst wurde, wird das Objekt erkannt und das zumindest ein objektspezifisches Merkmal an dem Objekt identifiziert. Das objektspezifische Merkmal ist dabei insbesondere ein Merkmal des Objektes, anhand welches das Objekt eindeutig identifiziert und wiedererkannt werden kann. Dann wird anhand des objektspezifischen Merkmals die erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal bestimmt. Basierend auf dem Objekt, welches eindeutig identifizierbar ist, und anhand der ersten Pose kann dann die Umgebungskarte erstellt werden, indem das Kraftfahrzeug und das Objekt in die Umgebungskarte eingetragen werden und dabei eine durch die erste Pose vorgegebene räumliche Lage zueinander aufweisen. In the method according to the invention, provision is now made in particular to carry out the pose determination of the motor vehicle on the basis of the object-specific feature which is located on the object. For this purpose, the object is first recognized based on the first sensor data. In particular, a first image of at least one camera of the motor vehicle is detected as the first sensor data, and / or first laser scanner data of at least one laser scanner of the motor vehicle is detected as the first sensor data. Preferably, the first sensor data is a first image of the surrounding area of the motor vehicle captured by the camera. In this first image of the surrounding area, which was acquired at a first measurement time, the object is identified and the at least one object-specific feature is identified on the object. The object-specific feature is in particular a feature of the object, based on which the object can be uniquely identified and recognized. Then, based on the object-specific feature, the first pose of the motor vehicle is determined to the object-specific feature. Based on the object, which is uniquely identifiable, and based on the first pose then the environment map can be created by the motor vehicle and the object are entered into the map and thereby have a predetermined by the first pose spatial position to each other.
Dann werden zu einem zweiten Messzeitpunkt zweite Sensordaten, beispielsweise ein zweites Kamerabild und/oder zweite Laserscannerdaten, von der Sensoreinrichtung erfasst. Insbesondere wird ein zweites Kamerabild des Umgebungsbereiches als die zweiten Sensordaten erfasst. Insbesondere können zwischen der Erfassung der ersten und der zweiten Sensordaten, also zwischen dem ersten und dem zweiten Messzeitpunkt, mehrere Minuten oder sogar mehrere Stunden oder Tage liegen. Die ersten und die zweiten Sensordaten sind also insbesondere keine Sensordaten, welche zeitlich direkt aufeinanderfolgend aufgenommen werden. Die ersten und die zweiten Sensordaten können beispielsweise dann aufgenommen werden, wenn sich das Kraftfahrzeug auf einer Parklückensuche befindet und dabei mehrmals den gleichen Ort und damit das gleiche Objekt in dem Umgebungsbereich passiert. Auch kann vorgesehen sein, dass die ersten und die zweiten Sensordaten auf einem Streckenabschnitt erfasst werden, welcher durch das Kraftfahrzeug regelmäßig zurückgelegt wird, beispielsweise bei der täglichen Fahrt zu einer Arbeitsstelle und/oder zu einem Wohnsitz eines Fahrers des Kraftfahrzeugs. Die zweiten Sensordaten werden nach dem Objekt durchsucht und können anhand des objektspezifischen Merkmals eindeutig wiedererkannt werden. Sobald das Objekt anhand des objektspezifischen Merkmals von der Recheneinrichtung des Fahrerassistenzsystems wiedererkannt wurde, wird die zweite Pose des Kraftfahrzeugs zu dem Objekt anhand des objektspezifischen Merkmals bestimmt. Then, second sensor data, for example a second camera image and / or second laser scanner data, are acquired by the sensor device at a second measurement time. In particular, a second camera image of the surrounding area is detected as the second sensor data. In particular, between the detection of the first and the second sensor data, ie between the first and the second measurement time, several minutes or even several hours or days lie. The first and the second sensor data are thus in particular no sensor data, which are recorded directly in chronological succession. The first and the second sensor data can be recorded, for example, when the motor vehicle is on a parking space search and passes several times the same location and thus the same object in the surrounding area. It can also be provided that the first and the second sensor data are detected on a route section, which is covered regularly by the motor vehicle, for example in the daily drive to a workstation and / or to a residence of a driver of the motor vehicle. The second sensor data are searched for the object and can be clearly recognized based on the object-specific feature. As soon as the object has been recognized by the computing device of the driver assistance system on the basis of the object-specific feature, the second pose of the motor vehicle relative to the object is determined on the basis of the object-specific feature.
Darüber hinaus wird die Pose des Kraftfahrzeugs zu dem zweiten Erfassungszeitpunkt zusätzlich mittels Odometrie bestimmt. Durch Odometrie kann das Kraftfahrzeug seine Lage anhand von Daten seines Vortriebsystems schätzen. Solche Daten des Vortriebssystems sind beispielsweise eine Anzahl an Radumdrehungen und Lenkwinkel des Kraftfahrzeugs. Durch Odometrie kann somit durch Erfassung der Daten des Vortriebssystems sowie unter Kenntnis von fahrzeugspezifischen Geometriedaten, beispielsweise ein bekannter Raddurchmesser, eine Strecke bestimmt werden, welche das Kraftfahrzeug von der ersten Pose aus bis zu dem zweiten Messzeitpunkt zurückgelegt hat. Ein Endpunkt der von der ersten Pose aus zurückgelegten Strecke wird dabei als die Pose bestimmt, welche das Kraftfahrzeug bei der Erfassung der zweiten Sensordaten innehat. Wenn keine Abweichung zwischen der zweiten Pose und der mittels Odometrie bestimmten Pose vorliegt, so wird davon ausgegangen, dass kein Odometriefehler vorliegt. Wenn aber die zweite Pose von der mittels Odometrie bestimmen Pose abweicht, so wird davon ausgegangen, dass ein Odometriefehler bei der Posenbestimmung vorliegt. Der Odometriefehler kann beispielsweise aus bestimmten Fahrbahnbedingungen, sich verändernden oder fehlerhaften Angaben über die Radgeometrie, etc. resultieren. In addition, the pose of the motor vehicle at the second detection time is additionally determined by means of odometry. By odometry, the motor vehicle can estimate its location based on data of its propulsion system. Such data of the propulsion system, for example, a number of Radumdrehungen and steering angle of the motor vehicle. By odometry can thus be determined by detecting the data of the propulsion system and with knowledge of vehicle-specific geometry data, such as a known wheel diameter, a distance that has covered the motor vehicle from the first pose to the second measurement time. An end point of the distance traveled from the first pose is determined as the pose which the motor vehicle has when detecting the second sensor data. If there is no deviation between the second pose and the pose determined by odometry, it is assumed that there is no odometry error. But if the second pose differs from the pose determined by odometry, it is assumed that a There is an odometry error in the pose determination. The odometry error can result, for example, from certain road conditions, changing or incorrect information about the wheel geometry, etc.
Insbesondere wird als das Objekt ein stationäres Objekt erfasst. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass der Odometrieabgleich nur dann zuverlässig und korrekt durchgeführt werden kann, wenn sich die globale Position des Objektes nicht verändert hat. In particular, a stationary object is detected as the object. The invention is based on the finding that the odometry adjustment can only be carried out reliably and correctly if the global position of the object has not changed.
Das objektspezifische Merkmal kann in den Bildern beispielsweise mittels Mustererkennung erkannt werden. Zum Bestimmten der ersten und der zweiten Pose anhand des Merkmals können Kanten des objektspezifischen Merkmals identifiziert werden und ein Winkel zwischen den Kanten erkannt werden. Die Erkennung der Kanten kann mittels einer bekannten Kantenerkennungsmethode erfolgen, nach welcher im aufgenommenen Bild nach Farbübergängen – beispielsweise von schwarz zu weiß – gesucht wird. In Abhängigkeit von dem Winkel kann dann die Orientierung des Kraftfahrzeugs bestimmt werden, da der Winkel ein Maß für einen Orientierungswinkel des statischen Objektes bezüglich des Kraftfahrzeugs darstellt. The object-specific feature can be recognized in the images, for example by means of pattern recognition. To determine the first and second pose from the feature, edges of the object-specific feature may be identified and an angle between the edges recognized. The detection of the edges can be done by means of a known edge detection method, according to which in the recorded image for color transitions - for example, from black to white - is searched. Depending on the angle, the orientation of the motor vehicle can then be determined, since the angle represents a measure of an orientation angle of the static object with respect to the motor vehicle.
Anhand des SLAM-Verfahrens, welches die Posenbestimmung anhand der objektspezifischen Merkmale durchführt und dabei besonders wenig Daten und Rechenleistung für die Lokalisierung des Kraftfahrzeugs benötigt, kann zusätzlich ein Odometrieabgleich durchgeführt werden und somit auch eine zuverlässige Posenbestimmung durch Odoemtrie bereitgestellt werden. Damit kann in vorteilhafter Weise ein zuverlässiges und vielseitig einsetzbares Fahrerassistenzsystem bereitgestellt werden. On the basis of the SLAM method, which performs the determination of poses based on the object-specific features and requires very little data and processing power for the localization of the motor vehicle, in addition an odometry adjustment can be carried out and thus a reliable pose determination by Odoemtrie be provided. This can advantageously be provided a reliable and versatile driver assistance system.
Bevorzugt wird bei Vorliegen des Odometriefehlers ein Korrekturwert zum Kompensieren des Odometriefehlers anhand der zweiten Pose bestimmt. Es wird also davon ausgegangen, dass die anhand der zweiten Sensordaten erfasste Pose die korrekte aktuelle Pose des Kraftfahrzeugs ist. Daraufhin wird der Korrekturwert so bestimmt, dass die resultierende, anhand von Odometrie bestimmte Pose der zweiten Pose entspricht. Preferably, in the presence of the odometry error, a correction value for compensating the odometry error is determined based on the second pose. It is therefore assumed that the pose detected on the basis of the second sensor data is the correct current pose of the motor vehicle. The correction value is then determined so that the resulting pose determined by odometry corresponds to the second pose.
Durch die insbesondere kontinuierliche Erfassung der objektspezifischen Merkmale von Objekten in dem Umgebungsbereich und Abbilden derer Positionen in der Umgebungskarte beziehungsweise zweidimensionalen Ebene können also mittels des SLAM-Verfahrens kontinuierlich die Odometriefehler korrigiert werden und somit ein besonders zuverlässiges Fahrerassistenzsystem bereitgestellt werden. As a result of the particularly continuous detection of the object-specific features of objects in the surrounding area and mapping of their positions in the environment map or two-dimensional plane, therefore, the odometry errors can be continuously corrected by means of the SLAM method and thus a particularly reliable driver assistance system can be provided.
In einer vorteilhaften Ausführungsform der Erfindung wird nach Identifizieren des objektspezifischen Merkmals dem Objekt eine Identifikationsnummer zugeordnet, welche in einer fahrzeugseitigen Speichereinrichtung hinterlegt wird. Anhand dieser objektspezifischen Identifikationsnummer beziehungsweise ID, welche dem objektspezifischen Merkmal eindeutig zugeordnet ist, kann das Objekt eindeutig identifiziert werden, sobald das objektspezifische Merkmal erneut erfasst wurde. Dabei wird die ID gemeinsam mit einer Information über das objektspezifische Merkmal in der Speichereinrichtung hinterlegt. Die ID und die Information werden insbesondere zumindest so lange hinterlegt, dass der Odometrieabgleich auch dann durchgeführt werden kann, wenn sich das Kraftfahrzeug beispielsweise erst nach mehreren Tagen wieder an derjenigen globalen Position befindet, in welchem sich auch das Objekt mit dem objektspezifischen Merkmal befindet. In an advantageous embodiment of the invention, after identifying the object-specific feature, the object is assigned an identification number which is stored in a vehicle-side storage device. On the basis of this object-specific identification number or ID, which is uniquely assigned to the object-specific feature, the object can be uniquely identified as soon as the object-specific feature has been re-detected. In this case, the ID is stored together with information about the object-specific feature in the storage device. In particular, the ID and the information are stored at least for so long that the odometry adjustment can also be carried out if, for example, the motor vehicle returns to the global position after several days, in which the object with the object-specific feature is located.
In einer Weiterbildung der Erfindung werden die zweiten Sensordaten zum Wiedererkennen des Objektes nur dann nach dem objektspezifischen Merkmal durchsucht, falls anhand von Daten eines Navigationssystems des Kraftfahrzeugs erfasst wurde, dass der Umgebungsbereich, aus welchem die ersten Sensordaten erfasst werden, und der Umgebungsbereich, aus welchem die zweiten Sensordaten erfasst wurden, zumindest bereichsweise überlappen. Zum Navigieren des Kraftfahrzeugs mittels des Navigationssystems kann mittels GPS (Globales Positionsbestimmungssystem) eine globale Position des Kraftfahrzeugs in GPS-Koordinaten bestimmt werden. Das Kraftfahrzeug kann somit anhand von GPS global lokalisiert werden. Diese globale Position des Kraftfahrzeugs kann mittels des Navigationssystems zu dem ersten Messzeitpunkt erfasst werden. Wenn durch das Navigationssystem erfasst wurde, dass sich das Kraftfahrzeug zu dem zweiten Messzeitpunkt zumindest in der Nähe der globalen Position befindet, welche das Kraftfahrzeug bei dem ersten Messzeitpunk innehatte, beispielsweise in der gleichen Straße, so werden die zweiten Sensordaten zum Identifizieren des Objektes nach dem objektspezifischen Merkmal durchsucht. Somit kann in vorteilhafter Weise Rechenzeit und Rechenleistung eingespart werden, da die Sensordaten nur dann durchsucht werden, wenn eine Wiedererkennung des Objektes wahrscheinlich ist. In a development of the invention, the second sensor data for recognizing the object is only searched for the object-specific feature if, on the basis of data of a navigation system of the motor vehicle, it was detected that the surrounding area from which the first sensor data is acquired, and the surrounding area from which the second sensor data has been recorded, at least partially overlapping. To navigate the motor vehicle by means of the navigation system, a global position of the motor vehicle in GPS coordinates can be determined by means of GPS (Global Positioning System). The motor vehicle can thus be localized globally by GPS. This global position of the motor vehicle can be detected by means of the navigation system at the first measurement time. If it has been detected by the navigation system that the motor vehicle is at the second measuring time at least in the vicinity of the global position, which held the motor vehicle at the first measuring time, for example in the same street, the second sensor data for identifying the object after the object-specific feature. Thus, computing time and computing power can advantageously be saved since the sensor data are only searched if recognition of the object is probable.
Besonders bevorzugt wird als das Objekt ein geparktes anderes Fahrzeug erkannt und als das objektspezifische Merkmal ein Kraftfahrzeugkennzeichen, insbesondere zumindest ein alphanumerisches Zeichen des Kraftfahrzeugkennzeichens, identifiziert. Mit anderen Worten bedeutet dies, dass die Kennzeichenschilder beziehungsweise Nummernschilder von geparkten Fahrzeugen erfasst werden. Diese Nummernschilder können kontinuierlich mittels der Kamera detektiert werden und deren Positionen in der zweidimensionalen Ebene beziehungsweise Umgebungskarte abgebildet werden. Es werden also die genauen Positionen beziehungsweise räumlichen Lagen der Nummernschilder verwendet, um mittels des SLAM-Verfahrens die kontinuierlichen Odometriefehler zu korrigieren. Diese Ausführungsform macht sich die Tatsache zunutze, dass nahezu jedes Fahrzeug ein solches amtliches Kennzeichenschild besitzt, sodass dieses zuverlässig zur Identifikation des Fahrzeugs herangezogen werden kann. Diese amtlichen Kennzeichen können beispielsweise anhand von Mustererkennung besonders einfach identifiziert werden. Da diese Kennzeichenschilder in der Regel eine vorbestimmte Ausrichtung am Fahrzeug aufweisen, können die Nummernschilder in vorteilhafter Weise zur zuverlässigen Bestimmung der Pose verwendet. Dazu werden insbesondere Längskanten des Nummernschildes erkannt, und ein Winkel zwischen den Längskanten als ein Maß des Orientierungswinkels des Kraftfahrzeugs zu dem anderen Fahrzeug bestimmt. Außerdem wird insbesondere das zumindest eine alphanumerische Zeichen, welches eine Information über das Fahrzeug darstellt, identifiziert und diesem alphanumerischen Zeichen die ID zugeordnet, sodass das geparkte Fahrzeug eindeutig identifiziert werden kann. Particularly preferably, a parked other vehicle is recognized as the object and identified as the object-specific feature is a motor vehicle license plate, in particular at least one alphanumeric character of the motor vehicle license plate. In other words, this means that the license plates or license plates are detected by parked vehicles. These number plates can be detected continuously by means of the camera and their positions can be imaged in the two-dimensional plane or environment map. So it will be used the exact positions of the license plates to correct the continuous odometry errors by the SLAM method. This embodiment takes advantage of the fact that almost every vehicle has such an official license plate, so that it can be used reliably for the identification of the vehicle. These license plates can be identified particularly easily, for example, using pattern recognition. Since these license plates usually have a predetermined orientation on the vehicle, the license plates can be used advantageously for reliable determination of the pose. For this purpose, in particular longitudinal edges of the license plate are recognized, and determines an angle between the longitudinal edges as a measure of the orientation angle of the motor vehicle to the other vehicle. In addition, in particular, the at least one alphanumeric character representing information about the vehicle is identified and the ID assigned to this alphanumeric character, so that the parked vehicle can be uniquely identified.
Insbesondere wird anhand der ersten und/oder der zweiten Pose des Kraftfahrzeugs bezüglich des geparkten Fahrzeugs und anhand von vorbestimmten, das geparkte Kraftfahrzeug beschreibenden Geometriedaten zumindest eine geometrische Abmessung einer an das geparkte Fahrzeug angrenzenden Parklücke für das Kraftfahrzeug bestimmt. Insbesondere können anhand der Pose des Kraftfahrzeugs bezüglich des Kraftfahrzeugkennzeichens Querparklücken erkannt werden. Wenn sich die Längskanten des Nummernschildes beispielsweise parallel zu einer Fahrzeuglängsrichtung des Kraftfahrzeugs erstrecken, kann in einer Vorbeifahrt des Kraftfahrzeugs an den geparkten Fahrzeugen die Querparklücke erkannt werden. Anhand von vorgegebenen Geometriedaten, welche insbesondere eine Länge des geparkten Fahrzeugs beschreiben, kann somit als die geometrische Abmessung der Parklücke insbesondere eine Tiefe der Parklücke bestimmt werden. Die bestimmte Pose kann also in vorteilhafter Weise vielseitig von dem Fahrerassistenzsystem genutzt werden. In particular, based on the first and / or the second pose of the motor vehicle with respect to the parked vehicle and based on predetermined geometric data describing the parked motor vehicle, at least one geometric dimension of a parking space adjacent to the parked vehicle is determined for the motor vehicle. In particular, transverse parking gaps can be detected on the basis of the pose of the motor vehicle with respect to the vehicle registration number. If the longitudinal edges of the license plate, for example, extend parallel to a vehicle longitudinal direction of the motor vehicle, the transverse parking space can be detected in a passing of the motor vehicle to the parked vehicles. On the basis of predetermined geometric data, which in particular describe a length of the parked vehicle, it is thus possible in particular to determine a depth of the parking space as the geometric dimension of the parking space. The particular pose can therefore be used advantageously in many ways by the driver assistance system.
Alternativ oder zusätzlich kann als das Objekt ein Kilometerstein erkannt werden und als das objektspezifische Merkmal eine Kilometerangabe auf dem Kilometerstein identifiziert werden. Die Kilometersteine sind üblicherweise an Fahrbahnrändern von Fahrbahnen in regelmäßigen Abständen angebracht, sodass diese zur Bestimmung der zurückgelegten Entfernung sowie zur Standortbestimmung verwendet werden können. Diese Ausführungsform ist insbesondere dann vorteilhaft, wenn sich das Kraftfahrzeug regelmäßig, beispielsweise täglich, auf einem bestimmten Fahrbahnabschnitt befindet und damit regelmäßig an demselben Kilometerstein vorbeifährt. Die Odometriedaten werden somit über einen besonders lange Zeitraum, erfasst, also beispielsweise zwischen dem Passieren des Kilometersteins an einem ersten Tag und dem Passieren des Kilometersteins am darauffolgenden Tag. Die Odometriedaten werden dabei auch dann über den gesamten Zeitraum erfasst, wenn das Kraftfahrzeug zwischenzeitlich abgestellt wurde. Alternatively or additionally, a milestone may be recognized as the object and a kilometer indication on the milestone may be identified as the object-specific feature. The milestones are usually attached to lane edges of lanes at regular intervals so that they can be used to determine the distance traveled and to determine location. This embodiment is particularly advantageous when the motor vehicle is regularly, for example daily, on a certain road section and thus regularly passes by the same milestone. The odometry data are thus recorded over a particularly long period of time, for example, between passing the milestone on a first day and passing the milestone on the following day. The odometry data are then recorded over the entire period, even if the motor vehicle has been turned off in the meantime.
Es erweist sich als vorteilhaft, wenn in dritten Sensordaten ein weiterer Kilometerstein erkannt wird und eine weitere Kilometerangabe auf dem weiteren Kilometerstein erfasst wird, anhand der Kilometerangaben auf den Kilometersteinen ein Abstand zwischen den Kilometersteinen bestimmt wird, eine zwischen den Kilometersteinen von dem Kraftfahrzeug zurückgelegte Strecke mittels Odometrie erfasst wird und der Odometriefehler erkannt wird, falls eine weitere Abweichung zwischen dem Abstand und der zurückgelegten Strecke einen weiteren vorbestimmten Schwellwert überschreitet. Dieser Ausführungsform liegt die Erkenntnis zugrunde, dass die Kilometersteine üblicherweise in regelmäßigen Abständen aufgestellt sind. Durch die Kilometerangaben auf den Kilometersteinen in Form von Zahlen kann der Abstand zwischen zwei Kilometersteinen bestimmt werden. Außerdem kann anhand der Odometrie, insbesondere anhand von einer Anzahl an Radumdrehungen, die von dem Kraftfahrzeug zwischen den Kilometersteinen zurückgelegte Strecke bestimmt werden. Falls kein Odometriefehler vorliegt, sollte die zurückgelegte Strecke dem Abstand zwischen den Kilometersteinen entsprechen. Falls die zurückgelegte, durch Odometrie bestimmte Strecke jedoch von dem Abstand zwischen den Kilometersteinen abweicht, so wird der Odometriefehler ebenfalls erkannt. Dies ist besonders dann vorteilhaft, wenn das Kraftfahrzeug jeden Kilometerstein nur einmal passiert und somit den Odometrieabgleich nicht anhand desselben Kilometersteins durchführen kann. It proves to be advantageous if in third sensor data a further mileage is recognized and a further mileage is recorded on the further milestone, based on the mileage on the milestones a distance between the milestones is determined by a mileage covered by the mileage by means of distance Odometry is detected and the odometer error is detected if a further deviation between the distance and the distance traveled exceeds a further predetermined threshold. This embodiment is based on the finding that the milestones are usually set up at regular intervals. By the mileage information on the milestones in the form of numbers, the distance between two milestones can be determined. In addition, based on the odometry, in particular on the basis of a number of Radumdrehungen, the distance covered by the motor vehicle between the milestones be determined. If there is no odometry error, the distance covered should correspond to the distance between the milestones. However, if the distance covered by odometry deviates from the distance between the milestones, then the odometry error is also detected. This is particularly advantageous when the motor vehicle passes every milestone only once and thus can not perform the Odometrievgleich the same milestone.
Auch kann vorgesehen sein, dass als das Objekt ein Haus erkannt wird und als das objektspezifische Merkmal ein Hausnummernschild, insbesondere zumindest eine Ziffer auf dem Hausnummernschild, identifiziert wird. Insbesondere wird bei dieser Ausführungsform die Erkennung des Objektes, also hier des Hauses, mit der durch das Navigationssystem des Kraftfahrzeugs durchgeführten Positionsbestimmung verknüpft. Wenn also durch das Navigationssystem beispielsweise erfasst wurde, dass das Kraftfahrzeug zum wiederholten Male in eine bestimmte Straße einfährt, so kann eine bestimmte Hausnummer an einem Haus in dieser Straße wiedererkannt werden, und anhand dieser Hausnummer der Odometrieabgleich durchgeführt werden. It can also be provided that a house is recognized as the object and a house number plate, in particular at least one number on the house number plate, is identified as the object-specific feature. In particular, in this embodiment, the recognition of the object, that is, here of the house, is linked to the position determination carried out by the navigation system of the motor vehicle. If, for example, it has been detected by the navigation system that the motor vehicle repeatedly enters a certain street, then a specific house number can be recognized on a house in this street, and odometry reconciliation can be performed on the basis of this house number.
Die Erfindung betrifft außerdem eine Recheneinrichtung für ein Fahrerassistenzsystem eines Kraftfahrzeugs, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. Die Recheneinrichtung kann beispielsweise in ein fahrzeugseitiges Steuergerät integriert sein. The invention also relates to a computing device for a driver assistance system Motor vehicle, which is designed to carry out a method according to the invention. The computing device can be integrated, for example, in a vehicle-side control unit.
Ein erfindungsgemäßes Fahrerassistenzsystem umfasst eine erfindungsgemäße Recheneinrichtung sowie eine Sensoreinrichtung zum Erfassen eines Umgebungsbereiches des Kraftfahrzeugs. Die Sensoreinrichtung kann beispielsweise zumindest einen Laserscanner und/oder zumindest eine Kamera umfassen. Das Fahrerassistenzsystem ist insbesondere dazu ausgelegt, eine Posenbestimmung des Kraftfahrzeugs mittels eines SLAM-Verfahrens und mittels Odometrie durchzuführen und somit eine Umgebungskarte des Kraftfahrzeugs zu bestimmen. Anhand der Umgebungskarte und der korrigierten Odometriedaten kann insbesondere auch ein zumindest semiautonomes Manövrieren des Kraftfahrzeugs ermöglicht werden. Beispielsweise kann ein zumindest semiautonomer Einparkvorgang für das Kraftfahrzeug von dem Fahrerassistenzsystem durchgeführt werden. A driver assistance system according to the invention comprises a computing device according to the invention and a sensor device for detecting an environmental region of the motor vehicle. The sensor device may comprise, for example, at least one laser scanner and / or at least one camera. The driver assistance system is in particular designed to carry out a position determination of the motor vehicle by means of a SLAM method and by means of odometry and thus to determine an area map of the motor vehicle. On the basis of the map of the surroundings and the corrected odometry data, in particular an at least semi-autonomous maneuvering of the motor vehicle can be made possible. For example, an at least semi-autonomous parking process for the motor vehicle can be carried out by the driver assistance system.
Darüber hinaus betrifft die Erfindung ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als ein Personenkraftwagen ausgebildet. Moreover, the invention relates to a motor vehicle with a driver assistance system according to the invention. The motor vehicle is designed in particular as a passenger car.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Recheneinrichtung, das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug. The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the computing device according to the invention, the driver assistance system according to the invention and to the motor vehicle according to the invention.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively specified combination but also in other combinations or in isolation, without the frame to leave the invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. Moreover, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed, which go beyond or deviate from the combinations of features set out in the back references of the claims.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. The invention will now be described with reference to preferred embodiments and with reference to the accompanying drawings.
Dabei zeigen: Showing:
In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. In the figures, identical and functionally identical elements are provided with the same reference numerals.
Das Fahrerassistenzsystem
Zunächst werden von der Sensoreinrichtung S erste Sensordaten aus dem Umgebungsbereich
In dem ersten Kamerabild
Zum Identifizieren des Kennzeichenschildes
Außerdem ist die Recheneinrichtung
Darüber hinaus kann die Recheneinrichtung
Auch kann die Recheneinrichtung
Dann wird zu einem zweiten Messzeitpunkt ein weiteres zweites Kamerabild als zweite Sensordaten des Umgebungsbereiches
Diese zweite Pose wird mit einer Pose verglichen, welche durch die Recheneinrichtung
Außerdem kann die Recheneinrichtung
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102010056217 A1 [0002] DE 102010056217 A1 [0002]
Claims (14)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016106978.7A DE102016106978A1 (en) | 2016-04-15 | 2016-04-15 | Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle |
PCT/EP2017/057405 WO2017178232A1 (en) | 2016-04-15 | 2017-03-29 | Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system, and motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016106978.7A DE102016106978A1 (en) | 2016-04-15 | 2016-04-15 | Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102016106978A1 true DE102016106978A1 (en) | 2017-10-19 |
Family
ID=58503573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102016106978.7A Pending DE102016106978A1 (en) | 2016-04-15 | 2016-04-15 | Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102016106978A1 (en) |
WO (1) | WO2017178232A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019145152A1 (en) * | 2018-01-23 | 2019-08-01 | Valeo Schalter Und Sensoren Gmbh | Correction of a position of a vehicle using slam |
DE102019120440A1 (en) * | 2019-07-29 | 2021-02-04 | Bayerische Motoren Werke Aktiengesellschaft | Method and system for the automated creation of object markings for use in a driver assistance system of a vehicle |
CN113196085A (en) * | 2018-12-20 | 2021-07-30 | 大众汽车股份公司 | Method for detecting an error in at least one sensor of a motor vehicle |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555801A (en) * | 2019-07-26 | 2019-12-10 | 纵目科技(上海)股份有限公司 | Correction method, terminal and storage medium for track deduction |
DE102020201351A1 (en) * | 2020-02-04 | 2021-08-05 | Volkswagen Aktiengesellschaft | Method and device for determining the position of a vehicle |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120078510A1 (en) * | 2010-09-24 | 2012-03-29 | Honeywell International Inc. | Camera and inertial measurement unit integration with navigation data feedback for feature tracking |
DE102010056217A1 (en) | 2010-12-24 | 2012-06-28 | Valeo Schalter Und Sensoren Gmbh | Method for operating a driver assistance system in a motor vehicle, driver assistance system and motor vehicle |
DE102011077555A1 (en) * | 2011-06-15 | 2012-12-20 | Robert Bosch Gmbh | Retrofit kit for park guidance |
DE102011082478A1 (en) * | 2011-09-12 | 2013-03-14 | Robert Bosch Gmbh | Method, system and device for locating a vehicle relative to a predefined reference system |
DE102011054379A1 (en) * | 2011-10-11 | 2013-04-11 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Method for determining position information of mobile vehicle e.g. unmanned aircraft, involves calculating relative movement of vehicle based on determined feature movement and self-determined relative movement information |
US20140300732A1 (en) * | 2013-04-05 | 2014-10-09 | Caterpillar Inc. | Motion estimation utilizing range detection-enhanced visual odometry |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003300959A1 (en) * | 2002-12-17 | 2004-07-22 | Evolution Robotics, Inc. | Systems and methods for visual simultaneous localization and mapping |
DE102011118161B3 (en) * | 2011-11-10 | 2013-03-28 | Audi Ag | Method for determining position |
DE102014111011A1 (en) * | 2014-08-04 | 2016-02-04 | Valeo Schalter Und Sensoren Gmbh | Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle |
-
2016
- 2016-04-15 DE DE102016106978.7A patent/DE102016106978A1/en active Pending
-
2017
- 2017-03-29 WO PCT/EP2017/057405 patent/WO2017178232A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120078510A1 (en) * | 2010-09-24 | 2012-03-29 | Honeywell International Inc. | Camera and inertial measurement unit integration with navigation data feedback for feature tracking |
DE102010056217A1 (en) | 2010-12-24 | 2012-06-28 | Valeo Schalter Und Sensoren Gmbh | Method for operating a driver assistance system in a motor vehicle, driver assistance system and motor vehicle |
DE102011077555A1 (en) * | 2011-06-15 | 2012-12-20 | Robert Bosch Gmbh | Retrofit kit for park guidance |
DE102011082478A1 (en) * | 2011-09-12 | 2013-03-14 | Robert Bosch Gmbh | Method, system and device for locating a vehicle relative to a predefined reference system |
DE102011054379A1 (en) * | 2011-10-11 | 2013-04-11 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Method for determining position information of mobile vehicle e.g. unmanned aircraft, involves calculating relative movement of vehicle based on determined feature movement and self-determined relative movement information |
US20140300732A1 (en) * | 2013-04-05 | 2014-10-09 | Caterpillar Inc. | Motion estimation utilizing range detection-enhanced visual odometry |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019145152A1 (en) * | 2018-01-23 | 2019-08-01 | Valeo Schalter Und Sensoren Gmbh | Correction of a position of a vehicle using slam |
US11628857B2 (en) | 2018-01-23 | 2023-04-18 | Valeo Schalter Und Sensoren Gmbh | Correcting a position of a vehicle with SLAM |
CN113196085A (en) * | 2018-12-20 | 2021-07-30 | 大众汽车股份公司 | Method for detecting an error in at least one sensor of a motor vehicle |
DE102019120440A1 (en) * | 2019-07-29 | 2021-02-04 | Bayerische Motoren Werke Aktiengesellschaft | Method and system for the automated creation of object markings for use in a driver assistance system of a vehicle |
Also Published As
Publication number | Publication date |
---|---|
WO2017178232A1 (en) | 2017-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102015203016B4 (en) | Method and device for optical self-localization of a motor vehicle in an environment | |
DE102015105248B4 (en) | Method and system for generating an image of the surroundings of an articulated vehicle | |
DE102015209467A1 (en) | Method of estimating lanes | |
DE102019112002A1 (en) | SYSTEMS AND METHOD FOR THE AUTOMATIC DETECTION OF PENDING FEATURES | |
WO2017178232A1 (en) | Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system, and motor vehicle | |
EP3292423A1 (en) | Diagnostic method for a vision sensor of a vehicle and vehicle having a vision sensor | |
DE102015115012A1 (en) | Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle | |
DE102016003261A1 (en) | Method for self-localization of a vehicle in a vehicle environment | |
DE102017011177A1 (en) | Method for determining a bending angle of a vehicle combination, determination device and vehicle combination | |
EP2579228A1 (en) | Method and system for digital imaging of the vicinity of a vehicle | |
DE102018115317A1 (en) | Method and driving support system for operating a vehicle or for assisting a driver of the vehicle using lane information | |
DE102018211368A1 (en) | A method of describing an environment of a vehicle through the topology of the busy road | |
DE102018204451A1 (en) | Method and device for auto-calibration of a vehicle camera system | |
DE102016209242B4 (en) | UNIT SETTING DEVICE AND UNIT SETTING PROCEDURE | |
EP1724726B1 (en) | Method and apparatus for measuring a parking space with a single camera | |
DE102010056217A1 (en) | Method for operating a driver assistance system in a motor vehicle, driver assistance system and motor vehicle | |
DE102013001867A1 (en) | Method for determining orientation and corrected position of motor vehicle, involves registering features of loaded and recorded environmental data by calculating transformation and calculating vehicle orientation from transformation | |
DE102018104963A1 (en) | A method of assisting a user of a motor vehicle when parking in a parking lot, corresponding computer program product, support system and motor vehicle | |
DE102018211326A1 (en) | Method and device for determining a position of a vehicle | |
DE102019213930B4 (en) | Method for optimizing the detection of surroundings in a vehicle | |
DE102018202753A1 (en) | Method for determining a distance between a motor vehicle and an object | |
DE102011111856B4 (en) | Method and device for detecting at least one lane in a vehicle environment | |
DE102021123503A1 (en) | Determination of an absolute initial position of a vehicle | |
DE102016223526A1 (en) | Method and device for determining a first highly accurate position of a vehicle | |
DE102020126524A1 (en) | Parking assistance device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed |