DE102016106978A1 - Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle - Google Patents

Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle Download PDF

Info

Publication number
DE102016106978A1
DE102016106978A1 DE102016106978.7A DE102016106978A DE102016106978A1 DE 102016106978 A1 DE102016106978 A1 DE 102016106978A1 DE 102016106978 A DE102016106978 A DE 102016106978A DE 102016106978 A1 DE102016106978 A1 DE 102016106978A1
Authority
DE
Germany
Prior art keywords
motor vehicle
specific feature
pose
sensor data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016106978.7A
Other languages
German (de)
Inventor
Marco Heimberger
Jean-Francois Bariant
Markus Heimberger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102016106978.7A priority Critical patent/DE102016106978A1/en
Priority to PCT/EP2017/057405 priority patent/WO2017178232A1/en
Publication of DE102016106978A1 publication Critical patent/DE102016106978A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225Failure correction strategy
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/021Means for detecting failure or malfunction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems (2) eines Kraftfahrzeugs (1) durch Erkennen eines Objektes (O) in durch eine fahrzeugseitige Sensoreinrichtung (S) aus einem Umgebungsbereich (3) des Kraftfahrzeugs (1) erfassten ersten Sensordaten und Identifizieren eines objektspezifischen Merkmals (M) an dem Objekt (O) in den ersten Sensordaten; Bestimmen einer ersten Pose des Kraftfahrzeugs (1) zu dem objektspezifischen Merkmal (M) anhand des objektspezifischen Merkmals (M), Wiedererkennen des Objektes (O) in durch die Sensoreinrichtung (S) erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals (M), Bestimmen einer zweiten Pose des Kraftfahrzeugs (1) zu dem objektspezifischen Merkmal (M) anhand des objektspezifischen Merkmals (M); Bestimmen einer durch eine Bewegung des Kraftfahrzeugs (1) zwischen der Erfassung der ersten und der zweiten Sensordaten resultierenden Pose des Kraftfahrzeugs (1) zu dem objektspezifischen Merkmal (M) mittels Odometrie; und Erkennen eines Odometriefehlers, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet. Die Erfindung betrifft außerdem eine Recheneinrichtung (9), ein Fahrerassistenzsystem (2) sowie ein Kraftfahrzeug (1).The invention relates to a method for operating a driver assistance system (2) of a motor vehicle (1) by detecting an object (O) in first sensor data detected by a vehicle-side sensor device (S) from a surrounding area (3) of the motor vehicle (1) and identifying an object-specific one Feature (M) on the object (O) in the first sensor data; Determining a first pose of the motor vehicle (1) to the object-specific feature (M) on the basis of the object-specific feature (M), recognizing the object (O) in the second sensor data detected by the sensor device (S) on the basis of the object-specific feature (M), determining a second pose of the motor vehicle (1) to the object-specific feature (M) on the basis of the object-specific feature (M); Determining a pose of the motor vehicle (1) resulting from a movement of the motor vehicle (1) between the detection of the first and the second sensor data to the object-specific feature (M) by means of odometry; and detecting an odometry error if a deviation between the resulting pose and the second pose exceeds a predetermined threshold. The invention also relates to a computing device (9), a driver assistance system (2) and a motor vehicle (1).

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs durch Erkennen eines Objektes in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten, Identifizieren eines objektspezifischen Merkmals an dem Objekt in den ersten Sensordaten und Bestimmen einer ersten Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals. Die Erfindung betrifft außerdem eine Recheneinrichtung, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem. The invention relates to a method for operating a driver assistance system of a motor vehicle by detecting an object in first sensor data acquired by a vehicle-side sensor device from an environmental region of the motor vehicle, identifying an object-specific feature on the object in the first sensor data and determining a first pose of the motor vehicle to the object-specific Feature based on the object-specific feature. The invention also relates to a computing device, a driver assistance system and a motor vehicle having such a driver assistance system.

Ein Verfahren zum Betreiben eines Fahrerassistenzsystems der eingangs genannten Art ist beispielsweise aus der DE 10 2010 056 217 A1 bekannt. Dabei wird eine Orientierung eines Kraftfahrzeugs zu einem benachbarten Fahrzeug anhand eines von einer fahrzeugseitigen Kamera aufgenommenen Bildes des benachbarten Fahrzeugs bestimmt. Das Bild wird von einer Recheneinrichtung verarbeitet und zumindest ein Objekt an dem benachbarten Fahrzeug identifiziert. Die Orientierung des Kraftfahrzeugs wird dabei anhand eines Abbilds des identifizierten Objektes bestimmt. Ein solches Objekt kann beispielsweise ein amtliches Kennzeichenschild und/oder Reifen des anderen Fahrzeugs sein. Die Information über die Orientierung des benachbarten Fahrzeugs kann zum Unterstützen des Fahrers beim Durchführen von Parkvorgängen genutzt werden. A method for operating a driver assistance system of the type mentioned is, for example, from DE 10 2010 056 217 A1 known. In this case, an orientation of a motor vehicle to an adjacent vehicle is determined on the basis of an image taken by a vehicle-side camera of the adjacent vehicle. The image is processed by a computing device and identified at least one object on the adjacent vehicle. The orientation of the motor vehicle is determined based on an image of the identified object. Such an object may be, for example, an official license plate and / or tires of the other vehicle. The information about the orientation of the neighboring vehicle may be used to assist the driver in performing parking operations.

Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, ein vielseitig einsetzbares Fahrerassistenzsystem bereitzustellen, mittels welchem ein Kraftfahrzeug besonders zuverlässig lokalisiert werden kann. It is an object of the present invention to provide a solution to provide a versatile driver assistance system, by means of which a motor vehicle can be located particularly reliable.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Recheneinrichtung, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren. This object is achieved by a method by a computing device, by a driver assistance system and by a motor vehicle with the features according to the respective independent claims. Advantageous embodiments of the invention are subject of the dependent claims, the description and the figures.

In einer Ausgestaltung eines erfindungsgemäßen Verfahrens zum Betreiben eines Fahrerassistenzsystems kann ein Objekt in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten erkannt werden und ein objektspezifisches Merkmal an dem Objekt in den ersten Sensordaten identifiziert werden. Außerdem kann eine erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt werden. Darüber hinaus wird das Objekt in durch die Sensoreinrichtung aus dem Umgebungsbereich erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals wiedererkannt und eine zweite Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt. Darüber hinaus wird insbesondere eine durch eine Bewegung des Kraftfahrzeugs zwischen der Erfassung der ersten und der zweiten Sensordaten resultierende Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal mittels Odometrie bestimmt und der Odometriefehler erkannt, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet. In one embodiment of a method according to the invention for operating a driver assistance system, an object can be detected in first sensor data detected by a vehicle-side sensor device from a surrounding area of the motor vehicle, and an object-specific feature can be identified on the object in the first sensor data. In addition, a first pose of the motor vehicle to the object-specific feature can be determined based on the object-specific feature. In addition, the object is detected in second sensor data detected by the sensor device from the surrounding area on the basis of the object-specific feature, and a second pose of the motor vehicle for the object-specific feature is determined on the basis of the object-specific feature. In addition, in particular, a pose of the motor vehicle resulting from a movement of the motor vehicle between the detection of the first and second sensor data to the object-specific feature is determined by means of odometry and the odometry error is detected if a deviation between the resulting pose and the second pose exceeds a predetermined threshold value ,

Bei einer bevorzugten Ausgestaltung des Verfahrens zum Betreiben eines Fahrerassistenzsystems wird ein Objekt in durch eine fahrzeugseitige Sensoreinrichtung aus einem Umgebungsbereich des Kraftfahrzeugs erfassten ersten Sensordaten erkannt und ein objektspezifisches Merkmal an dem Objekt in den ersten Sensordaten identifiziert. Außerdem wird eine erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand der ersten Sensordaten bestimmt. Darüber hinaus wird das Objekt in durch die Sensoreinrichtung aus dem Umgebungsbereich erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals wiedererkannt und eine zweite Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal anhand des objektspezifischen Merkmals bestimmt. Außerdem wird eine durch eine Bewegung des Kraftfahrzeugs zwischen der Erfassung der ersten und der zweiten Sensordaten resultierende Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal mittels Odometrie bestimmt und der Odometriefehler erkannt, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet. In a preferred refinement of the method for operating a driver assistance system, an object is detected in first sensor data detected by a vehicle-side sensor device from an environmental region of the motor vehicle, and an object-specific feature is identified on the object in the first sensor data. In addition, a first pose of the motor vehicle is determined to the object-specific feature based on the first sensor data. In addition, the object is detected in the second sensor data detected by the sensor device from the surrounding area on the basis of the object-specific feature, and a second pose of the motor vehicle for the object-specific feature is determined on the basis of the object-specific feature. In addition, a pose of the motor vehicle to the object-specific feature resulting from a movement of the motor vehicle between the detection of the first and the second sensor data is determined by means of odometry and the odometry error is detected if a deviation between the resulting pose and the second pose exceeds a predetermined threshold value.

Mittels des Verfahrens kann ein Fahrerassistenzsystem realisiert werden, welches zur Posenbestimmung bezüglich zumindest eines Objektes in dem Umgebungsbereich des Kraftfahrzeugs und außerdem während der Posenbestimmung zum Erkennen eines Odometriefehlers ausgelegt ist. Die Pose beinhaltet dabei eine Position beziehungsweise einen Abstand des Kraftfahrzeugs relativ zu dem Objekt sowie eine Orientierung des Kraftfahrzeugs zu dem Objekt. Durch die Posenbestimmung, also die Bestimmung einer räumlichen Lage zwischen dem Kraftfahrzeug und dem Objekt, wird insbesondere ein sogenanntes SLAM-Verfahren (Simultaneous Localization and Mapping, Simultane Lokalisierung und Kartenerstellung) realisiert. Bei dem SLAM-Verfahren wird, beispielsweise durch eine Recheneinrichtung des Fahrerassistenzsystems, gleichzeitig eine den Umgebungsbereich beschreibende Umgebungskarte erstellt sowie die Pose des Kraftfahrzeugs innerhalb dieser Umgebungskarte geschätzt. Die Umgebungskarte ist dabei insbesondere eine zweidimensionale Karte, in welche die von der fahrzeugseitigen Sensoreinrichtung erfassten Objekte eingetragen werden können und damit räumlichen Lagen der Objekte zu dem Kraftfahrzeug angegeben sind. Dabei kann sich das Kraftfahrzeug beispielsweise in einem Ursprung eines die Umgebungskarte beschreibenden Koordinatensystems befinden. Unter Kenntnis einer absoluten Position des Kraftfahrzeugs, welche beispielsweise in GPS-Koordinaten angegeben ist, kann anhand von der bestimmten Pose eines Objektes zu dem Kraftfahrzeug auch die absolute Position des Objektes bestimmt werden. By means of the method, a driver assistance system can be implemented, which is designed to determine poses with respect to at least one object in the surrounding area of the motor vehicle and also during the pose determination for detecting an odometry error. The pose includes a position or a distance of the motor vehicle relative to the object and an orientation of the motor vehicle to the object. By the determination of the pose, that is to say the determination of a spatial position between the motor vehicle and the object, in particular a so-called SLAM method (Simultaneous Localization and Mapping, Simultaneous Localization and Map Creation) is realized. In the case of the SLAM method, an environmental map describing the surrounding area is created at the same time, for example by a computing device of the driver assistance system, and the pose of the motor vehicle within this environment map is estimated. The In this case, a map of surroundings is in particular a two-dimensional map into which the objects detected by the vehicle-side sensor device can be entered and thus spatial positions of the objects to the motor vehicle are indicated. In this case, the motor vehicle can be located, for example, in an origin of a coordinate system describing the environment map. With knowledge of an absolute position of the motor vehicle, which is indicated for example in GPS coordinates, the absolute position of the object can also be determined on the basis of the specific pose of an object with respect to the motor vehicle.

Solche an sich bekannten SLAM-Verfahren sind üblicherweise sehr rechenaufwendig, da die Umgebungskarte in der Regel inkrementell aufgebaut wird und somit Objekte, welche beispielsweise in einer ersten Messung erkannt wurden, in einer zweiten Messung besonders zuverlässig und genau wiedererkannt werden müssen. Besonders bei der Objektwiedererkennung von beispielsweise anderen Fahrzeugen mittels Ultraschallsensoren können die Positionen der Fahrzeuge nur sehr ungenau bestimmt werden, da die Ultraschallsensoren je nach Pose des Kraftfahrzeugs, also Orientierung beziehungsweise Winkel und Abstand des Kraftfahrzeugs zu dem anderen Fahrzeug, unterschiedliche Konturpunkte an dem anderen Fahrzeug messen. Um zuverlässigere Ergebnisse zu erhalten, werden somit in der Regel die Daten mehrerer Messzyklen und/oder Sensoren fusioniert, wodurch die Rechenleistung deutlich ansteigt. Such per se known SLAM methods are usually very computationally intensive, since the environment map is usually constructed incrementally and thus objects that were detected, for example, in a first measurement must be recognized particularly reliable and accurate in a second measurement. Particularly in the object recognition of, for example, other vehicles by means of ultrasonic sensors, the positions of the vehicles can be determined only very inaccurate, since the ultrasonic sensors measure depending on the pose of the motor vehicle, ie orientation or angle and distance of the motor vehicle to the other vehicle, different contour points on the other vehicle , In order to obtain more reliable results, the data of several measuring cycles and / or sensors are thus usually fused, whereby the computing power increases significantly.

Bei dem erfindungsgemäßen Verfahren ist es nun insbesondere vorgesehen, die Posenbestimmung des Kraftfahrzeugs anhand des objektspezifischen Merkmals, welches sich an dem Objekt befindet, durchzuführen. Dazu wird das Objekt zunächst anhand der ersten Sensordaten erkannt. Insbesondere werden als die ersten Sensordaten ein erstes Bild von zumindest einer Kamera des Kraftfahrzeugs erfasst und/oder als die ersten Sensordaten erste Laserscannerdaten von zumindest einem Laserscanner des Kraftfahrzeugs erfasst. Vorzugsweise sind die ersten Sensordaten ein erstes, von der Kamera erfasstes Bild des Umgebungsbereiches des Kraftfahrzeugs. In diesem ersten Bild des Umgebungsbereiches, welches zu einem ersten Messzeitpunkt erfasst wurde, wird das Objekt erkannt und das zumindest ein objektspezifisches Merkmal an dem Objekt identifiziert. Das objektspezifische Merkmal ist dabei insbesondere ein Merkmal des Objektes, anhand welches das Objekt eindeutig identifiziert und wiedererkannt werden kann. Dann wird anhand des objektspezifischen Merkmals die erste Pose des Kraftfahrzeugs zu dem objektspezifischen Merkmal bestimmt. Basierend auf dem Objekt, welches eindeutig identifizierbar ist, und anhand der ersten Pose kann dann die Umgebungskarte erstellt werden, indem das Kraftfahrzeug und das Objekt in die Umgebungskarte eingetragen werden und dabei eine durch die erste Pose vorgegebene räumliche Lage zueinander aufweisen. In the method according to the invention, provision is now made in particular to carry out the pose determination of the motor vehicle on the basis of the object-specific feature which is located on the object. For this purpose, the object is first recognized based on the first sensor data. In particular, a first image of at least one camera of the motor vehicle is detected as the first sensor data, and / or first laser scanner data of at least one laser scanner of the motor vehicle is detected as the first sensor data. Preferably, the first sensor data is a first image of the surrounding area of the motor vehicle captured by the camera. In this first image of the surrounding area, which was acquired at a first measurement time, the object is identified and the at least one object-specific feature is identified on the object. The object-specific feature is in particular a feature of the object, based on which the object can be uniquely identified and recognized. Then, based on the object-specific feature, the first pose of the motor vehicle is determined to the object-specific feature. Based on the object, which is uniquely identifiable, and based on the first pose then the environment map can be created by the motor vehicle and the object are entered into the map and thereby have a predetermined by the first pose spatial position to each other.

Dann werden zu einem zweiten Messzeitpunkt zweite Sensordaten, beispielsweise ein zweites Kamerabild und/oder zweite Laserscannerdaten, von der Sensoreinrichtung erfasst. Insbesondere wird ein zweites Kamerabild des Umgebungsbereiches als die zweiten Sensordaten erfasst. Insbesondere können zwischen der Erfassung der ersten und der zweiten Sensordaten, also zwischen dem ersten und dem zweiten Messzeitpunkt, mehrere Minuten oder sogar mehrere Stunden oder Tage liegen. Die ersten und die zweiten Sensordaten sind also insbesondere keine Sensordaten, welche zeitlich direkt aufeinanderfolgend aufgenommen werden. Die ersten und die zweiten Sensordaten können beispielsweise dann aufgenommen werden, wenn sich das Kraftfahrzeug auf einer Parklückensuche befindet und dabei mehrmals den gleichen Ort und damit das gleiche Objekt in dem Umgebungsbereich passiert. Auch kann vorgesehen sein, dass die ersten und die zweiten Sensordaten auf einem Streckenabschnitt erfasst werden, welcher durch das Kraftfahrzeug regelmäßig zurückgelegt wird, beispielsweise bei der täglichen Fahrt zu einer Arbeitsstelle und/oder zu einem Wohnsitz eines Fahrers des Kraftfahrzeugs. Die zweiten Sensordaten werden nach dem Objekt durchsucht und können anhand des objektspezifischen Merkmals eindeutig wiedererkannt werden. Sobald das Objekt anhand des objektspezifischen Merkmals von der Recheneinrichtung des Fahrerassistenzsystems wiedererkannt wurde, wird die zweite Pose des Kraftfahrzeugs zu dem Objekt anhand des objektspezifischen Merkmals bestimmt. Then, second sensor data, for example a second camera image and / or second laser scanner data, are acquired by the sensor device at a second measurement time. In particular, a second camera image of the surrounding area is detected as the second sensor data. In particular, between the detection of the first and the second sensor data, ie between the first and the second measurement time, several minutes or even several hours or days lie. The first and the second sensor data are thus in particular no sensor data, which are recorded directly in chronological succession. The first and the second sensor data can be recorded, for example, when the motor vehicle is on a parking space search and passes several times the same location and thus the same object in the surrounding area. It can also be provided that the first and the second sensor data are detected on a route section, which is covered regularly by the motor vehicle, for example in the daily drive to a workstation and / or to a residence of a driver of the motor vehicle. The second sensor data are searched for the object and can be clearly recognized based on the object-specific feature. As soon as the object has been recognized by the computing device of the driver assistance system on the basis of the object-specific feature, the second pose of the motor vehicle relative to the object is determined on the basis of the object-specific feature.

Darüber hinaus wird die Pose des Kraftfahrzeugs zu dem zweiten Erfassungszeitpunkt zusätzlich mittels Odometrie bestimmt. Durch Odometrie kann das Kraftfahrzeug seine Lage anhand von Daten seines Vortriebsystems schätzen. Solche Daten des Vortriebssystems sind beispielsweise eine Anzahl an Radumdrehungen und Lenkwinkel des Kraftfahrzeugs. Durch Odometrie kann somit durch Erfassung der Daten des Vortriebssystems sowie unter Kenntnis von fahrzeugspezifischen Geometriedaten, beispielsweise ein bekannter Raddurchmesser, eine Strecke bestimmt werden, welche das Kraftfahrzeug von der ersten Pose aus bis zu dem zweiten Messzeitpunkt zurückgelegt hat. Ein Endpunkt der von der ersten Pose aus zurückgelegten Strecke wird dabei als die Pose bestimmt, welche das Kraftfahrzeug bei der Erfassung der zweiten Sensordaten innehat. Wenn keine Abweichung zwischen der zweiten Pose und der mittels Odometrie bestimmten Pose vorliegt, so wird davon ausgegangen, dass kein Odometriefehler vorliegt. Wenn aber die zweite Pose von der mittels Odometrie bestimmen Pose abweicht, so wird davon ausgegangen, dass ein Odometriefehler bei der Posenbestimmung vorliegt. Der Odometriefehler kann beispielsweise aus bestimmten Fahrbahnbedingungen, sich verändernden oder fehlerhaften Angaben über die Radgeometrie, etc. resultieren. In addition, the pose of the motor vehicle at the second detection time is additionally determined by means of odometry. By odometry, the motor vehicle can estimate its location based on data of its propulsion system. Such data of the propulsion system, for example, a number of Radumdrehungen and steering angle of the motor vehicle. By odometry can thus be determined by detecting the data of the propulsion system and with knowledge of vehicle-specific geometry data, such as a known wheel diameter, a distance that has covered the motor vehicle from the first pose to the second measurement time. An end point of the distance traveled from the first pose is determined as the pose which the motor vehicle has when detecting the second sensor data. If there is no deviation between the second pose and the pose determined by odometry, it is assumed that there is no odometry error. But if the second pose differs from the pose determined by odometry, it is assumed that a There is an odometry error in the pose determination. The odometry error can result, for example, from certain road conditions, changing or incorrect information about the wheel geometry, etc.

Insbesondere wird als das Objekt ein stationäres Objekt erfasst. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass der Odometrieabgleich nur dann zuverlässig und korrekt durchgeführt werden kann, wenn sich die globale Position des Objektes nicht verändert hat. In particular, a stationary object is detected as the object. The invention is based on the finding that the odometry adjustment can only be carried out reliably and correctly if the global position of the object has not changed.

Das objektspezifische Merkmal kann in den Bildern beispielsweise mittels Mustererkennung erkannt werden. Zum Bestimmten der ersten und der zweiten Pose anhand des Merkmals können Kanten des objektspezifischen Merkmals identifiziert werden und ein Winkel zwischen den Kanten erkannt werden. Die Erkennung der Kanten kann mittels einer bekannten Kantenerkennungsmethode erfolgen, nach welcher im aufgenommenen Bild nach Farbübergängen – beispielsweise von schwarz zu weiß – gesucht wird. In Abhängigkeit von dem Winkel kann dann die Orientierung des Kraftfahrzeugs bestimmt werden, da der Winkel ein Maß für einen Orientierungswinkel des statischen Objektes bezüglich des Kraftfahrzeugs darstellt. The object-specific feature can be recognized in the images, for example by means of pattern recognition. To determine the first and second pose from the feature, edges of the object-specific feature may be identified and an angle between the edges recognized. The detection of the edges can be done by means of a known edge detection method, according to which in the recorded image for color transitions - for example, from black to white - is searched. Depending on the angle, the orientation of the motor vehicle can then be determined, since the angle represents a measure of an orientation angle of the static object with respect to the motor vehicle.

Anhand des SLAM-Verfahrens, welches die Posenbestimmung anhand der objektspezifischen Merkmale durchführt und dabei besonders wenig Daten und Rechenleistung für die Lokalisierung des Kraftfahrzeugs benötigt, kann zusätzlich ein Odometrieabgleich durchgeführt werden und somit auch eine zuverlässige Posenbestimmung durch Odoemtrie bereitgestellt werden. Damit kann in vorteilhafter Weise ein zuverlässiges und vielseitig einsetzbares Fahrerassistenzsystem bereitgestellt werden. On the basis of the SLAM method, which performs the determination of poses based on the object-specific features and requires very little data and processing power for the localization of the motor vehicle, in addition an odometry adjustment can be carried out and thus a reliable pose determination by Odoemtrie be provided. This can advantageously be provided a reliable and versatile driver assistance system.

Bevorzugt wird bei Vorliegen des Odometriefehlers ein Korrekturwert zum Kompensieren des Odometriefehlers anhand der zweiten Pose bestimmt. Es wird also davon ausgegangen, dass die anhand der zweiten Sensordaten erfasste Pose die korrekte aktuelle Pose des Kraftfahrzeugs ist. Daraufhin wird der Korrekturwert so bestimmt, dass die resultierende, anhand von Odometrie bestimmte Pose der zweiten Pose entspricht. Preferably, in the presence of the odometry error, a correction value for compensating the odometry error is determined based on the second pose. It is therefore assumed that the pose detected on the basis of the second sensor data is the correct current pose of the motor vehicle. The correction value is then determined so that the resulting pose determined by odometry corresponds to the second pose.

Durch die insbesondere kontinuierliche Erfassung der objektspezifischen Merkmale von Objekten in dem Umgebungsbereich und Abbilden derer Positionen in der Umgebungskarte beziehungsweise zweidimensionalen Ebene können also mittels des SLAM-Verfahrens kontinuierlich die Odometriefehler korrigiert werden und somit ein besonders zuverlässiges Fahrerassistenzsystem bereitgestellt werden. As a result of the particularly continuous detection of the object-specific features of objects in the surrounding area and mapping of their positions in the environment map or two-dimensional plane, therefore, the odometry errors can be continuously corrected by means of the SLAM method and thus a particularly reliable driver assistance system can be provided.

In einer vorteilhaften Ausführungsform der Erfindung wird nach Identifizieren des objektspezifischen Merkmals dem Objekt eine Identifikationsnummer zugeordnet, welche in einer fahrzeugseitigen Speichereinrichtung hinterlegt wird. Anhand dieser objektspezifischen Identifikationsnummer beziehungsweise ID, welche dem objektspezifischen Merkmal eindeutig zugeordnet ist, kann das Objekt eindeutig identifiziert werden, sobald das objektspezifische Merkmal erneut erfasst wurde. Dabei wird die ID gemeinsam mit einer Information über das objektspezifische Merkmal in der Speichereinrichtung hinterlegt. Die ID und die Information werden insbesondere zumindest so lange hinterlegt, dass der Odometrieabgleich auch dann durchgeführt werden kann, wenn sich das Kraftfahrzeug beispielsweise erst nach mehreren Tagen wieder an derjenigen globalen Position befindet, in welchem sich auch das Objekt mit dem objektspezifischen Merkmal befindet. In an advantageous embodiment of the invention, after identifying the object-specific feature, the object is assigned an identification number which is stored in a vehicle-side storage device. On the basis of this object-specific identification number or ID, which is uniquely assigned to the object-specific feature, the object can be uniquely identified as soon as the object-specific feature has been re-detected. In this case, the ID is stored together with information about the object-specific feature in the storage device. In particular, the ID and the information are stored at least for so long that the odometry adjustment can also be carried out if, for example, the motor vehicle returns to the global position after several days, in which the object with the object-specific feature is located.

In einer Weiterbildung der Erfindung werden die zweiten Sensordaten zum Wiedererkennen des Objektes nur dann nach dem objektspezifischen Merkmal durchsucht, falls anhand von Daten eines Navigationssystems des Kraftfahrzeugs erfasst wurde, dass der Umgebungsbereich, aus welchem die ersten Sensordaten erfasst werden, und der Umgebungsbereich, aus welchem die zweiten Sensordaten erfasst wurden, zumindest bereichsweise überlappen. Zum Navigieren des Kraftfahrzeugs mittels des Navigationssystems kann mittels GPS (Globales Positionsbestimmungssystem) eine globale Position des Kraftfahrzeugs in GPS-Koordinaten bestimmt werden. Das Kraftfahrzeug kann somit anhand von GPS global lokalisiert werden. Diese globale Position des Kraftfahrzeugs kann mittels des Navigationssystems zu dem ersten Messzeitpunkt erfasst werden. Wenn durch das Navigationssystem erfasst wurde, dass sich das Kraftfahrzeug zu dem zweiten Messzeitpunkt zumindest in der Nähe der globalen Position befindet, welche das Kraftfahrzeug bei dem ersten Messzeitpunk innehatte, beispielsweise in der gleichen Straße, so werden die zweiten Sensordaten zum Identifizieren des Objektes nach dem objektspezifischen Merkmal durchsucht. Somit kann in vorteilhafter Weise Rechenzeit und Rechenleistung eingespart werden, da die Sensordaten nur dann durchsucht werden, wenn eine Wiedererkennung des Objektes wahrscheinlich ist. In a development of the invention, the second sensor data for recognizing the object is only searched for the object-specific feature if, on the basis of data of a navigation system of the motor vehicle, it was detected that the surrounding area from which the first sensor data is acquired, and the surrounding area from which the second sensor data has been recorded, at least partially overlapping. To navigate the motor vehicle by means of the navigation system, a global position of the motor vehicle in GPS coordinates can be determined by means of GPS (Global Positioning System). The motor vehicle can thus be localized globally by GPS. This global position of the motor vehicle can be detected by means of the navigation system at the first measurement time. If it has been detected by the navigation system that the motor vehicle is at the second measuring time at least in the vicinity of the global position, which held the motor vehicle at the first measuring time, for example in the same street, the second sensor data for identifying the object after the object-specific feature. Thus, computing time and computing power can advantageously be saved since the sensor data are only searched if recognition of the object is probable.

Besonders bevorzugt wird als das Objekt ein geparktes anderes Fahrzeug erkannt und als das objektspezifische Merkmal ein Kraftfahrzeugkennzeichen, insbesondere zumindest ein alphanumerisches Zeichen des Kraftfahrzeugkennzeichens, identifiziert. Mit anderen Worten bedeutet dies, dass die Kennzeichenschilder beziehungsweise Nummernschilder von geparkten Fahrzeugen erfasst werden. Diese Nummernschilder können kontinuierlich mittels der Kamera detektiert werden und deren Positionen in der zweidimensionalen Ebene beziehungsweise Umgebungskarte abgebildet werden. Es werden also die genauen Positionen beziehungsweise räumlichen Lagen der Nummernschilder verwendet, um mittels des SLAM-Verfahrens die kontinuierlichen Odometriefehler zu korrigieren. Diese Ausführungsform macht sich die Tatsache zunutze, dass nahezu jedes Fahrzeug ein solches amtliches Kennzeichenschild besitzt, sodass dieses zuverlässig zur Identifikation des Fahrzeugs herangezogen werden kann. Diese amtlichen Kennzeichen können beispielsweise anhand von Mustererkennung besonders einfach identifiziert werden. Da diese Kennzeichenschilder in der Regel eine vorbestimmte Ausrichtung am Fahrzeug aufweisen, können die Nummernschilder in vorteilhafter Weise zur zuverlässigen Bestimmung der Pose verwendet. Dazu werden insbesondere Längskanten des Nummernschildes erkannt, und ein Winkel zwischen den Längskanten als ein Maß des Orientierungswinkels des Kraftfahrzeugs zu dem anderen Fahrzeug bestimmt. Außerdem wird insbesondere das zumindest eine alphanumerische Zeichen, welches eine Information über das Fahrzeug darstellt, identifiziert und diesem alphanumerischen Zeichen die ID zugeordnet, sodass das geparkte Fahrzeug eindeutig identifiziert werden kann. Particularly preferably, a parked other vehicle is recognized as the object and identified as the object-specific feature is a motor vehicle license plate, in particular at least one alphanumeric character of the motor vehicle license plate. In other words, this means that the license plates or license plates are detected by parked vehicles. These number plates can be detected continuously by means of the camera and their positions can be imaged in the two-dimensional plane or environment map. So it will be used the exact positions of the license plates to correct the continuous odometry errors by the SLAM method. This embodiment takes advantage of the fact that almost every vehicle has such an official license plate, so that it can be used reliably for the identification of the vehicle. These license plates can be identified particularly easily, for example, using pattern recognition. Since these license plates usually have a predetermined orientation on the vehicle, the license plates can be used advantageously for reliable determination of the pose. For this purpose, in particular longitudinal edges of the license plate are recognized, and determines an angle between the longitudinal edges as a measure of the orientation angle of the motor vehicle to the other vehicle. In addition, in particular, the at least one alphanumeric character representing information about the vehicle is identified and the ID assigned to this alphanumeric character, so that the parked vehicle can be uniquely identified.

Insbesondere wird anhand der ersten und/oder der zweiten Pose des Kraftfahrzeugs bezüglich des geparkten Fahrzeugs und anhand von vorbestimmten, das geparkte Kraftfahrzeug beschreibenden Geometriedaten zumindest eine geometrische Abmessung einer an das geparkte Fahrzeug angrenzenden Parklücke für das Kraftfahrzeug bestimmt. Insbesondere können anhand der Pose des Kraftfahrzeugs bezüglich des Kraftfahrzeugkennzeichens Querparklücken erkannt werden. Wenn sich die Längskanten des Nummernschildes beispielsweise parallel zu einer Fahrzeuglängsrichtung des Kraftfahrzeugs erstrecken, kann in einer Vorbeifahrt des Kraftfahrzeugs an den geparkten Fahrzeugen die Querparklücke erkannt werden. Anhand von vorgegebenen Geometriedaten, welche insbesondere eine Länge des geparkten Fahrzeugs beschreiben, kann somit als die geometrische Abmessung der Parklücke insbesondere eine Tiefe der Parklücke bestimmt werden. Die bestimmte Pose kann also in vorteilhafter Weise vielseitig von dem Fahrerassistenzsystem genutzt werden. In particular, based on the first and / or the second pose of the motor vehicle with respect to the parked vehicle and based on predetermined geometric data describing the parked motor vehicle, at least one geometric dimension of a parking space adjacent to the parked vehicle is determined for the motor vehicle. In particular, transverse parking gaps can be detected on the basis of the pose of the motor vehicle with respect to the vehicle registration number. If the longitudinal edges of the license plate, for example, extend parallel to a vehicle longitudinal direction of the motor vehicle, the transverse parking space can be detected in a passing of the motor vehicle to the parked vehicles. On the basis of predetermined geometric data, which in particular describe a length of the parked vehicle, it is thus possible in particular to determine a depth of the parking space as the geometric dimension of the parking space. The particular pose can therefore be used advantageously in many ways by the driver assistance system.

Alternativ oder zusätzlich kann als das Objekt ein Kilometerstein erkannt werden und als das objektspezifische Merkmal eine Kilometerangabe auf dem Kilometerstein identifiziert werden. Die Kilometersteine sind üblicherweise an Fahrbahnrändern von Fahrbahnen in regelmäßigen Abständen angebracht, sodass diese zur Bestimmung der zurückgelegten Entfernung sowie zur Standortbestimmung verwendet werden können. Diese Ausführungsform ist insbesondere dann vorteilhaft, wenn sich das Kraftfahrzeug regelmäßig, beispielsweise täglich, auf einem bestimmten Fahrbahnabschnitt befindet und damit regelmäßig an demselben Kilometerstein vorbeifährt. Die Odometriedaten werden somit über einen besonders lange Zeitraum, erfasst, also beispielsweise zwischen dem Passieren des Kilometersteins an einem ersten Tag und dem Passieren des Kilometersteins am darauffolgenden Tag. Die Odometriedaten werden dabei auch dann über den gesamten Zeitraum erfasst, wenn das Kraftfahrzeug zwischenzeitlich abgestellt wurde. Alternatively or additionally, a milestone may be recognized as the object and a kilometer indication on the milestone may be identified as the object-specific feature. The milestones are usually attached to lane edges of lanes at regular intervals so that they can be used to determine the distance traveled and to determine location. This embodiment is particularly advantageous when the motor vehicle is regularly, for example daily, on a certain road section and thus regularly passes by the same milestone. The odometry data are thus recorded over a particularly long period of time, for example, between passing the milestone on a first day and passing the milestone on the following day. The odometry data are then recorded over the entire period, even if the motor vehicle has been turned off in the meantime.

Es erweist sich als vorteilhaft, wenn in dritten Sensordaten ein weiterer Kilometerstein erkannt wird und eine weitere Kilometerangabe auf dem weiteren Kilometerstein erfasst wird, anhand der Kilometerangaben auf den Kilometersteinen ein Abstand zwischen den Kilometersteinen bestimmt wird, eine zwischen den Kilometersteinen von dem Kraftfahrzeug zurückgelegte Strecke mittels Odometrie erfasst wird und der Odometriefehler erkannt wird, falls eine weitere Abweichung zwischen dem Abstand und der zurückgelegten Strecke einen weiteren vorbestimmten Schwellwert überschreitet. Dieser Ausführungsform liegt die Erkenntnis zugrunde, dass die Kilometersteine üblicherweise in regelmäßigen Abständen aufgestellt sind. Durch die Kilometerangaben auf den Kilometersteinen in Form von Zahlen kann der Abstand zwischen zwei Kilometersteinen bestimmt werden. Außerdem kann anhand der Odometrie, insbesondere anhand von einer Anzahl an Radumdrehungen, die von dem Kraftfahrzeug zwischen den Kilometersteinen zurückgelegte Strecke bestimmt werden. Falls kein Odometriefehler vorliegt, sollte die zurückgelegte Strecke dem Abstand zwischen den Kilometersteinen entsprechen. Falls die zurückgelegte, durch Odometrie bestimmte Strecke jedoch von dem Abstand zwischen den Kilometersteinen abweicht, so wird der Odometriefehler ebenfalls erkannt. Dies ist besonders dann vorteilhaft, wenn das Kraftfahrzeug jeden Kilometerstein nur einmal passiert und somit den Odometrieabgleich nicht anhand desselben Kilometersteins durchführen kann. It proves to be advantageous if in third sensor data a further mileage is recognized and a further mileage is recorded on the further milestone, based on the mileage on the milestones a distance between the milestones is determined by a mileage covered by the mileage by means of distance Odometry is detected and the odometer error is detected if a further deviation between the distance and the distance traveled exceeds a further predetermined threshold. This embodiment is based on the finding that the milestones are usually set up at regular intervals. By the mileage information on the milestones in the form of numbers, the distance between two milestones can be determined. In addition, based on the odometry, in particular on the basis of a number of Radumdrehungen, the distance covered by the motor vehicle between the milestones be determined. If there is no odometry error, the distance covered should correspond to the distance between the milestones. However, if the distance covered by odometry deviates from the distance between the milestones, then the odometry error is also detected. This is particularly advantageous when the motor vehicle passes every milestone only once and thus can not perform the Odometrievgleich the same milestone.

Auch kann vorgesehen sein, dass als das Objekt ein Haus erkannt wird und als das objektspezifische Merkmal ein Hausnummernschild, insbesondere zumindest eine Ziffer auf dem Hausnummernschild, identifiziert wird. Insbesondere wird bei dieser Ausführungsform die Erkennung des Objektes, also hier des Hauses, mit der durch das Navigationssystem des Kraftfahrzeugs durchgeführten Positionsbestimmung verknüpft. Wenn also durch das Navigationssystem beispielsweise erfasst wurde, dass das Kraftfahrzeug zum wiederholten Male in eine bestimmte Straße einfährt, so kann eine bestimmte Hausnummer an einem Haus in dieser Straße wiedererkannt werden, und anhand dieser Hausnummer der Odometrieabgleich durchgeführt werden. It can also be provided that a house is recognized as the object and a house number plate, in particular at least one number on the house number plate, is identified as the object-specific feature. In particular, in this embodiment, the recognition of the object, that is, here of the house, is linked to the position determination carried out by the navigation system of the motor vehicle. If, for example, it has been detected by the navigation system that the motor vehicle repeatedly enters a certain street, then a specific house number can be recognized on a house in this street, and odometry reconciliation can be performed on the basis of this house number.

Die Erfindung betrifft außerdem eine Recheneinrichtung für ein Fahrerassistenzsystem eines Kraftfahrzeugs, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. Die Recheneinrichtung kann beispielsweise in ein fahrzeugseitiges Steuergerät integriert sein. The invention also relates to a computing device for a driver assistance system Motor vehicle, which is designed to carry out a method according to the invention. The computing device can be integrated, for example, in a vehicle-side control unit.

Ein erfindungsgemäßes Fahrerassistenzsystem umfasst eine erfindungsgemäße Recheneinrichtung sowie eine Sensoreinrichtung zum Erfassen eines Umgebungsbereiches des Kraftfahrzeugs. Die Sensoreinrichtung kann beispielsweise zumindest einen Laserscanner und/oder zumindest eine Kamera umfassen. Das Fahrerassistenzsystem ist insbesondere dazu ausgelegt, eine Posenbestimmung des Kraftfahrzeugs mittels eines SLAM-Verfahrens und mittels Odometrie durchzuführen und somit eine Umgebungskarte des Kraftfahrzeugs zu bestimmen. Anhand der Umgebungskarte und der korrigierten Odometriedaten kann insbesondere auch ein zumindest semiautonomes Manövrieren des Kraftfahrzeugs ermöglicht werden. Beispielsweise kann ein zumindest semiautonomer Einparkvorgang für das Kraftfahrzeug von dem Fahrerassistenzsystem durchgeführt werden. A driver assistance system according to the invention comprises a computing device according to the invention and a sensor device for detecting an environmental region of the motor vehicle. The sensor device may comprise, for example, at least one laser scanner and / or at least one camera. The driver assistance system is in particular designed to carry out a position determination of the motor vehicle by means of a SLAM method and by means of odometry and thus to determine an area map of the motor vehicle. On the basis of the map of the surroundings and the corrected odometry data, in particular an at least semi-autonomous maneuvering of the motor vehicle can be made possible. For example, an at least semi-autonomous parking process for the motor vehicle can be carried out by the driver assistance system.

Darüber hinaus betrifft die Erfindung ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als ein Personenkraftwagen ausgebildet. Moreover, the invention relates to a motor vehicle with a driver assistance system according to the invention. The motor vehicle is designed in particular as a passenger car.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Recheneinrichtung, das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug. The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the computing device according to the invention, the driver assistance system according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively specified combination but also in other combinations or in isolation, without the frame to leave the invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. Moreover, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed, which go beyond or deviate from the combinations of features set out in the back references of the claims.

Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. The invention will now be described with reference to preferred embodiments and with reference to the accompanying drawings.

Dabei zeigen: Showing:

1 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen Kraftfahrzeugs; und 1 a schematic representation of an embodiment of a motor vehicle according to the invention; and

2 eine schematische Darstellung eines von dem Kraftfahrzeug erfassten Kamerabildes zur Posenbestimmung. 2 a schematic representation of a captured by the motor vehicle camera image for Posenbestimmung.

In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. In the figures, identical and functionally identical elements are provided with the same reference numerals.

1 zeigt ein Kraftfahrzeug 1 gemäß der vorliegenden Erfindung. Das Kraftfahrzeug 1 ist insbesondere als ein Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches dazu ausgelegt ist, ein sogenanntes SLAM-Verfahren (Simultaneous Localization and Mapping) beziehungsweise eine „Simultane Lokalisierung und Kartenerstellung“ durchzuführen. Dies bedeutet, dass das Fahrerassistenzsystem 2 dazu ausgelegt ist, eine einen Umgebungsbereich 3 des Kraftfahrzeugs 1 beschreibende Umgebungskarte zu erstellen und gleichzeitig eine Pose des Kraftfahrzeugs 1 in der Umgebungskarte schätzen beziehungsweise bestimmen. Das Fahrerassistenzsystem 2 weist dazu eine Sensoreinrichtung S auf, welche dazu ausgelegt ist, Sensordaten aus dem Umgebungsbereich 3 zu erfassen. Im vorliegenden Fall weist die Sensoreinrichtung S zumindest eine Kamera 4 aufweist. Die Sensoreinrichtung S kann auch zumindest einen Laserscanner aufweisen. Die Kameras 4 sind dazu ausgebildet, den Umgebungsbereich 3 des Kraftfahrzeugs 1 in Bildern zu erfassen. Die Kameras 4 bilden hier ein Rundumsicht-Kamerasystem beziehungsweise Surround-View-Kamerasystem aus, wobei eine erste Kamera 4 in einem Frontbereich 5 des Kraftfahrzeugs 1 angeordnet ist, eine zweite Kamera 4 in einem Heckbereich 6 des Kraftfahrzeugs 1 angeordnet ist, eine dritte Kamera 4 auf einer Fahrerseite 7 des Kraftfahrzeugs 1 angeordnet ist und eine vierte Kamera 4 auf einer Beifahrerseite 8 des Kraftfahrzeugs 1 angeordnet ist. Mittels des Rundumsicht-Kamerasystems kann insbesondere der gesamte Umgebungsbereich 3 um das Kraftfahrzeug 1 herum in Bildern erfasst werden. 1 shows a motor vehicle 1 according to the present invention. The car 1 is designed in particular as a passenger car. The car 1 includes a driver assistance system 2 , which is designed to perform a so-called Simultaneous Localization and Mapping (SLAM) method or a "Simultaneous Localization and Map Generation". This means that the driver assistance system 2 is designed to be a an environment area 3 of the motor vehicle 1 create descriptive map of the environment and at the same time a pose of the motor vehicle 1 in the area map estimate or determine. The driver assistance system 2 has to a sensor device S, which is designed to sensor data from the surrounding area 3 capture. In the present case, the sensor device S at least one camera 4 having. The sensor device S can also have at least one laser scanner. The cameras 4 are designed to be the environment area 3 of the motor vehicle 1 to capture in pictures. The cameras 4 Here form a panoramic camera system or surround-view camera system, with a first camera 4 in a front area 5 of the motor vehicle 1 is arranged, a second camera 4 in a rear area 6 of the motor vehicle 1 is arranged a third camera 4 on a driver's side 7 of the motor vehicle 1 is arranged and a fourth camera 4 on a passenger side 8th of the motor vehicle 1 is arranged. By means of the all-round camera system, in particular, the entire surrounding area 3 to the motor vehicle 1 around in pictures.

Das Fahrerassistenzsystem 2 umfasst hier außerdem eine Recheneinrichtung 9, welche dazu ausgebildet ist, anhand der von der Sensoreinrichtung S erfassten Sensordaten die Pose des Kraftfahrzeugs 1, also eine Orientierung und eine Position des Kraftfahrzeugs 1, bezüglich eines Objektes O (siehe 2) in dem Umgebungsbereich 3 des Kraftfahrzeugs 1 zu bestimmen. Darüber hinaus ist das Fahrerassistenzsystem 2 dazu ausgelegt, die Pose des Kraftfahrzeugs 1 in dem Umgebungsbereich 3 durch Odometrie zu bestimmen. Dazu kann das Fahrerassistenzsystem 2 Daten eines Vortriebssystems des Kraftfahrzeugs 1, beispielsweise eine Anzahl an Umdrehungen von Rädern 10 des Kraftfahrzeugs 1 und/oder Lenkwinkel des Kraftfahrzeugs 1 erfassen. Aufgrund von Fahrzeugparametern, beispielsweise aufgrund von sich verändernden und/oder fehlerhaft vorgegebenen Radgeometrien und Fahrstellgeometrien, kann es vorkommen, dass die Posenbestimmung mittels Odometrie fehlerbehaftet ist. The driver assistance system 2 here also includes a computing device 9 , which is designed to detect the pose of the sensor based on the sensor data S detected sensor data motor vehicle 1 , So an orientation and a position of the motor vehicle 1 , with respect to an object O (see 2 ) in the surrounding area 3 of the motor vehicle 1 to determine. In addition, the driver assistance system 2 designed to pose the motor vehicle 1 in the surrounding area 3 to be determined by odometry. This can be done by the driver assistance system 2 Data of a propulsion system of the motor vehicle 1 For example, a number of revolutions of wheels 10 of the motor vehicle 1 and / or steering angle of the motor vehicle 1 to capture. Due to vehicle parameters, for example, due to changing and / or incorrectly given wheel geometries and Fahrwerkgeometrien, it may happen that the pose determination by means of odometry is faulty.

Zunächst werden von der Sensoreinrichtung S erste Sensordaten aus dem Umgebungsbereich 3 des Kraftfahrzeugs 1 erfasst. Solche erste Sensordaten sind in 2 in Form von einem ersten Kamerabild 11 der in dem Frontbereich 5 des Kraftfahrzeugs 1 angeordneten Kamera 4 gezeigt. Das Kraftfahrzeug 1 befindet sich auf einer Fahrbahn 12 und erfasst während einer Fahrt zu einem ersten Messzeitpunkt das erste Kamerabild 11. Die Kamera 4 kann beispielsweise ein Fischaugenobjektiv aufweisen, wodurch sich die in 2 gezeigte perspektivische Verzerrung in dem Kamerabild 11 ergibt. First, the sensor device S first sensor data from the surrounding area 3 of the motor vehicle 1 detected. Such first sensor data are in 2 in the form of a first camera image 11 the one in the front area 5 of the motor vehicle 1 arranged camera 4 shown. The car 1 is on a roadway 12 and detects the first camera image during a trip at a first measurement time 11 , The camera 4 may, for example, have a fisheye lens, resulting in the in 2 shown perspective distortion in the camera image 11 results.

In dem ersten Kamerabild 11 befinden sich Abbilder von Objekten O, wobei die Objekte O im vorliegenden Fall als geparkte, andere Fahrzeuge 13 und als ein Haus 14 ausgebildet sind. Die Objekte O sind dabei insbesondere zumindest temporär stationäre beziehungsweise unbewegliche Objekte. Die Recheneinrichtung 9 ist dazu ausgelegt, die Objekte O in dem von der Kamera 4 erfassten Kamerabild 11 zu erkennen und zumindest ein objektspezifisches Merkmal M an den Objekten O zu identifizieren. Das jeweilige objektspezifische Merkmal ist einem Objekt O insbesondere eindeutig zuordenbar. Im vorliegenden Fall wird als das objektspezifische Merkmal M der geparkten Fahrzeuge 13 jeweils ein Kennzeichenschild 15 beziehungsweise Nummernschild identifiziert und als das objektspezifischen Merkmal M des Hauses 14 ein Hausnummernschild 16 identifiziert. In the first camera picture 11 There are images of objects O, with the objects O in the present case as parked, other vehicles 13 and as a house 14 are formed. The objects O are in particular at least temporarily stationary or immovable objects. The computing device 9 is designed to hold the objects O in the camera 4 captured camera image 11 to identify and identify at least one object-specific feature M at the objects O. The respective object-specific feature can be clearly assigned to an object O, in particular. In the present case, the object-specific feature M of the parked vehicles 13 one license plate each 15 or license plate identified and as the object-specific feature M of the house 14 a house nameplate 16 identified.

Zum Identifizieren des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 kann das aufgenommene Bild 11 von der Recheneinrichtung 9 einer Mustererkennung hinsichtlich Ecken und Kanten des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 unterzogen werden. Es kann somit im aufgenommenen Bild 11 nach einem Rechteck beziehungsweise einem Trapez gesucht werden. Diese Methode der Erkennung eines des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 ist einerseits besonders zuverlässig und andererseits auch relativ leicht zu realisieren. Bei der Erkennung des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 können zunächst seine Kanten erkannt werden, und anhand der Kanten können dann die Ecken des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 identifiziert werden. Die Erkennung der Kanten kann mittels einer bekannten Kantenerkennungsmethode erfolgen, nach welcher im aufgenommenen Bild 11 nach Farbübergängen – beispielsweise von schwarz zu weiß – gesucht wird. Wurden die Kanten erkannt, so ergeben sich auch die Ecken des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16. Nach Erkennen des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 kann die Erkennung plausibilisiert werden, indem eine Länge des Abbilds des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 mit seiner Breite ins Verhältnis gesetzt wird, und geprüft wird, ob dieses Verhältnis in einem vorgegebenen Wertebereich liegt. Somit kann das Kennzeichenschild 15 und/oder des Hausnummernschildes 16 von anderen Rechtecken unterschieden werden, da insbesondere bei Kennzeichenschildern sowohl die Länge als auch die Breite fest vorgegeben sind und somit eine genormte Größe darstellen. To identify the license plate 15 and / or the house number plate 16 can take the picture taken 11 from the computing device 9 a pattern recognition regarding corners and edges of the license plate 15 and / or the house number plate 16 be subjected. It can thus be captured in the picture 11 to search for a rectangle or a trapezoid. This method of detecting one of the license plate 15 and / or the house number plate 16 on the one hand is particularly reliable and on the other hand relatively easy to implement. When recognizing the license plate 15 and / or the house number plate 16 First, its edges can be detected, and then the corners of the license plate can be based on the edges 15 and / or the house number plate 16 be identified. The detection of the edges can be done by means of a known edge detection method, according to which in the recorded image 11 for color transitions - for example, from black to white - is sought. If the edges have been detected, the corners of the license plate also result 15 and / or the house number plate 16 , After recognition of the license plate 15 and / or the house number plate 16 the recognition can be made plausible by giving a length of the image of the license plate 15 and / or the house number plate 16 is compared with its width, and it is checked whether this ratio is within a predetermined value range. Thus, the license plate 15 and / or the house number plate 16 be distinguished from other rectangles, since both the length and the width are fixed in particular for license plates and thus represent a standard size.

Außerdem ist die Recheneinrichtung 9 dazu ausgelegt, anhand der objektspezifischen Merkmale M eine jeweilige erste Pose des Kraftfahrzeugs 1 zu den objektspezifischen Merkmalen M zu bestimmen. Die erste Pose entspricht derjenigen Pose, welche das Kraftfahrzeug 1 beim Erfassen des ersten Kamerabildes 11 zu dem objektspezifischen Merkmal M innehat. Zum Bestimmen der Orientierung anhand des Abbilds des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 können Längskanten des Kennzeichenschildes 15 und/oder des Hausnummernschildes 16 im Bild 11 identifiziert werden und ein Winkel zwischen den Längskanten ermittelt werden. In Abhängigkeit von dem Winkel kann dann die Orientierung bestimmt werden, da der Winkel ein Maß für einen Orientierungswinkel des benachbarten Fahrzeugs 13 und/oder des Hauses 14 bezüglich des Kraftfahrzeugs 1 darstellt. Basierend auf der Posenbestimmung bezüglich der objektspezifischen Merkmale M kann das SLAM-Verfahren durchgeführt werden, indem die Objekte O und das Kraftfahrzeug in der insbesondere zweidimensionalen Umgebungskarte abgebildet werden. Dabei kann das Kraftfahrzeug 1 beispielsweise im Ursprung eines zweidimensionalen Koordinatensystems, in welchem die Umgebungskarte bestimmt wird, positioniert werden, wobei sich Positionen der Objekte O in der zweidimensionalen Umgebungskarte durch die anhand des Kamerabildes 11 durchgeführten Posenbestimmung ergeben. In addition, the computing device 9 designed to use the object-specific features M a respective first pose of the motor vehicle 1 to determine the object-specific characteristics M. The first pose corresponds to the pose which the motor vehicle 1 when capturing the first camera image 11 to the object-specific feature M holds. To determine the orientation based on the image of the license plate 15 and / or the house number plate 16 can longitudinal edges of the license plate 15 and / or the house number plate 16 in the picture 11 be identified and an angle between the longitudinal edges are determined. Depending on the angle, the orientation can then be determined, since the angle is a measure of an orientation angle of the neighboring vehicle 13 and / or the house 14 with respect to the motor vehicle 1 represents. Based on the determination of the pose with respect to the object-specific features M, the SLAM method can be carried out by imaging the objects O and the motor vehicle in the especially two-dimensional environment map. In this case, the motor vehicle 1 For example, at the origin of a two-dimensional coordinate system in which the environment map is determined, positions of the objects O in the two-dimensional environment map are determined by the camera image 11 result in a determined poses.

Darüber hinaus kann die Recheneinrichtung 9 jedem Objekt O anhand des objektspezifischen Merkmals M eine eindeutige Identifikationsnummer beziehungsweise ID zuordnen und diese in einer fahrzeugseitigen Speichereinrichtung hinterlegen. Dabei kann es vorteilhaft sein, die Nummern beziehungsweise Ziffern und Buchstaben des Nummernschildes 15 zu erkennen und anhand derer eine eindeutige Identifikationsnummer beziehungsweise ID passend zum geparkten Fahrzeug 13 erstellt wird. Wenn das Nummernschild 15 nochmals detektiert und erkannt wird, wird über diese ID die Information bereitgestellt, dass es sich um dasselbe Nummernschild 15 desselben Fahrzeugs 13 handelt. Wichtig ist diese Information vor allem dann, wenn nur Teile des Nummerschildes erkannt wurden und sich damit eine Streuung ergibt, wenn das gleiche Nummerschild 15 zwar immer wieder, jedoch an unterschiedlichen Positionen erkannt beziehungsweise detektiert wird. Diese Streuung kann damit eingedämmt werden, um schneller mit dem SLAM zu konvergieren. Des Weiteren kann beispielsweise nur eine Ziffer herausgriffen werden, welche erkannt werden soll, um den SLAM zu berechnen, wodurch weniger Detektionspunkte notwendig sind, um einen SLAM zu berechnen, und wodurch Laufzeit eingespart werden kann. In addition, the computing device 9 every object O based on the Object-specific feature M assign a unique identification number or ID and deposit them in a vehicle-mounted storage device. It may be advantageous, the numbers or numbers and letters of the license plate 15 recognize and on the basis of which a unique identification number or ID matching the parked vehicle 13 is created. If the license plate 15 is detected again and recognized, is provided via this ID the information that it is the same license plate 15 the same vehicle 13 is. This information is especially important if only parts of the number plate were recognized and thus results in a scatter, if the same number plate 15 again and again, but recognized or detected at different positions. This dispersion can thus be contained in order to converge faster with the SLAM. Furthermore, for example, only one digit can be picked out, which is to be detected to calculate the SLAM, whereby fewer detection points are necessary to calculate a SLAM, and thus run time can be saved.

Auch kann die Recheneinrichtung 9 eine Ziffer auf dem Hausnummernschild 16 erkennen und diese, insbesondere gemeinsam mit einer Straße, in welcher sich das Haus 14 befindet, einer spezifischen Identifikationsnummer zuordnen. Die Straße kann beispielsweise anhand eines Navigationssystems des Kraftfahrzeugs 1 bestimmt werden, durch welches das Kraftfahrzeug 1 global lokalisiert wird. Also, the computing device 9 a number on the house number plate 16 recognize and these, in particular together with a street, in which the house 14 assigned to a specific identification number. The road can, for example, based on a navigation system of the motor vehicle 1 be determined by which the motor vehicle 1 is localized globally.

Dann wird zu einem zweiten Messzeitpunkt ein weiteres zweites Kamerabild als zweite Sensordaten des Umgebungsbereiches 3 von der Kamera 4 aufgenommen. Wenn nun das Kraftfahrzeug 1 erneut an den Objekten O vorbeifährt, beispielsweise weil sich das Kraftfahrzeug 1 auf Parkplatzsuche befindet, so befinden sich auch die Abbilder der Objekte O in dem weiteren Kamerabild. Die Recheneinrichtung 9 kann nun das weitere zweite Bild nach den Objekten O durchsuchen, indem die Recheneinrichtung 9 das weitere Bild nach den objektspezifischen Merkmalen M durchsucht. Wenn die Recheneinrichtung 9 das objektspezifische Merkmal M, beispielsweise eines der Nummernschilder 15, in dem weiteren Bild erkannt hat, so wird auch das Objekt O, also das zugehörige Fahrzeug 13, eindeutig wiedererkannt und eine zweite Pose des Kraftfahrzeugs 1 zu dem Objekt O bestimmt. Dabei kann vorgesehen sein, dass die Recheneinrichtung 9 das weitere Kamerabild nur dann nach den objektspezifischen Merkmalen M durchsucht, wenn anhand des Navigationssystems des Kraftfahrzeugs 1 erkannt wurde, dass sich das Kraftfahrzeug 1 bei der Aufnahme des zweiten Kamerabildes in etwa in etwa dem gleichen Umgebungsbereich 3 befindet wie bei der Aufnahme des ersten Kamerabildes 11. Then, at a second measurement time, another second camera image is used as the second sensor data of the surrounding area 3 from the camera 4 added. If now the motor vehicle 1 again passes the objects O, for example, because the motor vehicle 1 Searching for a parking space, so are the images of the objects O in the other camera image. The computing device 9 can now search the other second image for the objects O by the computing device 9 the additional image is searched for the object-specific characteristics M. When the computing device 9 the object-specific feature M, for example one of the number plates 15 , in which another image has been detected, so also the object O, so the associated vehicle 13 , clearly recognized and a second pose of the motor vehicle 1 determined to the object O. It can be provided that the computing device 9 the further camera image is only searched for the object-specific features M, if based on the navigation system of the motor vehicle 1 it was recognized that the motor vehicle 1 when recording the second camera image in approximately the same surrounding area 3 is like taking the first camera image 11 ,

Diese zweite Pose wird mit einer Pose verglichen, welche durch die Recheneinrichtung 9 mittels Odometrie bestimmt wird. Die mittels Odometrie bestimmte Pose ergibt sich dabei aus der Strecke, welche das Kraftfahrzeug 1 seit der Erfassung des ersten Bildes 11 bis zur Erfassung des weiteren Bildes zurückgelegt hat. Anders ausgedrückt wird ausgehend von der ersten Pose anhand von Odometriedaten beziehungsweise Daten des Vortriebssystems des Kraftfahrzeugs 1, beispielsweise einer Anzahl an Radumdrehungen und/oder eines Lenkwinkels, die zurückgelegte Strecke bestimmt und das Ende der Strecke als die Pose bestimmt, mit welcher die zweite Pose verglichen wird. Es wird also ein Odometrieabgleich durchgeführt. Falls kein Odometriefehler vorliegt, also falls die zugrunde gelegten und erfassten Odometriedaten den aktuellen, realen Daten entsprechen, müsste die mittels Odometrie bestimmte Pose mit der zweiten Pose übereinstimmen. Falls die beiden Posen nicht übereinstimmen, so wird ein Odometriefehler erkannt. Basierend auf der Größe der Abweichung kann ein Korrekturfaktor bestimmt werden, mittels welchem bei der Positionsbestimmung des Kraftfahrzeugs mittels Odometrie der Odometriefehler korrigiert werden kann. This second pose is compared to a pose produced by the computing device 9 determined by odometry. The pose determined by means of odometry results from the route which the motor vehicle 1 since capturing the first image 11 until the acquisition of the further image. In other words, starting from the first pose on the basis of odometry data or data of the propulsion system of the motor vehicle 1 For example, a number of wheel revolutions and / or a steering angle determines the distance traveled and determines the end of the distance as the pose to which the second pose is compared. So it is carried out an odometry adjustment. If there is no odometry error, that is, if the underlying and collected odometry data matches the current, real data, the pose determined by odometry would have to match the second pose. If the two poses do not match, then an odometry error is detected. Based on the magnitude of the deviation, a correction factor can be determined, by means of which the odometry error can be corrected during the position determination of the motor vehicle by means of odometry.

Außerdem kann die Recheneinrichtung 9 hier anhand der bestimmten Pose des Kraftfahrzeugs 1 zu dem Kennzeichenschild 15 eines der Fahrzeuge 13 und anhand von zumindest einer vorbestimmten geometrischen Abmessung des geparkten Fahrzeugs 13 eine geometrische Abmessung 17 einer Parklücke 18 des Kraftfahrzeugs 1 bestimmen. Anhand einer Länge des Fahrzeugs 13 kann die Recheneinrichtung 9 als die geometrische Abmessung 17 insbesondere eine Tiefe der Parklücke 18 erkennen. Basierend auf der Umgebungskarte sowie den korrigierten Odometriedaten kann das Fahrerassistenzsystem 2 dann beispielsweise einen zumindest semiautonomen Parkvorgang für das Kraftfahrzeug 1 in die Parklücke 18 bereitstellen beziehungsweise durchführen. In addition, the computing device 9 here on the basis of the specific pose of the motor vehicle 1 to the license plate 15 one of the vehicles 13 and based on at least one predetermined geometric dimension of the parked vehicle 13 a geometric dimension 17 a parking space 18 of the motor vehicle 1 determine. Based on a length of the vehicle 13 can the computing device 9 as the geometric dimension 17 in particular a depth of the parking space 18 detect. The driver assistance system can be based on the environment map and the corrected odometry data 2 then, for example, an at least semi-autonomous parking process for the motor vehicle 1 in the parking space 18 provide or carry out.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102010056217 A1 [0002] DE 102010056217 A1 [0002]

Claims (14)

Verfahren zum Betreiben eines Fahrerassistenzsystems (2) eines Kraftfahrzeugs (1) durch – Erkennen eines Objektes (O) in durch eine fahrzeugseitige Sensoreinrichtung (S) aus einem Umgebungsbereich (3) des Kraftfahrzeugs (1) erfassten ersten Sensordaten und Identifizieren eines objektspezifischen Merkmals (M) an dem Objekt (O) in den ersten Sensordaten; – Bestimmen einer ersten Pose des Kraftfahrzeugs (1) zu dem objektspezifischen Merkmal (M) anhand des objektspezifischen Merkmals (M); gekennzeichnet durch – Wiedererkennen des Objektes (O) in durch die Sensoreinrichtung (S) erfassten zweiten Sensordaten anhand des objektspezifischen Merkmals (M); – Bestimmen einer zweiten Pose des Kraftfahrzeugs (1) zu dem objektspezifischen Merkmal (M) anhand des objektspezifischen Merkmals (M); – Bestimmen einer durch eine Bewegung des Kraftfahrzeugs (1) zwischen der Erfassung der ersten und der zweiten Sensordaten resultierenden Pose des Kraftfahrzeugs (1) zu dem objektspezifischen Merkmal (M) mittels Odometrie; – Erkennen eines Odometriefehlers, falls eine Abweichung zwischen der resultierenden Pose und der zweiten Pose einen vorbestimmten Schwellwert überschreitet. Method for operating a driver assistance system ( 2 ) of a motor vehicle ( 1 ) by - detecting an object (O) in by a vehicle-side sensor device (S) from a surrounding area ( 3 ) of the motor vehicle ( 1 ) detected first sensor data and identifying an object-specific feature (M) on the object (O) in the first sensor data; Determining a first pose of the motor vehicle ( 1 ) to the object-specific feature (M) on the basis of the object-specific feature (M); characterized by - recognizing the object (O) in second sensor data acquired by the sensor device (S) on the basis of the object-specific feature (M); Determining a second pose of the motor vehicle ( 1 ) to the object-specific feature (M) on the basis of the object-specific feature (M); Determining one by a movement of the motor vehicle ( 1 ) between the detection of the first and the second sensor data resulting pose of the motor vehicle ( 1 ) to the object-specific feature (M) by means of odometry; Detecting an odometry error if a deviation between the resulting pose and the second pose exceeds a predetermined threshold. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei Vorliegen des Odometriefehlers ein Korrekturwert zum Kompensieren des Odometriefehlers anhand der zweiten Pose bestimmt wird. A method according to claim 1, characterized in that in the presence of the odometry error, a correction value for compensating the odometry error is determined based on the second pose. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als die ersten und zweiten Sensordaten ein erstes und ein zweites Bild (11) von zumindest einer Kamera (4) des Kraftfahrzeugs (1) erfasst werden und/oder als die ersten und zweiten Sensordaten erste und zweite Laserscannerdaten von zumindest einem Laserscanner des Kraftfahrzeugs (1) erfasst werden. Method according to claim 1 or 2, characterized in that as the first and second sensor data a first and a second image ( 11 ) of at least one camera ( 4 ) of the motor vehicle ( 1 ) and / or as the first and second sensor data first and second laser scanner data from at least one laser scanner of the motor vehicle ( 1 ). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als das Objekt (O) ein stationäres Objekt erfasst wird. Method according to one of the preceding claims, characterized in that a stationary object is detected as the object (O). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach Identifizieren des objektspezifischen Merkmals (M) dem Objekt (O) eine Identifikationsnummer zugeordnet wird, welche in einer fahrzeugseitigen Speichereinrichtung hinterlegt wird. Method according to one of the preceding claims, characterized in that after identifying the object-specific feature (M) the object (O) an identification number is assigned, which is stored in a vehicle-mounted storage device. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweiten Sensordaten zum Wiedererkennen des Objektes (O) nur dann nach dem objektspezifischen Merkmal (M) durchsucht werden, falls anhand von Daten eines Navigationssystems des Kraftfahrzeugs (1) erfasst wurde, dass der Umgebungsbereich (3), aus welchem die ersten Sensordaten erfasst wurden, und der Umgebungsbereich (3), aus welchem die zweiten Sensordaten erfasst wurden; zumindest bereichsweise überlappen. Method according to one of the preceding claims, characterized in that the second sensor data for recognizing the object (O) are searched for the object-specific feature (M) only if based on data of a navigation system of the motor vehicle ( 1 ) that the environmental area ( 3 ), from which the first sensor data was acquired, and the surrounding area ( 3 ) from which the second sensor data was acquired; at least partially overlap. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als das Objekt (O) ein geparktes anderes Fahrzeug (13) erkannt wird und als das objektspezifische Merkmal (M) ein Kraftfahrzeugkennzeichen (15), insbesondere zumindest ein alphanumerisches Zeichen des Kraftfahrzeugkennzeichnens (15), identifiziert wird. Method according to one of the preceding claims, characterized in that as the object (O) a parked other vehicle ( 13 ) is recognized and as the object-specific feature (M) a vehicle license plate ( 15 ), in particular at least one alphanumeric character of the motor vehicle identification ( 15 ) is identified. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass anhand der ersten und/oder der zweiten Pose des Kraftfahrzeugs (1) bezüglich des Kraftfahrzeugkennzeichens (15) und anhand von vorbestimmten, das geparkte Fahrzeug (13) beschreibenden Geometriedaten zumindest eine geometrische Abmessung (17) einer an das geparkte Fahrzeug (13) angrenzenden Parklücke (18) für das Kraftfahrzeug (1) bestimmt wird. A method according to claim 7, characterized in that based on the first and / or the second pose of the motor vehicle ( 1 ) with regard to the registration number ( 15 ) and based on predetermined, the parked vehicle ( 13 ) at least one geometric dimension ( 17 ) one to the parked vehicle ( 13 ) adjacent parking space ( 18 ) for the motor vehicle ( 1 ) is determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als das Objekt (O) ein Kilometerstein erkannt wird und als das objektspezifische Merkmal (M) eine Kilometerangabe auf dem Kilometerstein identifiziert wird. Method according to one of the preceding claims, characterized in that a milestone is recognized as the object (O) and identified as the object-specific feature (M) is a kilometer indication on the milestone. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass in dritten Sensordaten ein weiterer Kilometerstein erkannt wird und eine weitere Kilometerangabe auf dem weiteren Kilometerstein erfasst wird, anhand der Kilometerangaben auf den Kilometersteinen ein Abstand zwischen den Kilometersteinen bestimmt wird, eine zwischen den zwei Kilometersteinen von dem Kraftfahrzeug (1) zurückgelegte Strecke mittels Odometrie erfasst wird und der Odometriefehler erkannt wird, falls eine weitere Abweichung zwischen dem Abstand und der zurückgelegten Strecke einen weiteren vorbestimmten Schwellwert überschreitet. A method according to claim 9, characterized in that in third sensor data, another milestone is detected and a further mileage is recorded on the further milestone, based on the mileage on the milestones a distance between the milestones is determined, one between the two milestones of the motor vehicle ( 1 ) distance is detected by means of odometry and the odometer error is detected if a further deviation between the distance and the distance traveled exceeds a further predetermined threshold. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als das Objekt (O) ein Haus (14) erkannt wird und als das objektspezifische Merkmal (M) ein Hausnummernschild (16), insbesondere zumindest eine Ziffer auf dem Hausnummernschild (16), identifiziert wird. Method according to one of the preceding claims, characterized in that as the object (O) a house ( 14 ) is recognized and as the object-specific feature (M) a house number plate ( 16 ), in particular at least one digit on the house number plate ( 16 ) is identified. Recheneinrichtung (9) für ein Fahrerassistenzsystem (2) eines Kraftfahrzeugs (1), welche dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen. Computing device ( 9 ) for a driver assistance system ( 2 ) of a motor vehicle ( 1 ) which is adapted to perform a method according to any one of the preceding claims. Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1) mit einer Sensoreinrichtung (S) zum Erfassen eines Umgebungsbereiches (3) des Kraftfahrzeugs (1) und mit einer Recheneinrichtung (9) nach Anspruch 12. Driver assistance system ( 2 ) for a motor vehicle ( 1 ) with a sensor device (S) for detecting a surrounding area ( 3 ) of Motor vehicle ( 1 ) and with a computing device ( 9 ) according to claim 12. Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 13. Motor vehicle ( 1 ) with a driver assistance system ( 2 ) according to claim 13.
DE102016106978.7A 2016-04-15 2016-04-15 Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle Pending DE102016106978A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102016106978.7A DE102016106978A1 (en) 2016-04-15 2016-04-15 Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle
PCT/EP2017/057405 WO2017178232A1 (en) 2016-04-15 2017-03-29 Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system, and motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016106978.7A DE102016106978A1 (en) 2016-04-15 2016-04-15 Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle

Publications (1)

Publication Number Publication Date
DE102016106978A1 true DE102016106978A1 (en) 2017-10-19

Family

ID=58503573

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016106978.7A Pending DE102016106978A1 (en) 2016-04-15 2016-04-15 Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle

Country Status (2)

Country Link
DE (1) DE102016106978A1 (en)
WO (1) WO2017178232A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019145152A1 (en) * 2018-01-23 2019-08-01 Valeo Schalter Und Sensoren Gmbh Correction of a position of a vehicle using slam
DE102019120440A1 (en) * 2019-07-29 2021-02-04 Bayerische Motoren Werke Aktiengesellschaft Method and system for the automated creation of object markings for use in a driver assistance system of a vehicle
CN113196085A (en) * 2018-12-20 2021-07-30 大众汽车股份公司 Method for detecting an error in at least one sensor of a motor vehicle

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555801A (en) * 2019-07-26 2019-12-10 纵目科技(上海)股份有限公司 Correction method, terminal and storage medium for track deduction
DE102020201351A1 (en) * 2020-02-04 2021-08-05 Volkswagen Aktiengesellschaft Method and device for determining the position of a vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120078510A1 (en) * 2010-09-24 2012-03-29 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
DE102010056217A1 (en) 2010-12-24 2012-06-28 Valeo Schalter Und Sensoren Gmbh Method for operating a driver assistance system in a motor vehicle, driver assistance system and motor vehicle
DE102011077555A1 (en) * 2011-06-15 2012-12-20 Robert Bosch Gmbh Retrofit kit for park guidance
DE102011082478A1 (en) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Method, system and device for locating a vehicle relative to a predefined reference system
DE102011054379A1 (en) * 2011-10-11 2013-04-11 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for determining position information of mobile vehicle e.g. unmanned aircraft, involves calculating relative movement of vehicle based on determined feature movement and self-determined relative movement information
US20140300732A1 (en) * 2013-04-05 2014-10-09 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003300959A1 (en) * 2002-12-17 2004-07-22 Evolution Robotics, Inc. Systems and methods for visual simultaneous localization and mapping
DE102011118161B3 (en) * 2011-11-10 2013-03-28 Audi Ag Method for determining position
DE102014111011A1 (en) * 2014-08-04 2016-02-04 Valeo Schalter Und Sensoren Gmbh Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120078510A1 (en) * 2010-09-24 2012-03-29 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
DE102010056217A1 (en) 2010-12-24 2012-06-28 Valeo Schalter Und Sensoren Gmbh Method for operating a driver assistance system in a motor vehicle, driver assistance system and motor vehicle
DE102011077555A1 (en) * 2011-06-15 2012-12-20 Robert Bosch Gmbh Retrofit kit for park guidance
DE102011082478A1 (en) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Method, system and device for locating a vehicle relative to a predefined reference system
DE102011054379A1 (en) * 2011-10-11 2013-04-11 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for determining position information of mobile vehicle e.g. unmanned aircraft, involves calculating relative movement of vehicle based on determined feature movement and self-determined relative movement information
US20140300732A1 (en) * 2013-04-05 2014-10-09 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019145152A1 (en) * 2018-01-23 2019-08-01 Valeo Schalter Und Sensoren Gmbh Correction of a position of a vehicle using slam
US11628857B2 (en) 2018-01-23 2023-04-18 Valeo Schalter Und Sensoren Gmbh Correcting a position of a vehicle with SLAM
CN113196085A (en) * 2018-12-20 2021-07-30 大众汽车股份公司 Method for detecting an error in at least one sensor of a motor vehicle
DE102019120440A1 (en) * 2019-07-29 2021-02-04 Bayerische Motoren Werke Aktiengesellschaft Method and system for the automated creation of object markings for use in a driver assistance system of a vehicle

Also Published As

Publication number Publication date
WO2017178232A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
DE102015203016B4 (en) Method and device for optical self-localization of a motor vehicle in an environment
DE102015105248B4 (en) Method and system for generating an image of the surroundings of an articulated vehicle
DE102015209467A1 (en) Method of estimating lanes
DE102019112002A1 (en) SYSTEMS AND METHOD FOR THE AUTOMATIC DETECTION OF PENDING FEATURES
WO2017178232A1 (en) Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system, and motor vehicle
EP3292423A1 (en) Diagnostic method for a vision sensor of a vehicle and vehicle having a vision sensor
DE102015115012A1 (en) Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle
DE102016003261A1 (en) Method for self-localization of a vehicle in a vehicle environment
DE102017011177A1 (en) Method for determining a bending angle of a vehicle combination, determination device and vehicle combination
EP2579228A1 (en) Method and system for digital imaging of the vicinity of a vehicle
DE102018115317A1 (en) Method and driving support system for operating a vehicle or for assisting a driver of the vehicle using lane information
DE102018211368A1 (en) A method of describing an environment of a vehicle through the topology of the busy road
DE102018204451A1 (en) Method and device for auto-calibration of a vehicle camera system
DE102016209242B4 (en) UNIT SETTING DEVICE AND UNIT SETTING PROCEDURE
EP1724726B1 (en) Method and apparatus for measuring a parking space with a single camera
DE102010056217A1 (en) Method for operating a driver assistance system in a motor vehicle, driver assistance system and motor vehicle
DE102013001867A1 (en) Method for determining orientation and corrected position of motor vehicle, involves registering features of loaded and recorded environmental data by calculating transformation and calculating vehicle orientation from transformation
DE102018104963A1 (en) A method of assisting a user of a motor vehicle when parking in a parking lot, corresponding computer program product, support system and motor vehicle
DE102018211326A1 (en) Method and device for determining a position of a vehicle
DE102019213930B4 (en) Method for optimizing the detection of surroundings in a vehicle
DE102018202753A1 (en) Method for determining a distance between a motor vehicle and an object
DE102011111856B4 (en) Method and device for detecting at least one lane in a vehicle environment
DE102021123503A1 (en) Determination of an absolute initial position of a vehicle
DE102016223526A1 (en) Method and device for determining a first highly accurate position of a vehicle
DE102020126524A1 (en) Parking assistance device

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed