EP3566104A1 - Bestimmung von bewegungsinformation mit umgebungssensoren - Google Patents

Bestimmung von bewegungsinformation mit umgebungssensoren

Info

Publication number
EP3566104A1
EP3566104A1 EP17821793.1A EP17821793A EP3566104A1 EP 3566104 A1 EP3566104 A1 EP 3566104A1 EP 17821793 A EP17821793 A EP 17821793A EP 3566104 A1 EP3566104 A1 EP 3566104A1
Authority
EP
European Patent Office
Prior art keywords
feature set
key pose
environmental sensor
key
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17821793.1A
Other languages
English (en)
French (fr)
Inventor
Jean-Francois Bariant
Tino MILSCHEWSKI
Ahmed Kotb
Anto MICHAEL
Markus Heimberger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP3566104A1 publication Critical patent/EP3566104A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Definitions

  • the present invention relates to a method for determining a
  • Motion information in particular for a vehicle assistance system, with a first and a second environmental sensor.
  • the present invention also relates to an interface for a
  • Vehicle assistance system with a first and a second environmental sensor.
  • the present invention relates to a computer program product for
  • the present invention further relates to a vehicle assistance system having a first and a second environmental sensor and a control device, which is connected to the first and second environmental sensor via an interface.
  • the present invention relates to a vehicle having an above
  • SLAM Simultaneous Location and Mapping
  • the measurement data processing system comprises a first process sensor and a second process sensor. Each of the first and second process sensors receives a measurement signal from a transducer and generates an independent process metric.
  • a measurement fusion block is connected to the first and second process sensors, the measurement fusion block being operable to receive the independent process metrics and a measurement analysis process for analyzing the independent ones
  • US 8,417,490 B1 discloses a system and method for providing integrated methods for an integrated software development environment for the design, validation and validation of advanced ones
  • Automotive safety systems known. The system allows automotive software developed on a host computer to provide a collection of
  • Data bus signals generated by actual vehicle hardware connected to their bus counterparts in the host computer on a real-time basis are generated by actual vehicle hardware connected to their bus counterparts in the host computer on a real-time basis.
  • the invention is thus based on the object, a method for determining a movement information, in particular for a vehicle assistance system, with a plurality
  • Environmental sensors an interface for a vehicle assistance system having a first and a second environmental sensor, a computer program product for carrying out the above method, a vehicle assistance system having a first and a second environmental sensor and a control device connected to the first and second environmental sensor via the above interface, As well as to provide a vehicle with an above vehicle assistance system, which allow a simple and robust determination of movement information.
  • the object is achieved by the features of the invention
  • the invention thus provides a method for determining movement information, in particular for a vehicle assistance system, having a first and a second environmental sensor, comprising the steps of determining a first key pose of a first environmental sensor at a first reference time, wherein the first key pose is a feature set of an environment Position, determining a first feature set with the first environment sensor at a first reference time plus a first time difference relative to the first key pose, determining a second key pose of a second environment sensor at a second reference time, wherein the second key pose a feature set an environment of a position determining, determining a second feature set with the second environment sensor at a second reference time plus a second time difference relative to the second key pose, determining a first relative position change from the features thereof
  • Motion information based on the first and second position changes of the first and second environmental sensors along with the first and second reference times and the first and second time differences.
  • the invention also provides an interface for a vehicle assistance system having a first and a second environmental sensor, the interface having an interface for receiving a first or second key pose from the first or second environmental sensor, and an interface for receiving a first or second environmental sensor; second feature set relative to the first and second key pose of the first and second environmental sensor, respectively.
  • a computer program product for carrying out the above method is specified.
  • a vehicle assistance system is further provided with a first and a second environmental sensor and a control device, which is connected to the first and second environmental sensor via an interface, wherein the vehicle assistance system is designed to carry out the method specified above.
  • the basic idea of the present invention is thus to create, via the definition of the key poses, reference variables which can be used to compare feature sets generated in subsequent sensor measurements with the characteristics of the key poses.
  • a feature has characteristic properties that can be detected by the respective environmental sensor.
  • a feature thus represents a simple geometric primitive, which is determined directly by the sensor or its ad hoc algorithm.
  • the features may be based on real objects, such as a vehicle, a sign, a mast, a curb, or others.
  • a feature set accordingly comprises a set of features that an environmental sensor can respectively detect.
  • the feature set is thus a result of a sensor measurement with an environmental sensor, wherein the individual features are extracted from the sensor information. It is desirable that the
  • Sensor measurements are carried out as unfiltered, i. without previous image processing, for example based on a history.
  • a key pose and the corresponding feature set do not differ in principle, but only in their function, with one key pose each as a reference is used for more feature sets that match the corresponding one
  • the method can also be extended to a large number of environmental sensors, with the processing being carried out as described for the two environmental sensors.
  • any types of environmental sensors can be used and combined.
  • Reference times and time difference may have different values for different environmental sensors.
  • the determination of the respective key poses and feature sets can, in principle, be carried out completely asynchronously.
  • Environmental sensor can be determined independently. In principle, the estimation of the movement information can take place arbitrarily based on current positional changes.
  • the movement information can also be estimated if, for example, the first or second environmental sensor has not provided a current feature set.
  • Determining further first or second feature sets takes place as described above, wherein only the value for the corresponding time difference changes. An estimate of the motion information can be readily performed.
  • key poses can be transferred to a card. This can
  • the key poses can be based on your position on the map as References for the trajectory can be used. It is common that the vehicle position is defined by the rear axle, for example, the center of the rear axle.
  • the method comprises the step of receiving external movement information, and the step of estimating the movement information based on the first and second position changes of the first and second environmental sensors together with the first and second reference times and the first and second time differences comprises estimating the motion information based on the external motion information and the first and second position changes of the first and second environmental sensors together with the first and second reference times and the first and second time differences.
  • the estimation of the motion information can be further improved.
  • the external movement information can be used to initialize individual method steps, whereby the implementation of the method can be accelerated and / or improved.
  • the external motion information acquired by the first and second position changes of the first and second environmental sensors based on the first and second can be adopted as an initial value
  • the step of estimating the movement information based on the external movement information and the first and second position changes of the first and second environmental sensors together with the first and second reference times and the first and second time differences comprises weighting the external movement information and the first one and second position change of the first and second environmental sensors together with the first and second reference times and the first and second time differences.
  • the weighting is adjusted dynamically during operation.
  • the weighting may depend on one Evaluating the reliability of the external motion information and / or the first and second position changes of the first and second
  • Environmental sensor along with the first and second reference time and the first and second time difference are increased depending on a number of detected features related to the respective key pose.
  • the method comprises the step of checking a recognition of a minimum number of features of the first or second feature set with respect to the first or second key pose, and in the event that less than the minimum number of features of the first or second second second
  • the method comprises the additional step of determining a further first or second key pose of the first and second environmental sensor. Accordingly, it is checked whether the first or second key pose is still suitable for estimating the motion information. This is the case as long as a sufficient number of features of the respective key pose is contained in the corresponding first or second feature set in order to be able to determine a change in position of these features.
  • a new key pose is generated and possibly added to the card.
  • a new key pose is generated for the corresponding sensor. In principle, it is decided independently for each sensor on the generation of key poses. Since the various sensors can sometimes be arranged with different viewing angles and viewing ranges, the recognition of features of the individual
  • Environmental sensors in principle independent. Also, an environmental sensor, for example, temporarily provide no position changes. In that case, motion information may still be estimated based on the other environment sensor. The further feature sets of the corresponding environmental sensor are subsequently processed with reference to the further key pose.
  • the method comprises the step of transmitting the first key pose, the second key pose, of the first feature set and the second feature set from the first and second environmental sensors, respectively, to a controller.
  • the method may be performed on a decentralized basis by performing a part of the data processing from the environmental sensors, and performing a part of the data processing in the controller.
  • An interface between the environmental sensors and the control device ensures that all features can be transmitted correctly.
  • key poses can be stored in the control device and based on the current feature sets of the corresponding
  • the transfer of the first comprises
  • Position change and a description of an uncertainty of the first or second position change of the first and second feature set based on the first and second environmental sensor may in principle depend on the environmental sensor itself, i. one environmental sensor may have a higher accuracy than another.
  • the uncertainty can on the one hand have an accuracy and, on the other hand, a certain type of uncertainty, for example a possible direction information of an uncertainty.
  • the transmission of a description of an uncertainty of the first or second position change of the first or second feature set based on the first or second environmental sensor comprises the transmission of a covariance matrix. Based on the covariance matrix and the relative position changes, the motion information can thus be estimated.
  • the covariance matrix makes it possible to detect uncertainties in determining the respective position change.
  • the uncertainty of a position change can be represented, for example, as in the form of a three-dimensional ellipsoid.
  • the steps of determining a first or second feature set relative to the first and second key pose the processing of raw data with an AdHoc algorithm to perform the determination of positions of features related to the first and second key pose, respectively.
  • the step of determining a first relative change in position comprises the features of the first
  • the first and the second environmental sensor are designed independently of each other as a laser scanner, radar, ultrasonic sensor or camera. Sensor information from the different sensors can be processed in combination without any fundamental restrictions, as each environmental sensor determines its key pose in its own way and performs a sensor measurement. The recognition of features in the sensor measurements can in principle
  • any types of sensors can be combined in arbitrary positions.
  • the features are also individual for each environmental sensor.
  • the vehicle assistance system to an above-mentioned interface, which is formed between the control unit and the first and the second environmental sensor.
  • Fig. 1 is a schematic view of a vehicle with a
  • Fig. 2 is a flowchart of a method for determining a
  • FIG. 1 shows a schematic view of a vehicle 10, which is along a trajectory 12 in this embodiment to a destination point, which is represented here by a garage 14.
  • the vehicle 10 is designed according to the first, preferred embodiment with a vehicle assistance system 20.
  • the vehicle assistance system 20 comprises a first and a second environmental sensor 22, 24, which are connected via an interface 26 to a control device 28.
  • Ambient sensor 22, 24 are designed independently of each other as a laser scanner, radar, ultrasonic sensor or camera.
  • FIG. 2 A flow diagram of a method according to the invention for determining movement information for the vehicle assistance system 20 in the vehicle 10 according to the first embodiment is shown in FIG. 2. The following general definitions apply to the method.
  • a feature has characteristic properties that can be detected by the respective environmental sensor.
  • a feature thus represents a simple geometric primitive, which is determined directly by the sensor or its ad hoc algorithm.
  • the features may be based on real objects, such as a vehicle, a sign, a mast, a curb, or others.
  • each environment sensor 22, 24 independently forms key poses 16 as a reference for the determination of
  • feature sets 18 are formed by each environmental sensor 22, 24 independently, for which a change in position relative to the respective key pose 16 is determined. Accordingly, the trajectory 12 with key poses 16 and feature sets 18 is shown by way of example in FIG. 1, which can be both first key poses 16 and first feature sets 18 or second key poses 16 and second feature sets 18 by way of example.
  • the key poses 16 and feature sets 18 are shown here by way of example as points along the trajectory 12, wherein the points each indicate a position corresponding to the corresponding key pose 16 or the feature set 18.
  • a feature set 18 is a result of a sensor measurement with a
  • Environmental sensor 22, 24 includes a set of features, which detects an environment sensor 22, 24 respectively, wherein the individual features are extracted from the sensor information.
  • the sensor measurements are carried out unfiltered.
  • the method can also be extended to a multiplicity of environmental sensors 22, 24, the processing corresponding to that for the two
  • the method begins with step S100 relating to determining a first key pose 16 of a first environmental sensor 22 at a first reference time.
  • the first key pose 16 provides a feature set of an environment of a position.
  • step S1 10 a first feature set 18 with the first
  • step S120 a second key pose 16 of a second environment sensor 24 is determined at a second reference time, the second key pose 16 provides a feature set of an environment of a location, and in step S130, a second feature set 18 with the second environment sensor 24 at a second reference time plus a second one
  • the two specific key poses 16 are additionally transferred to a card in steps S100 and S120, as shown by way of example in FIG.
  • a vehicle position is defined via a center of the rear axle of the vehicle 10.
  • the determination of the first and second feature set 18 relative to the first and second key pose 16 in steps S1 10 and S130 respectively includes the processing of raw data with an AdHoc algorithm to perform the determination of positions of features related to the first and second key pose 16, respectively.
  • steps S1 10 and S130 a check is made for a detection of a minimum number of features of the first or second feature set 18 with respect to the first or second key pose 16. In the event that less than the minimum number of features of the first or second key pose 16 Second feature set 18 are detected based on the first and second key pose 16, a further first and second key pose 16 of the first and second environmental sensor 22, 24 in the
  • step S140 a determination is made of a first relative position change from the features of the first feature set 18 relative to the first key pose 16 and a second relative position change from the features of the second one
  • the final fusion involves performing Kalman filtering, particle filtering, a
  • Information filtering or graph optimization to process the information from the various environmental sensors 22, 24 into the estimated motion information.
  • first key pose 16 the second key pose 16 as well as a first and second detected with the first and second environmental sensor 22, 24, respectively
  • Position change and a description of an uncertainty of the first or second position change transmitted comprises the transmission of a covariance matrix.
  • Interface 26 each have a corresponding interface.
  • step S150 external movement information of the vehicle 10 is transmitted to the controller 28 based on odometry information of the vehicle 10.
  • step S160 estimating the motion information based on the external motion information and the estimated motion information in step S140 is performed by processing the first and second position changes of the first and second environmental sensors 22, 24 to the estimated motion information.
  • estimating the motion information is possibly a
  • the external motion information and the first and second position changes of the first and second environmental sensors 22, 24 are weighted.
  • the weighting is dynamically adjusted during operation, depending on an assessment of the reliability of the external motion information and / or the first and second position changes of the first and second environmental sensors 22, 24 together with the first and second reference time and the first and second time difference.
  • the weighting of the first and second position changes of the first and second environmental sensors 22, 24 together with the first and second reference times and the first and second time differences from the external motion information is increased depending on a number of detected features related to the respective key pose 16 ,
  • Determining further first or second feature sets 18 takes place as described above in steps S1 10 and S130, wherein only the value for the corresponding time difference changes. The method thus jumps independently back to the above steps.
  • Vehicle assistance system 20 first environment sensor 22 second environment sensor 24

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Bewegungsinformation, insbesondere für ein Fahrzeugassistenzsystem (20), mit einem ersten und einem zweiten Umgebungssensor (22, 24), umfassend die Schritte Bestimmen einer ersten Key Pose (16) eines ersten Umgebungssensors (22) zu einem ersten Referenzzeitpunkt, wobei die erste Key Pose (16) einen Merkmalssatz einer Umgebung einer Position liefert, Bestimmen eines ersten Merkmalssatzes (18) mit dem ersten Umgebungssensor (22) zu einem ersten Referenzzeitpunkt plus einer ersten Zeitdifferenz relativ zu der ersten Key Pose (16), Bestimmen einer zweiten Key Pose (16) eines zweiten Umgebungssensors (24) zu einem zweiten Referenzzeitpunkt, wobei die zweite Key Pose (16) einen Merkmalssatz einer Umgebung einer Position liefert, Bestimmen eines zweiten Merkmalssatzes (18) mit dem zweiten Umgebungssensor (24) zu einem zweiten Referenzzeitpunkt plus einer zweiten Zeitdifferenz relativ zu der zweiten Key Pose (16), Bestimmen von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes (18) bezogen auf die erste Key Pose (16) und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten Merkmalssatzes (18) bezogen auf die zweite Key Pose (16), und Schätzen der Bewegungsinformation basierend auf der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz.

Description

Bestimmung von Bewegungsinformation mit Umgebungssensoren
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer
Bewegungsinformation, insbesondere für ein Fahrzeugassistenzsystem, mit einem ersten und einem zweiten Umgebungssensor.
Die vorliegende Erfindung betrifft außerdem eine Schnittstelle für ein
Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor.
Weiter betrifft die vorliegende Erfindung ein Computerprogrammprodukt zur
Durchführung des obigen Verfahrens.
Die vorliegende Erfindung betrifft weiterhin ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor und einer Steuerungseinrichtung, die mit dem ersten und zweiten Umgebungssensor über eine Schnittstelle verbunden ist.
Außerdem betrifft die vorliegende Erfindung ein Fahrzeug mit einem obigen
Fahrzeugassistenzsystem.
Im Stand der Technik sind verschiedenartige Ansätze bekannt, um
Bewegungsinformationen zu gewinnen. So sind beispielsweise Ansätze zur Fusion von Sensordaten im Zusammenhang von Simultaneous Location and Mapping (SLAM) Verfahren im Stand der Technik bekannt. Diese Verfahren basieren darauf, dass Merkmale extrahiert werden, und eine merkmalsbasierte Fusion und Lokalisierung erfolgen.
Für die Bestimmung einer Bewegungsinformation in einer realen Umgebung, d.h. beispielsweise einer Bewegung um eine Distanz in einem Winkel, sind diese Verfahren nur bedingt geeignet oder zu aufwendig. Das Extrahieren von Merkmalen ist ein schwieriges Verfahren.
Aus der US 7,426,449 B2 ist ein Messdatenverarbeitungssystem bekannt, welches Messdaten aus einem Satz von unabhängigen, selbst-validierenden (SEVA)
Prozesssensoren, die dieselbe Echtzeit-Messgröße überwachen, fusioniert, um eine kombinierte, beste Schätzung für den Wert, die Unsicherheit und den Messstatus der Messgröße zu erzeugen. Das System bietet auch Konsistenzprüfung zwischen den Messungen. Das Messdatenverarbeitungssystem umfasst einen ersten Prozesssensor und einen zweiten Prozesssensor. Jeder der ersten und zweiten Prozesssensoren erhält ein Messsignal von einem Wandler und erzeugt eine unabhängige Prozessmetrik. Ein Messfusionsblock ist an den ersten und den zweiten Prozesssensor angeschlossen, wobei der Messfusionsblock betreibbar ist, um die unabhängigen Prozessmetriken zu empfangen und einen Messanalyseprozess zur Analyse der unabhängigen
Prozessmetriken durchzuführen und die kombinierten, besten Schätzungen der unabhängigen Prozessmetriken zu generieren.
Weiter sind aus der US 8,417,490 B1 ein System und ein Verfahren zur Bereitstellung integrierter Verfahren für eine integrierte Software-Entwicklungsumgebung für das Design, die Überprüfung und die Validierung von fortschrittlichen
Automobilsicherheitssystemen bekannt. Das System ermöglicht, dass eine automotive Software, die auf einem Host-Computer entwickelt wird, eine Sammlung von
Computerprogrammen gleichzeitig als Prozesse verwendet und durch einen zentralen Prozess synchronisiert wird. Die Software verwendet separate, synchronisierte
Prozesse, die es ermöglicht, dass Signale von verschiedenen Quellen durch eine auf dem Hostrechner laufende Simulation oder durch tatsächliche Sensoren und
Datenbussignalen, die von tatsächlicher Fahrzeug-Hardware, die an ihre Bus- Gegenstücke angeschlossen ist, in dem Host-Computer auf einer Echtzeit-Basis erzeugt werden.
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zur Bestimmung einer Bewegungsinformation, insbesondere für ein Fahrzeugassistenzsystem, mit einer Mehrzahl
Umgebungssensoren, eine Schnittstelle für ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor, ein Computerprogrammprodukt zur Durchführung des obigen Verfahrens, ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor und einer Steuerungseinrichtung, die mit dem ersten und zweiten Umgebungssensor über die obige Schnittstelle verbunden ist, sowie ein Fahrzeug mit einem obigen Fahrzeugassistenzsystem anzugeben, die eine einfache und robuste Bestimmung von Bewegungsinformationen ermöglichen. Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der
unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Erfindungsgemäß ist somit ein Verfahren zur Bestimmung einer Bewegungsinformation angegeben, insbesondere für ein Fahrzeugassistenzsystem, mit einem ersten und einem zweiten Umgebungssensor, umfassend die Schritte Bestimmen einer ersten Key Pose eines ersten Umgebungssensors zu einem ersten Referenzzeitpunkt, wobei die erste Key Pose einen Merkmalssatz einer Umgebung einer Position liefert, Bestimmen eines ersten Merkmalssatzes mit dem ersten Umgebungssensor zu einem ersten Referenzzeitpunkt plus einer ersten Zeitdifferenz relativ zu der ersten Key Pose, Bestimmen einer zweiten Key Pose eines zweiten Umgebungssensors zu einem zweiten Referenzzeitpunkt, wobei die zweite Key Pose einen Merkmalssatz einer Umgebung einer Position liefert, Bestimmen eines zweiten Merkmalssatzes mit dem zweiten Umgebungssensor zu einem zweiten Referenzzeitpunkt plus einer zweiten Zeitdifferenz relativ zu der zweiten Key Pose, Bestimmen von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes bezogen auf die erste Key Pose und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten Merkmalssatzes bezogen auf die zweite Key Pose, und Schätzen der
Bewegungsinformation basierend auf der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz.
Erfindungsgemäß ist außerdem eine Schnittstelle für ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor angegeben, die Schnittstelle aufweisend ein Interface für das Empfangen einer ersten bzw. zweiten Key Pose von dem ersten bzw. zweiten Umgebungssensor, und ein Interface für das Empfangen eines ersten bzw. zweiten Merkmalssatzes relativ zu der ersten bzw. zweiten Key Pose von dem ersten bzw. zweiten Umgebungssensor.
Weiter ist erfindungsgemäß ein Computerprogrammprodukt zur Durchführung des obigen Verfahrens angegeben. Erfindungsgemäß ist weiterhin angegeben ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor und einer Steuerungseinrichtung, die mit dem ersten und zweiten Umgebungssensor über eine Schnittstelle verbunden ist, wobei das Fahrzeugassistenzsystem ausgeführt ist, das oben angegebene Verfahren durchzuführen.
Außerdem ist erfindungsgemäß ein Fahrzeug mit einem obigen
Fahrzeugassistenzsystem angegeben.
Grundidee der vorliegenden Erfindung ist es also, über die Definition der Key Poses Bezugsgrößen zu schaffen, die verwendet werden können, um bei darauffolgenden Sensormessungen erzeugte Merkmalssätze mit den Merkmalen der Key Poses zu vergleichen. Dabei können die Merkmale der jeweiligen Key Pose und des
entsprechenden Merkmalssatzes aufeinander abgebildet werden, um die
Positionsänderung des Umgebungssensors zu bestimmen. Aus der Positionsänderung zusammen mit der dazu gehörenden Zeitdifferenz für die zwei Umgebungssensoren ergeben sich somit zwei Bewegungsinformationen. Dabei ist das Verfahren einfacher ist als eine generelle Merkmalsextraktion wie im Stand der Technik.
Ein Merkmal weist charakteristische Eigenschaften auf, die durch den jeweiligen Umgebungssensor erkannt werden können. Ein Merkmal stellt also ein einfaches geometrischen Primitiv dar, was direkt vom Sensor bzw. von dessen Adhoc-Algorithmus bestimmt wird. Den Merkmalen können reale Objekte, beispielsweise ein Fahrzeug, ein Schild, ein Mast, ein Bordstein, oder andere, zu Grunde liegen.
Ein Merkmalssatz umfasst entsprechend eine Gesamtheit von Merkmalen, die ein Umgebungssensor jeweils erfassen kann. Der Merkmalssatz ist somit ein Ergebnis einer Sensormessung mit einem Umgebungssensor, wobei aus den Sensorinformationen die einzelnen Merkmale extrahiert sind. Dabei ist es wünschenswert, dass die
Sensormessungen möglichst ungefiltert durchgeführt werden, d.h. ohne eine vorherige Bildbearbeitung, beispielsweise basierend auf einer Historie.
Entsprechend unterscheiden sich eine Key Pose und der entsprechende Merkmalssatz nicht prinzipiell, sondern nur in Ihrer Funktion, wobei eine Key Pose jeweils als Referenz für weitere Merkmalssätze verwendet wird, die mit dem entsprechenden
Umgebungssensor bestimmt worden sind.
Prinzipiell kann das Verfahren auch auf eine Vielzahl Umgebungssensoren ausgeweitet werden, wobei die Verarbeitung entsprechend wie für die zwei Umgebungssensoren beschrieben erfolgt. Dabei können prinzipiell beliebige Arten von Umgebungssensoren verwendet und kombiniert werden.
Bei dem Verfahren ist es unerheblich, wie der erste bzw. zweite Referenzzeitpunkt sowie die erste bzw. zweite Zeitdifferenz gewählt sind. Referenzzeitpunkte sowie Zeitdifferenz können bei verschiedenen Umgebungssensoren unterschiedliche Werte aufweisen. Die Bestimmung der jeweiligen Key Poses und Merkmalssätze können prinzipiell vollständig asynchron erfolgen.
Auch ist es für das Verfahren prinzipiell unerheblich, in welcher Reihenfolge einzelne Schritte durchgeführt werden. So können Positionsänderungen für jeden
Umgebungssensor unabhängig voneinander bestimmt werden. Die Schätzung der Bewegungsinformation kann dabei prinzipiell beliebig basierend auf jeweils aktuell vorliegenden Positionsänderungen erfolgen.
Beim Schätzen der Bewegungsinformation basierend auf den ersten und zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors ist es
erforderlich, dass die jeweiligen Referenzzeitpunkte einer gemeinsamen Zeitskala zugeordnet werden können. Dabei kann ein vorzugsweise kontinuierliches
Fortschreiben der Fahrzeugbewegung erfolgen. Damit kann die Bewegungsinformation auch geschätzt werden, wenn beispielsweise der erste oder zweite Umgebungssensor keinen aktuellen Merkmalssatz bereitgestellt hat.
Ein Bestimmen weiterer erster bzw. zweiter Merkmalssätze erfolgt wie zuvor beschrieben, wobei sich lediglich der Wert für die entsprechende Zeitdifferenz ändert. Eine Schätzung der Bewegungsinformation kann ohne weiteres durchgeführt werden.
Zusätzlich können Key Poses auf eine Karte übertragen werden. Dies kann
beispielsweise durchgeführt werden, um eine Trajektorie über Key Poses zu definieren. Entsprechend können die Key Poses ausgehend von Ihrer Position auf der Karte als Referenzen für die Trajektorie verwendet werden. Dabei ist es verbreitet, dass die Fahrzeugposition über die Hinterachse definiert wird, beispielsweise den Mittelpunkt der Hinterachse.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren den Schritt des Empfangens von einer externen Bewegungsinformation, und der Schritt des Schätzens der Bewegungsinformation basierend auf der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz umfasst das Schätzen der Bewegungsinformation basierend auf der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz. Durch die Berücksichtigung weiterer Informationen in Bezug auf die Bewegung kann die Schätzung der Bewegungsinformation weiter verbessert werden. Darüber hinaus kann durch die externen Bewegungsinformationen eine Initialisierung einzelner Verfahrensschritte erfolgen, wodurch die Durchführung des Verfahrens beschleunigt und/oder verbessert werden kann. Insbesondere können beim Schätzen der Bewegungsinformationen die externen Bewegungsinformationen als Initialwert übernommen werden, die durch die ersten und zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors basierend auf dem ersten und zweiten
Referenzzeitpunkt zusammen mit der ersten und zweiten Zeitdifferenz korrigiert werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst der Schritt des Schätzens der Bewegungsinformation basierend auf der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz das Gewichten der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz. Dadurch kann eine erste Schätzung der Bewegungsinformation korrigiert werden, beispielsweise in Abhängigkeit einer verfügbaren Bewegungsinformation basierend auf ersten und den zweiten Positionsänderungen des ersten und des zweiten
Umgebungssensors, des ersten und zweiten Referenzzeitpunkts und der ersten und zweiten Zeitdifferenz. Vorzugsweise wird die Gewichtung während des Betriebs dynamisch angepasst. Insbesondere kann die Gewichtung abhängig von einer Bewertung der Zuverlässigkeit der externen Bewegungsinformationen und/oder der ersten und den zweiten Positionsänderungen des ersten und des zweiten
Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz erfolgen. So kann beispielsweise die Gewichtung der ersten und den zweiten Positionsänderungen des ersten und des zweiten
Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz erhöht werden abhängig von einer Anzahl erkannter Merkmale bezogen auf die jeweilige Key Pose.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren den Schritt des Überprüfens einer Erkennung einer Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes bezogen auf die erste bzw. zweite Key Pose, und für den Fall, dass weniger als die Mindestanzahl von Merkmalen des ersten bzw. zweiten
Merkmalssatzes bezogen auf die erste bzw. zweite Key Pose erkannt werden, umfasst das Verfahren den zusätzlichen Schritt des Bestimmens einer weiteren ersten bzw. zweiten Key Pose des ersten bzw. zweiten Umgebungssensors. Entsprechend wird überprüft, ob die erste oder zweite Key Pose noch geeignet für das Schätzen der Bewegungsinformationen ist. Dies ist der Fall, so lange eine ausreichende Anzahl Merkmale der jeweiligen Key Pose in dem entsprechenden ersten bzw. zweiten Merkmalssatz enthalten ist, um eine Positionsänderung dieser Merkmale bestimmen zu können. Sobald ein Umgebungssensor einen bisher unbekannten Teil erfasst, wird also eine neue Key Pose erzeugt und ggf. zu der Karte hinzugefügt. Sobald eine Key Pose nicht mehr geeignet ist für das Schätzen der Bewegungsinformationen, wird für den entsprechenden Sensor eine neue Key Pose erzeugt. Dabei wird prinzipiell für jeden Sensor unabhängig über die Erzeugung von Key Poses entschieden. Da die verschiedenen Sensoren mitunter mit verschiedenen Blickwinkeln und Blickreichweiten angeordnet sein können, ist die Erkennung von Merkmalen der einzelnen
Umgebungssensoren prinzipiell unabhängig. Auch kann ein Umgebungssensor beispielsweise temporär keine Positionsänderungen liefern. In dem Fall kann basierend auf dem anderen Umgebungssensor weiterhin eine Bewegungsinformation geschätzt werden. Die weiteren Merkmalssätze des entsprechenden Umgebungssensors werden im Anschluss unter Bezug auf die weitere Key Pose verarbeitet.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren den Schritt des Übertragens der ersten Key Pose, der zweiten Key Pose, des ersten Merkmalssatzes und des zweiten Merkmalssatzes von dem ersten bzw. zweiten Umgebungssensor an eine Steuerungseinrichtung. Entsprechend kann das Verfahren dezentral durchgeführt werden, indem ein Teil der Datenverarbeitung von den Umgebungssensoren durchgeführt wird, und ein Teil der Datenverarbeitung in der Steuerungseinrichtung durchgeführt wird. Durch eine Schnittstelle zwischen den Umgebungssensoren und der Steuerungseinrichtung wird sichergestellt, dass alle Merkmale korrekt übertragen werden können. Weiterhin können in der Steuerungseinrichtung Key Poses gespeichert und basierend auf den aktuellen Merkmalssätzen des entsprechenden
Umgebungssensors aktualisiert werden. Hier kann eine Fusion der Key Poses mit den aktuellen Merkmalssätzen erfolgen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen des ersten
Merkmalssatzes und des zweiten Merkmalssatzes von dem ersten bzw. zweiten Umgebungssensor an eine Steuerungseinrichtung das Übertragen von einer mit dem ersten bzw. zweiten Umgebungssensor erfassten ersten bzw. zweiten
Positionsänderung sowie einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten Positionsänderung des ersten bzw. zweiten Merkmalssatzes basierend auf dem ersten bzw. zweiten Umgebungssensor. Die Unsicherheit kann prinzipiell von dem Umgebungssensor selber abhängen, d.h. ein Umgebungssensor kann eine höhere Genauigkeit aufweise als ein anderer. Die Unsicherheit kann dabei einerseits eine Genauigkeit und andererseits eine bestimmte Art einer Unsicherheit aufweisen, beispielsweise eine mögliche Richtungsinformation einer Unsicherheit.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten Positionsänderung des ersten bzw. zweiten Merkmalssatzes basierend auf dem ersten bzw. zweiten Umgebungssensor das Übertragen einer Kovarianzmatrix. Basierend auf der Kovarianzmatrix und der relativen Positionsänderungen kann somit die Bewegungsinformation geschätzt werden. Die Kovarianzmatrix ermöglicht es, Unsicherheiten bei der Bestimmung der jeweiligen Positionsänderung zu erfassen. Dazu kann die Unsicherheit einer Positionsänderung beispielsweise als in Form eines dreidimensionalen Ellipsoiden dargestellt werden.
In vorteilhafter Ausgestaltung der Erfindung umfassen die Schritte des Bestimmens eines ersten bzw. zweiten Merkmalssatzes relativ zu der ersten bzw. zweiten Key Pose die Verarbeitung von Rohdaten mit einem AdHoc-Algorithmus, um die Bestimmung von Positionen von Merkmalen bezogen auf die erste bzw. zweite Key Pose durchzuführen.
In vorteilhafter Ausgestaltung der Erfindung umfasst der Schritt des Bestimmens von einer ersten relativen Positionsänderung aus den Merkmalen des ersten
Merkmalssatzes bezogen auf die erste Key Pose und einer zweiten relativen
Positionsänderung aus den Merkmalen des zweiten Merkmalssatzes bezogen auf die zweite Key Pose das Durchführen einer Kaiman Filterung, Partikelfilterung, eines Informationsfilters oder einer Graphenoptimierung. Derartige Filter sind als solche im Stand der Technik prinzipiell bekannt und können verwendet werden, um nachfolgend die Informationen der verschiedenen Umgebungssensoren zu der geschätzten
Bewegungsinformation verarbeiten zu können.
In vorteilhafter Ausgestaltung der Erfindung der erste und der zweite Umgebungssensor unabhängig voneinander als Laserscanner, Radar, Ultraschallsensor oder Kamera ausgeführt. Sensorinformationen der unterschiedlichen Sensoren können ohne prinzipielle Einschränkungen kombiniert verarbeitet werden, da jeder Umgebungssensor auf seine Art seine Key Pose bestimmt und eine Sensormessung durchführt. Auch die Erkennung von Merkmalen in den Sensormessungen kann prinzipiell auf
unterschiedliche Art erfolgen. Beim Schätzen der Bewegungsinformation können dabei prinzipiell beliebige Arten von Sensoren in beliebigen Positionen kombiniert werden. Dabei sind auch die Merkmale jeweils für jeden Umgebungssensor individuell.
In vorteilhafter Ausgestaltung der Erfindung weist das Fahrzeugassistenzsystem eine oben angegebene Schnittstelle auf, die zwischen der Steuerungseinheit und dem ersten und dem zweiten Umgebungssensor ausgebildet ist.
Es zeigt
Fig. 1 eine schematische Ansicht eines Fahrzeugs mit einem
Fahrzeugassistenzsystem gemäß einer ersten, bevorzugten Ausführungsform auf einer gefahrenen Trajektorie, und Fig. 2 ein Ablaufdiagram eines Verfahrens zur Bestimmung einer
Bewegungsinformation für das Fahrzeugassistenzsystem in Übereinstimmung mit der ersten Ausführungsform.
Die Figur 1 zeigt eine schematische Ansicht eines Fahrzeugs 10, das sich entlang einer Trajektorie 12 in diesem Ausführungsbeispiel zu einem Zielpunkt, der hier durch eine Garage 14 repräsentiert ist.
Das Fahrzeug 10 ist gemäß der ersten, bevorzugten Ausführungsform mit einem Fahrzeugassistenzsystem 20 ausgeführt. Das Fahrzeugassistenzsystem 20 umfasst einen ersten und einen zweiten Umgebungssensor 22, 24, die über eine Schnittstelle 26 mit einer Steuerungseinrichtung 28 verbunden sind. Der erste und der zweite
Umgebungssensor 22, 24 sind unabhängig voneinander als Laserscanner, Radar, Ultraschallsensor oder Kamera ausgeführt.
Ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur Bestimmung einer Bewegungsinformation für das Fahrzeugassistenzsystem 20 in dem Fahrzeug 10 gemäß der ersten Ausführungsform ist in Fig. 2 dargestellt. Für das Verfahren gelten die folgenden, allgemeinen Definitionen.
Ein Merkmal weist charakteristische Eigenschaften auf, die durch den jeweiligen Umgebungssensor erkannt werden können. Ein Merkmal stellt also ein einfaches geometrischen Primitiv dar, was direkt vom Sensor bzw. von dessen Adhoc-Algorithmus bestimmt wird. Den Merkmalen können reale Objekte, beispielsweise ein Fahrzeug, ein Schild, ein Mast, ein Bordstein, oder andere, zu Grunde liegen.
Beim Bewegen entlang der Trajektorie 12 werden von jedem Umgebungssensor 22, 24 unabhängig Key Poses 16 gebildet als Referenz für die Bestimmung von
Bewegungsinformationen. Außerdem werden von jedem Umgebungssensor 22, 24 unabhängig Merkmalssätze 18 gebildet, für welche eine Positionsänderung bezogen auf die jeweilige Key Pose 16 bestimmt wird. Entsprechend wird in Fig. 1 beispielhaft die Trajektorie 12 mit Key Poses 16 und Merkmalssätzen 18 dargestellt, die beispielhaft sowohl erste Key Poses 16 und erste Merkmalssätze 18 oder zweite Key Poses 16 und zweite Merkmalssätze 18 sein können. Die Key Poses 16 und Merkmalssätze 18 sind hier beispielhaft als Punkte entlang der Trajektorie 12 dargestellt, wobei die Punkte jeweils eine Position angeben, die mit der entsprechenden Key Pose 16 bzw. dem Merkmalssatz 18 korrespondiert.
Ein Merkmalssatz 18 ist ein Ergebnis einer Sensormessung mit einem
Umgebungssensor 22, 24 und umfasst eine Gesamtheit von Merkmalen, die ein Umgebungssensor 22, 24 jeweils erfasst, wobei aus den Sensorinformationen die einzelnen Merkmale extrahiert sind. Die Sensormessungen werden ungefiltert durchgeführt.
Prinzipiell kann das Verfahren auch auf eine Vielzahl Umgebungssensoren 22, 24 ausgeweitet werden, wobei die Verarbeitung entsprechend wie für die zwei
Umgebungssensoren 22, 24 beschrieben erfolgt.
Das Verfahren beginnt mit Schritt S100, der das Bestimmen einer ersten Key Pose 16 eines ersten Umgebungssensors 22 zu einem ersten Referenzzeitpunkt betrifft. Die erste Key Pose 16 liefert einen Merkmalssatz einer Umgebung einer Position.
Nachfolgen wird in Schritt S1 10 ein erster Merkmalssatz 18 mit dem ersten
Umgebungssensor 22 zu einem ersten Referenzzeitpunkt plus einer ersten Zeitdifferenz relativ zu der ersten Key Pose 16 bestimmt.
Entsprechend mit den Schritten S100 und S1 10 wird in Schritt S120 eine zweite Key Pose 16 eines zweiten Umgebungssensors 24 zu einem zweiten Referenzzeitpunkt bestimmt, wobei die zweite Key Pose 16 einen Merkmalssatz einer Umgebung einer Position liefert, und in Schritt S130 wird ein zweiter Merkmalssatz 18 mit dem zweiten Umgebungssensor 24 zu einem zweiten Referenzzeitpunkt plus einer zweiten
Zeitdifferenz relativ zu der zweiten Key Pose 16 bestimmt.
Dabei werden in den Schritten S100 und S120 zusätzlich die beiden bestimmten Key Poses 16 auf eine Karte übertragen, wie beispielhaft in Fig. 1 dargestellt ist. Dabei wird eine Fahrzeugposition über einen Mittelpunkt der Hinterachse des Fahrzeugs 10 definiert.
Das Bestimmen des ersten bzw. zweiten Merkmalssatzes 18 relativ zu der ersten bzw. zweiten Key Pose 16 in den Schritten S1 10 und S130 umfasst jeweils die Verarbeitung von Rohdaten mit einem AdHoc-Algorithmus, um die Bestimmung von Positionen von Merkmalen bezogen auf die erste bzw. zweite Key Pose 16 durchzuführen.
Dabei erfolgt in den Schritten S1 10 und S130 jeweils eine Überprüfung einer Erkennung einer Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes 18 bezogen auf die erste bzw. zweite Key Pose 16. Für den Fall, dass weniger als die Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes 18 bezogen auf die erste bzw. zweite Key Pose 16 erkannt werden, werden eine weitere erste bzw. zweite Key Pose 16 des ersten bzw. zweiten Umgebungssensors 22, 24 in den
Schritten S100 bzw. S120 bestimmt. Dies erfolgt für jeden Umgebungssensor 22, 24 unabhängig.
In Schritt S140 erfolgt ein Bestimmen von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes 18 bezogen auf die erste Key Pose 16 und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten
Merkmalssatzes 18 bezogen auf die zweite Key Pose 16. Die abschließende Fusion umfasst das Durchführen einer Kaiman Filterung, Partikelfilterung, eines
Informationsfilters oder einer Graphenoptimierung, um die Informationen der verschiedenen Umgebungssensoren 22, 24 zu der geschätzten Bewegungsinformation zu verarbeiten.
Außerdem werden die erste Key Pose 16, die zweite Key Pose 16 sowie eine mit dem ersten bzw. zweiten Umgebungssensor 22, 24 erfassten ersten bzw. zweiten
Positionsänderung sowie einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten Positionsänderung übertragen. Das Übertragen einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten Positionsänderung des ersten bzw. zweiten Merkmalssatzes 18 basierend auf dem ersten bzw. zweiten Umgebungssensor 22, 24 umfasst das Übertragen einer Kovarianzmatrix. Für das Übertragen weist die
Schnittstelle 26 jeweils ein entsprechendes Interface auf.
In Schritt S150 wird eine externe Bewegungsinformation des Fahrzeugs 10 basierend auf Odometrieinformationen des Fahrzeugs 10 an die Steuerungseinrichtung 28 übertragen. In Schritt S160 erfolgt das Schätzen der Bewegungsinformation basierend auf der externen Bewegungsinformation und der der geschätzten Bewegungsinformation gemäß Schritt S140, in dem die erste und zweite Positionsänderung des ersten und des zweiten Umgebungssensors 22, 24 zu der zu der geschätzten Bewegungsinformation verarbeitet wurden. Beim Schätzen der Bewegungsinformation erfolgt ggf. ein
Fortschreiben der Fahrzeugbewegung.
Außerdem werden die externe Bewegungsinformation und die ersten und zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors 22, 24 gewichtet. Die Gewichtung wird während des Betriebs dynamisch angepasst, abhängig von einer Bewertung der Zuverlässigkeit der externen Bewegungsinformation und/oder der ersten und den zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors 22, 24 zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz. Zusätzlich wird die Gewichtung der ersten und den zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors 22, 24 zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz gegenüber der externen Bewegungsinformation erhöht abhängig von einer Anzahl erkannter Merkmale bezogen auf die jeweilige Key Pose 16.
Ein Bestimmen weiterer erster bzw. zweiter Merkmalssätze 18 erfolgt wie zuvor beschrieben in den Schritten S1 10 bzw. S130, wobei sich lediglich der Wert für die entsprechende Zeitdifferenz ändert. Das Verfahren springt also jeweils unabhängig wieder auf die genannten Schritte zurück.
Bezugszeichenliste
Fahrzeug 10
Trajektorie 12
Garage, Zielpunkt 14
Key Pose 16
Merkmalssatz 18
Fahrzeugassistenzsystem 20 erster Umgebungssensor 22 zweiter Umgebungssensor 24
Schnittstelle 26
Steuerungseinrichtung 28

Claims

Patentansprüche
1 . Verfahren zur Bestimmung einer Bewegungsinformation, insbesondere für ein Fahrzeugassistenzsystem (20), mit einem ersten und einem zweiten
Umgebungssensor (22, 24), umfassend die Schritte
Bestimmen einer ersten Key Pose (16) eines ersten Umgebungssensors (22) zu einem ersten Referenzzeitpunkt, wobei die erste Key Pose (16) einen
Merkmalssatz einer Umgebung einer Position liefert,
Bestimmen eines ersten Merkmalssatzes (18) mit dem ersten Umgebungssensor (22) zu einem ersten Referenzzeitpunkt plus einer ersten Zeitdifferenz relativ zu der ersten Key Pose (16),
Bestimmen einer zweiten Key Pose (16) eines zweiten Umgebungssensors (24) zu einem zweiten Referenzzeitpunkt, wobei die zweite Key Pose (16) einen Merkmalssatz einer Umgebung einer Position liefert,
Bestimmen eines zweiten Merkmalssatzes (18) mit dem zweiten
Umgebungssensor (24) zu einem zweiten Referenzzeitpunkt plus einer zweiten Zeitdifferenz relativ zu der zweiten Key Pose (16),
Bestimmen von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes (18) bezogen auf die erste Key Pose (16) und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten
Merkmalssatzes (18) bezogen auf die zweite Key Pose (16), und
Schätzen der Bewegungsinformation basierend auf der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass
das Verfahren den Schritt des Empfangens von einer externen
Bewegungsinformation umfasst, und
der Schritt des Schätzens der Bewegungsinformation basierend auf der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz das Schätzen der Bewegungsinformation basierend auf der externen Bewegungsinformation und der ersten und zweiten
Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz umfasst.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass
der Schritt des Schätzens der Bewegungsinformation basierend auf der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz das
Gewichten der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz umfasst.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
das Verfahren den Schritt des Überprüfens einer Erkennung einer Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes (18) bezogen auf die erste bzw. zweite Key Pose (16) umfasst, und für den Fall, dass weniger als die Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes (18) bezogen auf die erste bzw. zweite Key Pose (16) erkannt werden, das Verfahren den zusätzlichen Schritt des Bestimmens einer weiteren ersten bzw. zweiten Key Pose (16) des ersten bzw. zweiten Umgebungssensors (22, 24) umfasst.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
das Verfahren den Schritt des Übertragens der ersten Key Pose (16), der zweiten Key Pose (16), des ersten Merkmalssatzes (18) und des zweiten Merkmalssatzes (18) von dem ersten bzw. zweiten Umgebungssensor (22, 24) an eine
Steuerungseinrichtung (28) umfasst.
6. Verfahren nach dem vorhergehenden Anspruch 5, dadurch gekennzeichnet, dass das Übertragen des ersten Merkmalssatzes (18) und des zweiten Merkmalssatzes (18) von dem ersten bzw. zweiten Umgebungssensor (22, 24) an eine
Steuerungseinrichtung (28) das Übertragen von einer mit dem ersten bzw. zweiten Umgebungssensor (22, 24) erfassten ersten bzw. zweiten Positionsänderung sowie einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten
Positionsänderung des ersten bzw. zweiten Merkmalssatzes (18) basierend auf dem ersten bzw. zweiten Umgebungssensor (22, 24) umfasst.
7. Verfahren nach dem vorhergehenden Anspruch 6, dadurch gekennzeichnet, dass das Übertragen einer Beschreibung von einer Unsicherheit der ersten bzw.
zweiten Positionsänderung des ersten bzw. zweiten Merkmalssatzes (18) basierend auf dem ersten bzw. zweiten Umgebungssensor (22, 24) das
Übertragen einer Kovarianzmatrix umfasst.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
die Schritte des Bestimmens eines ersten bzw. zweiten Merkmalssatzes (18) relativ zu der ersten bzw. zweiten Key Pose (16) die Verarbeitung von Rohdaten mit einem AdHoc-Algorithmus umfassen, um die Bestimmung von Positionen von Merkmalen bezogen auf die erste bzw. zweite Key Pose (16) durchzuführen.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
der Schritt des Bestimmens von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes (18) bezogen auf die erste Key Pose (16) und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten Merkmalssatzes (18) bezogen auf die zweite Key Pose (16) das Durchführen einer Kaiman Filterung, Partikelfilterung, eines Informationsfilters oder einer
Graphenoptimierung umfasst.
10. Schnittstelle (26) für ein Fahrzeugassistenzsystem (20) mit einem ersten und
einem zweiten Umgebungssensor (22, 24), die Schnittstelle (26) aufweisend ein Interface für das Empfangen einer ersten bzw. zweiten Key Pose (16) von dem ersten bzw. zweiten Umgebungssensor (22, 24), und ein Interface für das Empfangen eines ersten bzw. zweiten Merkmalssatzes (18) relativ zu der ersten bzw. zweiten Key Pose (16) von dem ersten bzw. zweiten Umgebungssensor (22, 24).
1 1 . Computerprogrammprodukt zur Durchführung des Verfahrens nach einem der vorherigen Ansprüche.
12. Fahrzeugassistenzsystem (20) mit einem ersten und einem zweiten
Umgebungssensor (22, 24) und einer Steuerungseinrichtung (28), die mit dem ersten und zweiten Umgebungssensor (22, 24) über eine Schnittstelle (26) verbunden ist, wobei das Fahrzeugassistenzsystem (20) ausgeführt ist, das Verfahren nach einem der vorhergehenden Ansprüche 1 bis 10 durchzuführen.
13. Fahrzeugassistenzsystem (20) nach dem vorhergehenden Anspruch 12, dadurch gekennzeichnet, dass
der erste und der zweite Umgebungssensor (22, 24) unabhängig voneinander als Laserscanner, Radar, Ultraschallsensor oder Kamera ausgeführt sind.
14. Fahrzeugassistenzsystem (10) nach einem der vorhergehenden Ansprüche 12 oder 13, dadurch gekennzeichnet, dass
das Fahrzeugassistenzsystem (20) eine Schnittstelle (26) nach dem
vorhergehenden Anspruch 10 aufweist, die zwischen der Steuerungseinheit (28) und dem ersten und dem zweiten Umgebungssensor (22, 24) ausgebildet ist.
15. Fahrzeug (10) mit einem Fahrzeugassistenzsystem (20) nach einem der
vorhergehenden Ansprüche 12 bis 14.
EP17821793.1A 2017-01-03 2017-11-27 Bestimmung von bewegungsinformation mit umgebungssensoren Withdrawn EP3566104A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017100060.7A DE102017100060A1 (de) 2017-01-03 2017-01-03 Bestimmung von Bewegungsinformation mit Umgebungssensoren
PCT/EP2017/080450 WO2018127328A1 (de) 2017-01-03 2017-11-27 Bestimmung von bewegungsinformation mit umgebungssensoren

Publications (1)

Publication Number Publication Date
EP3566104A1 true EP3566104A1 (de) 2019-11-13

Family

ID=60813797

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17821793.1A Withdrawn EP3566104A1 (de) 2017-01-03 2017-11-27 Bestimmung von bewegungsinformation mit umgebungssensoren

Country Status (5)

Country Link
US (1) US20200258379A1 (de)
EP (1) EP3566104A1 (de)
JP (1) JP2020504387A (de)
DE (1) DE102017100060A1 (de)
WO (1) WO2018127328A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11075778B2 (en) * 2019-09-26 2021-07-27 Intel Corporation Apparatus, system and method of wireless sensing
DE102019219894A1 (de) * 2019-12-17 2021-06-17 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur Erzeugung von verifizierten Trainingsdaten für ein selbstlernendes System

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166349A (ja) * 1997-08-12 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> 移動量予測型景観ラベリング装置およびシステム
JP3243236B2 (ja) * 1999-09-24 2002-01-07 松下電器産業株式会社 位置データ間引き装置
US7107176B2 (en) 2001-06-25 2006-09-12 Invensys Systems, Inc. Sensor fusion using self evaluating process sensors
JP4020143B2 (ja) * 2006-02-20 2007-12-12 トヨタ自動車株式会社 測位システム、測位方法及びカーナビゲーションシステム
US20080195316A1 (en) * 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
US8417490B1 (en) 2009-05-11 2013-04-09 Eagle Harbor Holdings, Llc System and method for the configuration of an automotive vehicle with modeled sensors
JP5644634B2 (ja) * 2011-03-30 2014-12-24 アイシン・エィ・ダブリュ株式会社 車両情報取得装置、車両情報取得方法及びプログラム
CN103376336A (zh) * 2012-04-12 2013-10-30 捷达世软件（深圳）有限公司 车辆行驶速度测量方法和系统
US9607401B2 (en) * 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
JP6246609B2 (ja) * 2014-02-12 2017-12-13 株式会社デンソーアイティーラボラトリ 自己位置推定装置及び自己位置推定方法
DE102015202230A1 (de) * 2015-02-09 2016-08-11 Conti Temic Microelectronic Gmbh Fusionierte Eigenbewegungsberechnung für ein Fahrzeug

Also Published As

Publication number Publication date
DE102017100060A1 (de) 2018-07-05
WO2018127328A1 (de) 2018-07-12
US20200258379A1 (en) 2020-08-13
JP2020504387A (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
DE102008013366B4 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
EP2951804B1 (de) Erstellen eines umfeldmodells für ein fahrzeug
DE102018205915A1 (de) Monokulare Lokalisierung in städtischen Umgebungen unter Verwendung von Straßenmarkierungen
DE102012216386A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE102018200683A1 (de) Verfahren zur Detektion eines Objektes
DE102017211395A1 (de) Verfahren zur Unterstützung eines Ankuppelvorgangs sowie Unterstützungssystem
DE102015225472A1 (de) Verfahren und Vorrichtung zum Erstellen einer Karte
EP3566104A1 (de) Bestimmung von bewegungsinformation mit umgebungssensoren
EP3509924A1 (de) Verfahren und vorrichtung zum betreiben eines ersten fahrzeugs
WO2016156377A1 (de) Verfahren zum bereitstellen von höheninformationen eines objekts in einem umgebungsbereich eines kraftfahrzeugs an einer kommunikationsschnittstelle, sensoreinrichtung, verarbeitungseinrichtung und kraftfahrzeug
DE102016105022A1 (de) Verfahren zum Erfassen zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs durch eine indirekte Messung mit Sensoren, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP1756748B1 (de) Verfahren zur klassifizierung eines objekts mit einer stereokamera
DE102018215136B4 (de) Verfahren zum Auswählen eines Bildausschnitts eines Sensors
DE102019220607A1 (de) Verwendung von ultraschallbasierten Subsystemen zur 360° Umfelderfassung
DE102019214008A1 (de) Verfahren und Vorrichtung zur Lokalisierung eines mobilen Agenten in einer Umgebung mit dynamischen Objekten
DE102019111608A1 (de) Verfahren zum Bestimmen einer Eigenbewegung eines Kraftfahrzeugs, elektronische Recheneinrichtung sowie elektronisches Fahrzeugführungssystem
EP3701428A1 (de) Verfahren und vorrichtung zum verbessern der robustheit eines maschinellen lernsystems
DE102014202639A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs
DE112018003503T5 (de) Systeme und verfahren zum testen eines automatischen wahrnehmungssystems
DE102019212279B3 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
EP3759644B1 (de) Identifizieren unbesetzter sitzplätze auf basis der detektion einer sich wiederholenden textur
DE102022001265A1 (de) Verfahren, elektronisches Rechensystem und Computerprogramm zur Zuordnung von fusionierten Objektdarstellungen aus zwei unterschiedlichen Fusionsverfahren
DE102015104938A1 (de) Verfahren zum Bereitstellen einer Information über eine Zugehörigkeitsbeurteilung eines Erfassungspunkts zu einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs an einer Kommunikationsschnittstelle sowie Computerprogrammprodukt, Sensoreinrichtung für ein Kraftfahrzeug und Kraftfahrzeug
DE102020116026A1 (de) Verfahren und Vorrichtung zur Ermittlung und/oder Nachverfolgung der Kontur eines Objektes

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190625

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20201208

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20211027