DE102010006828B4 - Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle - Google Patents
Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle Download PDFInfo
- Publication number
- DE102010006828B4 DE102010006828B4 DE102010006828.4A DE102010006828A DE102010006828B4 DE 102010006828 B4 DE102010006828 B4 DE 102010006828B4 DE 102010006828 A DE102010006828 A DE 102010006828A DE 102010006828 B4 DE102010006828 B4 DE 102010006828B4
- Authority
- DE
- Germany
- Prior art keywords
- grid
- environment
- model
- sensor
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
Abstract
Verfahren zur Erstellung eines Modells des Umfelds eines Fahrzeugs (10),wobei mit Hilfe mindestens eines Sensors (4, 9) das Umfeld des Fahrzeugs (10) erfasst wird und entsprechende Sensordaten erzeugt werden, undwobei automatisch auf Grundlage der Sensordaten mindestens zwei Umfeldmodelle (1-3) erzeugt und zu dem Modell, welches das Umfeld des Fahrzeugs (10) beschreibt, kombiniert werden,wobei die mindestens zwei Umfeldmodelle ausgewählt sind aus einer Menge umfassend ein objektbasiertes Umfeldmodell (1), ein gitterbasiertes Umfeldmodell (2) und ein graphenbasiertes Umfeldmodell (3),wobei das objektbasierte Umfeldmodell (1) diskrete Objekte (11) in dem Umfeld des Fahrzeugs (10) beschreibt,wobei das gitterbasierte Umfeldmodell (2) das Umfeld mittels eines Gitters beschreibt, wobei Eigenschaften des Umfelds über Gitterzellen (5) des Gitters erfasst werden,wobei das graphenbasierte Umfeldmodell (3) das Umfeld mit einem Graph beschreibt, bei welchem Kanten (13) des Graphen Fahrwegen entsprechen und Knoten (12) des Graphen jeweils am Ende der Kanten (13) angeordnet sind, wobei Attribute der Kanten (13) Eigenschaften des entsprechenden Fahrwegs darstellen und wobei Attribute der Knoten (12) Eigenschaften über das entsprechende Ende der Kante (13) darstellen,wobei bei einer Auswertung der Sensordaten eine sensorspezifische Sichtbarkeit der Gitterzellen (5) berücksichtigt wird, undwobei die sensorspezifische Sichtbarkeit für den jeweiligen des mindestens einen Sensors (4; 9) abhängig von bereits in dem Modell des Umfelds berücksichtigten Informationen bestimmt, welche Gitterzellen (5) für den jeweiligen Sensor (4; 9) sichtbar sind.Method for creating a model of the surroundings of a vehicle (10), the surroundings of the vehicle (10) being recorded with the aid of at least one sensor (4, 9) and corresponding sensor data being generated, and at least two surroundings models (1 -3) are generated and combined to form the model that describes the environment of the vehicle (10), the at least two environment models being selected from a set comprising an object-based environment model (1), a grid-based environment model (2) and a graph-based environment model (3), the object-based environment model (1) describing discrete objects (11) in the environment of the vehicle (10), the grid-based environment model (2) describing the environment using a grid, with properties of the environment using grid cells (5) of the Grids are recorded, the graph-based environment model (3) describing the environment with a graph, in which edges (13) of the graph correspond to routes echen and nodes (12) of the graph are each arranged at the end of the edges (13), with attributes of the edges (13) representing properties of the corresponding route and with attributes of the nodes (12) representing properties of the corresponding end of the edge (13) wherein, when evaluating the sensor data, a sensor-specific visibility of the grid cells (5) is taken into account, and the sensor-specific visibility for the respective one of the at least one sensor (4; 9) determines which grid cells (5) are visible for the respective sensor (4; 9) as a function of information already taken into account in the model of the environment.
Description
Die vorliegende Erfindung betrifft ein Verfahren, um ein Umfeldmodell eines Fahrzeugs zu erstellen, sowie ein Fahrerassistenzsystem, welches mit diesem Umfeldmodell arbeitet. Darüber hinaus offenbart die vorliegende Erfindung ein Fahrzeug, welches das beschriebene Fahrerassistenzsystem aufweist.The present invention relates to a method for creating an environment model of a vehicle, as well as a driver assistance system which works with this environment model. In addition, the present invention discloses a vehicle which has the described driver assistance system.
Die
Die
Die
Die
Die
Für den Einsatz von Fahrerassistenz- und Sicherheitsfunktionen in komplexen Umgebungen (z.B. im Stadtverkehr und bei Baustellensituationen) ist ein umfassendes Umfeldmodell eines Fahrzeugs notwendig, welches als Grundlage für eine maschinelle Situationsinterpretation dient. Nach dem Stand der Technik werden in einem Fahrzeug überwiegend objektbasierte Umfeldmodelle eingesetzt. Bei diesen objektbasierten Umfeldmodellen wird die reale Umgebung des Fahrzeugs mittels weniger relevanter Objekte beschrieben, wobei diese Objekte unter Verwendung klassischer Zustandschätzverfahren (z.B. mit einem Kalmanfilter) durch von einem oder von mehreren Sensorsystemen (z.B. Radar oder LIDAR) erfassten Messdaten und durch eine entsprechende Bildverarbeitung aktualisiert werden.For the use of driver assistance and safety functions in complex environments (e.g. in city traffic and construction site situations), a comprehensive vehicle environment model is required, which serves as the basis for an automated interpretation of the situation. According to the state of the art, predominantly object-based environment models are used in a vehicle. With these object-based environment models, the real environment of the vehicle is described by means of less relevant objects, whereby these objects are updated using classic state estimation methods (e.g. with a Kalman filter) through measurement data recorded by one or more sensor systems (e.g. radar or LIDAR) and through corresponding image processing become.
Das objektbasierte Umfeldmodell erreicht bei nicht komplexen Umgebungen (z.B. bei einem Autobahn-Szenario) eine zufriedenstellende Güte und ermöglicht bekannte Fahrerassistenz-Applikationen, wie beispielsweise eine automatische Abstandsregelung. Die vereinfachende Objektdarstellung des objektbasierten Umfeldmodells scheitert jedoch bei komplexen Szenarien, insbesondere wenn neben den bewegten (dynamischen) Elementen der Fahrzeugumgebung auch Informationen über den statischen Randbereich des Fahrzeugs erforderlich sind, um beispielsweise eine Kollision mit einer Randbebauung einer Straße zu vermeiden. Eine Ursache für das Scheitern des objektbasierten Umfeldmodells bei komplexen Umgebungen ist die vereinfachende Objektmodellhypothese, bei welcher das jeweilige Objekt z.B. mit einem Quadermodell beschrieben wird, was nur für einen geringen Teil von real existierenden Hindernissen gültig ist.The object-based environment model achieves a satisfactory quality in non-complex environments (e.g. in a motorway scenario) and enables known driver assistance applications such as automatic distance control. However, the simplifying object representation of the object-based environment model fails in complex scenarios, in particular if information about the static edge area of the vehicle is required in addition to the moving (dynamic) elements of the vehicle environment, for example to avoid a collision with a roadside development. One reason for the failure of the object-based environment model in complex environments is the simplifying object model hypothesis, in which the respective object is described, for example, with a cuboid model, which is only valid for a small number of real existing obstacles.
In
Im Bereich der mobilen Robotik und in letzter Zeit auch in einem Fahrzeug zum Einsatz bei Parkassistenzfunktionen hat sich ein gitterbasiertes Umfeldmodell etabliert. Bei dem gitterbasierten Umfeldmodell wird die Fahrzeugumgebung nicht durch einzelne, diskrete Objekte, sondern durch ein äquidistant oder nicht äquidistant aufgelöstes Gitter beschrieben. Ein Zustand oder Eigenschaften jeder Gitterzelle beschreiben dabei den realen Zustand des durch die jeweilige Gitterzelle beschriebenen Umgebungsausschnitts, welcher durch die Position und die Ausmaße der zugehörigen Gitterzelle definiert ist. Durch das gitterbasierte Umfeldmodell wird die Fahrzeugumgebung quasi vollständig mittels einer gitterartigen Karte dargestellt. Für die Aktualisierung der Eigenschaften der einzelnen Gitterzellen auf Basis neuer Messinformationen sind eine Reihe von Algorithmen bekannt (z.B. Bayes, Dempster-Shafer). Ein wichtiger Unterschied zum objektbasierten Umfeldmodell besteht in der Möglichkeit des gitterbasierten Umfeldmodells freie Bereiche (Bereiche ohne Hindernisse, d.h. Bereiche ohne die Fahrt des Fahrzeugs behindernde Objekte) explizit anzugeben, welche eine wichtige Grundlage für eine optimierte Trajektorienplanung oder Fahrwegplanung des Fahrzeugs im Rahmen einer Kollisionsvermeidung bilden.In the field of mobile robotics and recently also in a vehicle for use in parking assistance functions, a grid-based environment model has become established. In the grid-based environment model, the vehicle environment is not described by individual, discrete objects, but rather by an equidistant or non-equidistantly resolved grid. A state or properties of each grid cell describe the real state of the environmental section described by the respective grid cell, which is defined by the position and the dimensions of the associated grid cell. With the grid-based environment model, the vehicle environment is shown almost completely by means of a grid-like map. A number of algorithms are known (e.g. Bayes, Dempster-Shafer) for updating the properties of the individual grid cells on the basis of new measurement information. An important difference to the object-based environment model is the possibility of the grid-based environment model to explicitly specify free areas (areas without obstacles, i.e. areas without objects that impede the journey of the vehicle), which form an important basis for optimized trajectory planning or route planning of the vehicle in the context of collision avoidance .
In
Das gitterbasierte Umfeldmodell ist aufgrund seiner integrierenden Arbeitsweise insbesondere zur Darstellung statischer Umfeldmerkmale geeignet, da sich bewegende bzw. bewegte Objekte widersprüchliche Eigenschaften der entsprechenden Gitterzellen erzeugen und daher geeignet unterdrückt werden müssen.The grid-based environment model is particularly suitable for the representation of static environment features due to its integrating mode of operation, since moving or moving objects generate contradicting properties of the corresponding grid cells and must therefore be suitably suppressed.
Unter einem sich bewegenden oder bewegten Objekt wird dabei im Rahmen der vorliegenden Erfindung ein Objekt verstanden, welches sich selbst bewegt. Ein feststehendes Objekt, welches sich nur relativ zum Fahrzeug bewegt, da sich das Fahrzeug selbst bewegt, ist demnach kein sich bewegendes Objekt.In the context of the present invention, a moving or moving object is understood to mean an object that moves itself. A stationary object that only moves relative to the vehicle because the vehicle itself is moving is therefore not a moving object.
Im Bereich von Navigationssystemen wird darüber hinaus ein graphenbasiertes Umfeldmodell eingesetzt. Dabei wird das Straßennetz als ein Verbundnetz beschrieben, welches aus Knoten und Kanten besteht. Dabei kann es sich bei den Knoten z.B. um Positionsstützstellen und bei den Kanten um das Verbindungselement von zwei Knotenhandeln. Häufig besitzt eine Strecke eine Liste von Positionspunkten, die den Verlauf der Strecke angeben. In diesem Fall dienen die diese Positionspunkte definierenden Knoten nur als Verbindungselement der entsprechenden Kanten. Zusätzliche Attribute, wie beispielsweise Angaben über die Anzahl der Fahrspuren einer Straße oder die Breite einer Straße, verbessern einen Informationsgehalt des graphenbasierten Umfeldmodells.In the area of navigation systems, a graph-based environment model is also used. The road network is described as a network consisting of nodes and edges. The nodes can, for example, be position support points and the edges can be the connecting element of two nodes. A route often has a list of position points that indicate the course of the route. In this case, the nodes defining these position points only serve as connecting elements for the corresponding edges. Additional attributes, such as information about the number of lanes in a street or the width of a street, improve the information content of the graph-based environment model.
In
Mit dem graphenbasierten Umfeldmodell kann auch das aktuelle Umfeld des Fahrzeugs beschrieben werden, wenn das graphenbasierte Umfeldmodell auch sich rasch ändernde (dynamische) Information umfasst.The current environment of the vehicle can also be described with the graph-based environment model if the graph-based environment model also includes rapidly changing (dynamic) information.
Da jedes der nach dem Stand der Technik bekannten Umfeldmodelle bestimmte Nachteile aufweist, stellt sich die vorliegende Erfindung die Aufgabe, ein Umfeldmodell eines Fahrzeugs zu erstellen, welches besser als die nach dem Stand der Technik bekannten Umfeldmodelle ist.Since each of the environment models known from the prior art has certain disadvantages, the present invention has the object of creating an environment model of a vehicle that is better than the environment models known from the prior art.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Erstellung eines Modells des Umfelds eines Fahrzeugs nach Anspruch 1 oder Anspruch 2, durch ein Fahrerassistenzsystem für ein Fahrzeug nach Anspruch 7 oder Anspruch 8 und durch ein Fahrzeug nach Anspruch 10 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der vorliegenden Erfindung.According to the invention, this object is achieved by a method for creating a model of the surroundings of a vehicle according to
Im Rahmen der vorliegenden Erfindung wird ein Verfahren zur Erstellung eines Modells des Umfelds eines Fahrzeugs bereitgestellt. Dabei wird das Umfeld des Fahrzeugs mit einem oder mit mehreren Sensoren erfasst, und mittels dieses einen oder dieser mehreren Sensoren werden Sensordaten erzeugt. Abhängig von diesen Sensordaten werden automatisch mindestens zwei Umfeldmodelle erzeugt und zu dem Umfeldmodell, welches das Umfeld des Fahrzeugs beschreibt, kombiniert. Dabei sind die mindestens zwei Umfeldmodelle aus einer Menge ausgewählt, welche umfasst:
- • ein objektbasiertes Umfeldmodell,
- • ein gitterbasiertes Umfeldmodell, und
- • ein graphenbasiertes Umfeldmodell.
- • an object-based environment model,
- • a grid-based environment model, and
- • a graph-based environment model.
Bei diesen drei Umfeldmodellen handelt es sich um die vorab beschriebenen nach dem Stand der Technik bekannten Umfeldmodelle.These three environment models are the previously described environment models known from the prior art.
Durch die Kombination von zumindest zwei nach dem Stand der Technik bekannten Umfeldmodellen ist es vorteilhafterweise möglich, die jeweiligen Nachteile eines Umfeldmodells durch entsprechende Ergebnisse des jeweils anderen Umfeldmodells auszugleichen, so dass das kombinierte Umfeldmodell das Umfeld des Fahrzeugs besser beschreibt als das einzelne Umfeldmodell.By combining at least two environment models known according to the prior art, it is advantageously possible to compensate for the respective disadvantages of an environment model with corresponding results from the other environment model, so that the combined environment model describes the environment of the vehicle better than the individual environment model.
Das von dem gitterbasierten Umfeldmodell eingesetzte Gitter oder Gitternetz ist dabei insbesondere zweidimensional und überspannt bzw. beschreibt diejenige Ebene, auf welcher das Fahrzeug sich bewegt. Dabei kann das Gitternetz auch gekrümmt sein, um Erhebungen und Senken zu repräsentieren. Es ist allerdings erfindungsgemäß auch möglich, dass das gitterbasierte Umfeldmodell mit einem dreidimensionalen Gitter arbeitet oder dass das Gitter mehrere Gitterebenen umfasst, welche parallel zu der Ebene angeordnet sind.The grid or grid network used by the grid-based environment model is in particular two-dimensional and spanned or describes the plane on which the vehicle is moving. The grid can also be curved in order to represent elevations and depressions. According to the invention, however, it is also possible for the grid-based environment model to work with a three-dimensional grid or for the grid to comprise several grid planes which are arranged parallel to the plane.
Zur Kombination der Umfeldmodelle werden die Sensordaten insbesondere derart automatisch ausgewertet, dass sich bewegende Anteile der Sensordaten, welche von sich bewegenden Objekten erfasst werden, von denjenigen sich nicht bewegenden Anteilen der Sensordaten, welche von sich nicht bewegenden Objekten erfasst werden, unterschieden werden. Die sich bewegenden Anteile werden dabei in dem objektbasierten Umfeldmodell und die sich nicht bewegenden Anteile in dem gitterbasierten Umfeldmodell berücksichtigt.To combine the environment models, the sensor data are automatically evaluated in particular in such a way that moving parts of the sensor data that are recorded by moving objects are distinguished from those non-moving parts of the sensor data that are recorded by non-moving objects. The moving parts are taken into account in the object-based environment model and the non-moving parts in the grid-based environment model.
Dadurch wird das gitterbasierte Umfeldmodell vorteilhafterweise zur Beschreibung stationärer Objekte oder Freibereiche und das objektbasierte Umfeldmodell oder Objekt-Tracking (Verfolgung von Objekten) zur Beschreibung von sich bewegenden Objekten eingesetzt. Mit anderen Worten wird zum einen jedes Umfeldmodell (d.h. das gitterbasierte und das objektbasierte Umfeldmodell) zur Darstellung derjenigen Information verwendet, welche das jeweilige Umfeldmodell am besten repräsentieren kann, während diejenigen Sensordaten, welche nach dem Stand der Technik für das jeweilige Umfeldmodell ausgefiltert werden, dem jeweils anderen Umfeldmodell zugeordnet werden.As a result, the grid-based environment model is advantageously used to describe stationary objects or open areas and the object-based environment model or object tracking (tracking of objects) is used to describe moving objects. In other words, on the one hand, each environment model (ie the grid-based and the object-based environment model) is used to display the information that can best represent the respective environment model, while those sensor data that are filtered out for the respective environment model according to the state of the art are used be assigned to a different environment model.
Eine erfindungsgemäße Ausführungsform des gitterbasierten Umfeldmodells besteht insbesondere darin, neben der nach dem Stand der Technik bekannten Belegungswahrscheinlichkeit für einzelne Zellen weitere ortsbezogene Attribute (z.B. Konvergenzverhalten s.u.) abzulegen, die die Klassifikation von Sensordaten in dynamisch und statisch ermöglichen. Neue Sensordaten können so separiert werden in einen Anteil von potenziell sich bewegenden Objekten, die im objektbasierten Umfeldmodell verfolgt werden können und einen Anteil von potenziell statischen Objekten, die über Belegungswahrscheinlichkeiten eines Belegungsgitters repräsentiert werden können.An embodiment of the grid-based environment model according to the invention consists in particular in addition to that according to the prior art known occupancy probability for individual cells to store further location-related attributes (eg convergence behavior, see below), which enable the classification of sensor data into dynamic and static. New sensor data can thus be separated into a proportion of potentially moving objects, which can be tracked in the object-based environment model, and a proportion of potentially static objects, which can be represented via the occupancy probabilities of an occupancy grid.
Gemäß einer erfindungsgemäßen Ausführungsform wird zur Klassifikation das Konvergenzverhalten des gitterbasierten Umfeldmodells mit Belegungswahrscheinlichkeiten ausgewertet. Ausgehend von einer initialen Belegungswahrscheinlichkeit (z.B. 0,5; umfeldabhängig kann auch eine kleinere oder größere initiale Wahrscheinlichkeit gewählt werden) kann eine einzelne Gitterzelle nach dem Einbringen neuer Sensordaten unterschiedliche Konvergenzverhalten zeigen:
- • Eindeutige Konvergenz auf „frei“: Alle eingebrachten Sensordaten deuten darauf hin, dass sich in der betreffenden Gitterzelle keine Hindernisse befinden.
- • Eindeutige Konvergenz auf „belegt“: Alle eingebrachten Sensordaten deuten darauf hin, dass sich in der betreffenden Gitterzelle ein Hindernis befindet.
- • Keine Eindeutige Konvergenz/Widersprüchliche Sensorinformation: Die eingebrachten Sensordaten zeigen Widersprüche. So zeigten die Sensordaten beispielsweise zunächst hohe Belegungswahrscheinlichkeiten für eine Zelle und später geringe. Diese Information kann zur Klassifikation von sich bewegenden Objekten genutzt werden.
- • Clear convergence on "free": All the sensor data introduced indicate that there are no obstacles in the relevant grid cell.
- • Clear convergence on "occupied": All the sensor data that are introduced indicate that there is an obstacle in the relevant grid cell.
- • No clear convergence / contradicting sensor information: The entered sensor data show contradictions. For example, the sensor data initially showed a high probability of occupancy for a cell and later a low one. This information can be used to classify moving objects.
Gemäß einer weiteren erfindungsgemäßen Ausführungsform werden zur Klassifikation die Daten eines geschwindigkeitsmessenden Sensors genutzt (z. B. Radar). Diese Geschwindigkeitsinformationen können ebenfalls in einem gitterbasierten Umfeldmodell hinterlegt werden, um zu kennzeichnen, in welchen Raumbereichen mit sich bewegenden Objekten gerechnet werden muss. Die Daten eines zweiten nicht-geschwindigkeitsmessenden Sensors können somit über ihre räumliche Lage in diesem gitterbasierten Umfeldmodell separiert werden in Daten von potenziell sich bewegenden oder statischen Objekten.According to a further embodiment according to the invention, the data from a speed-measuring sensor are used for classification (for example radar). This speed information can also be stored in a grid-based environment model in order to identify the spatial areas in which moving objects must be expected. The data from a second, non-speed-measuring sensor can thus be separated into data from potentially moving or static objects via their spatial position in this grid-based environment model.
Mittels der Eigenschaften Geschwindigkeit, Konvergenzverhalten und Belegungswahrscheinlichkeit bzw. Belegt-Wahrscheinlichkeit
(Wahrscheinlichkeit, dass die Gitterzelle belegt ist) für jede Gitterzelle kann auch eine Aktualisierung oder Korrektur fehlerhaft interpretierter Sensordaten schneller vorgenommen werden, als es nach Stand der Technik möglich ist. Während nach dem Stand der Technik ein Wechsel der Informationen zwischen belegt und frei für dieselbe Gitterzelle in der Regel als Fehler angesehen wird, interpretiert die vorliegende Erfindung dies als eine Bewegung und weist die entsprechenden Sensordaten dem objektbasierten Umfeldmodell bzw. Objekt-Tracking zu. Sobald erfasst wird, dass sich das bewegende Objekt von der Gitterzelle entfernt hat, kann dann derselben Gitterzelle sehr rasch die korrekte Belegt-Wahrscheinlichkeit zugeordnet werden.Using the properties of speed, convergence behavior and occupancy probability or occupancy probability
(Probability that the grid cell is occupied) for each grid cell, incorrectly interpreted sensor data can also be updated or corrected more quickly than is possible according to the prior art. While, according to the prior art, a change in information between occupied and free for the same grid cell is generally viewed as an error, the present invention interprets this as a movement and assigns the corresponding sensor data to the object-based environment model or object tracking. As soon as it is detected that the moving object has moved away from the grid cell, the correct occupancy probability can then be assigned very quickly to the same grid cell.
Bei einer erfindungsgemäßen Variante wird ein Stereosensor (z.B. eine Stereokamera) zur Erzeugung der Sensordaten eingesetzt. Dabei wird unter einem Stereosensor ein Sensor verstanden, welcher aus zwei Sensoren besteht, welche denselben Umgebungsbereich des Fahrzeugs aus unterschiedlichen Blickwinkeln erfassen. Aus einem Abstand zwischen demselben Bildinhalt in einem Bild des ersten Sensors und in einem zur selben Zeit erfassten Bild des zweiten Sensors kann auf eine Entfernung eines durch diesen Bildinhalt dargestellten Objekts von dem Stereosensor geschlossen werden. Daher können für einzelne Bildpunkte dreidimensionale Koordinaten von dem Stereosensor bestimmt werden.In a variant according to the invention, a stereo sensor (e.g. a stereo camera) is used to generate the sensor data. A stereo sensor is understood to be a sensor which consists of two sensors which detect the same area around the vehicle from different angles. A distance between the same image content in an image of the first sensor and in an image of the second sensor captured at the same time can be used to infer the distance of an object represented by this image content from the stereo sensor. Therefore, three-dimensional coordinates can be determined by the stereo sensor for individual pixels.
Zusätzlich kann die Bewegung desselben Bildinhalts über die Zeit erfasst werden, indem ein Abstand zwischen einem Bildinhalt in einem Bild des ersten (oder zweiten) Sensors und demselben Bildinhalt in einem zu einer anderen Zeit erfassten Bild desselben Sensors bestimmt wird. Mit anderen Worten erfasst der Stereosensor für jeden Bildpunkt eine so genannte 6D-Information, welche neben den drei Ortkoordinaten des Bildpunkts einen dreidimensionalen Geschwindigkeitsvektor des entsprechenden Bildpunkts aufweist.In addition, the movement of the same image content over time can be recorded by determining a distance between an image content in an image of the first (or second) sensor and the same image content in an image of the same sensor recorded at a different time. In other words, the stereo sensor detects what is known as 6D information for each pixel, which, in addition to the three location coordinates of the pixel, has a three-dimensional speed vector of the corresponding pixel.
Mit Hilfe der 6D-lnformation kann für die Sensordaten direkt bestimmt werden, ob sie statisch sind und damit dem gitterbasierten Umfeldmodell zuzuordnen sind, oder ob sie dynamisch sind und damit dem objektbasierten Umfeldmodell zuzuordnen sind.With the aid of the 6D information, it is possible to determine directly for the sensor data whether they are static and can therefore be assigned to the grid-based environment model, or whether they are dynamic and can therefore be assigned to the object-based environment model.
Darüber hinaus ist es anhand der 6D-lnformation möglich, eine Klassifikation von sich bewegenden Objekten vorzunehmen:
- • Bewegen sich die zu demselben Objekt gehörenden Bildpunkte gleichmäßig durch den Raum, handelt es sich bei diesem Objekt mit großer Wahrscheinlichkeit um ein Fahrzeug.
- • Treten bei den zu demselben Objekt gehörenden Bildpunkten differenzierte Bewegungsmuster auf, worunter auch gegenläufige Bewegungen der Bildpunkte fallen, so handelt es sich mit einiger Wahrscheinlichkeit um einen Fußgänger. Die gegenläufigen Bewegungen der Bildpunkte werden dabei von den Armen und Beinen des Fußgängers hervorgerufen.
- • Treten bei den zu demselben Objekt gehörenden Bildpunkten differenzierte Bewegungsmuster auf, welche räumlich stärker eingegrenzt sind, als für den vorab beschriebenen Fall eines Fußgängers, so handelt es sich mit einiger Wahrscheinlichkeit um einen Fahrradfahrer.
- • If the pixels belonging to the same object move evenly through space, this object is very likely to be a vehicle.
- • If differentiated movement patterns occur in the image points belonging to the same object, which also include movements of the image points in opposite directions, then it is with some probability a pedestrian. The opposing movements of the pixels are caused by the arms and legs of the pedestrian.
- • If differentiated movement patterns occur in the image points belonging to the same object, which are spatially more limited than in the case of a pedestrian described above, then it is with some probability a cyclist.
Darüber hinaus können bezüglich des gitterbasierten Umfeldmodells unterschiedliche Sensordaten (z.B. Sensordaten von verschiedenen Sensoren) auf dem Gitter bzw. der Karte des gitterbasierten Umfeldmodells fusioniert werden.In addition, with regard to the grid-based environment model, different sensor data (e.g. sensor data from different sensors) can be merged on the grid or the map of the grid-based environment model.
Dazu kann eine Prognose über eine Sichtbarkeit von Objekten bei den diesen Objekten zugeordneten Gitterzellen abgespeichert werden. Dazu wird bei denjenigen Gitterzellen, welche aufgrund von Abschattungen durch andere von dem erfindungsgemäßen Verfahren bereits erfassten Objekten nicht sichtbar sind (d.h. der entsprechende Sensor kann von diesen Gitterzelle kein Signal erfassen), eine entsprechende Information hinterlegt.For this purpose, a prognosis about the visibility of objects in the grid cells assigned to these objects can be stored. For this purpose, corresponding information is stored for those grid cells which are not visible due to shading by other objects already detected by the method according to the invention (i.e. the corresponding sensor cannot detect a signal from these grid cells).
Diese Information der Sichtbarkeit einer bestimmten Gitterzelle ist dabei sensorspezifisch, d.h. diese Information hängt von dem jeweils eingesetzten Sensor ab. Diese sensorspezifische Sichtbarkeit oder prognostizierte Detektierbarkeit kann auch derart in jeder Gitterzelle vermerkt werden, dass für die jeweilige Gitterzelle angegeben wird, ob erwartet wird, dass im nächsten Messzyklus des jeweiligen Sensors für diese Gitterzelle eine erfolgreiche Messung des Sensors bzw. ein Signal von dem Sensor erfasst wird.This information about the visibility of a certain grid cell is sensor-specific, i.e. this information depends on the sensor used in each case. This sensor-specific visibility or predicted detectability can also be noted in each grid cell in such a way that it is specified for the respective grid cell whether it is expected that a successful measurement of the sensor or a signal from the sensor will be recorded in the next measurement cycle of the respective sensor for this grid cell becomes.
Im Folgenden wird die Erfassung der Sichtbarkeitsinformation für Gitterzellen anhand verschiedener Sensorsysteme beispielhaft erläutert.In the following, the acquisition of the visibility information for grid cells is explained by way of example using various sensor systems.
Optische Systeme, wie beispielsweise Kameras, können Objekte, welche auf der Sichtachse hinter anderen Objekten liegen, nicht wahrnehmen. Mit anderen Worten erhalten Gitterzellen, welche auf der am optischen System beginnenden Sichtachse hinter einem bereits erfassten Objekt liegen, eine prognostizierte Detektierbarkeit oder Sichtbarkeit vom Wert 0.Optical systems such as cameras cannot perceive objects that are behind other objects on the visual axis. In other words, grid cells that lie behind an object that has already been detected on the line of sight beginning at the optical system receive a predicted detectability or visibility of the
Dagegen können Radarsysteme Fahrzeuge, welche sich hinter anderen Fahrzeugen befinden, durchaus wahrnehmen, so dass in diesem Fall die Sichtbarkeit von Gitterzellen, welche auf der Sichtsachse hinter bereits erfassten Fahrzeugen liegen, den Wert 1 erhält. Allerdings können Radarsysteme Fußgänger, welche sich in unmittelbarer Nähe eines sie überragenden Fahrzeugs, beispielsweise eines LKWs, befinden, meist nicht wahrnehmen, so dass die Sichtbarkeit von Gitterzellen, welche sich in unmittelbarer Nähe von solchen bereits als Fahrzeug erfassten Objekten befinden, den Wert 0,1 erhält, was bedeutet, dass mit einer Wahrscheinlichkeit von 10 % im nächsten Messzyklus von dem Radarsystem ein Signal bezüglich dieser Gitterzellen erwartet wird.In contrast, radar systems can certainly perceive vehicles that are behind other vehicles, so that in this case the visibility of grid cells that are on the visual axis behind vehicles that have already been detected is given the
Mit einem solchen Sichtbarkeits-Attribut pro Gitterzelle können Aussagen über eine Existenz von Objekten mit einer größeren Sicherheit vorgenommen werden, was zu einer deutlichen Verbesserung der Objekterkennungsmöglichkeiten des zu erstellenden Umfeldmodells des Fahrzeugs führt. Eine solche Information über die Sichtbarkeit wird beispielsweise verwendet, damit eine als abgeschattet markierte Gitterzelle nicht nur deshalb als frei gekennzeichnet wird, da aktuell kein Signal von ihr erfasst wird.With such a visibility attribute per grid cell, statements about the existence of objects can be made with greater certainty, which leads to a significant improvement in the object recognition options of the vehicle's environment model to be created. Such information about the visibility is used, for example, so that a grid cell marked as shadowed is marked as free not only because no signal is currently being detected by it.
Gemäß einer weiteren erfindungsgemäßen Ausführungsform werden die Sensordaten abhängig von Informationen des graphenbasierten Umfeldmodells automatisch bewertet.According to a further embodiment according to the invention, the sensor data are automatically evaluated as a function of information from the graph-based environment model.
Wenn das objektbasierte und/oder das gitterbasierte Umfeldmodell in einem ortsfesten Koordinatensystem (z.B. in Form von GPS-Daten) vorliegen/t und der Zusammenhang zum Koordinatensystem des graphenbasierten Umfeldmodells bekannt ist, so kann das graphenbasierte Umfeldmodell vorteilhafterweise zur Auswertung der für das objektbasierte und/oder das gitterbasierte Umfeldmodell erfassten Sensordaten ausgewertet werden.If the object-based and / or the grid-based environment model is present in a fixed coordinate system (e.g. in the form of GPS data) and the relationship to the coordinate system of the graph-based environment model is known, then the graph-based environment model can advantageously be used to evaluate the information required for the object-based and / or the grid-based environment model captured sensor data can be evaluated.
Der attributierte Graph des graphenbasierten Umfeldmodells umfasst dabei Fahrbahnen und Kreuzungen des Straßennetzes, auf welchen sich das Fahrzeug aktuell befindet. Die Basis dieses Graphen bilden dabei Daten aus einer Navigationsdatenbank. Dieses a priori Wissen wird zur Laufzeit mit den Sensordaten kombiniert und daraus gewonnene Informationen in dem attributierten Graphen abgelegt. Objekt- und Fahrstreifeninformationen aus der daraus resultierenden Objektfusion werden dazu mit weiteren in dem attributierten Graphen enthaltenen Informationen assoziiert. Darüber hinaus werden im Umfeld Informationen, wie beispielsweise Informationen über eine Befahrbarkeit oder eine Randbebauung einer Straße, aus den Sensordaten abstrahiert und ebenfalls mit dem vorhandenen Wissen in dem attributierten Graphen assoziiert. Das graphenbasierte Umfeldmodell ist somit Teil einer funktionsunabhängigen Situationsinterpretation. Es bietet darauf aufbauenden Funktionen ein Umfeldmodell mit einem relativ hohen Abstraktionsniveau aus dem akkumulierten Wissen aller vorhandenen Informationsquellen.The attributed graph of the graph-based environment model includes lanes and intersections of the road network on which the vehicle is currently located. The basis of this graph is formed by data from a navigation database. This a priori knowledge is combined with the sensor data at runtime and information obtained therefrom is stored in the attributed graph. Object and lane information from the object fusion resulting therefrom are associated with further information contained in the attributed graph. In addition, information in the surrounding area, such as information about drivability or a roadside development, is abstracted from the sensor data and also associated with the existing knowledge in the attributed graph. The graph-based environment model is thus part of a function-independent situation interpretation. Based on this, it offers an environment model with a relatively high level of abstraction from the accumulated knowledge of all available information sources.
Im Rahmen der vorliegenden Erfindung wird auch ein weiteres Verfahren zur Erstellung eines Modells des Umfelds eines Fahrzeugs bereitgestellt. Dabei werden mittels mehrerer Sensoren das Umfeld des Fahrzeugs erfasst und entsprechende Sensordaten erzeugt. Ausgehend von diesen Sensordaten wird ein gitterbasiertes Umfeldmodell als das Modell des Umfelds des Fahrzeugs erstellt. Die Sensordaten der unterschiedlichen Sensoren werden dabei kombiniert. Mittels der kombinierten Sensordaten werden Bildpunkte lokalisiert. Beispielsweise können die Sensordaten einer Stereokamera mit den Sensordaten eines Laserscanners kombiniert werden. Dadurch werden die recht genauen Auflösungen der Sensordaten der Stereokamera hinsichtlich der lateralen Position der einzelnen Bildpunkte mit den recht genauen Auflösungen der Sensordaten des Laserscanners hinsichtlich der longitudinalen Position kombiniert.In the context of the present invention, a further method for creating a model of the surroundings of a vehicle is also provided. The surroundings of the vehicle are recorded by means of several sensors and appropriate Sensor data generated. On the basis of this sensor data, a grid-based environment model is created as the model of the environment of the vehicle. The sensor data from the different sensors are combined. Image points are localized using the combined sensor data. For example, the sensor data from a stereo camera can be combined with the sensor data from a laser scanner. As a result, the very precise resolutions of the sensor data of the stereo camera with regard to the lateral position of the individual image points are combined with the very precise resolutions of the sensor data of the laser scanner with regard to the longitudinal position.
Durch die Kombination der Sensordaten kann die Lokalisierung der Bildpunkte genauer durchgeführt werden, als es anhand der Sensordaten nur eines Sensors möglich ist. Beispielsweise ist die Lokalisierung der Bildpunkte bei einer Kombination der Sensordaten der Stereokamera und des Laserscanners wesentlich genauer, als die Lokalisierung der Bildpunkte für den Fall wäre, wenn nur die Sensordaten der Stereokamera oder nur die Sensordaten des Laserscanners zur Lokalisierung der Bildpunkte verwendet werden könnten. Dadurch können die kombinierten Sensordaten sehr genau der korrekten Gitterzelle des gitterbasierten Umfeldmodells zugewiesen werden.By combining the sensor data, the localization of the pixels can be carried out more precisely than is possible based on the sensor data of just one sensor. For example, the localization of the image points with a combination of the sensor data from the stereo camera and the laser scanner is much more precise than the localization of the image points would be if only the sensor data from the stereo camera or only the sensor data from the laser scanner could be used to localize the image points. As a result, the combined sensor data can be assigned very precisely to the correct grid cell of the grid-based environment model.
Diese erfinderische Idee, die Sensordaten eines Sensors, welcher hinsichtlich der lateralen Position der Bildpunkte eine höhere Genauigkeit aufweist als hinsichtlich der longitudinalen Position, mit den Sensordaten eines Sensors zu kombinieren, welcher hinsichtlich der longitudinalen Position der Bildpunkte eine höhere Genauigkeit aufweist als hinsichtlich der lateralen Position, ist dabei unabhängig von der eigentlichen Erfindung mehrere Umfeldmodelle zu kombinieren. Mit anderen Worten kann diese erfinderische Idee für sich allein eingesetzt werden, um nur das gitterbasierte Umfeldmodell hinsichtlich der Genauigkeit einer Lokalisierung von Bildpunkten zu verbessern. Natürlich ist es auch möglich, dass vorab beschriebene weitere erfindungsgemäße Verfahren im Rahmen des zuerst beschriebenen erfindungsgemäßen Verfahrens einzusetzen.This inventive idea of combining the sensor data of a sensor, which has a higher accuracy with regard to the lateral position of the pixels than with regard to the longitudinal position, with the sensor data of a sensor, which has a higher accuracy with regard to the longitudinal position of the pixels than with regard to the lateral position , is to combine several environment models regardless of the actual invention. In other words, this inventive idea can be used on its own in order to improve only the grid-based environment model with regard to the accuracy of a localization of image points. Of course, it is also possible to use further methods according to the invention described above within the scope of the method according to the invention described first.
Im Rahmen der vorliegenden Erfindung wird auch ein Fahrerassistenzsystem für ein Fahrzeug bereitgestellt. Dabei umfasst das Fahrerassistenzsystem einen oder mehrere Sensoren, Auswertemittel und eine von den Auswertemitteln gesteuerte Vorrichtung zum Eingriff in einen Betrieb des Fahrzeugs. Mit Hilfe des einen oder der mehreren Sensoren erfasst das Fahrerassistenzsystem das Umfeld des Fahrzeugs und erzeugt entsprechende Sensordaten. Auf Grundlage der Sensordaten werden mindestens zwei der vorab beschriebenen Umfeldmodelle erzeugt und zu dem Modell, welches das Umfeld des Fahrzeugs beschreibt, kombiniert.In the context of the present invention, a driver assistance system for a vehicle is also provided. The driver assistance system includes one or more sensors, evaluation means and a device controlled by the evaluation means for intervening in an operation of the vehicle. With the aid of the one or more sensors, the driver assistance system detects the surroundings of the vehicle and generates corresponding sensor data. On the basis of the sensor data, at least two of the environment models described above are generated and combined to form the model that describes the environment of the vehicle.
Die Vorteile des erfindungsgemäßen Fahrerassistenzsystems entsprechen im Wesentlichen den Vorteilen des erfindungsgemäßen Verfahrens, welche vorab im Detail ausgeführt worden sind, so dass hier auf eine Wiederholung verzichtet wird.The advantages of the driver assistance system according to the invention essentially correspond to the advantages of the method according to the invention, which were carried out in advance in detail, so that a repetition is dispensed with here.
Schließlich wird im Rahmen der vorliegenden Erfindung ein Fahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem beschrieben.Finally, within the scope of the present invention, a vehicle with a driver assistance system according to the invention is described.
Die vorliegende Erfindung ist insbesondere für den Einsatz bei Fahrerassistenzsystemen für ein Fahrzeug geeignet. Selbstverständlich ist die vorliegende Erfindung nicht auf diesen bevorzugten Anwendungsbereich beschränkt, da die vorliegende Erfindung auch zur Erstellung von Umfeldmodellen außerhalb des Fahrzeugbereichs sowie bei Schiffen, Flugzeugen und gleisgebundenen Fahrzeugen eingesetzt werden kann.The present invention is particularly suitable for use in driver assistance systems for a vehicle. Of course, the present invention is not limited to this preferred area of application, since the present invention can also be used to create environment models outside of the vehicle area as well as in ships, aircraft and track-bound vehicles.
Im Folgenden wird die vorliegende Erfindung anhand bevorzugter erfindungsgemäßer Ausführungsformen im Detail mit Bezug zu den Figuren beschrieben.
-
1 stellt beispielhaft ein objektbasiertes Umfeldmodell dar. -
2 stellt beispielhaft ein gitterbasiertes Umfeldmodell dar. -
3 stellt beispielhaft ein graphenbasiertes Umfeldmodell dar. - In
4 ist die Kombination der in1 bis 3 dargestellten Umfeldmodelle schematisch dargestellt. - In
5 sind von einer Stereokamera erfasste Daten in einem gitterbasierten Modell dargestellt. - In
6 sind von einem Laserscanner erfasste Daten in einem gitterbasierten Modell dargestellt. - In
7 sind die von einer Stereokamera und die von einem Laserscanner erfassten Daten fusioniert in einem gitterbasierten Modell dargestellt. -
8 stellt schematisch ein erfindungsgemäßes Fahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem dar.
-
1 represents an example of an object-based environment model. -
2 represents an example of a grid-based environment model. -
3 represents an example of a graph-based environment model. - In
4th is the combination of the in1 to3 Environment models shown are shown schematically. - In
5 data captured by a stereo camera are shown in a grid-based model. - In
6th data captured by a laser scanner are presented in a grid-based model. - In
7th the data captured by a stereo camera and the data captured by a laser scanner are shown merged in a grid-based model. -
8th shows schematically a vehicle according to the invention with a driver assistance system according to the invention.
In
Darüber hinaus werden zur Erstellung des kombinierten Umfeldmodells
In
In
In
In
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102010006828.4A DE102010006828B4 (en) | 2010-02-03 | 2010-02-03 | Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102010006828.4A DE102010006828B4 (en) | 2010-02-03 | 2010-02-03 | Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102010006828A1 DE102010006828A1 (en) | 2011-08-04 |
| DE102010006828B4 true DE102010006828B4 (en) | 2021-07-08 |
Family
ID=44316119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102010006828.4A Active DE102010006828B4 (en) | 2010-02-03 | 2010-02-03 | Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102010006828B4 (en) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101552074B1 (en) * | 2011-10-03 | 2015-09-09 | 도요타 지도샤（주） | Vehicle driving support system |
| DE102011116169A1 (en) * | 2011-10-14 | 2013-04-18 | Continental Teves Ag & Co. Ohg | Device for assisting a driver when driving a vehicle or for autonomously driving a vehicle |
| WO2013060323A1 (en) * | 2011-10-28 | 2013-05-02 | Conti Temic Microelectronic Gmbh | Grid-based environmental model for a vehicle |
| DE102011086404A1 (en) * | 2011-11-15 | 2013-05-16 | Robert Bosch Gmbh | Method for generating signal representative of release or prohibition of starting of vehicle e.g. motor car, involves recognizing search area around vehicle contour based on detection of color change in presence of object |
| DE102012103669A1 (en) | 2012-04-26 | 2013-10-31 | Continental Teves Ag & Co. Ohg | Method for displaying a vehicle environment |
| DE102012105332A1 (en) | 2012-06-19 | 2013-12-19 | Continental Teves Ag & Co. Ohg | Method for displaying a vehicle environment |
| DE102012106932A1 (en) * | 2012-07-30 | 2014-05-15 | Continental Teves Ag & Co. Ohg | Method for displaying a vehicle environment with position points |
| DE102013104257A1 (en) * | 2013-04-26 | 2014-10-30 | Continental Teves Ag & Co. Ohg | Grid-based environment model for a vehicle |
| DE102013008828A1 (en) | 2013-05-24 | 2014-11-27 | Volkswagen Aktiengesellschaft | Method for creating a model of an environment of a vehicle and a correspondingly configured driver assistance system |
| DE102013209764B4 (en) * | 2013-05-27 | 2023-10-05 | Robert Bosch Gmbh | Assisting a driver of a motor vehicle |
| DE102013215098A1 (en) | 2013-08-01 | 2015-02-05 | Bayerische Motoren Werke Aktiengesellschaft | Environmental models for vehicles |
| DE102013215100A1 (en) * | 2013-08-01 | 2015-02-05 | Bayerische Motoren Werke Aktiengesellschaft | Providing an environment model in case of failure of a sensor of a vehicle |
| DE102013018315A1 (en) | 2013-10-31 | 2015-04-30 | Bayerische Motoren Werke Aktiengesellschaft | Environment model with adaptive grid |
| DE102014208967A1 (en) | 2014-05-13 | 2015-11-19 | Bayerische Motoren Werke Aktiengesellschaft | Environment map for driving surfaces with any height gradient |
| KR102178433B1 (en) | 2014-05-30 | 2020-11-16 | 주식회사 만도 | Auto emergency braking system and method for recognizing pedestrian of the same |
| DE102014216008A1 (en) * | 2014-08-13 | 2016-02-18 | Conti Temic Microelectronic Gmbh | Control device, server system and vehicle |
| DE102015200748A1 (en) * | 2015-01-20 | 2016-07-21 | Volkswagen Aktiengesellschaft | Motor vehicle with at least one driver assistance system to support a night drive |
| DE102015201747A1 (en) * | 2015-02-02 | 2016-08-04 | Continental Teves Ag & Co. Ohg | SENSOR SYSTEM FOR A VEHICLE AND METHOD |
| DE102015221481A1 (en) | 2015-11-03 | 2017-05-04 | Continental Teves Ag & Co. Ohg | Device for environment modeling for a driver assistance system for a motor vehicle |
| DE102016206631A1 (en) * | 2016-04-20 | 2017-10-26 | Continental Automotive Gmbh | Device for data fusion of measured data for generating a spatial occupancy grid for a motor vehicle |
| US20180113209A1 (en) * | 2016-10-21 | 2018-04-26 | Waymo Llc | Radar generated occupancy grid for autonomous vehicle perception and planning |
| DE102016225915A1 (en) * | 2016-12-21 | 2018-06-21 | Robert Bosch Gmbh | System and method for detecting the surroundings of a vehicle |
| DE102017008569A1 (en) * | 2017-09-08 | 2019-03-14 | Valeo Schalter Und Sensoren Gmbh | A method of operating a driver assistance system for a motor vehicle using a vector-based and a grid-based environment map and driver assistance system |
| DE102017122440A1 (en) * | 2017-09-27 | 2019-03-28 | Valeo Schalter Und Sensoren Gmbh | A method for locating and further developing a digital map by a motor vehicle; localization device |
| DE102018203583B4 (en) * | 2018-03-09 | 2019-11-14 | Audi Ag | Method, driver assistance system and motor vehicle for the prediction of a position or a trajectory by means of a graph-based environment model |
| DE102018118215B4 (en) | 2018-07-27 | 2020-04-16 | Man Truck & Bus Se | Method for updating a map of the surroundings, device for carrying out method steps of the method on the vehicle, vehicle, device for carrying out method steps of the method on the central computer, and computer-readable storage medium |
| CN111382768B (en) * | 2018-12-29 | 2023-11-14 | 华为技术有限公司 | Multi-sensor data fusion method and device |
| DE102019205008B3 (en) | 2019-04-08 | 2020-07-02 | Zf Friedrichshafen Ag | Backward collision avoidance system |
| US11333520B2 (en) | 2019-06-12 | 2022-05-17 | International Business Machines Corporation | Visually guiding a vehicle |
| DE102020109789A1 (en) | 2020-04-08 | 2021-10-14 | Valeo Schalter Und Sensoren Gmbh | Method for performing self-localization of a vehicle on the basis of a reduced digital map of the surroundings, computer program product and a self-localization system |
| DE102020119954A1 (en) | 2020-07-29 | 2022-02-03 | Valeo Schalter Und Sensoren Gmbh | Method for generating an occupancy grid map for at least one static object, computer program product, computer-readable storage medium and assistance system |
| DE102020211649A1 (en) | 2020-09-17 | 2022-03-17 | Conti Temic Microelectronic Gmbh | Method and system for creating a road model |
| DE102020211722A1 (en) | 2020-09-18 | 2022-03-24 | Continental Automotive Gmbh | Method and system for improved driver assistance |
| DE102021214767A1 (en) | 2021-12-21 | 2023-06-22 | Robert Bosch Gesellschaft mit beschränkter Haftung | Procedure for creating a digital map |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10248401A1 (en) | 2002-10-17 | 2004-04-29 | Zf Friedrichshafen Ag | Anticipatory vehicle control by processing information from sensors, sends information from sensors and equipment for processing by selection, weighting and combination |
| DE102004008894A1 (en) | 2004-02-24 | 2005-09-08 | Robert Bosch Gmbh | Safety system for a means of transportation and related method |
| US20060125680A1 (en) * | 2004-12-15 | 2006-06-15 | Thackray Robert G | Method and system for detecting an object using a composite evidence grid |
| DE102007012458A1 (en) | 2007-03-15 | 2008-09-18 | Robert Bosch Gmbh | Method for object formation |
| DE102007013023A1 (en) * | 2007-03-19 | 2008-09-25 | Ibeo Automobile Sensor Gmbh | Recursive method for providing raster card, involves assigning actual individual value to free lattice cell of single measuring raster, where actual individual value is based on distance from free lattice cell to ambient environment sensor |
| DE102008061301A1 (en) | 2007-12-11 | 2009-06-18 | Continental Teves Ag & Co. Ohg | Driver assistance with fused sensor data |
| DE102009006113A1 (en) | 2008-03-03 | 2009-09-10 | Volkswagen Ag | Vehicle's surrounding representation providing method, involves subjecting sensor objects to fusion to generate fusion objects, and fusing existence possibilities of fusion objects based on existence possibilities of sensor objects |
-
2010
- 2010-02-03 DE DE102010006828.4A patent/DE102010006828B4/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10248401A1 (en) | 2002-10-17 | 2004-04-29 | Zf Friedrichshafen Ag | Anticipatory vehicle control by processing information from sensors, sends information from sensors and equipment for processing by selection, weighting and combination |
| DE102004008894A1 (en) | 2004-02-24 | 2005-09-08 | Robert Bosch Gmbh | Safety system for a means of transportation and related method |
| US20060125680A1 (en) * | 2004-12-15 | 2006-06-15 | Thackray Robert G | Method and system for detecting an object using a composite evidence grid |
| DE102007012458A1 (en) | 2007-03-15 | 2008-09-18 | Robert Bosch Gmbh | Method for object formation |
| DE102007013023A1 (en) * | 2007-03-19 | 2008-09-25 | Ibeo Automobile Sensor Gmbh | Recursive method for providing raster card, involves assigning actual individual value to free lattice cell of single measuring raster, where actual individual value is based on distance from free lattice cell to ambient environment sensor |
| DE102008061301A1 (en) | 2007-12-11 | 2009-06-18 | Continental Teves Ag & Co. Ohg | Driver assistance with fused sensor data |
| DE102009006113A1 (en) | 2008-03-03 | 2009-09-10 | Volkswagen Ag | Vehicle's surrounding representation providing method, involves subjecting sensor objects to fusion to generate fusion objects, and fusing existence possibilities of fusion objects based on existence possibilities of sensor objects |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102010006828A1 (en) | 2011-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102010006828B4 (en) | Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle | |
| DE102014223363B4 (en) | Method and device for localizing a motor vehicle in a fixed reference map | |
| DE102015203016B4 (en) | Method and device for optical self-localization of a motor vehicle in an environment | |
| EP3491339B1 (en) | Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a road | |
| DE102017108774A1 (en) | Tire Track maps estimate | |
| DE102016210254A9 (en) | VEHICLE VENTILATION AT CROSSINGS ON THE BASIS OF VISUAL VENTILATION POINTS, STATIONARY OBJECTS AND BY GPS | |
| DE102015209467A1 (en) | Method of estimating lanes | |
| DE102015205133A1 (en) | Method and device for determining a movement planning for an at least partially automated driving of a vehicle | |
| DE102018005869A1 (en) | System for creating an environmental model of a vehicle | |
| WO2013029722A2 (en) | Method for representing surroundings | |
| DE102016213817B4 (en) | A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane | |
| DE102008041679A1 (en) | Method for environment recognition for navigation system in car, involves storing data of object or feature in storage, and classifying object or feature by comparison of data after visual inspection of object or feature | |
| DE102016202594A1 (en) | Method and device for interpreting a vehicle environment of a vehicle and vehicle | |
| DE102021103149A1 (en) | METHOD AND DEVICE FOR DETERMINING THE OPTIMAL CROSSING LANE IN AN ASSISTED DRIVING SYSTEM | |
| DE102021002798A1 (en) | Process for camera-based environment detection | |
| EP3867601A1 (en) | Method and system for determining a model of the environment of a vehicle | |
| EP2912489B1 (en) | Method and device for recognising marked hazard areas and/or construction areas in the region of carriageways | |
| EP3391086A1 (en) | Improved method for determining the roadside development of a road for locating motor vehicles | |
| DE102021113651B3 (en) | System for sensor data fusion for environmental perception | |
| DE102016220581A1 (en) | METHOD AND DEVICE FOR DETERMINING A ENVIRONMENTAL MODEL | |
| DE102008021380A1 (en) | Driving path course predicting method for driver assistant system, involves assigning driving path course to class depending on information of course of driving path from map before vehicle is present in driving path | |
| EP2577614A2 (en) | Apparatus for displaying terrain on a display apparatus of an airborne vehicle | |
| DE102016212774A1 (en) | Method and device for generating an environment map and for locating a vehicle | |
| DE102021207609A1 (en) | Procedure for marking a movement path | |
| DE102019213403A1 (en) | Method for the sensor-based localization of a host vehicle, host vehicle and a computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division | ||
| R020 | Patent grant now final |