EP3298541A1 - Verfahren zur schätzung von fahrstreifen - Google Patents

Verfahren zur schätzung von fahrstreifen

Info

Publication number
EP3298541A1
EP3298541A1 EP16731778.3A EP16731778A EP3298541A1 EP 3298541 A1 EP3298541 A1 EP 3298541A1 EP 16731778 A EP16731778 A EP 16731778A EP 3298541 A1 EP3298541 A1 EP 3298541A1
Authority
EP
European Patent Office
Prior art keywords
lane
input data
vehicle
lanes
geometry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP16731778.3A
Other languages
English (en)
French (fr)
Inventor
Christopher Bayer
Claudia Loy
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
Original Assignee
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves AG and Co OHG filed Critical Continental Teves AG and Co OHG
Publication of EP3298541A1 publication Critical patent/EP3298541A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Definitions

  • the invention relates to a method for estimating lanes, which is preferably used in a driver assistance system.
  • driver assistance systems are based on the analysis and interpretation of the vehicle-related environment using sensor data.
  • the representation of the lane course is an important component and forms the basis for well-known assistance systems such as "Lane Departure Warning".
  • a common approach of lane detection for the representation of the vehicle environment is the detection of the lane markings in front of the vehicle with a camera and the evaluation of the acquired data by means of image processing methods (usually based on contrast evaluations).
  • Camera-based lane detection systems are in much ⁇ medtigen driver assistance systems use, such as lane departure warning. These systems generally detect the lines delimiting their own lanes on the basis of the lane markings and warn the driver of an unintentional departure from the lane, for example in the case of carelessness or tiredness or microsleep.
  • WO 2014/032664 A1 shows a method for determining a traffic lane course for a vehicle, in which a trafficable space limiting structures are detected by means of at least one image acquisition unit ⁇ and these structures are entered in a map of the area.
  • the Map of the vehicle environment here is divided into a two-dimensional Git ⁇ ter Weg of cells.
  • WO 2011/131165 A1 shows a method for determining the road course for a moving motor vehicle with at least one environmental sensor system. In this case, the sensor data generated by the environmental sensor system directed onto the roadway are subjected to an evaluation for the detection of lane-relevant characteristics.
  • a lane model having at least one lane-defining track model parameter for the lane is generated.
  • continuously differentiable segments can be used, in particular in the context of a Klothoidischen roadway model, a Kreisbo ⁇ genmodells or a spline model.
  • a disadvantage of such methods is that typically only data of an imaging environment detection sensor are used, so that when it fails, no information about the lane course can be determined.
  • a further disadvantage is that geometric model assumptions must be ge ⁇ dripped to determine the lane from the captured image data.
  • DE 102013213361 A1 presents a method for tracking a vehicle with means for detecting the position of other vehicles, wherein the position of other vehicles is accumulated over a predetermined period of time and zones with a high presence of vehicles are recognized as a lane.
  • Data from several sensors can be fused to this, e.g. environment sensing sensor systems such as radar, lidar and / or camera systems, vehicle-to-vehicle communication (C2C) data, and digital road map data.
  • environment sensing sensor systems such as radar, lidar and / or camera systems
  • C2C vehicle-to-vehicle communication
  • the sensor system comprises a plurality of sensor elements, which are formed are that they at least partially detect different primary measured variables and / or at least partially use different measuring principles.
  • the sensor system comprises a signal processing device, wherein the signal processing device is designed such that it at least partially jointly evaluates the sensor signals of the sensor elements and evaluates the information quality of the sensor signals.
  • the signal processing device provides information about the accuracy of at least one datum of a physical quantity.
  • the signal processing device is designed such that the information about the accuracy is described in at least one parameter or a parameter set.
  • One starting point of the invention may be seen in the fact that, in addition to the lane keeping assistance, increasingly complex localization and positioning tasks, as well as the planning of a driving strategy and trajectory for highly automated driving, require precise lane estimation.
  • the reliable, robust recognition of one's own driving lane , as well as a high availability of the recognition rate is indispensable for a stability and reliability of the system. This is especially true for bad weather conditions (snow / fog) or partial obscurations of the field of view (by other road users), where purely camera-based systems reach their limits. Otherwise, a system which is not permanently monitored by a driver, as it is to be made possible in highly automated driving, can not be realized.
  • a first aspect of the invention is not limited to the data of an environment detection sensor when determining or estimating the course of lanes, but to process input data from multiple sensors.
  • detection of lane markings can also be based on measurement data from a second or further camera (s), in particular a stereo camera, a camera with a lateral or rearward detection area (as used, for example, in all-round or surround-view systems) ) or a laterally arranged camera with a large opening angle, or using other optical 3D sensors done.
  • a second or further camera in particular a stereo camera, a camera with a lateral or rearward detection area (as used, for example, in all-round or surround-view systems) ) or a laterally arranged camera with a large opening angle, or using other optical 3D sensors done.
  • the spatially resolved detection of lane markings can also by means of a high-resolution 3D Flash lidar or a Photon mixing detector (PMD, Photonic Mixing Device) or laser based on the detection of the reflections on lane markings by means of laser.
  • PMD Photon mixing detector
  • the lane course on the basis of dynamic objects - ie other vehicles or Ver ⁇ road users - be estimated.
  • the dynamic objects as well as their movement behavior can be tracked by means of a beam sensor, preferably a radar or lidar sensor.
  • information on lanes can also be obtained from maps such as maps of a navigation system or from backend databases or from a communication with other vehicles, the position of the own vehicle by means of a position detection device (eg GPS, GNSS, localization using landmarks ) is determined.
  • a position detection device eg GPS, GNSS, localization using landmarks
  • the knowledge of odometry data from the vehicle sensor system also makes it possible to estimate the course of lanes.
  • odometry data is understood to be data which characterizes a movement of the vehicle and may in particular include vehicle sensor data such as measured variables of a chassis, a drive train, a steering system and measured variables of a navigation device of the vehicle.
  • a second aspect of the invention is to process the data provided by a sensor independently of the measurement methods of this sensor, but the quality of the individual measured values of the sensor is included in the estimation.
  • the measured values are thus included in the estimation as generic characteristics.
  • the method for estimating lanes uses a plurality of input data.
  • Input data is the position and direction of feature vectors, measured from several different sensors independently become.
  • a feature vector is formed by a position in the ego vehicle coordinate system describing a point on the edge of a lane and a direction or angle indicating in which direction the edge of the lane extends at that position.
  • the angle is also referred to below as the heading (angle) and indicates the angle between the vehicle longitudinal axis and the course direction of the lane edge.
  • the input data are variables which the quality of the measurement, ie the position and the direction accuracy of the measurement and the existence probability of a feature vector repre ⁇ sentieren.
  • the method comprises the following steps: The input data are accumulated in time together in step S10.
  • the geometry of lanes is estimated in step S20.
  • the estimated geometry of lanes ie the result of the estimation, is output in step S30, which in turn can in turn be done generically as the position and direction of feature vectors, whereby the estimated course of lanes is described quantitatively.
  • the invention provides an intelligent and general lane estimation method based on using the data from a variety of generic feature information sources for a robust and accurate lane course estimation.
  • Uncertainties of an input data source are compensated by the accuracy of other input data sources.
  • the estimation result combines and enhances the input data of an information source.
  • the estimate is a priori free of geometric model assumptions.
  • the detection area or area in the vicinity of the vehicle for which a lane estimate is made is increased.
  • the features may be extracted from various sources of information with little preprocessing (e.g., in camera systems, feature vectors are extracted on the lane markers, and in dynamic object estimation, they are described in terms of the dynamic object trajectory).
  • feature vectors are extracted on the lane markers, and in dynamic object estimation, they are described in terms of the dynamic object trajectory.
  • the fusion operates independently of measurement principles of the information sources and free of geometric model assumptions (such as approximation of the lane course through clothoids or splines).
  • the algorithm works for individual input sensors as well as for any combination of different input signals, so the fusion is independent of the number of information sources used.
  • the quality of the input and output data is represented by position variances and confidence values. This allows various inputs data is collected and combined (by means of appropriate weighting) and the positional accuracy of the result is recorded.
  • the failure of an information source is made noticeable only by the lower confidence value (or by an increased variance) of the feature vectors, but not by a system crash.
  • accumulated feature vectors lying together are associated in a further step S12. Accumulated feature vectors are thus grouped together, if the Headingwinkel to a low ⁇ hembogigen amount matches and they are not spatially too far apart, particularly in a coordinate of the position.
  • associated feature vectors are fused in a further step S14.
  • this fusing can take place as a weighted averaging, which achieves a smoothing in the main course direction.
  • geometrical model assumptions can be used in the estimation of the geometry of lanes.
  • a GraphSLAM method For the estimation of lanes, in particular a GraphSLAM method can be used.
  • SLAM algorithms try at the same time
  • input data can be determined from a lane boundary marking recognition, a recognition of objects which limit a lane and / or a Traj ektorientown of preceding and / or oncoming vehicles or dynamic objects.
  • the lane boundary marking recognition can take place in a manner known per se by means of a monocular monochrome or color-resolving front camera, a stereo camera or another optical 3D sensor.
  • Objects that limit a lane space can be a curb, a guardrail, posts, an edge development or a vertical lowering at the edge of the road surface opposite an adjacent meadow or the like. These objects can be especially detected by 3D sensors or determined from Ka ⁇ merapetarian.
  • Traj ektorienunk of preceding and / or oncoming vehicles can be performed in particular by means of radar, lidar or a camera with a vehicle object recognition. From the Traj ektorienunk a hypothetical lane course can be determined by the assumption is ge ⁇ made is that the preceding or oncoming vehicle is driven within a lane and a plausible lane width is used. A typical lane change of another vehicle can hereby be recognized on the basis of the changed curve radius of the measured trajectory. The position accuracy of this determination is clear worse than with a recognition of lane marking, but it is still possible by means of radar sensors even in extremely poor visibility conditions or completely missing lane markings.
  • the output estimated geometry of lanes is used as part of a
  • Lane Departure Warning (LDW), Fatigue Warning, Lane Change Assistance, Lane Departure Protection or Lane Keeping, Lane Keeping Guidance, Route Guidance Assistance, Traffic Sign Assistance (to determine the relevance of lane related traffic signs for one's own vehicle) Overtaking maneuver support, to comply with traffic regulations (eg right-hand drive, overtaking ban by means of a solid line) an emergency brake assistance, emergency helm assistance and / or an autonomous vehicle management.
  • the invention furthermore relates to a device for estimating lanes, which is designed to carry out a method according to the invention.
  • FIG. 2 is a representation of input data from two different sensors that have been accumulated in time
  • Fig. 3 is a representation, have been associated with the lying along a ⁇ output data from Fig. 2,
  • FIG. 4 is a representation in which the vectors associated with FIG. 3 have been fused
  • FIG 5 shows a schematic flowchart for the procedure of a method for estimating lanes.
  • Fig. 1 shows a vehicle (1) located on the middle (II) of three lanes (I-III).
  • the three lanes (I-III) are separated from one another by dashed lane markings (6; 7) and separated from the outside area of the three-lane roadway by a continuous lane marker (5; 8) or boundary line, respectively.
  • the vehicle (1) has several surroundings detection sensors, preferably via a front camera (2) and a radar sensor (3).
  • the front camera (2) captures images that depict the area of the traffic lanes (I-III) in front of the vehicle (1) as far as the road surface lies within the field of vision of the front camera (2) and is not obscured by objects.
  • a feature can be specified as a feature vector m (x, y, heading in vehicle coordinates) on the edge of a lane (I-III) or between two lanes.
  • the x-axis corresponds to the vehicle longitudinal axis and the y-axis is perpendicular to the x-axis. Positive y-distances are seen in the forward direction of the vehicle so left.
  • heading the angle of the course of the marking line or the Fahrstrei ⁇ fenbegrenzung is referred to the vehicle longitudinal axis.
  • a heading pointing in positive x-direction means that the driving direction Strip marking is oriented parallel to the vehicle longitudinal axis.
  • a front camera (2) Due to the limited resolution of a front camera (2) and due to uncertainties that the lane marker extraction entails, for example due to a coordinate transformation, a measurement inaccuracy or variance of the position ( ⁇ , ⁇ ) and the direction (cHeading) results. Due to disturbances or limitations in the camera image detection or missing, hidden, faded etc. lane markings, it may be that the front camera (2) can not detect a lane marking at least partially or not sure. This is supplied as the confidence value of the vector in question. A confidence value of 1 ⁇ be indicated in this case a 100% detection, a confidence value of 0.2 means indicates that only 20% probability of striking be ⁇ vector m in general a lane marking (5-8). Optionally, the front camera (2) can already provide information about the type of lane marking at this position, eg "solid", “dashed”, “dotted” in the case of marking nails (bott's dots).
  • map generically by features (x, y, heading) that represent the lane course
  • the position uncertainty is described by the position variance. Due to the general representation, the algorithm is independent of specific sensors.
  • Detection of dynamic objects is represented by the confidence value.
  • Figs. 2 to 4 illustrate an embodiment of the lane estimation method.
  • Fig. 2 shows the position and direction of feature vectors m (Sensor 1) a first sensor (closed arrowhead) and shopping times ⁇ vectors m (sensor 2) a second sensor (open Arrowhead).
  • the features of different input sources are accumulated together in time, ie in particular determined jointly at a time and entered in the same xy graphs, as shown in FIG. 2 by way of example.
  • Figure 3 shows how related features are associated, as they are likely to belong to the same lane boundary. Contiguous are feature vectors whose heading angle is substantially the same and their position is not too far apart. In Fig. 3, an upper group (al) and a lower group (a2) of feature vectors can be well recognized, each of which almost forms a line.
  • Fig. 4 shows how the features associated in Fig. 3 are fused, which in particular improves the positional accuracy and the confidence in the upper group (fl) and the lower group (f2).
  • the fusion can be in the form of weighted averaging of the y-positions, allowing outliers to be removed.
  • the weighting can, on the one hand, take into account the measurement uncertainty of the position determination and, on the other hand, the likelihood of existence.
  • Fig. 5 schematically shows a flow of an embodiment of the method for estimating lanes.
  • step S10 input data of a plurality of sensors (sensor 1 to sensor n) are accumulated together in time as feature vectors.
  • step S12 related features are associated.
  • the associated features are fused in step S14.
  • step S20 the geometry of lanes is estimated. This can be done by the result of the merger as Estimate is accepted. If no merger has been performed, the result can be estimated based on the association of feature vectors.
  • the estimation result can be obtained directly from the accumulated input data taking into account the quality of the measurement of the positional and the directional accuracy and the existence probability of the feature vector the geometry of lanes.
  • the obtained feature vectors can be matched with geometric models.
  • step S30 the estimated geometry of lanes is output.
  • the following is a possible mathematical formulation of a method according to the invention.
  • a trace feature may be specified as a feature vector fj
  • j and yi indicate the position of the feature and the heading angle.
  • the measurement uncertainty for each feature is related to a confidence value Cj and a covariance matrix
  • the goal of the algorithm for fusion of the track characteristics is to obtain a description of the environment in the form of a sentence F fused trace features F ⁇ , F 2, ..., ⁇ N, resulting from the un ⁇ ter Kunststofflichen track characteristic input data.
  • this problem can be described as an estimate of an a posteriori probability where X j is the current vehicle pose and m is a description of the environment by numerous measurements Z 1: t .
  • the control ⁇ vectors U 1: t describe the motion of the vehicle at the appropriate time.
  • This is known as a SLAM problem, which can be solved for example by Kalman filter or particle filter.
  • the GraphSLAM algorithm is used, which is the
  • GraphSLAM describes Equation (2) as a sparse graph.
  • the vehicle pose X 0: t and the order ⁇ nosti m as vertices (nodes) PY will be described 6V.
  • the measurements and control vectors describe compelling conditions that connect the corresponding vertices as edges. An edge thus contains information about the edge of a traffic lane.
  • the graph is formulated as the sum of the conditions
  • the graph can be constructed as follows.
  • the environment and the measured trace features are called nodes in the graph G t represents. Since only the environment ahead of the vehicle of interest, the corresponding set of vehicle pose is reduced to x tr: t w ith T-1 poses. Thus, the graph G t contains successively
  • Vehicle poses X j _ T , Xf_ T + X j and track features f ⁇ , ⁇ , f n as vertices Vj [x, y, ö]. All poses of the graph vertices are given in relation to the current vehicle poses coordinate system.
  • the measurement constraints that define the edges of the graph are derived from the input trace features and the control vectors, which are described below.
  • all vertices are transformed from Xt-i to the current one
  • Vehicle pose X j using ⁇ After this transformation, all measurements that are more than 5 meters behind the vehicle are removed from the graph G t . In addition, past vehicle poses that are no longer used are discarded.
  • the odometry edge is inserted in the graph between two consecutive poses as the condition
  • Clothoids from the lane detection of an available vehicle camera (smc) are added to the graph as follows: The clothoids are scanned as two meters around the poses and information matrices of the vehicle coordinate system
  • features f 10 are associated with all existing trace features of the graph. If no feature is found within an association distance, a new vertex is added to the graph. The condition is described as
  • J; i e (if, x,, ⁇ ). (6) resulting in the edges for the high-resolution camera data.
  • Characteristics of dynamic objects are used to graph added as follows: The idea is to use the positions and Be ⁇ movements of other road users in order to derive information on the lanes. In most cases, drivers of other vehicles tend to drive near the middle of the lane. Based on this assumption, features are generated from tracked objects. Two features perpendicular to the direction of travel of the object are on the left and right sides each dynamic object created with a distance of w / 2 as potential lane markers.
  • the parameter W is an estimate of the current track width, which can be taken either from the clothoids from the lane detection of the available vehicle camera or for the otherwise 3.5 meters can be assumed.
  • the latter corresponds to the usual width of a lane on highways in Germany.
  • the corresponding feature covariances are equal to the sum of the object covariances and a covariance matrix, which indicates the lateral standard deviation of road users to the lane center.
  • the resulting features are associated with existing features or added as a new vertex with the measurements
  • t tj r is the left or right feature of the z-th tracked object at time t.
  • Track width W as a lateral distance.
  • the angular difference is set equal to zero, since the direction of movement of the two features should be the same.
  • the information matrix Q w tdth corresponds to the variance of the current track width estimate. Furthermore, an additional dependency should be considered: in the current model, two consecutive features on the same side of an object are decoupled.
  • obj f Obj means that T t _ 1 ⁇ ⁇ has no direct influence.
  • equation (9) can be given with a
  • this edge is disabled, and if it is equal to one, the edge is fully enabled, which can be used while optimizing GraphSLAM to avoid false joins by:
  • a configuration of optimal vertices is obtained by solving the graph.
  • the result of the algorithm corresponds to one
  • Lane detection of an available vehicle camera features from scanned clothoids
  • Lane detection on a high-resolution camera Lane estimation based on dynamic objects
  • the robustness and the good positioning accuracy of the lane detection of your own Lane of the available vehicle camera combined with the extended lane detection of the high-resolution camera (increased range, detection of neighboring lanes).
  • the positional accuracy of the result is represented by the variances of the features.
  • the camera-based lane information is also fused to dynamic object estimation (based on camera, radar, lidar) (advantages of the various measurement principles can thus be combined - for example, if obscured camera-based lane detection provides little information.) output traits can be placed ge ⁇ ometrische model assumptions (approximation of the lane course by means of clothoids, splines, etc.)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Schätzung von Fahrstreifen, welches vorzugsweise in einem Fahrerassistenzsystem zum Einsatz kommt. Erfindungsgemäß verwendet das Verfahren zur Schätzung von Fahrstreifen mehrere Eingangsdaten. Eingangsdaten sind die Position und Richtung von Merkmalsvektoren, die aus mehreren unterschiedlichen Sensoren unabhängig voneinander gemessen werden. Ein Merkmalsvektor wird gebildet durch eine Position im Ego-Fahrzeugkoordinatensystem, die einen Punkt auf dem Rand eines Fahrstreifens beschreibt, und einer Richtung bzw. einem Winkel, der angibt, in welcher Richtung der Rand des Fahrstreifens an dieser Position verläuft. Weitere Eingangsdaten sind Größen, die die Qualität der Messung der Positions- und der Richtungsgenauigkeit und die Existenzwahrscheinlichkeit eines Merkmalsvektors repräsentieren. Das Verfahren weist die folgenden Schritte auf: Die Eingangsdaten werden zeitlich gemeinsam akkumuliert (S10). Aus den akkumulierten Eingangsdaten wird unter Berücksichtigung der Qualität der Messung (Positions- und Richtungsgenauigkeit sowie Existenzwahrscheinlichkeit des Merkmalsvektors) die Geometrie von Fahrstreifen geschätzt (S20). Die geschätzte Geometrie von Fahrstreifen wird ausgegeben (S30), was insbesondere wiederum generisch als Position und Richtung von Merkmalsvektoren geschehen kann, wodurch der geschätzte Verlauf von Fahrstreifen quantitativ beschrieben wird.

Description

Verfahren zur Schätzung von Fahrstreifen
Die Erfindung betrifft ein Verfahren zur Schätzung von Fahrstreifen, welches vorzugsweise in einem Fahrerassistenzsystem zum Einsatz kommt.
Die Entwicklung von Fahrerassistenzsystemen basiert auf der Analyse und Interpretation des fahrzeugnahen Umfelds mittels Sensordaten. Dabei ist die Repräsentation des Fahrstreifen- Verlaufs ein wichtiger Bestandteil und bildet die Grundlage für bekannte Assistenzsysteme wie „Lane Departure Warning"
(Fahrspurverlassenswarnung) .
Ein verbreiteter Ansatz der Fahrstreifenerkennung zur Reprä- sentation des Fahrzeugumfelds ist die Erfassung der vor dem Fahrzeug liegenden Fahrstreifenmarkierungen mit einer Kamera und die Auswertung der erfassten Daten mittels Verfahren aus der Bildverarbeitung (meist basierend auf Kontrastauswertungen) . Kamerabasierte Fahrstreifenerkennungssysteme finden in viel¬ fältigen Fahrerassistenzsystemen Verwendung, wie beispielsweise Spurhalteassistenten. Diese Systeme detektieren im Allgemeinen die den eigenen Fahrstreifen begrenzenden Linien anhand der Fahrstreifenmarkierungen und warnen den Fahrer vor einem un- beabsichtigten Verlassen des Fahrstreifens, beispielsweise im Fall von Unachtsamkeit oder Müdigkeit bzw. Sekundenschlaf.
WO 2014/032664 AI zeigt ein Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug, bei welchem einen befahrbaren Raum begrenzende Strukturen mittels wenigstens einer Bilder¬ fassungseinheit erfasst werden und diese Strukturen in eine Umgebungskarte eingetragen werden. Die Umgebungskarte der Fahrzeugumgebung ist hierbei in eine zweidimensionale Git¬ terstruktur von Zellen unterteilt. WO 2011/131165 AI zeigt ein Verfahren zur Bestimmung des Fahrbahnverlaufes für ein bewegtes Kraftfahrzeug mit wenigstens einem Umgebungssensorsystem. Dabei werden die von dem auf die Fahrbahn gerichteten Umgebungssensorsystem erzeugten Sensordaten einer Auswertung zur Erkennung von fahrspurrelevanten Merkmalen unterzogen. Ein Fahrspurmodell mit wenigstens einem den Spurverlauf bestimmenden Spurmodellparameter für die Fahrbahn wird erzeugt. Als Fahrspurmodell können hierbei stetig differenzierbare Segmente verwendet werden, insbesondere im Rahmen eines klothoidischen Fahrbahnmodells, eines Kreisbo¬ genmodells oder eines Splinemodells .
Nachteilig an derartigen Verfahren ist, dass typischerweise nur Daten eines bildgebenden Umgebungserfassungssensors verwendet werden, so dass bei dessen Ausfall keine Information zum Fahrspurverlauf ermittelt werden kann.
Nachteilig ist ferner, dass geometrische Modellannahmen ge¬ troffen werden müssen, um den Fahrspurverlauf aus den erfassten Bilddaten zu ermitteln.
DE 102013213361 AI stellt ein Verfahren für eine Spurführung für ein Fahrzeug vor mit Mitteln zur Erfassung der Position anderer Fahrzeuge, wobei die Position anderer Fahrzeuge über eine vorgegebene Zeitdauer akkumuliert wird und Zonen mit einen hohen Präsenz von Fahrzeugen als eine Fahrspur erkannt werden. Daten mehrerer Sensoren können hierzu fusioniert werden, z.B. von Umgebungserfassungssensorsysteme wie Radar-, Lidar- und/oder Kamerasysteme, Daten der Fahrzeug-zu-Fahrzeug-Kommunikation (C2C) und Daten basierend auf digitalen Straßenkarten.
DE 102012219475 AI zeigt ein allgemeines Konzept eines Sen¬ sorsystems sowie dessen Verwendung in Kraftfahrzeugen. Das Sensorsystem umfasst mehrere Sensorelemente, die so ausgebildet sind, dass sie zumindest teilweise unterschiedliche primäre Messgrößen erfassen und/oder zumindest teilweise unterschiedliche Messprinzipien nutzen. Das Sensorsystem umfasst eine Signalverarbeitungseinrichtung, wobei die Signalverarbei- tungseinrichtung so ausgebildet ist, dass sie die Sensorsignale der Sensorelemente zumindest teilweise gemeinsam auswertet und die Informationsqualität der Sensorsignale bewertet. Hierbei stellt die Signalverarbeitungseinrichtung eine Information über die Genauigkeit wenigstens eines Datums einer physikalischen Größe bereit. Die Signalverarbeitungseinrichtung ist so ausgebildet, dass die Information über die Genauigkeit in wenigstens einer Kenngröße oder einem Kenngrößensatz beschrieben ist.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Schätzung von Fahrstreifen anzugeben, das gegenüber den bekannten Verfahren eine höhere Verfügbarkeit, einen vergrößerten Erfassungsbereich und eine robustere Schätzung erlaubt.
Ein Ausgangspunkt der Erfindung kann darin gesehen werden, dass neben der Spurhalteunterstützung zunehmend komplexere Aufgaben zur Lokalisierung und Positionierung, sowie zur Planung einer Fahrstrategie und einer entsprechenden Trajektorie für das hochautomatisierte Fahren eine präzise Fahrstreifenschätzung erforderlich machen.
In Hinblick auf die Weiterentwicklung von Fahrerassistenzsystemen in Richtung Autonomes Fahren steigen die Anforderungen an die Erkennung von Fahrstreifeninformationen im Fahrzeugumfeld (insbesondere für eine Repräsentation im Sinne eines „Road Models" bzw. Straßenmodells):
Das zuverlässige, robuste Erkennen des eigenen Fahr¬ streifens, sowie eine hohe Verfügbarkeit der Erkennungsrate ist unabdingbar notwendig, für eine Stabilität und Zuverlässigkeit des Systems. Das gilt insbesondere bei schlechten Witte- rungsbedingungen (Schnee/Nebel) oder partiellen Verdeckungen des Sichtbereichs (durch andere Verkehrsteilnehmer) , wo rein kamerabasierte Systeme an ihre Grenzen stoßen. Ansonsten kann ein System, welches nicht dauerhaft von einem Fahrer überwacht wird, wie es beim hochautomatisierten Fahren ermöglicht werden soll, nicht realisiert werden.
- Es ist notwendig den eigenen Fahrstreifen mit einer erhöhten Reichweite zu erfassen um beispielsweise höhere Geschwindig¬ keiten möglich zu machen.
- Neben dem eigenen Fahrstreifen ist auch die Erkennung von Nachbar-Fahrstreifen notwendig, um z.B. einen Spurwechsel oder ein Überholmanöver planen zu können, um Verkehrsregeln wie das „Rechtsfahrgebot" einhalten zu können oder auch um Verkehrs¬ zeichen im Bedarfsfall einzelnen Fahrstreifen zuordnen zu können.
Durch die Verwendung von redundanten Informationen können Ausfälle bzw. Schwächen eines Sensors kompensiert werden. Schließlich muss eine Fahrstreifenerkennung zu jedem Zeitpunkt gewährleistet werden können.
Ein erster Aspekt der Erfindung besteht darin, sich bei der Ermittlung oder Schätzung des Verlaufs von Fahrstreifen nicht auf die Daten eines Umfelderfassungssensors zu beschränken, sondern Eingangsdaten von mehreren Sensoren zu verarbeiten.
Eine Detektion von Fahrstreifenmarkierungen kann neben einer Monokamera zusätzlich auch auf Messdaten einer zweiten oder weiterer Kamera (s), insbesondere einer Stereokamera, einer Kamera mit einem seitlichen oder rückwärtigen Erfassungsbereich (wie sie beispielsweise bei Rundumsicht- bzw. Sourround-View-Systemen zum Einsatz kommen) oder auch einer seitlich angeordneten Kamera mit großem Öffnungswinkel, bzw. unter Verwendung anderer optischer 3D-Sensoren erfolgen. So kann die räumlich aufgelöste Erkennung von Fahrstreifenmarkierungen auch mittels eines hochauflösenden 3D Flash Lidars oder eines Photonenmischdetektors (PMD, Photonic Mixing Device) oder laserbasiert über die Detektion der Reflexionen an Fahrstreifenmarkierungen mittels Laser erfolgen.
Zusätzlich oder alternativ kann der Fahrstreifenverlauf auf Basis dynamischer Objekte - also anderer Fahrzeuge bzw. Ver¬ kehrsteilnehmer - geschätzt werden. Die dynamischen Objekte sowie deren Bewegungsverhalten (u.a. 3D-Position, Relativgeschwindigkeit) können mittels eines Strahlsensors, vorzugsweise eines Radar- oder Lidarsensors getrackt werden. Zudem können Informationen zu Fahrstreifen auch aus Kartenmaterial wie beispielsweise aus Karten eines Navigationssystems gewonnen werden oder aber auch aus Backend-Datenbanken oder aus einer Kommunikation mit anderen Fahrzeugen, wobei die Position des eigenen Fahrzeugs mittels einer Positionserkennungvorrichtung (z.B: GPS, GNSS, Lokalisierung mittels Landmarken) ermittelt wird. Auch die Kenntnis von Odometriedaten aus der Fahrzeugsensorik ermöglicht eine Schätzung des Verlaufs von Fahrstreifen. Unter Odometriedaten werden hierbei Daten verstanden, die eine Bewegung des Fahrzeugs charakterisieren und insbesondere Fahrzeugsensorikdaten wie Messgrößen eines Fahrwerks, eines Antriebsstrangs, einer Lenkung sowie Messgrößen einer Navigationsvorrichtung des Fahrzeugs umfassen können.
Ein zweiter Aspekt der Erfindung besteht darin, die Daten, die ein Sensor bereitstellt, unabhängig von den Messmethoden dieses Sensors zu verarbeiten, wobei jedoch die Qualität der einzelnen Messwerte des Sensors Eingang in die Schätzung findet. Die Messwerte finden somit als generische Merkmale Eingang in die Schätzung .
Erfindungsgemäß verwendet das Verfahren zur Schätzung von Fahrstreifen mehrere Eingangsdaten. Eingangsdaten sind die Position und Richtung von Merkmalsvektoren, die aus mehreren unterschiedlichen Sensoren unabhängig voneinander gemessen werden. Ein Merkmalsvektor wird gebildet durch eine Position im Ego-Fahrzeugkoordinatensystem, die einen Punkt auf dem Rand eines Fahrstreifens beschreibt, und einer Richtung bzw. einem Winkel, der angibt, in welcher Richtung der Rand des Fahr- Streifens an dieser Position verläuft. Der Winkel wird im Folgenden auch als Heading ( -winkel ) bezeichnet und gibt den Winkel zwischen der Fahrzeuglängsachse und der Verlaufsrichtung des Fahrstreifenrands an.
Weitere Eingangsdaten sind Größen, die die Qualität der Messung, also die Positions- und der Richtungsgenauigkeit der Messung und die Existenzwahrscheinlichkeit eines Merkmalsvektors reprä¬ sentieren. Das Verfahren weist die folgenden Schritte auf: Die Eingangsdaten werden zeitlich gemeinsam akkumuliert in Schritt S10.
Aus den akkumulierten Eingangsdaten wird unter Berücksichtigung der Qualität der Messung (Positions- und Richtungsgenauigkeit sowie Existenzwahrscheinlichkeit des Merkmalsvektors) die Geometrie von Fahrstreifen geschätzt in Schritt S20. Die geschätzte Geometrie von Fahrstreifen, also das Ergebnis der Schätzung wird ausgegeben in Schritt S30, was insbesondere wiederum generisch als Position und Richtung von Merkmalsvektoren geschehen kann, wodurch der geschätzte Verlauf von Fahrstreifen quantitativ beschrieben wird. Somit bietet die Erfindung ein intelligentes und allgemeines Verfahren zur Fahrstreifenschätzung basierend auf einer Verwendung der Daten verschiedenster Informationsquellen bzw. Sensoren auf der Ebene von generischen Merkmalen für eine robuste und genaue Fahrstreifenverlaufsschätzung .
Das Verfahren bietet die folgenden Vorteile:
Es ermöglicht die Verwendung heterogener Informationsquellen, also eine beliebige Anzahl an Quellen mit verschiedenen Messprinzipien . Es ermöglicht eine generische Repräsentation der Eingangs- und Ausgangsdaten als x, y-Position, Richtung bzw. Heading, Varianz und Konfidenz.
Unsicherheiten einer Eingangsdatenquelle werden durch die Genauigkeit anderer Eingangsdatenquellen kompensiert. Das Schätzergebnis kombiniert und verbessert die Eingangsdaten einer Informationsquelle .
Die Verfügbarkeit und Robustheit der Fahrstreifenschätzung wird durch die Redundanz erhöht. Ausfälle von Informationsquellen führen nicht zu einem Systemausfall sondern nur zu einer niedrigeren Konfidenz sowie größeren Positions- und Richtungsvarianzen .
Die Schätzung ist a priori frei von geometrischen Modellannahmen. Der Erfassungsbereich bzw. der Bereich in der Umgebung des Fahrzeugs, für den eine Fahrstreifenschätzung erfolgt, wird vergrößert .
Die Merkmale können aus verschiedenen Informationsquellen mit geringer Vorverarbeitung extrahiert werden (z.B. bei Kamera- Systemen werden Merkmalsvektoren auf den Fahrstreifenmarkierungen extrahiert, bei der Schätzung aus dynamischen Objekten werden sie anhand der Trajektorie der dynamischen Objekte beschrieben) . Mittels der Merkmalsvektoren ist eine sehr generische Repräsentation der Ein- und Ausgangsdaten des Fusi- onsmoduls geschaffen.
Die Fusion arbeitet unabhängig von Messprinzipien der Informationsquellen und frei von geometrischen Modellannahmen (wie z.B. Approximation des Fahrstreifenverlaufs durch Klothoiden oder Splines) . Gleichzeitig funktioniert der Algorithmus sowohl für einzelne Input-Sensoren als auch für jede Kombination verschiedener Eingangssignale, damit ist die Fusion unabhängig von der Anzahl der verwendeten Informationsquellen. Die Qualität der Ein- und Ausgangsdaten wird über Positions-Varianzen und Konfidenzwerte repräsentiert. Damit können verschiedene Ein- gangsdaten erfasst und (mittels entsprechender Gewichtung) kombiniert werden und die Positionsgenauigkeit des Ergebnisses festgehalten werden. Zudem wird beispielsweise der Ausfall einer Informationsquelle im Ergebnis nur über den niedrigerer Konfidenzwert (respektive durch eine erhöhte Varianz) der Merkmalsvektoren bemerkbar gemacht, nicht aber durch einen Systemabbruch .
In einer bevorzugten Ausführungsform werden in einem weiteren Schritt S12 akkumulierte Merkmalsvektoren, die zusammenliegen, assoziiert. Akkumulierte Merkmalsvektoren werden also als Gruppe zusammengefasst , wenn der Headingwinkel bis auf eine gering¬ fügigen Betrag übereinstimmt und sie räumlich nicht zu weit voneinander entfernt sind, insbesondere in einer Koordinate der Position.
Gemäß einer vorteilhaften Weiterbildung der Erfindung werden in einem weiteren Schritt S14 assoziierte Merkmalsvektoren fusioniert. Diese Fusionierung kann insbesondere als eine ge- wichtete Mittelung erfolgen, durch die eine Glättung in der Hauptverlaufsrichtung erzielt wird.
In einer bevorzugten Ausführungsvariante können basierend auf den akkumulierten (und gegebenenfalls assoziierten und ge- mittelten) Merkmalsvektoren geometrische Modellannahmen bei der Schätzung der Geometrie von Fahrstreifen zum Einsatz kommen.
Zur Schätzung von Fahrstreifen kann insbesondere ein GraphSLAM Verfahren eingesetzt werden. Der GraphSLAM Algorithmus löst das sogenannte „füll SLAM problem" ( SLAM=Simultaneous Localization And Mapping) mithilfe der Optimierung eines dünn besetzten Graphen. SLAM Algorithmen versuchen gleichzeitig
(„Simultaneous" ) eine Karte der Umgebung zu erstellen („Map¬ ping") sowie die eigene Position in der Karte („Localization") zu bestimmen. Das „füll problem" besteht darin neben der aktuellen Position auch den Verlauf vergangener Positionen zu berechnen. Die Lösung des „füll SLAM problems" mit GraphSLAM können im Gegensatz zu herkömmlichen Fusionsalgorithmen wie dem Kaiman-Filter nachträglich falsche Merkmals-Assoziationen revidiert werden. Dadurch können robustere und genauere Er¬ gebnisse erzeugt und ausgegeben werden.
Bevorzugt können Eingangsdaten ermittelt werden aus einer Fahrstreifenbegrenzungsmarkierungserkennung, einer Erkennung von Objekten, welche einen Fahrstreifen begrenzen und/oder einer Traj ektorienmessung vorausfahrender und/oder entgegenkommender Fahrzeuge bzw. dynamischer Objekte.
Die Fahrstreifenbegrenzungsmarkierungserkennung kann in an sich bekannter Weise mittels einer monokularen monochrome oder farbauflösende Frontkamera, einer Stereokamera oder eines sonstigen optischen 3D-Sensors erfolgen.
Objekte, die einen Fahrstreifen räumlich begrenzen können ein Bordstein, eine Leitplanke, Pfosten, eine Randbebauung oder auch eine vertikale Absenkung am Rand des Fahrbahnbelags gegenüber einer angrenzenden Wiese oder ähnlichem sein. Diese Objekte können insbesondere von 3D-Sensoren detektiert oder aus Ka¬ merabilddaten ermittelt werden.
Eine Traj ektorienmessung vorausfahrender und/oder entgegenkommender Fahrzeuge kann insbesondere mittels Radar, Lidar oder einer Kamera mit einer Fahrzeugobjekterkennung durchgeführt werden. Aus der Traj ektorienmessung kann ein hypothetischer Fahrstreifenverlauf ermittelt werden, indem die Annahme ge¬ troffen wird, dass das vorausfahrende bzw. entgegenkommende Fahrzeug innerhalb eines Fahrstreifens gefahren ist und eine plausible Fahrstreifenbreite zugrundegelegt wird. Ein typischer Spurwechsel eines anderen Fahrzeugs kann hierbei anhand des geänderten Kurvenradius der gemessenen Trajektorie erkannt werden. Die Positionsgenauigkeit dieser Ermittlung ist deutlich schlechter als bei einer Erkennung von Fahrstreifenmarkierung, aber sie ist mittels Radarsensoren auch bei extrem schlechten Sichtverhältnissen oder bei gänzlich fehlenden Fahrstreifenmarkierungen noch möglich.
Vorteilhaft kann die ausgegebene geschätzte Geometrie von Fahrstreifen verwendet wird im Rahmen einer
Fahrspurverlassenswarnung (Lane Departure Warning, LDW) , einer Müdigkeitswarnung, einer Fahrspurwechselunterstützung, einer Aktiven Fahrspurhalteunterstützung (Lane Departure Protection oder Lane Keeping) einer Fahrspurmittenführung, einer Routenführungsunterstützung, einer Verkehrszeichenassistenz (um die Relevanz von fahrstreifenbezogenen Verkehrszeichen für das eigene Fahrzeug zu ermitteln) , einer Überholmanöverunter- Stützung, zur Einhaltung von Verkehrsregeln (z.B. Rechtsfahrgebot, Überholverbot mittels durchgezogener Linie) einer Notbremsassistenz, einer Notlenkassistenz und/oder einer Autonomen Fahrzeugführung. Gegenstand der Erfindung ist weiterhin eine Vorrichtung zur Schätzung von Fahrstreifen, die ausgebildet ist, um ein erfindungsgemäßes Verfahren durchzuführen.
Im Folgenden werden vorteilhafte Ausführungsbeispiele der Erfindung anhand von Figuren beschrieben. Es zeigen:
Fig. 1 ein Fahrzeug innerhalb von Fahrstreifen,
Fig. 2 eine Repräsentation von Eingangsdaten von zwei unterschiedlichen Sensoren, die zeitlich gemeinsam akkumuliert worden sind,
Fig. 3 eine Repräsentation, bei der zusammenliegende Ein¬ gangsdaten aus Fig. 2 assoziiert worden sind,
Fig. 4 eine Repräsentation, bei der die nach Fig. 3 assoziierten Vektoren fusioniert worden sind, und Fig. 5 ein schematisches Flussdiagramm zum Ablauf eines Verfahrens zur Schätzung von Fahrstreifen.
Fig. 1 zeigt ein Fahrzeug (1), das sich auf dem mittleren (II) von drei Fahrstreifen (I-III) befindet. Die drei Fahrstreifen (I-III) sind voneinander durch gestrichelte Fahrstreifenmarkierungen (6; 7) getrennt und gegenüber dem außerhalb der dreistreifigen Fahrbahn liegenden angrenzenden Bereich (4; 9) jeweils durch eine durchgängige Fahrstreifenmarkierung (5; 8) bzw. -begrenzungslinie getrennt.
Das Fahrzeug (1) verfügt über mehrere Umfelderfassungssensoren, bevorzugt über eine Frontkamera (2) und einen Radarsensor (3) . Die Frontkamera (2) erfasst Bilder, die den vor dem Fahrzeug (1) liegenden Bereich der Fahrstreifen (I-III) abbilden, soweit die Fahrbahnoberfläche im Sichtfeld der Frontkamera (2) liegt und nicht von Objekten verdeckt ist.
Aus den Bilddaten können in an sich bekannter Weise Fahrstreifenmarkierungen (5-8) als Hell-/Dunkel-Übergänge extra¬ hiert werden. Ein Merkmal kann als Merkmalsvektor m (x,y,heading in Fahrzeugkoordinaten) auf dem Rand eines Fahrstreifens (I-III) bzw. zwischen zwei Fahrstreifen angegeben werden.
Als Eingangsdaten für das Schätzverfahren werden von der Frontkamera (2) x,y-Position und Headingwinkel in Fahrzeug¬ koordinaten von Punkten geliefert, die im Bild auf dem Rand eines Fahrstreifens (I-III) bzw. auf einer Fahrstreifenmarkierung (4-8) liegen.
Im Fahrzeugkoordinatensystem entspricht die x-Achse der Fahrzeuglängsachse und die y-Achse verläuft senkrecht zur x-Achse. Positive y-Entfernungen befinden in Vorwärtsrichtung des Fahrzeugs gesehen also links. Als Heading ( -winkel ) wird der Winkel des Verlaufs der Markierungslinie bzw. der Fahrstrei¬ fenbegrenzung zur Fahrzeuglängsachse bezeichnet. Ein in positive x-Richtung weisendes Heading bedeutet also, dass die Fahr- Streifenmarkierung parallel zur Fahrzeuglängsachse orientiert ist .
Aufgrund der begrenzten Auflösung einer Frontkamera (2) und aufgrund von Unsicherheiten, die die Fahrstreifenmarkie- rungsextraktion mit sich bringt, beispielsweise durch eine Koordinatentransformation, ergibt sich eine Messungenauigkeit bzw. Varianz der Position (σΧ, σΥ) und der Richtung (cHeading) . Aufgrund von Störungen bzw. Einschränkungen bei der Kamerabilderfassung oder fehlenden, verdeckten, ausgeblichenen usw. Fahrstreifenmarkierungen kann es sein, dass die Frontkamera (2) eine Fahrstreifenmarkierung zumindest teilweise nicht oder nicht sicher erkennen kann. Dies wird als Konfidenzwert des be¬ treffenden Vektors mitgeliefert. Ein Konfidenzwert von 1 be¬ deutet hierbei eine 100%ige Erkennung, ein Konfidenzwert von 0.2 bedeutet, dass nur mit 20%iger Wahrscheinlichkeit der be¬ treffende Vektor m überhaupt eine Fahrstreifenmarkierung (5-8) angibt. Optional kann von der Frontkamera (2) bereits eine Information über den Typ der Fahrstreifenmarkierung an dieser Position mitgeliefert werden, z.B. „durchgezogen", „gestri- chelt", „gepunktet" im Falle von Markierungsnägeln (Bott's Dots) .
Somit ist eine mögliche Repräsentation der Ein- und Ausgangsdaten die folgende:
Punkte, welche den Rand von Fahrstreifen beschreiben:
- x, y [m] Position in Fahrzeugkoordinaten
- Heading [rad] Headingwinkel in Fahrzeugkoordinaten
- σΧ, σΥ, cHeading [m,m, rad] Standardabweichungen
- confidence [0.0,1.0] Konfidenzwerte (Existenzwahr- scheinlichkeit )
- Type Attribute z.B. „durchgezogen", „gestrichelt" Dies ermöglicht die Verwendung des GraphSLAM-Algorithmus für die FahrstreifenverlaufsSchätzung :
• Die Idee des Fusionsalgorithmus ist, die Karte („Map") generisch durch Merkmale (x, y, heading) zu beschreiben, welche den Fahrstreifenverlauf repräsentieren. Diese
Merkmale werden im Ego-Fahrzeugkoordinatensystem beschrieben, wofür die eigene Position mit geschätzt werden muss .
• Als Eingangsdaten werden generische Merkmale benutzt, die die wahrscheinlichen Positionen von Vektoren beschreiben.
Die Positionsunsicherheit wird durch die Positionsvarianz beschrieben. Durch die allgemeine Repräsentation ist der Algorithmus unabhängig von spezifischen Sensoren.
• Die Existenzunsicherheit aufgrund von z.B. Fehldetektionen bei Kamerasystemen oder Fehlinterpretationen bei der
Detektion dynamischer Objekte wird durch den Konfidenzwert repräsentiert .
Durch die Lösung des „füll SLAM Problems" mit GraphSLAM (im Gegensatz zu herkömmlichen Fusionsalgorithmen wie Kaiman Filter) können nachträglich falsche Assoziationen von Merkmal ( -svektor- ) en revidiert werden, um somit robustere und genauere Ergebnisse zu erzeugen.
Durch den generischen Ausgang (bzw. die generische Ausgabe) als Merkmais-Punktemenge ist der Algorithmus frei von Annahmen bezüglich der Spurrepräsentation oder geometrischen Einschränkungen .
Fig. 2 bis 4 veranschaulichen eine Ausführungsform des Verfahrens zur Fahrstreifenschätzung.
Fig. 2 zeigt Position und Richtung von Merkmalsvektoren m (Sensor 1) eines ersten Sensors (geschlossene Pfeilspitze) und Merk¬ malsvektoren m(Sensor 2) eines zweiten Sensors (offene Pfeilspitze) . Die Merkmale verschiedener Inputquellen werden gemeinsam zeitlich akkumuliert, also insbesondere zu einem Zeitpunkt gemeinsam ermittelt und in denselben x-y Graphen eingetragen, wie in Fig. 2 exemplarisch dargestellt.
Fig. 3 zeigt, wie zusammenliegende Merkmale assoziiert werden, da sie wahrscheinlich zu demselben Fahrstreifenrand gehören. Zusammenliegend sind Merkmalsvektoren, deren Headingwinkel im Wesentlichen übereinstimmt und deren Position nicht zu weit voneinander entfernt ist. In Fig. 3 lassen sich gut eine obere Gruppe (al) und eine untere Gruppe (a2) von Merkmalsvektoren erkennen, die jeweils fast schon eine Linie bilden.
Bei gestrichelten Linien, die von der Frontkamera detektiert werden und in x-Richtung verlaufen, ergeben sich beim Abtasten mitunter Sprünge in der x-Position zwischen zwei benachbarten Merkmalsvektoren, jedoch sollte die y-Position keine gravierenden Sprünge aufweisen (nicht dargestellt) .
Fig. 4 zeigt, wie die in Fig. 3 assoziierten Merkmale fusioniert werden, wodurch sich bei der oberen Gruppe (fl) und bei der unteren Gruppe (f2) insbesondere die Positionsgenauigkeit verbessert und die Konfidenz erhöht wird. Die Fusion kann in Form einer gewichteten Mittelung der y-Positionen erfolgen, wodurch Ausreißer entfernt werden können. Die Gewichtung kann zum einen der Messunsicherheit der Positionsbestimmung und zum anderen der Existenzwahrscheinlichkeit Rechnung tragen.
Fig. 5 zeigt schematisch einen Ablauf einer Ausführungsform der Verfahrens zur Schätzung von Fahrstreifen.
In Schritt S10 werden Eingangsdaten mehrerer Sensoren (Sensor 1 bis Sensor n) als Merkmalsvektoren zeitlich gemeinsam akku- muliert.
In Schritt S12 werden zusammenliegende Merkmale assoziiert. Die assoziierten Merkmale werden in Schritt S14 fusioniert. In Schritt S20 wird die Geometrie von Fahrstreifen geschätzt. Dies kann geschehen, indem das Ergebnis der Fusion als Schätzergebnis übernommen wird. Wenn keine Fusion durchgeführt wurde, kann auf Basis der Assoziierung von Merkmalsvektoren das Ergebnis geschätzt werden.
Wenn auch keine Assoziierung erfolgt ist, dann kann das Schätzergebnis direkt aus den akkumulierten Eingangsdaten unter Berücksichtigung der Qualität der Messung der Positions- und der Richtungsgenauigkeit und die Existenzwahrscheinlichkeit des Merkmalsvektors die Geometrie von Fahrstreifen erhalten werden. Optional kann nach der Fusion, Assoziierung oder Akkumulierung ein Abgleich der erhaltenen Merkmalsvektoren mit geometrischen Modellen erfolgen.
In Schritt S30 erfolgt die Ausgabe der geschätzten Geometrie von Fahrstreifen . Im Folgenden wird eine mögliche mathematische Formulierung eines erfindungsgemäßen Verfahrens angegeben.
Ein Spurmerkmal kann als Merkmalsvektor fj angegeben sein
fi = Ej, (!)
wobei j und yi die Position des Merkmals angeben und den Headingwinkel . Die Messunsicherheit für jedes Merkmal wird durch einen Konfidenzwert Cj und eine Kovarianzmatrix in Bezug auf
X , y und Θ angegeben. Diese zweidimensionale Formulierung vernachlässigt die Höheninformation des Fahrbahnverlaufs.
Das Ziel des Algorithmus zur Fusion der Spurmerkmale ist es, eine Beschreibung der Umgebung in Form eines Satzes Ffused von Spurmerkmalen F^, F2, ... , ¥N zu erhalten, der sich aus den un¬ terschiedlichen Spurmerkmal-Eingangsdaten ergibt. Allgemein kann dieses Problem beschrieben werden als Schätzung einer A-posteriori-Wahrscheinlichkeit wobei Xj die aktuelle Fahrzeugpose und m eine Beschreibung der Umgebung durch zahlreiche Messungen Z1 :t ist. Die Kontroll¬ vektoren U1 :t beschreiben die Bewegung des Fahrzeugs zur entsprechenden Zeit. Das ist als SLAM-Problem bekannt, welches z.B. durch Kaiman-Filter oder Partikelfilter gelöst werden kann. Vorliegend wird der GraphSLAM Algorithmus verwendet, der die
Umgebung und nicht nur die aktuelle Fahrzeugposition Xt sondern auch die gesamte Trajektorie Xo:t beschreibt. In GraphSLAM wird Gleichung (2) als dünn besiedelter (englisch: sparse) Graph beschrieben. Die Fahrzeugposen X0 :t und die Um¬ gebung m werden als Vertices (Knoten) Vj 6 V beschrieben. Die Messungen und Kontrollvektoren beschreiben zwingende Bedingungen, die als Kanten die entsprechenden Vertices verbinden. Eine Kante enthält also eine Information über den Rand einer Fahrspur. Der Graph wird formuliert als die Summe der Bedingungen
J(V) = y*] e(^ ,. Yi y Vj }J: ' Oj- Yiy Yf (3) wobei e(Zj , Vj, V ) eine Fehlerfunktion ist. Diese Fehlerfunktion gibt die Diskrepanz zwischen den Messungen Zj und der Vertexposendifferenz Zj (Vj, V ) an. Diese Diskrepanz wird gewichtet mit der Messungskovarianz in Form von Informations- matrizen Ω^- = . Die Minimierung dieser Summe von nicht-linearen quadratischen Gleichungen kann durch den Gauss-Newton Algorithmus gelöst werden. Die resultierende Konfiguration der Vertices ÜI ^ OMil 1 j _s^ gleich den
Posen der geschätzten Umgebungsmerkmale und der Fahrzeugpose.
Der Graph kann folgendermaßen aufgebaut werden. Die Umgebung und die gemessenen Spurmerkmale werden als Knoten im Graph Gt repräsentiert. Da nur die Umgebung vor dem Fahrzeug von Interesse ist, wird der entsprechende Satz an Fahrzeugposen reduziert auf xt-r:t mit T— 1 Posen. Somit enthält der Graph Gt sukzessive
Fahrzeugposen Xj_T, Xf_T+ Xj und Spurmerkmale f^, ■■■ , fn als Vertices Vj = [x, y, ö] . Alle Posen der Graph-Vertices werden im Bezug auf das aktuelle Fahrzeugposen—Koordinatensystem angegeben. Die Messungszwangsbedingungen, die die Kanten des Graphen definieren, ergeben sich aus den Eingangs-Spurmerkmalen und den Kontrollvektoren, die im Folgenden beschrieben werden.
Die Odometrie wird folgendermaßen in den Graphen eingefügt: die aktuellen Kontrollvektoren Ut = [ , v]T werden hinzugefügt zum vorherigen Graphen Gt_1. Der Steuervektor setzt sich aus der Gierrate 1p und der Geschwindigkeit V des Fahrzeugs zusammen und wird verwendet um die Posendifferenz Zx x = Δχ zwischen der vorherigen Pose Xt- und der aktuellen Pose Xj mit den ent¬ sprechenden Informationsmatrizen Ωβχ zu berechnen. Zunächst werden alle Vertices transformiert von Xt-i in die aktuelle
Fahrzeugpose Xj unter Verwendung von Δχ . Nach dieser Trans- formation werden alle Messungen, die mehr als 5 Meter hinter dem Fahrzeug liegen aus dem Graphen Gt entfernt. Zusätzlich werden vergangene Fahrzeugposen, die nicht mehr verwendet werden, verworfen. Die Odometriekante wird in den Graphen zwischen zwei aufeinanderfolgenden Posen eingefügt als die Bedingung
J*0 = β(Δχ? Χέ-ι, (4)
mit der Fehlerfunktion
Klothoiden aus der Fahrstreifenerkennung einer verfügbaren Fahrzeugkamera (smc) werden wie folgt zum Graphen hinzugefügt: Die Klothoiden werden als zwei Meter abgetastet um im Fahrzeugkoordinatensystem die Posen und die Informationsmatrizen der
Merkmale f 10 zu berechnen. Diese Merkmale werden mit allen existierenden Spurmerkmalen des Graphen assoziiert. Wenn kein Merkmal innerhalb einer Assoziierungsdistanz gefunden wird, wird ein neuer Vertex zum Graphen hinzugefügt. Die Bedingung wird beschrieben als
.J? c ef ffe. ,.f*) irmceff c, χ,. Γ). (5) wo die Messungn ί^ die gewünschte Posendifferenz ist zwischen dem Vertex der aktuellen Fahrzeugpose Xj und dem Vertex des neuen oder assoziierten Merkmals f* . Hieraus ergeben sich die smc-Kanten .
Merkmale aus einer hochauflösenden Kamera (hrc) werden fol- gendermaßen in den Graphen eingefügt: Da Merkmale in Bildern der hochauflösenden Kamera direkt bei den Spurmarkierungen ex-
Fahrzeugkoordinaten direkt mit existierenden Merkmalen assoziiert oder als neuer Vertex eingefügt mit den entsprechenden Messungs-Zwangsbedingungen
J ; i = e(if , x, , Γ). (6) woraus sich die Kanten für die hochauflösenden Kameradaten ergeben . Merkmale aus dynamischen Objekten werden wie folgt zum Graph hinzugefügt: Die Idee besteht darin, die Positionen und Be¬ wegungen von anderen Verkehrsteilnehmern zu verwenden, um daraus Informationen über die Fahrspuren abzuleiten. In den meisten Fällen neigen Fahrer anderer Fahrzeuge dazu, in der Nähe der Mitte der Fahrspur zu fahren. Auf Basis dieser Annahme werden Merkmale aus getrackten Objekten generiert. Zwei Merkmale senkrecht zur Fahrtrichtung des Objekts werden auf der linken und rechten Seite jedes dynamischen Objekts erstellt mit einem Abstand von w/2 als potentielle Fahrspurmarkierungen. Der Parameter W ist einer Schätzung der aktuellen Spurbreite, die entweder aus den Klothoiden aus der Fahrstreifenerkennung der verfügbaren Fahrzeugkamera übernommen werden kann oder für die ansonsten 3,5 Meter angenommen werden können. Letzteres entspricht der üblichen Breite einer Fahrspur auf Autobahnen in Deutschland. Die entsprechenden Merkmalskovarianzen sind gleich der Summe der Obj ektkovarianzen und einer Kovarianzmatrix, die die seitliche Standardabweichung von Verkehrsteilnehmern zur Fahrspurmitte angibt. Die resultierenden Merkmale werden mit existierenden Merkmalen assoziiert oder als ein neuer Vertex hinzugefügt mit den Messu gen
obj
wobei ttj^r das linke oder rechte Merkmal des z-ten getrackten Objekts zum Zeitpunkt t ist.
Eine mögliche Unzulänglichkeit des Modells ist, dass die linken und rechten Merkmale entkoppelt sind, was bedeutet, dass eine Verbesserung der Position des linken Merkmals das rechte Merkmal nicht beeinflusst und umgekehrt. Daher wird die Annahme der Spurbreite ausgedrückt als eine Zwangsbedingung zwischen dem linken und rechten Merkmal:
Die gewünschte Posendifferenz zwischen dem linken und dem rechten Merkmal desselben Objekts ist definiert als W = [0, W, 0°] mit der
Spurbreite W als seitlichem Abstand. Die Winkeldifferenz wird gleich Null gesetzt, da die Bewegungsrichtung der beiden Merkmale gleich sein soll. Die Informationsmatrix Qwtdth entspricht der Varianz der aktuellen Spurbreitenschätzung. Desweiteren sollte eine zusätzliche Abhängigkeit betrachtet werden: im aktuellen Modell werden zwei aufeinander folgende Merkmale auf derselben Seite eines Objekts entkoppelt. Das
obj f Obj bedeutet, dass Tt_1 ^ ^ keinen unmittelbaren Einfluss auf hat. Wenn ein Merkmal it_m durch andere Messungen korrigiert wird, kann eine große Diskrepanz zum nachfolgenden Merkmal auftreten. Diese Diskrepanz sollte minimiert werden, indem eine Glättungsbedingung
zwischen den zwei Merkmalen eingeführt wird. Die laterale Verschiebung zwischen zwei aufeinanderfolgenden Merkmalen kann dann reduziert werden, indem und HQQ 10 erhöht werden. Da die Entfernung in Längsrichtung nicht geändert werden soll, gilt Ωχχ 10 = 0. Dies ergibt für jedes Objekt jeweils eine Kante für eine Seite.
Wenn Verkehrsteilnehmer einen Spurwechsel durchführen, wird diese Bedingung gravierend verletzt, da ab einem bestimmten Punkt
obj f Obj das Merkmal tt_1 j zur einen Spur und das Merkmal zur anderen Spur gehört. Hier kann bei GraphSLAM die Gleichung (9) mit einer
Schaltvariable "· — — multipliziert werden. Wenn diese Variable auf Null gesetzt wird, ist diese Kante deaktiviert und wenn sie gleich eins ist, ist die Kante voll aktiviert. Das kann während der Optimierung des GraphSLAM angewandt werden, um falsche Verknüpfungen zu vermeiden, indem
***«*/ * ■■·!*■?' '■■ ais weitere Bedingung eingefügt wird.
Dies zwingt die Kante so lange aktiviert zu sein, bis der Fehler der Kante zu groß wird, und die Deaktivierung der Kante zu besseren Ergebnissen führt. Lösen des Graphen: zusammengenommen umfasst der Graph Gt die Bedingungen
wobei ί über alle T— 1 relevanten Zeitschritte und z über alle Sensormerkmale des entsprechenden Zeitschritts läuft.
Eine Konfiguration von optimalen Vertexposen wird durch Lösen des Graphen erhalten. Das Resultat des Algorithmus entspricht einem
Satz Ffused von fusionierten Spurmerkmalen, die direkt den optimalen Vertexposen entsprechen. Die Konfidenzwerte der resultierenden fusionierten Merkmale werden jedesmal aktualisiert, wenn gemessene Merkmale assoziiert werden.
Eine echtzeitfähige Anwendung des Fusionsalgorithmus wurde zum Nachweis der Durchführbarkeit eines erfindungsgemäßen Ver¬ fahrens auf Basis von kamerabasierten Fahrstreifendetektion und der Schätzung des Fahrstreifenverlaufs basierend auf dynamischen Objekten umgesetzt.
Hierbei waren Eingangsdaten:
Fahrstreifenerkennung einer verfügbaren Fahrzeugkamera (Merkmale aus abgetasteten Klothoiden)
Fahrstreifenerkennung auf einer hochauflösenden Kamera Fahrstreifenschätzung anhand dynamischer Objekte
In diesem Setup wird einerseits die Robustheit und die gute Positionsgenauigkeit der Fahrstreifenerkennung des eigenen Fahrstreifens der verfügbaren Fahrzeugkamera mit der erweiterten Fahrstreifendetektion der hochauflösenden Kamera (erhöhte Reichweite, Detektion der Nachbarfahrspuren) kombiniert. Die Positionsgenauigkeit des Ergebnisses wird mittels der Varianzen der Merkmale repräsentiert. Andererseits wird in der Fusion die kamerabasierte Fahrstreifeninformation zudem mit der Schätzung mittels dynamischer Objekte (basierend auf Kamera, Radar, Lidar) fusioniert (Vorteile der verschiedenen Messprinzipien können so kombiniert werden - beispielsweise wenn durch Verdeckungen die kamerabasierte Fahrstreifendetektion wenig Information bereitstellt.) Basierend auf den Ausgangs-Merkmalen können ge¬ ometrische Modellannahmen aufgesetzt werden (Approximation des Fahrstreifenverlaufs mittels Klothoiden, Splines, etc.)
Im Ergebnis konnte die Zuverlässigkeit der Erkennung der Fahrstreifengeometrie gegenüber herkömmlichen Erkennungsme¬ thoden deutlich gesteigert werden.

Claims

Patentansprüche
1. Verfahren zur Schätzung von Fahrstreifen unter Verwendung von Eingangsdaten, wobei die Eingangsdaten umfassen
- Position und Richtung von Merkmalsvektoren (m) , die aus mehreren unterschiedlichen Sensoren unabhängig voneinander gemessen werden, wobei die Position einen Punkt auf dem Rand eines Fahrstreifens beschreibt und die Richtung angibt, in welcher Richtung der Rand des Fahrstreifens an dieser Position verläuft, und
- Größen, die die Qualität der Messung der Positions- und der Richtungsgenauigkeit und die Existenzwahr¬ scheinlichkeit eines Merkmalsvektors repräsentieren, wobei das Verfahren die folgenden Schritte aufweist:
- Die Eingangsdaten werden zeitlich gemeinsam akkumuliert (S10)
- Aus den akkumulierten Eingangsdaten wird unter Berücksichtigung der Qualität der Messung der Positionsund der Richtungsgenauigkeit und der Existenzwahr¬ scheinlichkeit des Merkmalsvektors die Geometrie von Fahrstreifen geschätzt (S20) und
- Die geschätzte Geometrie von Fahrstreifen wird aus¬ gegeben (S30) .
2. Verfahren nach Anspruch 1, wobei in einem weiteren Schritt (S12) zusammenliegende akkumulierte Merkmalsvektoren assoziiert werden.
3. Verfahren nach Anspruch 2, wobei in einem weiteren Schritt (S14) assoziierte Merkmalsvektoren (al, a2) fusioniert werden .
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei basierend auf den akkumulierten (m) , assoziierten (al, a2) oder fusionierten (fl, f2) Merkmalsvektoren geometrische Modellannahmen bei der Schätzung der Geometrie von Fahrstreifen (S20) zum Einsatz kommen.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei zur Schätzung von Fahrstreifen ein GraphSLAM Verfahren eingesetzt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Eingangsdaten von mindestens zwei der folgenden Sensoren gemessen werden:
- Monokulare Frontkamera (2) in Fahrtrichtung eines Fahrzeugs blickend,
- Stereokamera in Fahrtrichtung eines Fahrzeugs bli¬ ckend,
- einer Kamera mit seitlichem und oder rückwärtigem Erfassungsbereich
- einer Kamera eines Rundumsichtsystems,
- sonstige optische 3D-Sensorik,
- Strahlsensor (3) ,
- Fahrzeugsensoren oder
- Positionserfassungsvorrichtung in Verbindung mit einer digitalen Karte, einer Backend-Datenbank und/oder Fahrzeug- zu-Fahrzeug-Kommunikationseinrichtungen .
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Eingangsdaten ermittelt werden aus:
- einer Fahrstreifenbegrenzungsmarkierungserkennung,
- einer Erkennung von Objekten, welche einen Fahrstreifen begrenzen,
- einer Traj ektorienmessung vorausfahrender und/oder entgegenkommender Fahrzeuge.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die ausgegebene geschätzte Geometrie von Fahrstreifen verwendet wird im Rahmen einer
- Fahrspurverlassenswarnung,
- Müdigkeitswarnung,
- Fahrspurwechselunterstützung,
- aktiven Fahrspurhalteunterstützung,
- Fahrspurmittenführung,
- Routenführungsunterstützung,
- Verkehrszeichenassistenz,
- Überholmanöverunterstützung,
- Unterstützung zur Einhaltung von Verkehrsregeln,
- Notbremsassistenz,
- Notlenkassistenz, und/oder
- autonomen Fahrzeugführung.
9. Vorrichtung zur Schätzung von Fahrstreifen umfassend:
- Akkumulierungsmittel , die ausgebildet sind, Ein¬ gangsdaten mehrerer unterschiedlicher Sensoren zeitlich gemeinsam zu akkumulieren (S10), wobei die Eingangsdaten umfassen:
Position und Richtung von Merkmalsvektoren (m) , die aus mehreren unterschiedlichen Sensoren unabhängig voneinander gemessen werden, wobei die Position einen Punkt auf dem Rand eines Fahrstreifens beschreibt und die Richtung angibt, in welcher Richtung der Rand des Fahrstreifens an dieser Position verläuft, und
Größen, die die Qualität der Messung der Positions- und der Richtungsgenauigkeit und die Existenzwahr¬ scheinlichkeit eines Merkmalsvektors repräsentieren,
- Schätzmittel, die ausgebildet sind, aus den akkumu¬ lierten Eingangsdaten unter Berücksichtigung der Qualität der Vektoren die Geometrie von Fahrstreifen zu schätzen (S20) und - Ausgabemittel, die ausgebildet sind, die geschätzte Geometrie von Fahrstreifen auszugegeben (S30).
EP16731778.3A 2015-05-22 2016-05-13 Verfahren zur schätzung von fahrstreifen Ceased EP3298541A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015209467.7A DE102015209467A1 (de) 2015-05-22 2015-05-22 Verfahren zur Schätzung von Fahrstreifen
PCT/DE2016/200227 WO2016188523A1 (de) 2015-05-22 2016-05-13 Verfahren zur schätzung von fahrstreifen

Publications (1)

Publication Number Publication Date
EP3298541A1 true EP3298541A1 (de) 2018-03-28

Family

ID=56203051

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16731778.3A Ceased EP3298541A1 (de) 2015-05-22 2016-05-13 Verfahren zur schätzung von fahrstreifen

Country Status (7)

Country Link
US (1) US10650253B2 (de)
EP (1) EP3298541A1 (de)
JP (1) JP6800168B2 (de)
KR (1) KR102558055B1 (de)
CN (1) CN107646114B (de)
DE (2) DE102015209467A1 (de)
WO (1) WO2016188523A1 (de)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307383B2 (ja) 2014-08-07 2018-04-04 日立オートモティブシステムズ株式会社 行動計画装置
US10762358B2 (en) * 2016-07-20 2020-09-01 Ford Global Technologies, Llc Rear camera lane detection
US11106988B2 (en) * 2016-10-06 2021-08-31 Gopro, Inc. Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
US10150474B2 (en) * 2017-01-04 2018-12-11 Robert Bosch Gmbh Reducing lateral position deviation during an automated lane change
DE102017208509A1 (de) * 2017-05-19 2018-11-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erzeugen eines Straßenmodells während einer Fahrt eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
US20190011275A1 (en) * 2017-07-06 2019-01-10 Andrew Whinston System and method for routing autonomous vehicles
DE102018211368A1 (de) 2017-07-19 2019-01-24 Continental Teves Ag & Co. Ohg Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102017216802A1 (de) 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102018101388A1 (de) * 2018-01-23 2019-07-25 Valeo Schalter Und Sensoren Gmbh Korrigieren einer Position eines Fahrzeugs mit SLAM
JP7049188B2 (ja) * 2018-06-04 2022-04-06 本田技研工業株式会社 車両制御装置、車両制御方法およびプログラム
DE102018212555B4 (de) * 2018-07-27 2025-12-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Fahrspurerkennung
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
CN109215368B (zh) * 2018-08-23 2020-04-28 百度在线网络技术（北京）有限公司 一种辅助驾驶的方法、装置、设备和计算机存储介质
CN110969837B (zh) * 2018-09-30 2022-03-25 毫末智行科技有限公司 自动驾驶车辆的道路信息融合系统及方法
US10793123B2 (en) 2018-10-04 2020-10-06 Waymo Llc Emergency braking for autonomous vehicles
DE102018218043A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Ermittlung einer Anzahl von Fahrspuren sowie von Spurmarkierungen auf Straßenabschnitten
KR102633140B1 (ko) 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
DK180774B1 (en) 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
US11195028B2 (en) * 2019-01-04 2021-12-07 Qualcomm Incorporated Real-time simultaneous detection of lane marker and raised pavement marker for optimal estimation of multiple lane boundaries
DE102019112413B4 (de) 2019-05-13 2025-10-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
KR102653342B1 (ko) 2019-05-20 2024-04-02 현대모비스 주식회사 자율 주행 장치 및 방법
US11587434B2 (en) 2019-06-25 2023-02-21 International Business Machines Corporation Intelligent vehicle pass-by information sharing
US10834552B1 (en) 2019-06-25 2020-11-10 International Business Machines Corporation Intelligent vehicle pass-by information sharing
DE102019209226A1 (de) * 2019-06-26 2020-12-31 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten
DE102019209485A1 (de) 2019-06-28 2020-12-31 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten
DE102019209711A1 (de) 2019-07-02 2021-01-07 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten, sowie zum Bereitstellen von Parametern für eine solche Verarbeitung
EP3786012B1 (de) * 2019-08-29 2024-10-23 Zenuity AB Spurhaltung für autonome fahrzeuge
CN112818727B (zh) * 2019-11-18 2025-08-08 深圳引望智能技术有限公司 一种道路约束确定方法及装置
CN112885074B (zh) * 2019-11-30 2023-01-13 华为技术有限公司 道路信息检测方法以及装置
DE102019008368A1 (de) 2019-12-02 2021-06-02 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens
KR102890132B1 (ko) * 2020-02-04 2025-11-21 삼성전자 주식회사 길 기하구조 추정을 위한 장치 및 방법
DE102020105711A1 (de) 2020-03-03 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem
JP7591908B2 (ja) * 2020-11-19 2024-11-29 株式会社Ｎｔｔデータグループ 座標変換システム、座標変換方法及びプログラム
DE102021202459A1 (de) 2021-03-15 2022-09-15 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen einer Mehrspurigkeit einer Fahrbahn, Computerprogrammprodukt sowie Assistenzsystem
DE102021109425B3 (de) 2021-04-15 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Steuern eines Fahrzeugs und Steuervorrichtung für ein Fahrzeug
DE102021110101A1 (de) 2021-04-21 2022-10-27 Valeo Schalter Und Sensoren Gmbh Computerimplementiertes Verfahren zum Detektieren von Fahrbahnmarkierungen, Computerprogramm, computerlesbares Speichermedium und Fahrerassistenzsystem
DE102021114935A1 (de) 2021-06-10 2022-12-15 Connaught Electronics Ltd. Verfahren zum Bestimmen von zumindest einer Fahrstreifenbegrenzung einer Fahrbahn in einem Bild mittels eines Assistenzsystems, omputerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
EP4105818B1 (de) * 2021-06-18 2025-08-13 AUMOVIO Autonomous Mobility Germany GmbH Verfahren und system zur schätzung der fahrbahngeometrie
DE102021206355A1 (de) 2021-06-21 2022-12-22 Volkswagen Aktiengesellschaft Verfahren zur Zuordnung des von einem Fahrzeug aktuell befahrenen Fahrstreifens
CN113344979B (zh) * 2021-06-29 2024-04-16 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN113232663B (zh) * 2021-06-29 2022-10-04 西安电子科技大学芜湖研究院 一种应用于高级辅助驾驶的控制系统
JP7748040B2 (ja) * 2021-09-27 2025-10-02 オーモヴィオ・オートノモス・モビリティー・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 自律走行車両のレーン追跡のための方法及びシステム
CN113903014B (zh) * 2021-12-07 2022-05-17 智道网联科技(北京)有限公司 车道线预测方法、装置及电子设备、计算机可读存储介质
CN114475664B (zh) * 2022-03-17 2023-09-01 西华大学 一种拥堵路段自动驾驶车辆变道协调控制方法
DE102022206346A1 (de) * 2022-06-23 2023-12-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur zeitlichen Korrektur multimodaler Daten
DE102022002498B3 (de) 2022-07-08 2023-10-26 Mercedes-Benz Group AG Verfahren zum Fusionieren von Sensordaten
FR3139092B1 (fr) * 2022-08-26 2024-07-12 Psa Automobiles Sa Méthodes et systèmes pour le contrôle des autorisations de changement de voie de circulation par temps de pluie
DE102022209225A1 (de) 2022-09-06 2024-03-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position eines Fahrzeugs
CN116092290A (zh) * 2022-12-31 2023-05-09 武汉光庭信息技术股份有限公司 一种采集数据自动修正和补充方法及系统
CN119312005A (zh) * 2023-07-11 2025-01-14 华为技术有限公司 道路要素之间关联关系的确定方法及相关系统、存储介质
JP2026049251A (ja) * 2024-09-06 2026-03-18 本田技研工業株式会社 移動体制御装置、移動体制御方法、及びプログラム
DE102025109746B3 (de) 2025-01-28 2026-04-23 GM Global Technology Operations LLC Modellprädiktive Steuerung für automatisiertes Fahren in komplexen Geometrien

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4292250B2 (ja) 2004-07-02 2009-07-08 トヨタ自動車株式会社 道路環境認識方法及び道路環境認識装置
US20080065328A1 (en) * 2006-09-08 2008-03-13 Andreas Eidehall Method and system for collision avoidance
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
DE102007044761A1 (de) * 2007-09-19 2008-05-08 Daimler Ag Verfahren und Vorrichtung zur Bestimmung eines sich entlang einer Bewegungsbahn eines Fahrzeuges erstreckenden Fahrschlauches
EP2085279B1 (de) * 2008-01-29 2011-05-25 Ford Global Technologies, LLC System zur Vorhersage eines Kollisionskurses
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
JP5105481B2 (ja) * 2008-05-27 2012-12-26 国立大学法人鳥取大学 車線検出装置、車線検出方法、及び車線検出プログラム
US8055445B2 (en) * 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
EP3975138B1 (de) * 2008-10-06 2024-12-11 Mobileye Vision Technologies Ltd. Bündelung von fahrerassistenzsystemen
JP5886185B2 (ja) * 2009-03-04 2016-03-16 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト 自動車の運転操縦を自動認識するための方法及びこの方法を含む運転者援助システム
JP4988786B2 (ja) * 2009-04-09 2012-08-01 株式会社日本自動車部品総合研究所 境界線認識装置
DE102010020984A1 (de) * 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
JP5605187B2 (ja) 2010-11-24 2014-10-15 株式会社デンソー 運転疲労度判定装置
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
US20120314070A1 (en) * 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
CN202152051U (zh) * 2011-07-08 2012-02-29 德州学院 一种车道偏离报警装置
CN103796885B (zh) 2011-09-12 2017-05-31 大陆-特韦斯贸易合伙股份公司及两合公司 用于评估车辆的轮胎参数的方法
EP2574958B1 (de) * 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Straßenterrain-Erkennungsverfahren und System für Fahrerhilfssysteme
DE102012219478A1 (de) * 2011-10-24 2013-04-25 Continental Teves Ag & Co. Ohg Sensorsystem zur eigenständigen Bewertung der Integrität seiner Daten
DE102013213361B4 (de) * 2012-07-26 2023-07-06 Continental Autonomous Mobility Germany GmbH Verfahren für eine Spurführung basierend auf der Bewegung anderer Fahrzeuge
DE102012107885A1 (de) 2012-08-27 2014-02-27 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
US9435654B2 (en) * 2013-06-01 2016-09-06 Savari, Inc. System and method for creating, storing, and updating local dynamic MAP database with safety attribute
CN104554259B (zh) * 2013-10-21 2018-03-30 财团法人车辆研究测试中心 主动式自动驾驶辅助系统与方法
US9384394B2 (en) * 2013-10-31 2016-07-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps
EP2923911B1 (de) * 2014-03-24 2019-03-13 Honda Research Institute Europe GmbH Verfahren und System zur Vorhersage des Bewegungsverhaltens eines Zielverkehrsobjekts
CN103940434B (zh) * 2014-04-01 2017-12-15 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测系统
US10115026B2 (en) * 2014-04-04 2018-10-30 Delphi Technologies, Inc. Method for lane detection
CN203844749U (zh) * 2014-05-28 2014-09-24 长安大学 一种车辆岔口路段检测装置
US9170116B1 (en) * 2014-07-11 2015-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MOORE D C ET AL: "Simultaneous local and global state estimation for robotic navigation", 2009 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION : (ICRA) ; KOBE, JAPAN, 12 - 17 MAY 2009, IEEE, PISCATAWAY, NJ, USA, 12 May 2009 (2009-05-12), pages 3794 - 3799, XP031509997, ISBN: 978-1-4244-2788-8 *

Also Published As

Publication number Publication date
JP2018517979A (ja) 2018-07-05
JP6800168B2 (ja) 2020-12-16
CN107646114B (zh) 2022-02-18
WO2016188523A1 (de) 2016-12-01
KR102558055B1 (ko) 2023-07-20
US10650253B2 (en) 2020-05-12
US20180173970A1 (en) 2018-06-21
CN107646114A (zh) 2018-01-30
KR20180009755A (ko) 2018-01-29
DE112016001203A5 (de) 2017-12-14
DE102015209467A1 (de) 2016-11-24

Similar Documents

Publication Publication Date Title
EP3298541A1 (de) Verfahren zur schätzung von fahrstreifen
DE102021113651B3 (de) System zur Sensordatenfusion für die Umgebungswahrnehmung
DE102010006828B4 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
EP2561419B1 (de) Verfahren zur bestimmung des fahrbahnverlaufes für ein kraftfahrzeug
EP1684142B1 (de) Verfahren zur Kursprädiktion und Abstandsregelung in Fahrerassistenzsystemen für Kraftfahrzeuge
EP3584663A1 (de) Verfahren zur automatischen querführung eines folgefahrzeugs in einem fahrzeug-platoon
DE112020002592T5 (de) Systeme und verfahren zur fahrzeugnavigation basierend auf bildanalyse
DE102020105192B4 (de) Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
EP3465088B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn
DE202017007710U1 (de) Systeme zur Navigation von Spurzusammenführungen und Spurtrennungen
EP3867601B1 (de) Verfahren und system zum bestimmen eines umfeldmodells für ein fahrzeug
DE102017129075A1 (de) Parkplatznavigationssystem und -verfahren
DE102016210254A9 (de) Fahrzeugortung an kreuzungen anhand von visuellen anhaltspunkte, stationären objekten und durch gps
DE102015203016A1 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
WO2018019465A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn
EP2963631B1 (de) Verfahren zum ermitteln eines parkplatzes aus einer anzahl von messpunkten
DE102020203756A1 (de) Autobahnausfahrt-erfassung und linienspiegelung zur fahrzeugtrajektorien-bestimmung
DE102017205245B4 (de) Freibereichsfusion für Fahrerassistenzsysteme
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102022106242A1 (de) Kraftfahrzeug mit blinkergesteuerter Spurlokalisierung
EP3610224B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs
DE102018211368A1 (de) Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102016211730A1 (de) Verfahren zur Vorhersage eines Fahrbahnverlaufs einer Fahrbahn
DE102008021380B4 (de) Verfahren und Vorrichtung zum Vorhersagen eines Verlaufs einer Fahrbahn und Fahrerassistenzsystem
DE102016212774B4 (de) Verfahren und Vorrichtung zur Erzeugung einer Umfeldkarte sowie zur Lokalisierung eines Fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20171222

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL TEVES AG & CO. OHG

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200116

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20211109