EP2907120A1 - Estimating a street type using sensor-based surroundings data - Google Patents

Estimating a street type using sensor-based surroundings data

Info

Publication number
EP2907120A1
EP2907120A1 EP13771129.7A EP13771129A EP2907120A1 EP 2907120 A1 EP2907120 A1 EP 2907120A1 EP 13771129 A EP13771129 A EP 13771129A EP 2907120 A1 EP2907120 A1 EP 2907120A1
Authority
EP
European Patent Office
Prior art keywords
estimate
road type
decision tree
state machine
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP13771129.7A
Other languages
German (de)
French (fr)
Other versions
EP2907120B1 (en
Inventor
Istvan Nagy
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP2907120A1 publication Critical patent/EP2907120A1/en
Application granted granted Critical
Publication of EP2907120B1 publication Critical patent/EP2907120B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads

Definitions

  • the invention relates to a method for estimating a road type and to a device set up for this purpose.
  • a navigation system to determine the type of road on which a vehicle is located.
  • the position of the vehicle is determined by means of a satellite-based positioning system and the type of road is determined by means of a stored digital map in which the road and its type are also stored.
  • Types of roads are, for example, inner city, highway and highway.
  • the navigation system is needed to detect the road type. Frequently, such is not available even in modern vehicles for cost reasons.
  • the present task to those skilled in the art is to provide an improved method for estimating a road type and to provide a corresponding device.
  • a method for estimating a road type performed by an electronic computing device includes: receiving on one Sensor measurement based environment data; Estimating the road type using a decision tree based on the surrounding data; Estimating the road type using a state machine based on the environment data; Form an overall estimation of the road type based on the estimation using the decision tree and the estimation using the state machine.
  • the accuracy of estimating the road type can be improved.
  • a combination of an estimate by means of a decision tree and an estimate by means of a state machine has proven to be particularly advantageous.
  • the method enables the combination of a machine learning trained decision tree and a state machine based on human experience in guessing the road type.
  • the decision tree is induced by per se known methods of machine learning, based on recorded ride data (training data), which comprise sensor-based environment data and, as an estimation result of the road type, the road types determined by a navigation system.
  • training data comprise sensor-based environment data and, as an estimation result of the road type, the road types determined by a navigation system.
  • environmental data is associated with road types.
  • the state machine comprises transition rules between states representing road types and possibly the state "no estimation of the road type possible", the transition rules being defined by human observation With the help of this structure of the estimation, particularly good estimation results are achieved Motorways recognized with an accuracy of over 90%.
  • Environment data may, in particular, be direct measured values from sensors, processed measured values, such as, for example, detected objects in a camera recording or radar scan.
  • environment data describe characteristics of the environment of the vehicle. Suitable sensors are all sensors of the vehicle, for example camera systems, 3D camera systems, lateral cameras, reversing cameras, ultrasound and lidar sensors, speedometers, yaw rate sensors or steering angle sensors.
  • An example of environmental data is processed data from a camera shot indicating that the track width is 2.5 m, and that the lane is a lane.
  • Environment data can be data from several sensors, which are present as bundles, for example in a vector.
  • An environment data vector may include, for example, the track width detected in a camera shot, the number of signs detected by camera recording, oncoming traffic detected by a camera shot or radar scan, detected speed limits, a street lamp detected with a camera disposed on the side of the vehicle, obstacles detected by ultrasonic sensors, or the like Distance to the front vehicle, the detected with Lidarsensoren brake threshold and / or detected with capacitive sensors height of the chassis.
  • the state machine may be based on human experience in estimating the road type. This experience may be recorded in all or some transitional rules between states.
  • the states represent the road types (eg, city, highway, and highway) and the state that no estimation of the road type is possible, or equivalent, that no determination of the road type is possible.
  • the transition rules are based on Boolean expressions that link input data, ie environment data.
  • the total estimated estimate can be output for a certain distance of the vehicle. Furthermore, it can be provided, the output of Estimate depending on the particular type of road to make or keep. Thus, it may be provided that, if the road type "town” was estimated, this output is maintained for a travel distance of the vehicle of 500 M. If the road type "highway” was estimated, this type can be maintained for 1000 m.
  • forming an overall estimate involves setting the overall estimate to the estimator using the state machine, if the estimator using the state machine does not output that no road type can be determined, forming an overall estimate further includes setting the overall estimate to the estimation using of the decision tree, when the estimation using the state machine outputs that no road type can be determined, which is particularly advantageous in the case of a machine-learning-induced decision tree and a human-based state As long as the road type can be determined using the state machine, and thus with rules based on human experience, preference is given to this estimate of road type.
  • the machine learning-induced decision tree is used to provide a statement.
  • Today's and future assistance systems can improve or optimize their function based on the type of road and are dependent on the ongoing provision of this estimate. The function of these systems is thus ensured.
  • a cost-causing adaptation of the assistance system to vehicles with or without navigation system is thus avoided.
  • the procedure Revert to typically existing sensors and resources or their evaluations, which does not require additional components. Which in turn saves costs.
  • a reduction of the cable expenditure, the construction volume and the programming effort is also possible by the method according to the invention. Furthermore, a vehicle configuration becomes more flexible because it is not necessary to select a navigation system for driver assistance functions that require an estimation or determination of the road type. Both the decision tree and the state machine can be chosen such that the number of environment data needed for the estimation is minimized. In this way, the computational effort can be reduced. The reduction in the number of environmental data can also lead to savings in the power supply of the sensor systems, since unnecessary sensors and their electronic computing systems can be switched off. Usually, these sensor systems operate independently of each other, and the shutdown of a sensor system reduces power consumption accordingly.
  • An assistance system may be an adaptive cruise control (ACC), a high beam assistant, a parking aid, a thermal management, a transmission management or an energy management.
  • assigning a qualification value to the overall estimate is based on whether the overall estimate is based on the estimate using the state machine or the decision tree.
  • the qualification value allows customers of the overall estimate (eg assistance systems) to assess the reliability of the overall estimate. For example, an overall estimate based on both the state machine estimate and the decision tree decision leading to the same result may be assigned a better (possibly higher) qualification score than the guess using the decision tree the state machine is not confirmed.
  • An overall estimate based solely on the decision tree estimate may result in a lower (possibly lower) qualification score be assigned as if the overall estimate is at least also based on an estimate using the state machine.
  • the method includes receiving a set of sensor-based environment data, each element of the set being assigned a time; For each element of the sentence: making a partial estimation of the road type using the decision tree based on the respective element of the sentence;
  • the assignment of the qualification value is also based on the number of partial estimates which agree with the overall estimate. In particular, this may mean that each received element is based on (at least) one sensor measurement that was executed at a different time. In this way, a larger area of the environment of the vehicle is detected and used by dividing into samples for part estimation using the decision tree.
  • the qualification value may be determined such that each partial estimate with the same result as the result of the state machine estimation increases the qualification value. However, partial estimates with a different result are not.
  • the method includes receiving a set of sensor-based environment data, wherein each item of the set is assigned a time;
  • estimating using the decision tree comprises: for each element of the sentence: making a partial estimate of the road type using the decision tree based on the particular element of the sentence; Estimate the road type based on the partial estimates made, in particular by means of a majority decision.
  • a set of environment data includes at least two separate environment data.
  • a set of environment data comprises at least two environment vectors.
  • An element of the sentence is a single vector. Typically, each element is based on sensor data measured at a time.
  • the estimate using the decision tree is thus based on multiple partial estimates using the decision tree, using environment data that is assigned to a different point in time.
  • This can be special mean that each received element is based on (at least) one sensor measurement that was performed at a different time or at a different position of the vehicle. In this way, a larger area of the surroundings of the vehicle is recorded and taken into account for the estimation with the aid of the decision tree. The reliability of the estimation using the decision tree is thus increased.
  • the method comprises determining a functional parameter of a sensor based on the overall estimate of the road type, in particular the strength of the power supply or the deactivation of the power supply.
  • the function of the sensors can be adapted to the situation of the road type, which on the one hand can increase the performance of the sensors and at the same time save energy.
  • the sensor can be placed in a lower power consumption mode.
  • the range of ultrasonic sensors depends on the amount of energy / power supply provided. In cases where obstacles are to be detected at short distances (for example when parking in urban areas), they can therefore operate with a lower power supply than in cases where obstacles can be detected at greater distances (when detecting other road users on the road) Highway for example).
  • an electronic data processing unit and environment data reception unit is configured to execute one of the above-presented methods.
  • This device may be a microprocessor, a general-purpose computer or dedicated circuits. The device can be set up by program code for executing the method.
  • the receiving unit for environment data may be a standard interface such as USB, CAN, Ethernet, Wi-Fi or Firewire.
  • Fig. 1 shows schematically the structure of a system according to an embodiment example.
  • Fig. 2 shows schematically the structure of a device for estimating the road type according to an embodiment.
  • Fig. 3 shows schematically the generation of a decision tree and the decision tree according to an embodiment.
  • 4 schematically shows a state machine according to an exemplary embodiment.
  • FIG. 1 schematically shows the structure of a system according to an embodiment.
  • Sensors of a vehicle such as a side camera, a front-facing camera, ultrasonic sensors, lidar sensors, and chassis capacitive sensors provide environmental data to an apparatus 1 for estimating the road type.
  • This environment data may be: street lamps detected by the side camera, by the front-facing camera detected oncoming traffic on the road, by the front-facing camera detected traffic signs, a speed limit detected by the front-facing camera, obstacles detected by the ultrasonic sensors on the vehicle Lane, a detected by the ultrasonic sensors distance to a vehicle ahead, a detected by the Lidarsensoren brake threshold, a detected by the capacitive sensors height of a chassis.
  • the environment data estimating apparatus 1 estimates the road type based on the surrounding data, for which an electronic computing unit included in the apparatus 1 is used.
  • the estimated road type is provided to various driver assistance functions. For example, an Automatic Cruise Control (ACC), a high-beam assistant, a Park Maneuver Assistance (PMA), a Park Distance Control (PDC) and a prepared view of the vehicle from above, based on several cameras of the vehicle (top view).
  • ACC Automatic Cruise Control
  • PMA Park Maneuver Assistance
  • PDC Park Distance Control
  • the estimated road ß type the sensors or sensor systems provided that can be deactivated according to the estimated type to save energy.
  • FIG. 2 shows schematically the structure of a device 1 for estimating the road type according to an exemplary embodiment.
  • the device receives environment data and passes it on to both means 2 for estimating the road type by means of a decision tree, and to means 3 for estimating the road type by means of a state machine.
  • Both means 2 and 3 provide an estimate of the road type (if appropriate, the means 3 provide the output "no estimate of road type possible") to total estimate estimation means 4.
  • These means 4 form an overall estimate based on the outputs of means 2 and 3. It is envisaged that as long as the estimation using the state machine outputs a road type and does not output the output "no estimation of the road type possible", this estimation of the state machine forms the total estimate.
  • the estimate is provided using the decision tree as an overall estimate.
  • the total estimate is output from the device 1.
  • the means 2, 3 and 4 can be implemented both in hardware and in software. The means 2 and 3 do not have to make the estimate at the same time but can also make them one after the other.
  • Fig. 3 shows schematically the generation of a decision tree and the decision tree.
  • the decision tree induction algorithm obtains as training data the vectors of environmental data recorded during a trip and the road type determined simultaneously with each vector, which is determined via a navigation system having a digital map storing the road type. Algorithms for creating or inducing the decision tree are known in the art. If the road types stored in the digital map are classified finer than the classification that the decision tree is to deliver, road types stored in the map must be grouped into a road type for the decision tree. In FIG. 3, the letter “u” designates the estimate “urban”, the letter the estimate "highway” (rural) and the letter “m” the estimate "motorway”.
  • the environment data vector may include a detected speed limit, a recognized lane width, a recognized overtaking ban, the number of signs left / right / total, left or right recognized objects.
  • the generated decision tree is integrated into the source code of an application or a program, and a compiler is translated into machine language / object code.
  • the input environment data (the input vector) is propagated top-down through the generated "if-then-else" construct, which contains a (threshold) query in each node, based on a value of the input vector
  • the sheets each contain the results of such a query path, which at the same time corresponds to one of the classes to be classified, ie the road type estimate
  • the thresholds at which the input data are compared occupy different amounts of space according to their resolution
  • the first way to optimize memory space is to map certain continuous (analogue ) Values to the discrete interval 0-255 if the loss of accuracy is acceptable for the application.
  • defining a custom language and implementing a corresponding parser provides another way to reduce storage space. It defines a reduced and adjusted alphabet of operators and operands designed specifically for the decision tree. An inquiry node can therefore be reduced to a few bytes in most cases.
  • the memory consumption of non-randomly writable memory (ROM) of a decision tree could thus be reduced to less than 8 KB with a general overhead of less than 7 KB.
  • the need for RAM was negligible. It is also possible to have your own decision tree for a specific country or region. It is also possible to provide a separate decision tree for each assistance function.
  • 4 schematically shows a state machine according to an exemplary embodiment.
  • Rule 1 defines that for received environment data indicating that a sign was detected indicating a quiet traffic area (game road), it is transitioned to the "in-town” state, in which case the state machine provides an estimate that depends on the state indicating that no estimation is possible, the estimation of the state machine ("in-town") is output by the road-type estimation apparatus 1. This estimate is issued for 500m because the detected road type is "in town".
  • Rule 2 defines that for received environment data indicating that a sign was detected indicating a location exit, it is transitioned to the state "highway.”
  • the state machine provides an estimate that indicates the state that indicates that no estimation is possible deviates, the estimation of the state machine ("highway") is output by the device 1 for estimating the road type. This estimate is output for 1000m since the detected road type is "highway".
  • Rule 3 defines that in the case of received environment data indicating that the vehicle has been traveling faster than 120 km / h for 5 minutes, it is transitioning to the state "Highway.”
  • the state machine provides an estimate that depends on the state indicating that no estimation is possible, the estimation of the state machine ("highway") is output by the road-type estimation apparatus 1. This estimate is issued for 2000m since the recognized road type is "highway".
  • the state machine could be realized with a memory consumption of non-randomly writable memory (ROM) of less than 3 KB with a general overhead of less than 7 KB.
  • ROM non-randomly writable memory
  • the need for RAM was negligible. It is also possible to have your own state machine for a specific country or country certain region. It is also possible to provide a separate state machine for each assistance function.
  • the output of the road-type estimator 1 may be assigned a qualification value.
  • This qualification value is designed based on the estimates using the decision tree or the state machine. At the same time, for this qualification value, the estimate using the decision tree is performed three times (or more times), each time with other environment data vectors representing sensor measurements at different times or positions of the vehicle. The multiple estimates using the decision tree can be performed while only one estimate is being performed using the state machine.
  • the qualification value is then formed as follows, where a higher qualification value indicates a better overall estimate: value 5 if the estimation using the state machine is confirmed by at least two estimates using the decision tree; Value 4 if the estimation using the state machine is confirmed by an estimate using the decision tree; Value 3 if the estimation using the state machine is not confirmed by any estimate using the decision tree; Value 2 if the state machine outputs that no estimate is possible and three estimates use the decision tree to output the same estimate (which is also output as the total estimate); Value 1 if the state machine returns that no estimate is possible and two estimates use the decision tree to output the same estimate (which is also output as the total estimate).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

The invention relates to a method for estimating a street type, said method being carried out by an electronic computing device and having the following steps: receiving surroundings data on the basis of a sensor measurement; estimating the street type using a decision tree based on the surroundings data; estimating the street type using a state machine based on the surroundings data; and forming a total estimation of the street type on the basis of the estimation using the decision tree and the estimation using the state machine.

Description

Schätzung des Straßentyps mithilfe von sensorbasierten Umfelddaten  Estimation of the road type using sensor-based environmental data
Die Erfindung betrifft ein Verfahren zum Schätzen eines Straßentyps sowie eine zu diesem Zweck eingerichtete Vorrichtung. The invention relates to a method for estimating a road type and to a device set up for this purpose.
Heutzutage ist es wohlbekannt mithilfe eines Navigationssystems den Straßentyp zu bestimmen, auf dem sich ein Fahrzeug befindet. Dazu wird mithilfe eines satellitengestützten Positionierungssystems die Position des Fahrzeugs bestimmt und mithilfe einer gespeicherten digitalen Karte, in der zu den Straßen auch deren Typ gespeichert ist, der Straßentyp bestimmt. Straßentypen sind beispielsweise Innerorts, Landstraße und Autobahn. Allerdings wird zur Erkennung des Straßentyps das Navigationssystem benötigt. Häufig ist ein solches auch in modernen Fahrzeugen aus Kostengründen noch nicht vorhanden. Nowadays it is well known to use a navigation system to determine the type of road on which a vehicle is located. For this purpose, the position of the vehicle is determined by means of a satellite-based positioning system and the type of road is determined by means of a stored digital map in which the road and its type are also stored. Types of roads are, for example, inner city, highway and highway. However, the navigation system is needed to detect the road type. Frequently, such is not available even in modern vehicles for cost reasons.
In der DE 196 06 259 C1 wird ein Verfahren zur Erkennung eines Straßentyps ohne mitgeführte digitale Straßenkarte offenbart. Das Erkennungsprinzip beruht darauf, dass sich bestimmte Straßentypen mit einer gewissen Wahrscheinlichkeit durch charakteristische geometrische Merkmale unterscheiden lassen. Gemäß dem dort offenbarten Verfahren wird abschnittsweise der Fahrverlauf geometrisch erfasst und über Mustererkennung mit charakteristischen Fahrverläufen zu verglichen. In DE 196 06 259 C1 a method for detecting a type of road without entrained digital road map is disclosed. The recognition principle is based on the fact that certain road types can be distinguished with a certain probability by characteristic geometric features. In accordance with the method disclosed there, the course of the route is detected geometrically in sections and compared to characteristic driving courses via pattern recognition.
Die vorliegende Aufgabe an den Fachmann ist die Bereitstellung eines verbesserten Verfahrens zum Schätzen eines Straßentyps und die Bereitstellung einer entsprechenden Vorrichtung. The present task to those skilled in the art is to provide an improved method for estimating a road type and to provide a corresponding device.
Die Aufgabe wird durch ein Verfahren nach Anspruch 1 , eine Vorrichtung nach Anspruch 9 und ein Kraftfahrzeug nach Anspruch 10 gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert. In einem Aspekt umfasst ein Verfahren zum Schätzen eines Straßentyps, das durch eine elektronische Rechenvorrichtung ausgeführt wird: Empfangen von auf einer Sensormessung basierenden Umfelddaten; Schätzen des Straßentyps mithilfe eines Entscheidungsbaumes basierend auf den Umfelddaten; Schätzen des Straßentyps mithilfe eines Zustandsautomaten basierend auf den Umfelddaten; Bilden einer Gesamtschätzung des Straßentyps basierend auf der Schätzung mithilfe des Entschei- dungsbaumes und der Schätzung mithilfe des Zustandsautomaten. The object is achieved by a method according to claim 1, an apparatus according to claim 9 and a motor vehicle according to claim 10. Advantageous developments are defined in the dependent claims. In one aspect, a method for estimating a road type performed by an electronic computing device includes: receiving on one Sensor measurement based environment data; Estimating the road type using a decision tree based on the surrounding data; Estimating the road type using a state machine based on the environment data; Form an overall estimation of the road type based on the estimation using the decision tree and the estimation using the state machine.
Durch die Verwendung und Kombination von zwei verschiedenen Schätzverfahren kann die Genauigkeit der Schätzung des Straßentyps verbessert werden. Dabei hat sich eine Kombination aus einer Schätzung mittels Entscheidungsbaum und einer Schätzung mittels Zustandsautomat als besonders vorteilhaft herausgestellt. Durch das Verfahren wird die Kombination eines mithilfe von maschinellem Lernen trainierten Entscheidungsbaums und einem auf menschlicher Erfahrung beim Schätzen des Straßentyps basierenden Zustandsautomaten ermöglicht. In dieser bevorzugten Ausgestaltung wird der Entscheidungsbaum mit an sich bekannten Verfahren des maschinellen Lernens induziert, aufbauend auf aufgezeichneten Fahrtdaten (Trai- ningsdaten), die sensorbasierte Umfelddaten umfassen und als Schätzergebnis des Straßentyps die durch ein Navigationssystem bestimmten Straßentypen. Mit anderen Worten: Durch das Training werden Umfelddaten mit Straßentypen assoziiert. Der Zustandsautomat umfasst in dieser Ausgestaltung Übergangsregeln zwischen Zuständen, die Straßentypen und gegebenenfalls den Zustand„keine Schätzung des Straßentyps möglich" repräsentieren, wobei die Übergangsregeln durch menschliche Beobachtung definiert werden. Mithilfe dieser Struktur der Schätzung werden besonders gute Schätzergebnisse erreicht. In einem Aufbau wurden beispielsweise Autobahnen mit einer Genauigkeit von über 90% erkannt. By using and combining two different estimation methods, the accuracy of estimating the road type can be improved. In this case, a combination of an estimate by means of a decision tree and an estimate by means of a state machine has proven to be particularly advantageous. The method enables the combination of a machine learning trained decision tree and a state machine based on human experience in guessing the road type. In this preferred embodiment, the decision tree is induced by per se known methods of machine learning, based on recorded ride data (training data), which comprise sensor-based environment data and, as an estimation result of the road type, the road types determined by a navigation system. In other words, through training, environmental data is associated with road types. In this embodiment, the state machine comprises transition rules between states representing road types and possibly the state "no estimation of the road type possible", the transition rules being defined by human observation With the help of this structure of the estimation, particularly good estimation results are achieved Motorways recognized with an accuracy of over 90%.
Aufgrund der Unabhängigkeit der Straßentyperkennung von den Daten eines Navi- gationssystems ist es nicht erforderlich, das Navigationssystem und dessen gespeicherte digitale Karten zu aktualisieren. Die Aktualisierung der Karten kann Kosten und administrativen Aufwand verursachen, was durch vorliegend Erfindung vermieden werden kann. Die Laufzeitanforderungen zur Ausführung des Verfahrens sind im Vergleich zu den Anforderungen zur Bestimmung des Straßentyps anhand eines Navigationssystems mit gespeicherter digitaler Karte gering. Umfelddaten können insbesondere direkte Messwerte von Sensoren sein, aufbereitete Messwerte, wie beispielsweise erkannte Objekte in einer Kameraaufnahme oder Radarabtastung. Generell beschreiben Umfelddaten Eigenschaften des Umfelds des Fahrzeugs. Als Sensoren kommen sämtliche Sensoren des Farhzeugs in Betracht, beispielsweise Kamerasysteme, 3D Kamerasysteme, seitliche Kameras, Rückfahrkameras, Ultraschall- und Lidarsensoren, Geschwindigkeitsmesser, Gierratensensoren oder Lenkwinkelsensoren. Ein Beispiel für Umfelddaten sind aufbereitete Daten aus einer Kameraaufnahme, die angeben, dass die Spurbreite 2,5 m ist, und dass es sich bei der Fahrbahn um eine Richtungsfahrbahn handelt. Due to the independence of the road type recognition from the data of a navigation system, it is not necessary to update the navigation system and its stored digital maps. The updating of the cards can cause costs and administrative effort, which can be avoided by the present invention. The runtime requirements for carrying out the method are low compared to the requirements for determining the type of road using a navigation system with a stored digital map. Environment data may, in particular, be direct measured values from sensors, processed measured values, such as, for example, detected objects in a camera recording or radar scan. Generally, environment data describe characteristics of the environment of the vehicle. Suitable sensors are all sensors of the vehicle, for example camera systems, 3D camera systems, lateral cameras, reversing cameras, ultrasound and lidar sensors, speedometers, yaw rate sensors or steering angle sensors. An example of environmental data is processed data from a camera shot indicating that the track width is 2.5 m, and that the lane is a lane.
Umfelddaten können Daten von mehreren Sensoren sein, die als Bündel beispielsweise in einem Vektor vorliegen. Ein Umfelddaten-Vektor kann beispielsweise die in einer Kameraaufnahme erkannte Spurbreite, die Anzahl der per Kameraaufnahme erkannten Schilder, mithilfe einer Kameraaufnahme oder Radarabtastung erkannter entgegenkommender Verkehr, erkannte Geschwindigkeitsbegrenzungen, eine mit einer seitlich am Fahrzeug angeordneten Kamera erkannte Straßenlampe, mit Ultraschallsensoren erkannte Hindemisse oder den Abstand zum Vorderfahrzeug, die mit Lidarsensoren erkannte Bremsschwelle und/oder die mit kapazitiven Sensoren erkannte Höhe des Fahrwerks umfassen. Environment data can be data from several sensors, which are present as bundles, for example in a vector. An environment data vector may include, for example, the track width detected in a camera shot, the number of signs detected by camera recording, oncoming traffic detected by a camera shot or radar scan, detected speed limits, a street lamp detected with a camera disposed on the side of the vehicle, obstacles detected by ultrasonic sensors, or the like Distance to the front vehicle, the detected with Lidarsensoren brake threshold and / or detected with capacitive sensors height of the chassis.
Der Zustandsautomat kann auf menschlicher Erfahrung beim Schätzen des Straßentyps basieren. Diese Erfahrung kann in allen oder einigen Übergangsregeln zwischen den Zuständen festgehalten sein. The state machine may be based on human experience in estimating the road type. This experience may be recorded in all or some transitional rules between states.
In einem Zustandsautomat repräsentieren die Zustände die Straßentypen (beispielsweise Innerorts, Landstraße und Autobahn) und den Zustand, dass keine Schätzung des Straßentyps möglich ist beziehungsweise gleichbedeutend, dass keine Bestimmung des Straßentyps möglich ist. Die Übergangsregeln basieren auf boolschen Ausdrücken, die Eingangsdaten, also Umfelddaten, miteinander verknüpfen. Ein Beispiel für eine Übergangsregel ist (Straßenbreite > 2,3m) && (Richtungsfahrbahn == Ja) ->„Autobahn". In a state machine, the states represent the road types (eg, city, highway, and highway) and the state that no estimation of the road type is possible, or equivalent, that no determination of the road type is possible. The transition rules are based on Boolean expressions that link input data, ie environment data. An example of a transition rule is (road width> 2.3m) && (directional lane == yes) -> "freeway".
Die gebildete Gesamtschätzung kann für eine bestimmte Fahrtstrecke des Fahrzeugs ausgegeben werden. Weiterhin kann vorgesehen sein, die Ausgabe der Schätzung abhängig von dem bestimmten Straßentyp zu gestalten beziehungsweise bei zu behalten. So kann vorgesehen sein, dass, wenn der Straßentyp„Innerorts" geschätzt wurde, diese Ausgabe für eine Fahrtstrecke des Fahrzeugs von 500 m beibehalten wird. Wenn der Straßentyp„Landstraße" geschätzt wurde, kann dieser Typ für 1000 m beibehalten werden. Wenn der Straßentyp„Autobahn" geschätzt wurde, kann diese Ausgabe für 2000 m beibehalten werden. Nach Ablauf dieser Haltestrecke kann eine erneute Gesamtschätzung ausgegeben werden. Während der Haltestrecke kann vorgesehen sein, bereits eine erneute Gesamtschätzung zu bilden, die dann nach Ablauf der Haltestrecke ausgegeben wird In einer Weiterentwicklung umfasst das Bilden einer Gesamtschätzung das Setzen der Gesamtschätzung auf die Schätzung mithilfe des Zustandsautomaten, wenn die Schätzung mithilfe des Zustandsautomaten nicht ausgibt, dass kein Straßentyp bestimmt werden kann; Das Bilden einer Gesamtschätzung umfasst ferner das Setzen der Gesamtschätzung auf die Schätzung mithilfe des Entscheidungsbaumes, wenn die Schätzung mithilfe des Zustandsautomaten ausgibt, dass kein Straßentyp bestimmt werden kann. Dies ist insbesondere vorteilhaft im Fall eines durch Maschi- nenlemen induzierten Entscheidungsbaumes und einem auf menschlicher Erfahrung basierenden Zustandsautomaten. Solange der Straßentyp mithilfe des Zustandsautomaten bestimmt werden kann und damit mit auf menschlicher Erfahrung basierenden Regeln, wird dieser Schätzung des Straßentyps der Vorzug gegeben. In Fällen, in denen der Zustandsautomat jedoch keine Aussage liefern kann, wird auf den durch maschinellen Lernen induzierten Entscheidungsbaum zurückgegriffen, um eine Aussage bereitstellen zu können. Heutige und zukünftige Assistenzsysteme können Ihre Funktion anhand des Straßentyps verbessern beziehungswei- se optimieren und sind auf eine fortlaufende Bereitstellung dieser Schätzung angewiesen. Die Funktion dieser Systeme wird somit sichergestellt. Darüber hinaus ist es möglich bestimmte Funktionen eines Assistenzsystems oder ganze Assistenzsysteme nur zu aktivieren, wenn sich das Fahrzeug auf einem bestimmten Straßentyp befindet. Gleichzeitig wird der Einsatz des gleichen Assistenzsystems in verschie- denen Fahrzeugen ermöglicht, unabhängig davon, ob das Fahrzeug über ein Navigationssystem und damit eine konstante Bereitstellung des Straßentyps verfügt oder nicht. Eine Kosten hervorrufende Anpassung des Assistenzsystems an Fahrzeuge mit oder ohne Navigationssystem wird damit vermieden. Weiterhin greift das Verfah- ren auf typischerweise bereits vorhandene Sensoren und Ressourcen oder deren Auswertungen zurück, was keine Zusatzkomponenten erforderlich macht. Wodurch wiederum Kosten gespart werden. The total estimated estimate can be output for a certain distance of the vehicle. Furthermore, it can be provided, the output of Estimate depending on the particular type of road to make or keep. Thus, it may be provided that, if the road type "town" was estimated, this output is maintained for a travel distance of the vehicle of 500 M. If the road type "highway" was estimated, this type can be maintained for 1000 m. If the road type "freeway" has been estimated, this output can be maintained for 2000 m .At the end of this stopping distance, a new total estimate can be issued.At the stopping distance, it may be provided to form a total new estimate, which will be issued after the stopping distance has expired In a further development, forming an overall estimate involves setting the overall estimate to the estimator using the state machine, if the estimator using the state machine does not output that no road type can be determined, forming an overall estimate further includes setting the overall estimate to the estimation using of the decision tree, when the estimation using the state machine outputs that no road type can be determined, which is particularly advantageous in the case of a machine-learning-induced decision tree and a human-based state As long as the road type can be determined using the state machine, and thus with rules based on human experience, preference is given to this estimate of road type. However, in cases where the state machine can not provide a statement, the machine learning-induced decision tree is used to provide a statement. Today's and future assistance systems can improve or optimize their function based on the type of road and are dependent on the ongoing provision of this estimate. The function of these systems is thus ensured. In addition, it is possible to activate certain functions of an assistance system or entire assistance systems only when the vehicle is on a certain road type. At the same time, it is possible to use the same assistance system in different vehicles, irrespective of whether the vehicle has a navigation system and thus a constant provision of the road type or not. A cost-causing adaptation of the assistance system to vehicles with or without navigation system is thus avoided. Furthermore, the procedure Revert to typically existing sensors and resources or their evaluations, which does not require additional components. Which in turn saves costs.
Auch eine Reduzierung des Kabelaufwandes, des Bauvolumens und des Program- mieraufwandes ist durch das erfindungsgemäße Verfahren möglich. Weiterhin wird eine Fahrzeugkonfiguration flexibler, da für Fahrerassistenzfunktionen, die eine Schätzung beziehungsweise Bestimmung des Straßentyps benötigen, kein Navigationssystem hinzugewählt werden muss. Sowohl der Entscheidungsbaum als auch der Zustandsautomat können derart gewählt werden, dass die Anzahl der Umfelddaten, die für die Schätzung benötigt werden, minimiert wird. Auf diese Weise kann der Rechenaufwand verringert werden. Die Verringerung der Anzahl der Umfelddaten kann ebenfalls zu Einsparungen bei der Energieversorgung der Sensorsysteme führen, da nicht benötigte Sensoren und deren elektronische Rechensysteme abgeschaltet werden können. Für gewöhnlich arbeiten diese Sensorsyste- me unabhängig voneinander und die Abschaltung eines Sensorsystems reduziert den Energieverbrauch entsprechend. A reduction of the cable expenditure, the construction volume and the programming effort is also possible by the method according to the invention. Furthermore, a vehicle configuration becomes more flexible because it is not necessary to select a navigation system for driver assistance functions that require an estimation or determination of the road type. Both the decision tree and the state machine can be chosen such that the number of environment data needed for the estimation is minimized. In this way, the computational effort can be reduced. The reduction in the number of environmental data can also lead to savings in the power supply of the sensor systems, since unnecessary sensors and their electronic computing systems can be switched off. Usually, these sensor systems operate independently of each other, and the shutdown of a sensor system reduces power consumption accordingly.
Ein Assistenzsystem kann eine Adaptive Cruise Control (ACC), ein Fernlichtassistent, eine Einparkhilfe, ein Wärmemanagement, ein Getriebemanagement oder ein Energiemanagement sein. In einer Fortentwicklung basiert das Zuordnen eines Qualifizierungswertes zu der Gesamtschätzung darauf, ob die Gesamtschätzung auf der Schätzung mithilfe des Zustandsautomaten oder des Entscheidungsbaumes basiert. Mithilfe des Qualifizierungswertes wird Abnehmern der Gesamtschätzung (beispielsweise Assistenzsystemen) eine Bewertung der Zuverlässigkeit der Gesamtschätzung ermöglicht. So kann einer Gesamtschätzung, die darauf basiert, dass sowohl die Schätzung mithilfe des Zustandsautomaten, als auch die Schätzung mithilfe des Entscheidungsbaumes zum selben Ergebnis geführt hat, ein besserer (gegebenenfalls höherer) Qualifizierungswert zugeordnet werden, als wenn die Schätzung mithilfe des Entscheidungsbaumes die Schätzung mithilfe des Zustandsautomaten nicht bestätigt. Eine Gesamtschätzung, die nur auf der Schätzung mithilfe des Entscheidungsbaumes basiert, kann ein schlechterer (gegebenenfalls niedrigerer) Qualifizierungswert zugeordnet werden, als wenn die Gesamtschätzung zumindest auch auf einer Schätzung mithilfe des Zustandsautomaten basiert. An assistance system may be an adaptive cruise control (ACC), a high beam assistant, a parking aid, a thermal management, a transmission management or an energy management. In a development, assigning a qualification value to the overall estimate is based on whether the overall estimate is based on the estimate using the state machine or the decision tree. The qualification value allows customers of the overall estimate (eg assistance systems) to assess the reliability of the overall estimate. For example, an overall estimate based on both the state machine estimate and the decision tree decision leading to the same result may be assigned a better (possibly higher) qualification score than the guess using the decision tree the state machine is not confirmed. An overall estimate based solely on the decision tree estimate may result in a lower (possibly lower) qualification score be assigned as if the overall estimate is at least also based on an estimate using the state machine.
In einer weiteren Fortentwicklung umfasst das Verfahren das Empfangen eines Satzes von auf Sensormessungen basierenden Umfelddaten, wobei jedem Element des Satzes ein Zeitpunkt zugewiesen ist; Für jedes Element des Satzes: Erstellen einer Teilschätzung des Straßentyps mithilfe des Entscheidungsbaumes basierend auf dem jeweiligen Element des Satzes; Wobei das Zuordnen des Qualifizierungswertes auch auf der Anzahl der Teilschätzungen, die mit der Gesamtschätzung übereinstimmen, basiert. Dies kann insbesondere bedeuten, dass jedes empfange- ne Element jeweils auf (mindestens) einer Sensormessung basiert, die zu einem anderen Zeitpunkt ausgeführt wurde. Auf diese Weise wird ein größerer Bereich des Umfelds des Fahrzeugs erfasst und durch Aufteilung in Abtastungen für Teilschätzung mithilfe des Entscheidungsbaumes verwendet. Der Qualifizierungswert kann derart bestimmt werden, dass jede Teilschätzung mit demselben Ergebnis wie das Ergebnis der Schätzung mithilfe des Zustandsautomaten den Qualifizierungswert erhöht. Teilschätzungen mit einem anderen Ergebnis jedoch nicht. In a further development, the method includes receiving a set of sensor-based environment data, each element of the set being assigned a time; For each element of the sentence: making a partial estimation of the road type using the decision tree based on the respective element of the sentence; The assignment of the qualification value is also based on the number of partial estimates which agree with the overall estimate. In particular, this may mean that each received element is based on (at least) one sensor measurement that was executed at a different time. In this way, a larger area of the environment of the vehicle is detected and used by dividing into samples for part estimation using the decision tree. The qualification value may be determined such that each partial estimate with the same result as the result of the state machine estimation increases the qualification value. However, partial estimates with a different result are not.
In einer anderen Weiterentwicklung umfasst das Verfahren das Empfangen eines Satzes von auf Sensormessungen basierenden Umfelddaten, wobei jedem Element des Satzes ein Zeitpunkt zugewiesen ist; Wobei das Schätzen mithilfe des Ent- scheidungsbaumes umfasst: Für jedes Element des Satzes: Erstellen einer Teilschätzung des Straßentyps mithilfe des Entscheidungsbaumes basierend auf dem jeweiligen Element des Satzes; Schätzen des Straßentyps basierend auf den erstellten Teilschätzungen, insbesondere mithilfe eines Mehrheitsentscheids. In another refinement, the method includes receiving a set of sensor-based environment data, wherein each item of the set is assigned a time; Where estimating using the decision tree comprises: for each element of the sentence: making a partial estimate of the road type using the decision tree based on the particular element of the sentence; Estimate the road type based on the partial estimates made, in particular by means of a majority decision.
Ein Satz von Umfelddaten umfasst mindestens zwei separierte Umfelddaten. Im Fall von Umfelddaten-Vektoren umfasst ein Satz von Umfelddaten mindestens zwei Umfeld-Vektoren. Ein Element des Satzes ist ein einzelner Vektor. Typischerweise basiert jedes Element auf Sensordaten, die zu einem Zeitpunkt gemessen wurden. A set of environment data includes at least two separate environment data. In the case of environment data vectors, a set of environment data comprises at least two environment vectors. An element of the sentence is a single vector. Typically, each element is based on sensor data measured at a time.
Die Schätzung mithilfe des Entscheidungsbaumes basiert somit auf mehreren Teilschätzungen mithilfe des Entscheidungsbaumes, wobei jeweils Umfelddaten, denen ein anderer Zeitpunkt zugeordnet ist, verwendet werden. Dies kann insbesondere bedeuten, dass jedes empfangene Element jeweils auf (mindestens) einer Sensormessung basiert, die zu einem anderen Zeitpunkt oder an einer anderen Position des Fahrzeugs ausgeführt wurde. Auf diese Weise wird ein größerer Bereich des Umfelds des Fahrzeugs erfasst und für die Schätzung mithilfe des Entscheidungs- baumes berücksichtigt. Die Verlässlichkeit der Schätzung mithilfe des Entscheidungsbaumes wird so erhöht. The estimate using the decision tree is thus based on multiple partial estimates using the decision tree, using environment data that is assigned to a different point in time. This can be special mean that each received element is based on (at least) one sensor measurement that was performed at a different time or at a different position of the vehicle. In this way, a larger area of the surroundings of the vehicle is recorded and taken into account for the estimation with the aid of the decision tree. The reliability of the estimation using the decision tree is thus increased.
In einer Weiterentwicklung umfasst das Verfahren das Bestimmen eines Funktionsparameters eines Sensors anhand der Gesamtschätzung des Straßentyps, insbesondere die Stärke der Stromversorgung oder die Deaktivierung der Stromversor- gung. Auf diese Weise kann die Funktion der Sensoren an die Situation des Straßentyps angepasst werden, was einerseits die Performanz der Sensoren erhöhen kann und gleichzeitig andererseits Energie sparen kann. In Situationen, in denen keine Sensoreingaben benötigt werden, kann der Sensor so in einen Modus mit niedrigerem Energieverbrauch verbracht werden. Die Reichweite von Ultraschall- sensoren beispielsweise hängt von der bereitgestellten Höhe der Energie- /Stromversorgung ab. In Fällen, in denen Hindernisse in kurzen Distanzen zu detektieren sind (beim Parken Innerorts zum Beispiel), können diese deshalb mit einer geringeren Stromzufuhr arbeiten, als in Fällen, in denen Hindernisse in größeren Distanzen zu detektieren sind (bei der Detektion anderer Verkehrsteilnehmer auf der Autobahn beispielsweise). In a further development, the method comprises determining a functional parameter of a sensor based on the overall estimate of the road type, in particular the strength of the power supply or the deactivation of the power supply. In this way, the function of the sensors can be adapted to the situation of the road type, which on the one hand can increase the performance of the sensors and at the same time save energy. In situations where sensor inputs are not required, the sensor can be placed in a lower power consumption mode. The range of ultrasonic sensors, for example, depends on the amount of energy / power supply provided. In cases where obstacles are to be detected at short distances (for example when parking in urban areas), they can therefore operate with a lower power supply than in cases where obstacles can be detected at greater distances (when detecting other road users on the road) Highway for example).
In einem anderen Aspekt ist eine Vorrichtung mit elektronischer Recheneinheit und Empfangseinheit für Umfelddaten dazu eingerichtet, eines der oben vorgestellten Verfahren auszuführen. Bei dieser Vorrichtung kann es sich um einen Mikroprozessor, einen Universalcomputer oder dedizierte Schaltkreise handeln. Die Vorrichtung kann durch Programmcode zur Ausführung des Verfahrens eingerichtet sein. Die Empfangseinheit für Umfelddaten kann eine Standardschnittstelle wie USB, CAN, Ethernet, Wi-Fi oder Firewire sein. In another aspect, an electronic data processing unit and environment data reception unit is configured to execute one of the above-presented methods. This device may be a microprocessor, a general-purpose computer or dedicated circuits. The device can be set up by program code for executing the method. The receiving unit for environment data may be a standard interface such as USB, CAN, Ethernet, Wi-Fi or Firewire.
KURZE BESCHREIBUNG DER ZEICHNUNGEN BRIEF DESCRIPTION OF THE DRAWINGS
Fig. 1 zeigt schematisch den Aufbau eines Systems gemäß einem Ausführungsbei- spiel. Fig. 2 zeigt schematisch den Aufbau einer Vorrichtung zur Schätzung des Straßentyps gemäß einem Ausführungsbeispiel. Fig. 1 shows schematically the structure of a system according to an embodiment example. Fig. 2 shows schematically the structure of a device for estimating the road type according to an embodiment.
Fig. 3 zeigt schematisch die Erzeugung eines Entscheidungsbaumes und den Entscheidungsbaum gemäß einem Ausführungsbeispiel. Fig. 4 zeigt schematisch einen Zustandsautomaten gemäß einem Ausführungsbeispiel. Fig. 3 shows schematically the generation of a decision tree and the decision tree according to an embodiment. 4 schematically shows a state machine according to an exemplary embodiment.
Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg. Like reference numerals refer to corresponding elements throughout the figures.
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE Fig. 1 zeigt schematisch den Aufbau eines Systems gemäß einem Ausführungsbeispiel. Sensoren eines Fahrzeugs, wie eine seitliche Kamera, eine nach vorne gerichtete Kamera, Ultraschallsensoren, Lidarsensoren und kapazitive Sensoren des Fahrwerks liefern an eine Vorrichtung 1 zur Schätzung des Straßentyps Umfelddaten. Diese Umfelddaten können sein: von der seitlichen Kamera erkannte Straßenlampen, durch die nach vorne gerichtete Kamera erkannter Gegenverkehr auf der Fahrbahn, durch die nach vorne gerichtete Kamera erkannte Verkehrsschilder, eine durch die nach vorne gerichtete Kamera erkannte Geschwindigkeitsbegrenzung, durch die Ultraschallsensoren erkannte Hindernisse auf der Fahrbahn, ein durch die Ultraschallsensoren erkannter Abstand zu einem vorausfahrenden Fahrzeug, eine durch die Lidarsensoren erkannte Bremsschwelle, eine durch die kapazitiven Sensoren erkannte Höhe eines Fahrwerks. Die Vorrichtung 1 zur Schätzung der Umfelddaten schätzt auf der Basis der Umfelddaten den Straßentyp, wofür eine von der Vorrichtung 1 umfasste elektronische Recheneinheit zum Einsatz kommt. Der geschätzte Straßentyp wird verschiedenen Fahrerassistenzfunktionen zur Verfügung gestellt. Beispielsweise einer Automatic Cruise Control (ACC), einem Fernlichtassistent, einer Park Manöver Assistenz (PMA), einer Park Distance Control (PDC) und einer aufbereiteten Sicht des Fahrzeugs von oben, basierend auf mehreren Kameras des Fahrzeugs (Top-View). Weiterhin wird der geschätzte Stra- ßentyp den Sensoren beziehungsweise Sensorsystemen zur Verfügung gestellt, die entsprechend dem geschätzten Typ deaktiviert werden können, um Energie zu sparen. DETAILED DESCRIPTION OF THE EMBODIMENTS Fig. 1 schematically shows the structure of a system according to an embodiment. Sensors of a vehicle such as a side camera, a front-facing camera, ultrasonic sensors, lidar sensors, and chassis capacitive sensors provide environmental data to an apparatus 1 for estimating the road type. This environment data may be: street lamps detected by the side camera, by the front-facing camera detected oncoming traffic on the road, by the front-facing camera detected traffic signs, a speed limit detected by the front-facing camera, obstacles detected by the ultrasonic sensors on the vehicle Lane, a detected by the ultrasonic sensors distance to a vehicle ahead, a detected by the Lidarsensoren brake threshold, a detected by the capacitive sensors height of a chassis. The environment data estimating apparatus 1 estimates the road type based on the surrounding data, for which an electronic computing unit included in the apparatus 1 is used. The estimated road type is provided to various driver assistance functions. For example, an Automatic Cruise Control (ACC), a high-beam assistant, a Park Maneuver Assistance (PMA), a Park Distance Control (PDC) and a prepared view of the vehicle from above, based on several cameras of the vehicle (top view). Furthermore, the estimated road ß type the sensors or sensor systems provided that can be deactivated according to the estimated type to save energy.
Fig. 2 zeigt schematisch den Aufbau einer Vorrichtung 1 zur Schätzung des Stra- ßentyps gemäß einem Ausführungsbeispiel. Die Vorrichtung empfängt Umfelddaten und gibt diese sowohl an Mittel 2 zur Schätzung des Straßentyps mittels eines Entscheidungsbaumes, als auch an Mittel 3 zur Schätzung des Straßentyps mittels eines Zustandsautomaten weiter. Beide Mittel 2 und 3 liefern eine Schätzung des Straßentyps (gegebenenfalls liefern die Mittel 3 die Ausgabe„keine Schätzung des Straßentyps möglich") an Mittel 4 zur Bildung einer Gesamtschätzung. Diese Mittel 4 bilden eine Gesamtschätzung basierend auf den Ausgaben der Mittel 2 und 3. Dabei ist vorgesehen, dass solange die Schätzung mithilfe des Zustandsautomaten einen Straßentyp ausgibt und nicht die Ausgabe„keine Schätzung des Straßentyps möglich" ausgibt, diese Schätzung des Zustandsautomaten die Gesamtschätzung bildet. Falls die Schätzung mithilfe des Zustandsautomaten die Ausgabe ergibt, dass keine Schätzung des Straßentyps möglich ist, wird die Schätzung mithilfe des Entscheidungsbaumes als Gesamtschätzung bereitgestellt. Die Gesamtschätzung wird von der Vorrichtung 1 ausgegeben. Die Mittel 2, 3 und 4 können sowohl in Hardware als auch in Software ausgeführt sein. Die Mittel 2 und 3 müssen nicht gleichzeitig die Schätzung vornehmen sondern können sie auch nacheinander vornehmen. FIG. 2 shows schematically the structure of a device 1 for estimating the road type according to an exemplary embodiment. The device receives environment data and passes it on to both means 2 for estimating the road type by means of a decision tree, and to means 3 for estimating the road type by means of a state machine. Both means 2 and 3 provide an estimate of the road type (if appropriate, the means 3 provide the output "no estimate of road type possible") to total estimate estimation means 4. These means 4 form an overall estimate based on the outputs of means 2 and 3. It is envisaged that as long as the estimation using the state machine outputs a road type and does not output the output "no estimation of the road type possible", this estimation of the state machine forms the total estimate. If the estimation using the state machine gives the output that no estimate of the road type is possible, the estimate is provided using the decision tree as an overall estimate. The total estimate is output from the device 1. The means 2, 3 and 4 can be implemented both in hardware and in software. The means 2 and 3 do not have to make the estimate at the same time but can also make them one after the other.
Fig. 3 zeigt schematisch die Erzeugung eines Entscheidungsbaumes und den Entscheidungsbaum. Der Algorithmus zur Induktion des Entscheidungsbaumes erhält als Trainingsdaten die während einer Fahrt aufgezeichneten Vektoren von Umfelddaten und den gleichzeig zu jedem Vektor bestimmten Straßentyp, der über ein Navigationssystem mit einer den Straßentyp speichernden digitalen Karte bestimmt wird. Algorithmen zur Erstellung beziehungsweise Induktion des Entscheidungsbaumes sind im Stand der Technik bekannt. Falls die in der digitalen Karten gespeicherten Straßentypen feiner klassifiziert sind, als die Klassifikation, die der Entscheidungsbaum liefern soll, müssen in der Karte gespeicherte Straßentypen zu einem Straßentyp für den Entscheidungsbaum zusammengefasst werden. In der Fig. 3 bezeichnet der Buchstabe„u" die Schätzung„Innerorts" (urban), der Buchsta- be„r" die Schätzung„Landstraße" (rural) und der Buchstabe„m" die Schätzung„Autobahn" (motorway). Der Umfelddaten-Vektor kann eine erkannte Geschwindigkeitsbegrenzung, eine erkannte Spurbreite, ein erkanntes Überholverbot, die Anzahl der Schilder links/rechts/insgesamt, links oder rechts erkannte Objekte umfassen. In der Vorrichtung 1 zur Schätzung des Straßentyps wird der erzeugte Entscheidungsbaum beispielsweise in den Quellcode einer Applikation beziehungsweise eines Programms integriert und wird Hilfe eines Compilers in Maschinensprache/Objektcode übersetzt. Bei der Auswertung eines Entscheidungsbaumes werden die Eingangsumfelddaten (der Inputvektor) durch das generierte „if-then-else"- Konstrukt top-down propagiert. Dieser baumartige Aufbau enthält in jedem Knoten eine (Schwellwert-)Abfrage, die sich auf einen Wert des Eingabevektors beziehungsweise Umfelddaten-Vektors bezieht. In den Blättern befinden sich jeweils die Ergebnisse eines solchen Abfragepfades, die gleichzeitig einer der zu klassifizierenden Klassen entsprechen, also der Schätzung des Straßentyps. Der Speicher- bedarf eines Entscheidungsbaumes als Objektcode setzt sich zum Einen aus den einzelnen Vergleichsbefehlen zusammen (Registerlade- und Vergleichsoperatoren, bzw. Sprungoperatoren, üblicherweise jeweils 32 Bit). Zum Anderen belegen die Schwellwerte, mit denen die Eingangsdaten verglichen werden, entsprechend ihrer Auflösung unterschiedlich viel Platz. Die erste Möglichkeit zur Speicherplatzoptimie- rung bietet die Abbildung bestimmter kontinuierlicher (analoger) Werte auf das diskrete Intervall 0-255, falls der Verlust an Genauigkeit für die Applikation vertretbar ist. Bei sehr großen Entscheidungsbäumen bietet die Definition einer angepassten Sprache und die Umsetzung eines entsprechenden Parsers eine weitere Möglichkeit zur Speicherplatzreduktion. Dabei wird ein reduziertes und angepasstes Alpha- bet von Operatoren und Operanden definiert, das speziell für den Entscheidungsbaum entworfen wurde. Ein Abfrageknoten kann somit in den meisten Fällen auf wenige Bytes reduziert werden. Der Speicherverbrauch an nicht wahlfrei beschreibbarem Speicher (ROM) eines Entscheidungsbaumes konnte auf diese Weise auf unter 8 KB reduziert werden bei einem allgemeinen Overhead von unter 7 KB. Der Bedarf an RAM war vernachlässigbar. Auch ist es möglich einen eigenen Entscheidungsbaum für ein bestimmtes Land oder eine bestimmte Region vorzusehen. Auch ist es möglich für jede Assistenzfunktion einen eigenen Entscheidungsbaum vorzusehen. Fig. 4 zeigt schematisch einen Zustandsautomaten gemäß einem Ausführungsbeispiel. Dargestellt sind die vier Zustände Innerorts, Landstraße und Autobahn sowie der Zustand, dass keine Schätzung möglich ist. Aus diesem Zustand kann mithilfe von drei Regeln in andere Zustände übergegangen werden. Regel 1 definiert, dass bei empfangenen Umfelddaten, die anzeigen, dass ein Schild erkannt wurde, dass einen beruhigten Verkehrsbereich (Spielstraße) anzeigt, in den Zustand„Innerorts" übergegangen wird. Da in diesem Fall der Zustandsautomat eine Schätzung liefert, die von dem Zustand, der anzeigt, dass keine Schätzung möglich ist, abweicht, wird durch die Vorrichtung 1 zur Schätzung des Stra- ßentyps die Schätzung des Zustandsautomaten („Innerorts") ausgegeben. Diese Schätzung wird für 500m ausgegeben, da der erkannte Straßentyp„Innerorts" ist. Fig. 3 shows schematically the generation of a decision tree and the decision tree. The decision tree induction algorithm obtains as training data the vectors of environmental data recorded during a trip and the road type determined simultaneously with each vector, which is determined via a navigation system having a digital map storing the road type. Algorithms for creating or inducing the decision tree are known in the art. If the road types stored in the digital map are classified finer than the classification that the decision tree is to deliver, road types stored in the map must be grouped into a road type for the decision tree. In FIG. 3, the letter "u" designates the estimate "urban", the letter the estimate "highway" (rural) and the letter "m" the estimate "motorway". The environment data vector may include a detected speed limit, a recognized lane width, a recognized overtaking ban, the number of signs left / right / total, left or right recognized objects. In the road-type estimation apparatus 1, for example, the generated decision tree is integrated into the source code of an application or a program, and a compiler is translated into machine language / object code. When evaluating a decision tree, the input environment data (the input vector) is propagated top-down through the generated "if-then-else" construct, which contains a (threshold) query in each node, based on a value of the input vector The sheets each contain the results of such a query path, which at the same time corresponds to one of the classes to be classified, ie the road type estimate Secondly, the thresholds at which the input data are compared occupy different amounts of space according to their resolution The first way to optimize memory space is to map certain continuous (analogue ) Values to the discrete interval 0-255 if the loss of accuracy is acceptable for the application. For very large decision trees, defining a custom language and implementing a corresponding parser provides another way to reduce storage space. It defines a reduced and adjusted alphabet of operators and operands designed specifically for the decision tree. An inquiry node can therefore be reduced to a few bytes in most cases. The memory consumption of non-randomly writable memory (ROM) of a decision tree could thus be reduced to less than 8 KB with a general overhead of less than 7 KB. The need for RAM was negligible. It is also possible to have your own decision tree for a specific country or region. It is also possible to provide a separate decision tree for each assistance function. 4 schematically shows a state machine according to an exemplary embodiment. Shown are the four states inner city, highway and highway and the state that no estimate is possible. This state can be changed to other states using three rules. Rule 1 defines that for received environment data indicating that a sign was detected indicating a quiet traffic area (game road), it is transitioned to the "in-town" state, in which case the state machine provides an estimate that depends on the state indicating that no estimation is possible, the estimation of the state machine ("in-town") is output by the road-type estimation apparatus 1. This estimate is issued for 500m because the detected road type is "in town".
Regel 2 definiert, dass bei empfangenen Umfelddaten, die anzeigen, dass ein Schild erkannt wurde, dass einen Ortsausgang anzeigt, in den Zustand„Landstraße" übergegangen wird. Da in diesem Fall der Zustandsautomat eine Schätzung liefert, die von dem Zustand, der anzeigt, dass keine Schätzung möglich ist, abweicht, wird durch die Vorrichtung 1 zur Schätzung des Straßentyps die Schätzung des Zustandsautomaten („Landstraße") ausgegeben. Diese Schätzung wird für 1000m ausgegeben, da der erkannte Straßentyp„Landstraße" ist. Rule 2 defines that for received environment data indicating that a sign was detected indicating a location exit, it is transitioned to the state "highway." In this case, the state machine provides an estimate that indicates the state that indicates that no estimation is possible deviates, the estimation of the state machine ("highway") is output by the device 1 for estimating the road type. This estimate is output for 1000m since the detected road type is "highway".
Regel 3 definiert, dass bei empfangenen Umfelddaten, die anzeigen, dass das Fahrzeug für 5 Minuten schneller als 120 km/h gefahren ist, in den Zustand„Autobahn" übergegangen wird. Da in diesem Fall der Zustandsautomat eine Schätzung liefert, die von dem Zustand, der anzeigt, dass keine Schätzung möglich ist, abweicht, wird durch die Vorrichtung 1 zur Schätzung des Straßentyps die Schätzung des Zustandsautomaten („Autobahn") ausgegeben. Diese Schätzung wird für 2000m ausgegeben, da der erkannte Straßentyp„Autobahn" ist. Rule 3 defines that in the case of received environment data indicating that the vehicle has been traveling faster than 120 km / h for 5 minutes, it is transitioning to the state "Highway." In this case, the state machine provides an estimate that depends on the state indicating that no estimation is possible, the estimation of the state machine ("highway") is output by the road-type estimation apparatus 1. This estimate is issued for 2000m since the recognized road type is "highway".
Der Zustandsautomat konnte mit einem Speicherverbrauch an nicht wahlfrei beschreibbarem Speicher (ROM) von unter 3 KB realisiert werden bei einem allgemeinen Overhead von unter 7 KB. Der Bedarf an RAM war vernachlässigbar. Auch ist es möglich einen eigenen Zustandsautomaten für ein bestimmtes Land oder eine bestimmte Region vorzusehen. Auch ist es möglich für jede Assistenzfunktion einen eigenen Zustandsautomaten vorzusehen. The state machine could be realized with a memory consumption of non-randomly writable memory (ROM) of less than 3 KB with a general overhead of less than 7 KB. The need for RAM was negligible. It is also possible to have your own state machine for a specific country or country certain region. It is also possible to provide a separate state machine for each assistance function.
Der Ausgabe der Vorrichtung 1 zur Schätzung des Straßentyps kann ein Qualifizierungswert zugeordnet werden. Dieser Qualifizierungswert ist abhängig von den Schätzungen mithilfe des Entscheidungsbaumes oder des Zustandsautomaten gestaltet. Gleichzeitig wird für diesen Qualifizierungswert, die Schätzung mithilfe des Entscheidungsbaumes dreimal (beziehungsweise mehrmals) durchgeführt, jeweils mit anderen Umfelddaten-Vektoren, die Sensormessungen zu verschiedenen Zeiten oder Positionen des Fahrzeugs, repräsentieren. Die mehreren Schätzungen mithilfe des Entscheidungsbaumes können durchgeführt werden während nur eine Schätzung mithilfe des Zustandsautomaten durchgeführt wird. Der Qualifizierungswert wird dann wie folgt gebildet, wobei ein höherer Qualifizierungswert auf eine bessere Gesamtschätzung hindeutet: Wert 5, falls die Schätzung mithilfe des Zustandsautomaten durch mindestens zwei Schätzungen mithilfe des Entscheidungsbaumes bestätigt wird; Wert 4, falls die Schätzung mithilfe des Zustandsautomaten durch eine Schätzung mithilfe des Entscheidungsbaumes bestätigt wird; Wert 3, falls die Schätzung mithilfe des Zustandsautomaten durch keine Schätzung mithilfe des Entscheidungsbaumes bestätigt wird; Wert 2, falls der Zustandsautomaten ausgibt, dass keine Schätzung möglich ist und drei Schätzungen mithilfe des Entschei- dungsbaumes dieselbe Schätzung ausgeben (die auch als Gesamtschätzung ausgegeben wird); Wert 1 , falls der Zustandsautomaten ausgibt, dass keine Schätzung möglich ist und zwei Schätzungen mithilfe des Entscheidungsbaumes dieselbe Schätzung ausgeben (die auch als Gesamtschätzung ausgegeben wird). The output of the road-type estimator 1 may be assigned a qualification value. This qualification value is designed based on the estimates using the decision tree or the state machine. At the same time, for this qualification value, the estimate using the decision tree is performed three times (or more times), each time with other environment data vectors representing sensor measurements at different times or positions of the vehicle. The multiple estimates using the decision tree can be performed while only one estimate is being performed using the state machine. The qualification value is then formed as follows, where a higher qualification value indicates a better overall estimate: value 5 if the estimation using the state machine is confirmed by at least two estimates using the decision tree; Value 4 if the estimation using the state machine is confirmed by an estimate using the decision tree; Value 3 if the estimation using the state machine is not confirmed by any estimate using the decision tree; Value 2 if the state machine outputs that no estimate is possible and three estimates use the decision tree to output the same estimate (which is also output as the total estimate); Value 1 if the state machine returns that no estimate is possible and two estimates use the decision tree to output the same estimate (which is also output as the total estimate).

Claims

ANSPRÜCHE
Verfahren zum Schätzen eines Straßentyps, das durch eine elektronische Rechenvorrichtung ausgeführt wird, umfassend: A method of estimating a road type performed by an electronic computing device, comprising:
Empfangen von auf einer Sensormessung basierenden Umfelddaten; Receiving environment-based sensor data;
Schätzen des Straßentyps mithilfe eines Entscheidungsbaumes basierend auf den Umfelddaten; Estimating the road type using a decision tree based on the surrounding data;
Schätzen des Straßentyps mithilfe eines Zustandsautomaten basierend auf den Umfelddaten; Estimating the road type using a state machine based on the environment data;
Bilden einer Gesamtschätzung des Straßentyps basierend auf der Schätzung mithilfe des Entscheidungsbaumes und der Schätzung mithilfe des Zustandsautomaten. Form an overall estimate of the road type based on the decision using the decision tree and the estimator using the state machine.
Verfahren nach Anspruch 1 , wobei die Schätzung des Straßentyps mithilfe des Zustandsautomaten auch die Ausgabe umfasst, dass kein Straßentyp bestimmt werden kann. The method of claim 1, wherein the estimation of the road type using the state machine also includes the output that no road type can be determined.
Verfahren nach Anspruch 2, wobei: The method of claim 2, wherein:
Das Bilden einer Gesamtschätzung umfasst das Setzen der Gesamtschätzung auf die Schätzung mithilfe des Zustandsautomaten, wenn die Schätzung mithilfe des Zustandsautomaten nicht ausgibt, dass kein Straßentyp bestimmt werden kann; Making an overall estimate involves setting the total estimate to the state machine estimate if the state machine's estimate does not reflect that no road type can be determined;
Das Bilden einer Gesamtschätzung umfasst ferner das Setzen der Gesamtschätzung auf die Schätzung mithilfe des Entscheidungsbaumes, wenn die Schätzung mithilfe des Zustandsautomaten ausgibt, dass kein Straßentyp bestimmt werden kann. Making an overall estimate further includes setting the total estimate to the estimate using the decision tree when the Estimate using the state machine states that no road type can be determined.
Verfahren nach Anspruch 3, ferner umfassend: The method of claim 3, further comprising:
Zuordnen eines Qualifizierungswertes zu der Gesamtschätzung, basierend darauf, ob die Gesamtschätzung auf der Schätzung mithilfe des Zustandsautomaten oder des Entscheidungsbaumes basiert. Associating a qualification value with the total estimate based on whether the total estimate is based on the estimate using the state machine or the decision tree.
Verfahren nach Anspruch 4, ferner umfassend: The method of claim 4, further comprising:
Empfangen eines Satzes von auf Sensormessungen basierenden Umfelddaten, wobei jedem Element des Satzes ein Zeitpunkt zugewiesen ist; Receiving a set of sensor measurements based environment data, each element of the set being assigned a time;
Für jedes Element des Satzes: Erstellen einer Teilschätzung des Straßentyps mithilfe des Entscheidungsbaumes basierend auf dem jeweiligen Element des Satzes; For each element of the sentence: making a partial estimation of the road type using the decision tree based on the respective element of the sentence;
Wobei das Zuordnen des Qualifizierungswertes auch auf der Anzahl der Teilschätzungen, die mit der Gesamtschätzung übereinstimmen, basiert. The assignment of the qualification value is also based on the number of partial estimates which agree with the overall estimate.
Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: The method of any one of the preceding claims, further comprising:
Empfangen eines Satzes von auf Sensormessungen basierenden Umfelddaten, wobei jedem Element des Satzes ein Zeitpunkt zugewiesen ist; Receiving a set of sensor measurements based environment data, each element of the set being assigned a time;
Wobei das Schätzen mithilfe des Entscheidungsbaumes umfasst: The estimation using the decision tree includes:
Für jedes Element des Satzes: Erstellen einer Teilschätzung des Straßentyps mithilfe des Entscheidungsbaumes basierend auf dem jeweiligen Element des Satzes; Schätzen des Straßentyps basierend auf den erstellten Teilschätzungen, insbesondere mithilfe eines Mehrheitsentscheids. For each element of the sentence: making a partial estimation of the road type using the decision tree based on the respective element of the sentence; Estimate the road type based on the partial estimates made, in particular by means of a majority decision.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Entscheidungsbaum durch maschinelles Lernen induziert wird, insbesondere mit Trainingsdaten, die als Entscheidungsergebnis die Bestimmung des Straßentyps mithilfe eines Satellitennavigationssystems und einer digitalen Karte vorgeben. 7. The method according to any one of the preceding claims, wherein the decision tree is induced by machine learning, in particular with training data that predetermine the determination of the road type using a satellite navigation system and a digital map as a result of the decision.
8. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: 8. The method according to any one of the preceding claims, further comprising:
Bestimmen eines Funktionsparameters eines Sensors anhand der Gesamt- Schätzung des Straßentyps, insbesondere die Stärke der Stromversorgung oder die Deaktivierung der Stromversorgung. Determining a function parameter of a sensor based on the overall estimate of the road type, in particular the strength of the power supply or the deactivation of the power supply.
9. Vorrichtung mit elektronischer Recheneinheit und Empfangseinheit für Umfelddaten, die dazu eingerichtet ist ein Verfahren nach einem der Ansprüche 1 bis 8 auszuführen. 10. Fahrzeug, umfassend eine Vorrichtung nach Anspruch 9. 9. Device with electronic processing unit and receiving unit for environment data, which is adapted to carry out a method according to one of claims 1 to 8. 10. vehicle, comprising a device according to claim 9.
EP13771129.7A 2012-10-09 2013-09-30 Estimating a street type using sensor-based surroundings data Active EP2907120B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012218362.0A DE102012218362A1 (en) 2012-10-09 2012-10-09 Estimation of the road type using sensor-based environmental data
PCT/EP2013/070314 WO2014056746A1 (en) 2012-10-09 2013-09-30 Estimating a street type using sensor-based surroundings data

Publications (2)

Publication Number Publication Date
EP2907120A1 true EP2907120A1 (en) 2015-08-19
EP2907120B1 EP2907120B1 (en) 2021-03-17

Family

ID=49293638

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13771129.7A Active EP2907120B1 (en) 2012-10-09 2013-09-30 Estimating a street type using sensor-based surroundings data

Country Status (4)

Country Link
US (1) US10072936B2 (en)
EP (1) EP2907120B1 (en)
DE (1) DE102012218362A1 (en)
WO (1) WO2014056746A1 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150061752A (en) * 2013-11-28 2015-06-05 현대모비스 주식회사 Device for driving assist and method for activating the function automatically by the device
CN104392245B (en) * 2014-12-15 2017-11-28 长春理工大学 The method for recognizing road surface types and device of Multi-sensor Fusion
US9884632B2 (en) * 2015-08-12 2018-02-06 Inrix Inc. Personal vehicle management
DE202016001002U1 (en) 2016-02-16 2017-05-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) System for detecting a directional road, motor vehicle and computer program product
DE102016210534A1 (en) * 2016-06-14 2017-12-14 Bayerische Motoren Werke Aktiengesellschaft Method for classifying an environment of a vehicle
DE102016214027A1 (en) 2016-07-29 2018-02-01 Volkswagen Aktiengesellschaft Method and system for detecting landmarks in a traffic environment of a mobile unit
CN110320899B (en) * 2018-03-30 2021-08-10 比亚迪股份有限公司 Automobile and driving control method thereof
CN108562301A (en) * 2018-05-21 2018-09-21 北京石油化工学院 A kind of method and device for planning of driving path
CN109448366B (en) * 2018-10-18 2021-09-17 南京航空航天大学 Airspace sector crowding degree prediction method based on random forest
DE102018222723A1 (en) * 2018-12-21 2020-06-25 Siemens Mobility GmbH Method and device for object detection
US11645511B2 (en) 2019-04-24 2023-05-09 Toyota Research Institute, Inc. Systems and methods for simulating instantaneous attentive human responses to road hazards for improved early warning systems and fleet data harvesting
CN113232674A (en) * 2021-05-28 2021-08-10 南京航空航天大学 Vehicle control method and device based on decision tree and Bayesian network
DE102021120043A1 (en) 2021-08-02 2023-02-02 Cariad Se Method and control circuit for monitoring a permissibility condition for an automated driving mode of a motor vehicle and motor vehicle with the control circuit
CN114140903B (en) * 2021-08-02 2024-03-19 南斗六星系统集成有限公司 Road type recognition vehicle-mounted device based on decision tree generation rule

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19606259C1 (en) 1996-02-06 1997-06-26 Mannesmann Ag Selection of traffic information
US6879969B2 (en) * 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
DE10138641A1 (en) 2001-08-07 2003-02-20 Ibeo Automobile Sensor Gmbh Fast and reliable determination of a model or optimum-driving course for a motor vehicle based on information relating to the actual path of a road obtained using an optoelectronic scanning or sensing system
DE10242864A1 (en) * 2002-09-14 2004-03-25 Adam Opel Ag Automatic headlamp regulator for motor vehicle with at least one headlamp has at least one sensor with at least one light emitting diode associated with headlamp for measuring incident light intensity
DE102004003848A1 (en) * 2004-01-26 2005-08-11 Ibeo Automobile Sensor Gmbh Method for identifying marked danger and / or construction sites in the area of roadways
DE102005052175A1 (en) * 2005-11-02 2007-05-24 Robert Bosch Gmbh Information outputting method for use in motor vehicle, involves detecting surrounding of vehicle using image detection unit, and determining momentary driving region and/or momentary driving street type from detected image
US9848289B2 (en) * 2006-03-08 2017-12-19 Octo Advisory Inc. Safe driving monitoring system
US8155826B2 (en) * 2007-03-30 2012-04-10 Aisin Aw Co., Ltd. Vehicle behavior learning apparatuses, methods, and programs
US7696866B2 (en) * 2007-06-28 2010-04-13 Microsoft Corporation Learning and reasoning about the context-sensitive reliability of sensors
US20130131980A1 (en) * 2007-09-07 2013-05-23 On Time Systems, Inc. Resolving gps ambiguity in electronic maps
US8260515B2 (en) * 2008-07-24 2012-09-04 GM Global Technology Operations LLC Adaptive vehicle control system with driving style recognition
AU2009315229A1 (en) * 2008-11-13 2010-05-20 Aser Rich Limited System and method for improved vehicle safety through enhanced situation awareness of a driver of a vehicle
EP2539197B1 (en) * 2010-02-26 2020-12-16 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
US9453759B2 (en) * 2010-09-09 2016-09-27 Autoliv Development Ab System for determining vibration characteristics of a motor vehicle
JP5474254B2 (en) * 2011-02-24 2014-04-16 三菱電機株式会社 Navigation device, recommended speed calculation device, and recommended speed presentation device
WO2012119087A1 (en) * 2011-03-03 2012-09-07 Telogis, Inc. Vehicle route calculation
DE102011005844A1 (en) * 2011-03-21 2012-09-27 Bayerische Motoren Werke Aktiengesellschaft Method for automatic controlling of vehicle, involves processing transverse movement of vehicle by decision tree and processing longitudinal movement of vehicle by another decision tree
WO2013043928A2 (en) * 2011-09-20 2013-03-28 Telogis, Inc. Vehicle fleet work order management system
EP2574511B1 (en) * 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
US9037406B2 (en) * 2011-10-07 2015-05-19 Telogis, Inc. Vehicle fleet routing system
US9020760B2 (en) * 2012-02-08 2015-04-28 Telogis, Inc. System for classifying streets for vehicle navigation
US8543254B1 (en) * 2012-03-28 2013-09-24 Gentex Corporation Vehicular imaging system and method for determining roadway width
US8949016B1 (en) * 2012-09-28 2015-02-03 Google Inc. Systems and methods for determining whether a driving environment has changed

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2014056746A1 *

Also Published As

Publication number Publication date
WO2014056746A1 (en) 2014-04-17
US20150211867A1 (en) 2015-07-30
DE102012218362A1 (en) 2014-04-24
EP2907120B1 (en) 2021-03-17
US10072936B2 (en) 2018-09-11

Similar Documents

Publication Publication Date Title
EP2907120B1 (en) Estimating a street type using sensor-based surroundings data
DE102018108036B4 (en) Route setting device and route setting method
EP3160813B1 (en) Method for producing a model of the surroundings of a vehicle
DE102018112317B4 (en) Driver assistance device
DE112016002488B4 (en) DRIVING ASSISTANCE DEVICE
DE102018133576A1 (en) TRAJEKTORIENPLANER WITH DYNAMIC COST LEARNING FOR AUTONOMOUS DRIVING
DE102017105897B4 (en) Vehicle and method of controlling the same
DE102012204441A1 (en) Method and device for detecting a course of a road for vehicles
DE102013013747A1 (en) Driver assistance system, vehicle with a driver assistance system and method for operating a driver assistance system
DE102018210280A1 (en) Adaptation of the trajectory of an ego vehicle to moving foreign objects
EP3027479A1 (en) Making available a model of the surroundings when a sensor of a vehicle fails
DE102018216110A1 (en) Method and device for providing an environment image of an environment of a mobile device and motor vehicle with such a device
DE102017118651A1 (en) Method and system for collision avoidance of a vehicle
DE102019117663A1 (en) Vehicle control system
DE112016007351T5 (en) Vehicle control device
DE102012206211A1 (en) Method and device for determining a lane adjustment parameter for a lane keeping system of a vehicle and method and device for tracking a vehicle
DE102019215657A1 (en) Vehicle control system and method
DE102015223481A1 (en) Method for adjusting a steering assistance of a vehicle
DE102020131949A1 (en) SYSTEM AND PROCEDURE FOR LEARNING DRIVER PREFERENCE AND ADAPTING LANE CENTERING CONTROL TO DRIVER BEHAVIOR
EP3024709B1 (en) Efficiently providing occupancy information on the surroundings of a vehicle
DE102021109395A1 (en) METHODS, SYSTEMS AND DEVICES FOR USER UNDERSTANDABLE EXPLAINABLE LEARNING MODELS
WO2020002100A1 (en) Method for operating an at least partially automated vehicle
DE102010049215A1 (en) Method for determining vehicle environment, particularly for determining traffic lane course, involves determining objects in environment of vehicle from current local environment data
DE102018124161A1 (en) Method for at least partially automated driving of a motor vehicle on a roadway
DE102021000792A1 (en) Method for operating a vehicle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150310

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: NAGY, ISTVAN

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160217

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502013015573

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G08G0001000000

Ipc: G06K0009000000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G06K 9/00 20060101AFI20201023BHEP

Ipc: G06K 9/62 20060101ALI20201023BHEP

INTG Intention to grant announced

Effective date: 20201117

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502013015573

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1372923

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210415

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210618

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210617

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210617

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20210317

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502013015573

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0010000000

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210717

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210719

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502013015573

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

26N No opposition filed

Effective date: 20211220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20210930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210717

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210930

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210930

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210930

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210930

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1372923

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20130930

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230502

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230921

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230918

Year of fee payment: 11

Ref country code: DE

Payment date: 20230912

Year of fee payment: 11

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210317