EP3928127A1 - Infrastructure-side surroundings acquisition in autonomous driving - Google Patents

Infrastructure-side surroundings acquisition in autonomous driving

Info

Publication number
EP3928127A1
EP3928127A1 EP20725093.7A EP20725093A EP3928127A1 EP 3928127 A1 EP3928127 A1 EP 3928127A1 EP 20725093 A EP20725093 A EP 20725093A EP 3928127 A1 EP3928127 A1 EP 3928127A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
environment model
data
sensor data
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20725093.7A
Other languages
German (de)
French (fr)
Inventor
Dominic BERGES
Dominik Zoeke
Marcus Zwick
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP3928127A1 publication Critical patent/EP3928127A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations

Definitions

  • the invention relates to a method for generating a field model of an autonomously controlled vehicle.
  • the invention also relates to a method for the autonomous control of a vehicle.
  • the invention also relates to an environment model generation device.
  • the invention also relates to a vehicle control device.
  • the invention also relates to an autonomously controlled vehicle.
  • the invention also relates to an automated transport system.
  • Autonomous driving is understood to be the independent driving, control and parking of a vehicle without human influence.
  • Autonomous driving requires precise knowledge of the position and speed both of the autonomously controlled vehicle itself and of objects located in the vicinity of a route of an autonomously controlled vehicle. Therefore, in the context of autonomous vehicles, the perception of the surroundings and the localization and detection of objects as well as the autonomous vehicle itself are of outstanding importance. If the surroundings are only detected by the autonomous vehicle itself, this detection is limited to the detection sensors of the autonomous vehicle.
  • the sensors used in vehicles, such as lidar, radar, ultrasonic sensors and cameras have limitations in terms of their range, real-time capability, coverage of the surrounding area and performance, especially in different weather conditions, such as strong sunlight, rain and
  • shading areas caused by trucks or cars can occur during the vehicle-side environment recognition, which cannot be perceived by one's own environment detection.
  • major decisions when detecting objects, ie an object is detected by a majority of the available sensors, but not by a minority. It is then accepted that an object has been detected. It would be desirable to have the To increase the number of sensors contributing to such a decision beyond the number of sensors directly available to an autonomous vehicle. Infrastructural sensors could then also be consulted for such a decision two sensors of the vehicle detect an object but two sensors of two existing sensors on the side of the infrastructure detect the object, then it would also be accepted that an object was detected.
  • Some situations also require a "look around the corner", for example driving on an X-junction or T-junction. Difficult situations, such as entrances and exits from underpasses or bridges, turning maneuvers, overtaking maneuvers, etc., cannot be safely dealt with by sensors on the vehicle either.
  • Another problem is that an ever more complex sensor system and an increasingly complex environment modeling algorithm are used in a powerful environment detection. This is associated with immense costs for the individual vehicles. For example, up to 12 lidar devices are currently installed, the unit price of which is between 6,000 and 65,000 euros.
  • the speed of the autonomous vehicle is greatly reduced in order to ensure the safety of the vehicle, or emergency braking occurs, as a result of which occupants in autonomous vehicles are endangered. Attempts should therefore be made to avoid such emergency braking.
  • a safety driver is required, who forms a fallback level of the system.
  • the object is therefore to provide a method and a device for improved environment recognition and localization of autonomous vehicles.
  • This object is achieved by a method for generating an environment model of an autonomously controlled vehicle according to claim 1, a method for autonomous control of a vehicle according to claim 10, an environment model generation device according to claim 11, a vehicle control device according to claim 12, an autonomously controlled vehicle according to claim 13 and an automated transport system according to claim 14 solved.
  • sensor data are recorded by a plurality of infrastructure-side sensors in a surrounding area of the vehicle.
  • the merged sensor data are generated on the basis of the recorded sensor data.
  • environment model data are generated in a stationary manner by evaluating the sensor data on the infrastructure side, objects located in the environment area being localized and be identified. Finally, the environment model data are transmitted to the vehicle.
  • the sensors on the infrastructure side work on the principle of geofencing. If an autonomously controlled vehicle enters a communication area of the infrastructure-side monitoring, communication takes place between the infrastructure and the autonomous vehicle. As part of this communication, the vehicle receives information about the permanently defined surrounding area monitored by the sensors and objects that are present or moving therein. An environment model of the autonomous vehicle can be created or supplemented on the basis of this information. If the autonomous vehicle drives into the detection area of the infrastructure-side sensors, it is detected and this information is integrated into the environment model of the area monitored by the sensors. If the autonomously controlled vehicle leaves the communication area, communication between the infrastructure-side monitoring units and the relevant autonomously controlled vehicle ends. The communication area and the monitoring area do not have to, but can also be identical.
  • an environment model is generated by using the method according to the invention for generating an environment model of an autonomously controlled vehicle.
  • the environment model can be transmitted statically for a defined so-called traffic cell in which the autonomous vehicle is currently located.
  • the current vehicle position can be used to dynamically track the transmitted environment model section.
  • the environment model generating device has infrastructure-side sensors for acquiring sensor data in the area surrounding the sensors.
  • Part of the environment model generation device according to the invention is also a stationary fusion unit for merging the sensor data.
  • the environment model generation device according to the invention also has an evaluation unit for the stationary generation of environment model data on the basis of the merged sensor data. Objects located in the surrounding area are localized and identified.
  • Part of the environment model generation device according to the invention is also a stationary communication unit for transmitting the environment model data to an autonomously controlled vehicle.
  • the environmental mo- Dent generation device shares the advantages of the method according to the invention for generating an environment model of an autonomously controlled vehicle.
  • the vehicle control device has a vehicle-side communication unit for receiving field model data from the stationary environment model generation device. Part of the vehicle control device according to the invention is also a control unit for the automated control of the driving behavior of a vehicle on the basis of the environment model generated by the stationary environment model generation device according to the invention.
  • the vehicle control device shares the advantages of the method according to the invention for autonomous control of a vehicle.
  • the autonomously controlled vehicle according to the invention comprises the vehicle control device according to the invention.
  • the autonomously controlled vehicle according to the invention shares the advantages of the vehicle control device according to the invention.
  • the automated transport system according to the invention has a surrounding model generating device arranged on the infrastructure side according to the invention and at least one autonomously controlled vehicle according to the invention.
  • An object localization can advantageously be supplemented by the infrastructure or at least partially outsourced to it, so that the performance of the object localization and object recognition of an autonomously controlled vehicle is improved.
  • Some components of the environment model generation device according to the invention, the vehicle control device according to the invention, the autonomously controlled vehicle according to the invention and the automated transport system according to the invention can for the most part be designed in the form of software components. This applies in particular to parts of the stationary fusion unit, the evaluation unit and the control unit. Basically, these components can but also in part, especially when it comes to particularly fast calculations, in the form of software-supported hardware, for example FPGAs or the like. Likewise, the required interfaces, for example if it is only a matter of transferring data from other software components, can be designed as software interfaces. But they can also be configured as hardware-based
  • Interfaces can be formed that are controlled by suitable software.
  • a largely software-based implementation has the advantage that computer systems already present in a mobile object or in infrastructure can easily be retrofitted with a software update after a possible addition by additional hardware elements, such as sensors and communication units. to work in the manner of the invention.
  • the object is also achieved by a corresponding computer program product with a computer program that can be loaded directly into a memory device of such a computer system, with program sections to carry out the steps of the method according to the invention that can be implemented by software when the computer program is executed in the computer system.
  • such a computer program product can optionally contain additional components such as documentation and / or additional components, including hardware components, such as Hardware keys (dongles etc.) for using the software.
  • additional components such as documentation and / or additional components, including hardware components, such as Hardware keys (dongles etc.) for using the software.
  • a computer-readable medium for example a memory stick, a hard disk or some other transportable or permanently installed data carrier on which the program sections of the computer program that can be read and executed by a computer unit can be used for transport to the memory device of the computer system and / or for storage on the computer system are stored.
  • the computing unit can, for example, have one or more cooperating microprocessors or the like for this purpose.
  • the sensors include radar sensors and / or lidar sensors.
  • radar waves preferably have wavelengths of a few millimeters to centimeters. Radar offers complete volume illumination without blind spots, but with a comparable sensor size, a lower selectivity is achieved than with lidar. But radar is robust in almost all weather conditions, such as rain, snow, fog, darkness or direct sunlight.
  • Lidar has the property of being able to display object edges more precisely than radar. However, Lidar has a very limited field of vision and is also more susceptible to adverse weather conditions.
  • the two detection technologies can also be advantageously combined in order to combine the various advantages of the different technologies described with one another and to compensate for the disadvantages described.
  • the sensors can also have cameras. With cameras, an extensive area can be recorded and monitored simultaneously with good resolution.
  • a combination of radar and / or lidar with cameras as sensors can also be used advantageously.
  • the environment model data are preferably generated object-based, with attributes being assigned to individual objects.
  • the at tributes include information on relevant properties of the detected objects. These properties enable a hazard assessment in connection with a detected object and they allow the behavior of a detected object to be predicted to a certain extent.
  • the named attributes of an object can include at least one of the following attribute types:
  • Further attributes can include time stamps, an identification number, the length, width and height of a vehicle or object, contours, parameters close to raw data, such as the number of reflection points or a security level or reliability level of transmitted data.
  • the reliability of the data can depend, for example, on whether they were estimated or otherwise determined.
  • the environment model data include a grid-based occupancy map.
  • a grid-based occupancy map also referred to as an "occupancy grid map” divides the monitored area into a plurality of cells, the occupancy probability of which is determined on the basis of sensor data.
  • An object can be identified on the basis of the position and number of occupied cells in the grid or grid of the grid-based occupancy map, and a detection probability value of an object can be specified on the basis of the probability of the cells being occupied.
  • the surrounding area is divided into sub-areas with different priorities.
  • Areas with different priorities can, for example, have different requirements for real-time capabilities of sensor detection, different security requirements and system requirements derived from them.
  • a high priority may require the use of different sensors with different performance in different weather conditions, a high level of redundancy in the detection of objects and the processing of sensor data, high real-time requirements and a high level of accuracy and resolution in the area detection.
  • a significant proportion of the processing of the sensor data is preferably carried out in each sensor itself, taking into account the specific sensor properties. No further prior knowledge is therefore required to generate the occupancy card. This reduces the amount of data collected by all sensors and the computing load for creating the occupancy card. However, this can be at the expense of the accuracy of the result, since information can be lost during the sensor-internal processing, which information can be helpful for a possible data fusion when creating the occupancy card.
  • the grid-based occupancy map is preferably generated on the basis of the object-based environment model data.
  • the amount of data for generating the grid-based occupancy rate is relatively small, so that the grid-based occupancy map can be created very quickly.
  • the grid-based occupancy card is particularly preferably generated directly on the basis of the sensor data.
  • the captured data can be processed particularly precisely, since no intermediate steps can lead to a loss of information.
  • the processing takes place here on the basis of sensor data, which are composed in such a way that no information that is helpful for increasing the accuracy of the data fusion is lost due to any preprocessing.
  • the amount of data is not necessarily increased in this case, however, certain sensor properties or prior knowledge of the procurement unit of the sensor, such as the resolution, the measurement accuracy, etc., must be known and taken into account during the fusion.
  • sensor data recorded on the vehicle side from the area surrounding the vehicle are also used to generate the environment model data.
  • a database for the environment model of the vehicle can advantageously be expanded, so that the reliability, resolution and completeness of the environment model is improved.
  • FIG. 1 shows a flow diagram which illustrates a method for generating an environment model of an autonomously controlled vehicle according to an exemplary embodiment of the invention
  • FIG. 2 shows a schematic representation of an automated transport system
  • 3 shows a schematic representation of a stationary monitored straight route with areas with different priorities
  • FIG. 5 shows a schematic representation of a layer model of determined environment data
  • FIG. 6 shows a schematic representation which illustrates the creation of a digital twin of a node or an intersection
  • FIG. 7 shows an environment model generating device according to an exemplary embodiment of the invention
  • FIG. 8 shows a schematic representation of a vehicle control device.
  • FIG. 1 shows a flow diagram 100 which illustrates a method for generating an environment model MD of an autonomously controlled vehicle F according to an exemplary embodiment of the invention.
  • step 1. I sensor data SD are recorded by a plurality of infrastructure-side sensors in an area surrounding the vehicle F.
  • the sensors used to acquire the sensor data can include, for example, lidar sensors, radar sensors and cameras.
  • the sensors are arranged on sensor masts at regular intervals along a driveway or around an intersection or junction and each monitor a closer environment.
  • step 1.II the sensor data SD from different sensors are merged, so that merged sensor data FSD are generated on the basis of the sensed sensor data.
  • step 1.III an environment model MD of a street section, for example an intersection or a straight line, becomes stationary Section, based on the merged sensor data. In the context of the environment model, rich objects located in the environment are localized and identified.
  • the environment model data MD are also transmitted to the vehicle F.
  • the vehicle F enriches its own environment model MDF with the stationary environment model MD, ie it supplements its environment model MDF with the environment model data MD obtained, which were recorded and generated in a stationary manner.
  • FIG. 2 shows a schematic representation 20 of an arrangement made up of a vehicle-side and an infrastructure-side sensor system.
  • the infrastructure 23 comprises sensor units 22a, 22b with sensors A2, with which a road section 21 is monitored on which a vehicle F is on the way.
  • Typical sensors are, for example, lidar sensors, radar sensors and optical sensors, such as cameras, with which data from the environment of the infrastructure is recorded.
  • the recorded data is also evaluated, checked for plausibility and exchanged.
  • a defined area is monitored on the infrastructure side by the devices 22a, 22b mentioned, which is also referred to as GeoFence. This area is divided into a core area with high priority and an area with low priority. The monitoring of the different areas mentioned meets different requirements in terms of latency, detection probability, etc.
  • the sensor units 22a, 22b each have communication antennas A1, with which they can communicate with other units, such as an evaluation device 22d or with the vehicle F, with the aid of a communication unit 22c on the roadside.
  • the vehicle F also has a sensor unit A2 with which it can monitor its surroundings.
  • the vehicle F also an antenna A1, with which it can communicate with the sensor units 22a, 22b or the evaluation device 22d, if necessary via the infrastructure-side communication unit 22c.
  • an autonomous vehicle F has an on-board unit (not shown) for communication, with which it can communicate via the antenna A1 with an infrastructure-side communication unit 22c.
  • the infrastructure-side communication unit 22c transmits its information periodically by radio. For example, the IEEE 802.11 standard or car-to-X can be used for transmission.
  • the vehicle F receives information relating to an environment model of the infrastructure.
  • the information on the surroundings can be transmitted, for example, to all road users in the catchment area of the infrastructure-side communication unit 22c or the traffic cell assigned to it. If an environment model is to be dynamically adapted for individual vehicles, identification can take place via bidirectional communication.
  • FIG. 3 shows an example of a straight stretch 30 which is divided into a core area 31a with high priority and an outer area 31b with low priority.
  • the core area 31a is formed by the driving area of the route 30 for vehicles F and has particularly high safety requirements. These are met by an increased number of different sensors 22a, 22b that monitor this core area rich.
  • the different sensors complement each other through their properties in terms of detection accuracy and availability in different weather conditions and have redundancy in the acquisition and processing of the monitoring data.
  • the real-time requirements as well as the accuracy and resolution of the environment detection in the core area are significantly higher than in the Periphery.
  • the required sensors and evaluation devices are selected and arranged accordingly.
  • a junction 40 is shown in the road network. This also has a core area 41a with high priority and a peripheral area 41b with lower priority. The junction 40 is with the help of three sensor units 22a,
  • monitoring data are transmitted from a communication unit 22c by radio to vehicles F in the transmission range.
  • FIG. 5 shows a layer model 50 for an environment model with five layers.
  • Four-layer models are already known as “local dynamic map”.
  • the conventional four-layer model is supplemented by an additional layer S5 can be transferred to a vehicle as a compact representation of a surrounding situation.
  • the lowest layer S1 comprises so-called permanent static data, such as map data.
  • the second lowest layer S2 comprises transient static data, such as the roadside infrastructure. This includes street signs, landmarks, etc.
  • the third layer S3 comprises the transient dynamic data. These include, for example, traffic data and data about the signal phase or data about the current weather-related road conditions.
  • the fourth layer S4 comprises highly dynamic data, such as vehicles and pedestrians.
  • the traffic participants detected by the sensors such as pedestrians P, cyclists, vehicles F and the associated estimated attributes, such as their position. position, length, speed, detection probability and type.
  • the determination of the type ie the distinction between a pedestrian, a cyclist and a vehicle, is carried out by applying a classification algorithm to the recorded sensor data.
  • the fifth layer S5 is formed by a grid-like occupancy map.
  • the current positions of objects, such as vehicles, are shown as a grid R.
  • the data present in layer S4 are converted into the occupancy grid format.
  • the raw data from the sensors can also be used directly.
  • the monitored area is divided into cells and the probability that the cells are occupied is determined by the infrastructure-side evaluation units and, if necessary, also by the vehicle-side evaluation units. The quality of the determination of the occupation probability and the attributes mentioned is increased by sensor data fusion.
  • scene interpretations such as a suitable behavior model for the autonomous vehicle F
  • the infrastructural monitoring enables a better assessment of the dynamics in the area under consideration. For this purpose, information about the traffic flow of certain streets and intersections can be collected.
  • Layer S1 is static, whereas layers S4 and S5 concern highly dynamic processes.
  • the information recorded on the infrastructure side relates in particular to layers S4 and S5. Depending on the dynamics and criticality of the available data, these are passed on to the vehicle at a correspondingly high update rate. For highly dy- Named data is typically at least 15 updates per second.
  • Layer 1 data is static and only needs to be transmitted to the vehicle once a day.
  • the data of the different layers basically have different update frequencies and therefore also have different requirements with regard to real-time data acquisition and data transmission.
  • Layer S5 is used, in particular, for free space modeling with a very small amount of data and thus a high possible update rate and low latency. A vehicle can be informed in real time about a drivable area using data from layer S5.
  • FIG. 6 shows a schematic illustration 60 which illustrates the creation of a digital twin of a node or an intersection.
  • the detected objects F, M, P are shown as cubic objects.
  • This data can then be passed on to an autonomous vehicle for enrichment and expansion.
  • the transmission process can take place through a communication medium such as a roadside unit 22c (see also FIG. 2) or with the aid of 4G / 5G data transmission.
  • the flow of information can be unidirectional from infrastructure 22a, 22b, 22c, 22d to vehicle F and vice versa, unidirectional from vehicle F to infrastructure 22a, 22b,
  • 22c, 22d take place.
  • the flow of information can, however, also be bidirectional.
  • FIG. 7 shows a schematic representation of a surrounding model generating device 70.
  • the environment model generation device 70 comprises infrastructure-side sensors 22a, 22b for acquiring sensor data SD in the vicinity of the sensors.
  • the recorded sensor data are transmitted to an evaluation device 22d via a communication unit 22c.
  • the evaluation device 22d comprises a stationary fusion unit 71 for merging the sensor data SD and an evaluation unit 72 for the stationary generation of environment model data MD on the basis of the merged sensor data SD.
  • a stationary fusion unit 71 for merging the sensor data SD
  • an evaluation unit 72 for the stationary generation of environment model data MD on the basis of the merged sensor data SD.
  • the evaluation device 22d also includes a stationary communication unit 73 for transmitting the environment model data MD, possibly also via the communication unit 22c, to an autonomously controlled vehicle F.
  • FIG. 8 shows a vehicle control device 80 which has a vehicle-side communication unit 81 for receiving environment model data MD from a stationary environment model generation device 70. Part of the vehicle control device 80 is also a control unit 82 for the automated control of the driving behavior of a vehicle F on the basis of an environment model MD generated by the stationary environment model generation device 70.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)

Abstract

A description is given of a method for generating a surroundings model of an autonomously controlled vehicle F. In the method, sensor data are acquired by a multiplicity of infrastructure-side sensors 22a, 22b in a surrounding region of the vehicle F. Fused sensor data are generated in a stationary manner on the basis of the acquired sensor data. Surroundings model data are also generated in a stationary manner through evaluation of the sensor data on the infrastructure side, wherein objects located in the surrounding region are localized and identified. The surroundings model data are finally transmitted to the vehicle F. A description is also given of a method for autonomously controlling a vehicle F. A description is additionally given of a surroundings model generation apparatus and of a vehicle control apparatus. A description is furthermore given of an autonomously controlled vehicle F and of an automated transport system. A junction 40 in the road network has a high-priority centre region 41a and a lower-priority peripheral region 41b. The junction 40 is monitored using sensor units 22a, 22b. Two vehicles F each approaching the junction are located in the region of the junction, and thus also in the monitoring region 41a, 41b. A motorcycle M moving out of the inner monitoring region 41a is also detected. A person P currently crossing a zebra crossing Z is additionally detected in the inner monitoring region 41a. Monitoring data are transmitted from a communication unit 22c to vehicles F located within the transmission range via radio. Sensor data acquired at the vehicle regarding the surrounding region of the vehicle are preferably also used to generate the surroundings model data. A data basis for the surroundings model of the vehicle is advantageously able to be expanded, such that the reliability, resolution and completeness of the surroundings model are improved.

Description

Beschreibung description
Infrastrukturseitige Umfelderfassung beim autonomen Fahren Infrastructure detection of the surroundings in autonomous driving
Die Erfindung betrifft ein Verfahren zum Erzeugen eines Um feldmodells eines autonom gesteuerten Fahrzeugs. Weiterhin betrifft die Erfindung ein Verfahren zur autonomen Steuerung eines Fahrzeugs. Überdies betrifft die Erfindung eine Umfeld modellerzeugungseinrichtung. Ferner betrifft die Erfindung eine Fahrzeugsteuerungseinrichtung. Auch betrifft die Erfin dung ein autonom gesteuertes Fahrzeug. Darüber hinaus be trifft die Erfindung ein automatisiertes Transportsystem. The invention relates to a method for generating a field model of an autonomously controlled vehicle. The invention also relates to a method for the autonomous control of a vehicle. The invention also relates to an environment model generation device. The invention also relates to a vehicle control device. The invention also relates to an autonomously controlled vehicle. The invention also relates to an automated transport system.
Unter autonomem Fahren versteht man das selbständige Fahren, Steuern und Einparken eines Fahrzeugs ohne menschlichen Ein fluss. Autonomes Fahren erfordert eine genaue Kenntnis der Position und Geschwindigkeit sowohl des autonom gesteuerten Fahrzeugs selbst als auch von in der Nähe einer Fahrtstrecke eines autonom gesteuerten Fahrzeugs befindlichen Objekten. Daher ist im Kontext von autonomen Fahrzeugen die Umfelder fassung und die Lokalisierung und Erfassung von Objekten so wie des autonomen Fahrzeugs selbst von herausragender Bedeu tung. Erfolgt eine Umfelderfassung ausschließlich durch das autonome Fahrzeug selbst, ist diese Erfassung auf die Erfas sungssensorik des autonomen Fahrzeugs beschränkt. Die in Fahrzeugen verwendeten Sensoren, wie zum Beispiel Lidar-, Ra dar-, Ultraschallsensoren sowie Kameras, weisen allerdings Limitierungen hinsichtlich ihrer Reichweite, der Echtzeitfä higkeit, der Umfelderfassungsabdeckung und der Performanz, insbesondere bei unterschiedlichen Witterungsverhältnissen, wie zum Beispiel starker Sonneneinstrahlung, Regen und Autonomous driving is understood to be the independent driving, control and parking of a vehicle without human influence. Autonomous driving requires precise knowledge of the position and speed both of the autonomously controlled vehicle itself and of objects located in the vicinity of a route of an autonomously controlled vehicle. Therefore, in the context of autonomous vehicles, the perception of the surroundings and the localization and detection of objects as well as the autonomous vehicle itself are of outstanding importance. If the surroundings are only detected by the autonomous vehicle itself, this detection is limited to the detection sensors of the autonomous vehicle. The sensors used in vehicles, such as lidar, radar, ultrasonic sensors and cameras, however, have limitations in terms of their range, real-time capability, coverage of the surrounding area and performance, especially in different weather conditions, such as strong sunlight, rain and
Schnee, auf. Snow, on.
Soll ein vollständig autonomes Fahren realisiert werden, bei dem der Fahrer als Kontrollinstanz wegfällt, so lässt sich aufgrund der genannten Limitierungen kein redundantes System aufbauen, das ausreichende Sicherheit gewährleistet. Daher muss bei vollständig autonom gesteuerten Fahrzeugen die Ge schwindigkeit des Fahrzeugs drastisch reduziert werden, so dass kein flüssiger Verkehr, wie er in der Straßenverkehrs ordnung gefordert wird, mehr gewährleistet werden kann. Be sonders komplexe Verkehrssituationen, wie sie zum Beispiel in größeren Städten auftreten, können so nicht bewältigt werden und daher können derartige Bereiche bisher auch nicht autonom befahren werden. If completely autonomous driving is to be implemented in which the driver is no longer the control authority, then, due to the limitations mentioned, no redundant system can be set up that ensures sufficient safety. Therefore, the speed of the vehicle has to be drastically reduced in fully autonomously controlled vehicles, see above that smooth traffic, as required by road traffic regulations, can no longer be guaranteed. Particularly complex traffic situations, such as those that occur in larger cities, for example, cannot be managed in this way and therefore such areas have not yet been able to be driven through autonomously.
Beispielsweise können bei der fahrzeugseitigen Umfelderken nung Abschattungsbereiche durch LKWs oder PKWs auftreten, die nicht durch eigene Umfelderfassung wahrgenommen werden kön nen. Weiterhin gibt es bei Objekterfassungen viele „Mehr- heitsentscheidungen" , d.h., es wird ein Objekt von einer Mehrheit der zur Verfügung stehenden Sensoren erfasst, von einer Minderheit aber nicht. Es wird dann akzeptiert, dass ein Objekt detektiert wurde. Es wäre wünschenswert, die An zahl der zu einer solchen Entscheidung beitragenden Sensoren über die Anzahl der einem autonomen Fahrzeug direkt zur Ver fügung stehenden Sensoren hinaus zu vergrößern. Zu einer sol chen Entscheidung könnte dann auch die infrastrukturelle Sen sorik hinzugezogen werden. Wenn zum Beispiel nur ein Sensor eines Fahrzeugs von zwei Sensoren des Fahrzeugs ein Objekt detektiert aber zwei Sensoren von zwei vorhandenen Sensoren auf der Seite der Infrastruktur das Objekt detektieren, so würde dann ebenfalls akzeptiert, dass ein Objekt detektiert wurde. Manche Situationen erfordern auch ein „Um die Ecke schauen", wie zum Beispiel das Befahren einer X-Kreuzung oder T-Kreuzung. Schwierige Situationen, wie zum Beispiel an Auf- und Abfahrten von Unterführungen oder Brücken, Einbiegevor- gänge, Überholvorgänge usw. lassen sich ebenfalls allein durch fahrzeugseitige Sensorik nicht sicher bewältigen. For example, shading areas caused by trucks or cars can occur during the vehicle-side environment recognition, which cannot be perceived by one's own environment detection. Furthermore, there are many "majority decisions" when detecting objects, ie an object is detected by a majority of the available sensors, but not by a minority. It is then accepted that an object has been detected. It would be desirable to have the To increase the number of sensors contributing to such a decision beyond the number of sensors directly available to an autonomous vehicle. Infrastructural sensors could then also be consulted for such a decision two sensors of the vehicle detect an object but two sensors of two existing sensors on the side of the infrastructure detect the object, then it would also be accepted that an object was detected. Some situations also require a "look around the corner", for example driving on an X-junction or T-junction. Difficult situations, such as entrances and exits from underpasses or bridges, turning maneuvers, overtaking maneuvers, etc., cannot be safely dealt with by sensors on the vehicle either.
Ein weiteres Problem besteht darin, dass bei einer leistungs fähigen Umfelderfassung eine immer komplexere Sensorik und eine zunehmend aufwändige Umfeldmodellierungs-Algorithmik zum Einsatz kommen. Hiermit verbunden sind immense Kosten für die einzelnen Fahrzeuge. Beispielsweise werden aktuell bis zu 12 Lidargeräte verbaut, deren Stückpreis bei 6000 bis 65000 Euro liegt . Herkömmlich wird in den genannten Situationen die Geschwin digkeit des autonomen Fahrzeugs stark reduziert, um die Si cherheit des Fahrzeugs zu gewährleisten, oder es kommt zu Notbremsungen, wodurch Insassen in autonomen Fahrzeugen ge fährdet werden. Daher sollte versucht werden, solche Notbrem sungen zu vermeiden. Zudem wird ein Sicherheitsfahrer benö tigt, der eine Rückfallebene des Systems bildet. Another problem is that an ever more complex sensor system and an increasingly complex environment modeling algorithm are used in a powerful environment detection. This is associated with immense costs for the individual vehicles. For example, up to 12 lidar devices are currently installed, the unit price of which is between 6,000 and 65,000 euros. Conventionally, in the situations mentioned, the speed of the autonomous vehicle is greatly reduced in order to ensure the safety of the vehicle, or emergency braking occurs, as a result of which occupants in autonomous vehicles are endangered. Attempts should therefore be made to avoid such emergency braking. In addition, a safety driver is required, who forms a fallback level of the system.
Um die Qualität und die Vollständigkeit der Umfelderkennung zu erhöhen, wird ein Austausch von Informationen über das je weilige Umfeld von Fahrzeugen zwischen den Fahrzeugen erwo gen. Allerdings ist dieser Ansatz dadurch limitiert, dass nur ein Teil der am Verkehr teilnehmenden Fahrzeuge zu einem In formationsaustausch fähig ist. In order to increase the quality and completeness of the environment recognition, an exchange of information about the respective environment of vehicles between the vehicles is considered. However, this approach is limited by the fact that only some of the vehicles participating in the traffic are able to exchange information is.
Es besteht also die Aufgabe, ein Verfahren und eine Vorrich tung zur verbesserten Umfelderkennung und Lokalisierung von autonomen Fahrzeugen bereitzustellen. The object is therefore to provide a method and a device for improved environment recognition and localization of autonomous vehicles.
Diese Aufgabe wird durch ein Verfahren zum Erzeugen eines Um feldmodells eines autonom gesteuerten Fahrzeugs gemäß Patent anspruch 1, ein Verfahren zur autonomen Steuerung eines Fahr zeugs gemäß Patentanspruch 10, eine Umfeldmodellerzeugungs einrichtung gemäß Patentanspruch 11, eine Fahrzeugsteuerungs einrichtung gemäß Patentanspruch 12, ein autonom gesteuertes Fahrzeug gemäß Patentanspruch 13 und ein automatisiertes Transportsystem gemäß Patentanspruch 14 gelöst. This object is achieved by a method for generating an environment model of an autonomously controlled vehicle according to claim 1, a method for autonomous control of a vehicle according to claim 10, an environment model generation device according to claim 11, a vehicle control device according to claim 12, an autonomously controlled vehicle according to claim 13 and an automated transport system according to claim 14 solved.
Bei dem erfindungsgemäßen Verfahren zum Erzeugen eines Um feldmodells eines autonom gesteuerten Fahrzeugs werden Sen sordaten durch eine Mehrzahl von infrastrukturseitigen Senso ren in einem Umgebungsbereich des Fahrzeugs erfasst. Es wer den fusionierte Sensordaten auf Basis der erfassten Sensorda ten erzeugt. Weiterhin werden Umfeldmodelldaten durch infra strukturseitiges Auswerten der Sensordaten stationär erzeugt, wobei in dem Umgebungsbereich befindliche Objekte lokalisiert und identifiziert werden. Schließlich werden die Umfeldmo- delldaten an das Fahrzeug übermittelt. In the method according to the invention for generating a surrounding field model of an autonomously controlled vehicle, sensor data are recorded by a plurality of infrastructure-side sensors in a surrounding area of the vehicle. The merged sensor data are generated on the basis of the recorded sensor data. Furthermore, environment model data are generated in a stationary manner by evaluating the sensor data on the infrastructure side, objects located in the environment area being localized and be identified. Finally, the environment model data are transmitted to the vehicle.
Die infrastrukturseitigen Sensoren funktionieren nach dem Prinzip des Geofencing. Fährt ein autonom gesteuertes Fahr zeug in einen Kommunikationsbereich der infrastrukturseitigen Überwachung ein, so erfolgt eine Kommunikation zwischen der Infrastruktur und dem autonomen Fahrzeug. Im Rahmen dieser Kommunikation erhält das Fahrzeug Informationen über den von den Sensoren überwachten fest definierten Umgebungsbereich und darin vorhandene bzw. sich bewegende Objekte. Auf Basis dieser Informationen kann ein Umfeldmodell des autonomen Fahrzeugs erstellt oder ergänzt werden. Fährt das autonome Fahrzeug selbst in den Erfassungsbereich der infrastruktur seitigen Sensoren ein, so wird es erfasst und diese Informa tion wird in das Umfeldmodell des von den Sensoren überwach ten Bereichs integriert. Verlässt das autonom gesteuerte Fahrzeug den Kommunikationsbereich, so endet die Kommunikati on zwischen den infrastrukturseitigen Überwachungseinheiten und dem betreffenden autonom gesteuerten Fahrzeug. Der Kommu nikationsbereich und der Überwachungsbereich müssen nicht, können aber auch identisch sein. The sensors on the infrastructure side work on the principle of geofencing. If an autonomously controlled vehicle enters a communication area of the infrastructure-side monitoring, communication takes place between the infrastructure and the autonomous vehicle. As part of this communication, the vehicle receives information about the permanently defined surrounding area monitored by the sensors and objects that are present or moving therein. An environment model of the autonomous vehicle can be created or supplemented on the basis of this information. If the autonomous vehicle drives into the detection area of the infrastructure-side sensors, it is detected and this information is integrated into the environment model of the area monitored by the sensors. If the autonomously controlled vehicle leaves the communication area, communication between the infrastructure-side monitoring units and the relevant autonomously controlled vehicle ends. The communication area and the monitoring area do not have to, but can also be identical.
Durch die Einbeziehung von stationären Sensordaten bzw. eines stationären Umfeldmodells in das Umfeldmodell des Fahrzeugs können Bereiche, die von den Sensoren des Fahrzeugs nicht er fasst werden, bei der Bildung des Umfeldmodells des Fahrzeugs berücksichtigt werden. Außerdem kann die Rechenkapazität des Fahrzeugs entlastet werden, indem Teile des Umfeldmodells o- der das gesamte Umfeldmodell infrastrukturseitig berechnet werden. Überdies kann die Umfeldmodellbildung aufgrund der typischerweise höheren Rechenkapazität der stationären Infra struktur im Vergleich zu mobilen Einheiten schneller und da mit echtzeitnaher erfolgen. Eine echtzeitnahe Modellbildung ermöglicht es einem Fahrzeug, rechtzeitig auf Hindernisse und Gefahren auch durch mobile Objekte zu reagieren. Bei dem erfindungsgemäßen Verfahren zur autonomen Steuerung eines Fahrzeugs wird ein Umfeldmodell durch Anwendung des er findungsgemäßen Verfahrens zum Erzeugen eines Umfeldmodells eines autonom gesteuerten Fahrzeugs erzeugt. Es erfolgt ein automatisiertes Steuern des Fahrverhaltens des Fahrzeugs auf Basis des erzeugten Umfeldmodells. Beispielsweise werden durch das Umfeldmodell lokalisierte Hindernisse bzw. sich im Umfeld des autonom gesteuerten Fahrzeugs vorhandene Objekte lokalisiert und identifiziert, denen das Fahrzeug dann gege benenfalls ausweichen kann. Vorteilhaft können bei der auto nomen Steuerung von Fahrzeugen auch Gefahrenquellen berück sichtigt werden, die durch die bordseitigen Sensoren nicht erfasst oder durch die bordseitige Auswertungseinheit nicht identifiziert werden können. By including stationary sensor data or a stationary environment model in the environment model of the vehicle, areas that are not detected by the sensors of the vehicle can be taken into account in the formation of the environment model of the vehicle. In addition, the computing capacity of the vehicle can be relieved by calculating parts of the environment model or the entire environment model on the infrastructure side. In addition, due to the typically higher computing capacity of the stationary infrastructure compared to mobile units, the environment model can be created more quickly and therefore closer to real time. Real-time modeling enables a vehicle to react in good time to obstacles and hazards, including those caused by mobile objects. In the method according to the invention for autonomously controlling a vehicle, an environment model is generated by using the method according to the invention for generating an environment model of an autonomously controlled vehicle. There is an automated control of the driving behavior of the vehicle on the basis of the generated environment model. For example, obstacles that are localized by the environment model or objects present in the environment of the autonomously controlled vehicle are localized and identified, which the vehicle can then avoid, if necessary. In the case of the autonomous control of vehicles, sources of danger can advantageously also be taken into account that cannot be detected by the on-board sensors or that cannot be identified by the on-board evaluation unit.
Das Umfeldmodell kann einerseits statisch für eine definierte sogenannte Verkehrszelle, in welcher sich das autonome Fahr zeug gerade befindet, übermittelt werden. Andererseits kann, sofern die Position des autonomen Fahrzeugs von diesem aktiv an die Infrastruktur gemeldet oder direkt durch die Infra struktursensorik selbst die Fahrzeugposition erfasst wird, die momentane Fahrzeugposition dazu dienen, eine dynamische Nachführung des übermittelten Umfeldmodellausschnitts zu er reichen . On the one hand, the environment model can be transmitted statically for a defined so-called traffic cell in which the autonomous vehicle is currently located. On the other hand, if the position of the autonomous vehicle is actively reported by it to the infrastructure or the vehicle position is detected directly by the infrastructure sensors itself, the current vehicle position can be used to dynamically track the transmitted environment model section.
Die erfindungsgemäße Umfeldmodellerzeugungseinrichtung weist infrastrukturseitige Sensoren zum Erfassen von Sensordaten im Umgebungsbereich der Sensoren auf. Teil der erfindungsge mäßen Umfeldmodellerzeugungseinrichtung ist auch eine statio näre Fusionseinheit zum Fusionieren der Sensordaten. Die er findungsgemäße Umfeldmodellerzeugungseinrichtung weist auch eine Auswertungseinheit zum stationären Erzeugen von Umfeld modelldaten auf Basis der fusionierten Sensordaten auf. Dabei werden in dem Umgebungsbereich befindliche Objekte lokali siert und identifiziert. Teil der erfindungsgemäßen Umfeldmo dellerzeugungseinrichtung ist auch eine stationäre Kommunika tionseinheit zum Übermitteln der Umfeldmodelldaten an ein au tonom gesteuertes Fahrzeug. Die erfindungsgemäße Umfeldmo- dellerzeugungseinrichtung teilt die Vorteile des erfindungs- gemäßen Verfahrens zum Erzeugen eines Umfeldmodells eines au tonom gesteuerten Fahrzeugs. The environment model generating device according to the invention has infrastructure-side sensors for acquiring sensor data in the area surrounding the sensors. Part of the environment model generation device according to the invention is also a stationary fusion unit for merging the sensor data. The environment model generation device according to the invention also has an evaluation unit for the stationary generation of environment model data on the basis of the merged sensor data. Objects located in the surrounding area are localized and identified. Part of the environment model generation device according to the invention is also a stationary communication unit for transmitting the environment model data to an autonomously controlled vehicle. The environmental mo- Dent generation device shares the advantages of the method according to the invention for generating an environment model of an autonomously controlled vehicle.
Die erfindungsgemäße Fahrzeugsteuerungseinrichtung weist eine fahrzeugseitige Kommunikationseinheit zum Empfangen von Um feldmodelldaten von der stationären Umfeldmodellerzeugungs einrichtung auf. Teil der erfindungsgemäßen Fahrzeugsteue rungseinrichtung ist auch eine Steuerungseinheit zum automa tisierten Steuern des Fahrverhaltens eines Fahrzeugs auf Ba sis des durch die erfindungsgemäße stationäre Umfeldmodeller zeugungseinrichtung erzeugten Umfeldmodells. Die erfindungs gemäße Fahrzeugsteuerungseinrichtung teilt die Vorteile des erfindungsgemäßen Verfahrens zur autonomen Steuerung eines Fahrzeugs . The vehicle control device according to the invention has a vehicle-side communication unit for receiving field model data from the stationary environment model generation device. Part of the vehicle control device according to the invention is also a control unit for the automated control of the driving behavior of a vehicle on the basis of the environment model generated by the stationary environment model generation device according to the invention. The vehicle control device according to the invention shares the advantages of the method according to the invention for autonomous control of a vehicle.
Das erfindungsgemäße autonom gesteuerte Fahrzeug umfasst die erfindungsgemäße Fahrzeugsteuerungseinrichtung. Das erfin dungsgemäße autonom gesteuerte Fahrzeug teilt die Vorteile der erfindungsgemäßen Fahrzeugsteuerungseinrichtung. The autonomously controlled vehicle according to the invention comprises the vehicle control device according to the invention. The autonomously controlled vehicle according to the invention shares the advantages of the vehicle control device according to the invention.
Das erfindungsgemäße automatisierte Transportsystem weist ei ne erfindungsgemäße infrastrukturseitig angeordnete Umfeldmo dellerzeugungseinrichtung sowie mindestens ein erfindungsge mäßes autonom gesteuertes Fahrzeug auf. Vorteilhaft kann eine Obj ektlokalisierung durch die Infrastruktur ergänzt bzw. an diese zumindest teilweise ausgelagert werden, so dass die Leistungsfähigkeit der Obj ektlokalisierung und Objekterken nung eines autonom gesteuerten Fahrzeugs verbessert wird. The automated transport system according to the invention has a surrounding model generating device arranged on the infrastructure side according to the invention and at least one autonomously controlled vehicle according to the invention. An object localization can advantageously be supplemented by the infrastructure or at least partially outsourced to it, so that the performance of the object localization and object recognition of an autonomously controlled vehicle is improved.
Einige Komponenten der erfindungsgemäßen Umfeldmodellerzeu gungseinrichtung, der erfindungsgemäßen Fahrzeugsteuerungs einrichtung, des erfindungsgemäßen autonom gesteuerten Fahr zeugs und des erfindungsgemäßen automatisierten Transportsys- tems können zum überwiegenden Teil in Form von Softwarekompo nenten ausgebildet sein. Dies betrifft insbesondere Teile der stationären Fusionseinheit, der Auswertungseinheit und der Steuerungseinheit. Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnel le Berechnungen geht, in Form von softwareunterstützter Hard ware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Software komponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Some components of the environment model generation device according to the invention, the vehicle control device according to the invention, the autonomously controlled vehicle according to the invention and the automated transport system according to the invention can for the most part be designed in the form of software components. This applies in particular to parts of the stationary fusion unit, the evaluation unit and the control unit. Basically, these components can but also in part, especially when it comes to particularly fast calculations, in the form of software-supported hardware, for example FPGAs or the like. Likewise, the required interfaces, for example if it is only a matter of transferring data from other software components, can be designed as software interfaces. But they can also be configured as hardware-based
Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden. Interfaces can be formed that are controlled by suitable software.
Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher in einem mobilen Objekt oder in Infra struktur vorhandene Rechnersysteme nach einer eventuellen Er gänzung durch zusätzliche Hardwareelemente, wie zum Beispiel Sensoren und Kommunikationseinheiten, auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein entsprechendes Computerprogrammprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersystems ladbar ist, mit Programmabschnitten, um die durch Software realisierbaren Schritte der erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in dem Rechnersystem ausgeführt wird. A largely software-based implementation has the advantage that computer systems already present in a mobile object or in infrastructure can easily be retrofitted with a software update after a possible addition by additional hardware elements, such as sensors and communication units. to work in the manner of the invention. In this respect, the object is also achieved by a corresponding computer program product with a computer program that can be loaded directly into a memory device of such a computer system, with program sections to carry out the steps of the method according to the invention that can be implemented by software when the computer program is executed in the computer system.
Ein solches Computerprogrammprodukt kann neben dem Computer programm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen. In addition to the computer program, such a computer program product can optionally contain additional components such as documentation and / or additional components, including hardware components, such as Hardware keys (dongles etc.) for using the software.
Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein compu terlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest einge bauter Datenträger dienen, auf welchem die von einer Rech nereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikro prozessoren oder dergleichen aufweisen. A computer-readable medium, for example a memory stick, a hard disk or some other transportable or permanently installed data carrier on which the program sections of the computer program that can be read and executed by a computer unit can be used for transport to the memory device of the computer system and / or for storage on the computer system are stored. The computing unit can, for example, have one or more cooperating microprocessors or the like for this purpose.
Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den ab hängigen Ansprüchen einer anderen Anspruchskategorie und de ren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung die verschiedenen Merkmale unterschied licher Ausführungsbeispiele und Ansprüche auch zu neuen Aus führungsbeispielen kombiniert werden. The dependent claims and the following description each contain particularly advantageous embodiments and developments of the invention. In particular, the claims of one claim category can also be developed analogously to the dependent claims of another claim category and their description parts. In addition, within the scope of the invention, the various features of different exemplary embodiments and claims can also be combined to form new exemplary embodiments.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Erzeugen eines Umfeldmodells eines autonom gesteuerten Fahr zeugs umfassen die Sensoren Radarsensoren und/oder Lidar sensoren . In one embodiment of the method according to the invention for generating an environment model of an autonomously controlled vehicle, the sensors include radar sensors and / or lidar sensors.
Radarwellen haben für die beschriebene Anwendung vorzugsweise Wellenlängen von wenigen Millimetern bis Zentimetern. Radar bietet eine vollständige Volumenausleuchtung ohne blinde Fle cken, allerdings wird bei vergleichbarer Sensorgröße eine ge ringere Trennschärfe als bei Lidar erreicht. Dafür ist Radar robust bei nahezu allen Witterungsbedingungen, wie zum Bei spiel Regen, Schnee, Nebel, Dunkelheit oder direkter Sonnen einstrahlung . For the application described, radar waves preferably have wavelengths of a few millimeters to centimeters. Radar offers complete volume illumination without blind spots, but with a comparable sensor size, a lower selectivity is achieved than with lidar. But radar is robust in almost all weather conditions, such as rain, snow, fog, darkness or direct sunlight.
Lidar hat die Eigenschaft, Objektkanten präziser als Radar darstellen zu können. Allerdings weist Lidar einen sehr ein geschränkten Sichtbereich auf und ist auch anfälliger gegen ungünstige Witterungsverhältnisse . Lidar has the property of being able to display object edges more precisely than radar. However, Lidar has a very limited field of vision and is also more susceptible to adverse weather conditions.
Die beiden Detektionstechnologien können auch vorteilhaft kombiniert werden, um die beschriebenen unterschiedlichen Vorteile der unterschiedlichen Technologien miteinander zu kombinieren und die beschriebenen Nachteile zu kompensieren. Alternativ oder zusätzlich können die Sensoren auch Kameras aufweisen. Mit Kameras kann ein ausgedehnter Bereich mit gu ter Auflösung simultan erfasst und überwacht werden. Auch ei ne Kombination von Radar und/oder Lidar mit Kameras als Sen sorik kann vorteilhaft angewendet werden. The two detection technologies can also be advantageously combined in order to combine the various advantages of the different technologies described with one another and to compensate for the disadvantages described. Alternatively or additionally, the sensors can also have cameras. With cameras, an extensive area can be recorded and monitored simultaneously with good resolution. A combination of radar and / or lidar with cameras as sensors can also be used advantageously.
Bevorzugt werden die Umfeldmodelldaten objektbasiert erzeugt, wobei einzelnen Objekten Attribute zugeordnet werden. Die At tribute umfassen Informationen zu relevanten Eigenschaften der detektierten Objekte. Diese Eigenschaften ermöglichen ei ne Gefahrenabschätzung im Zusammenhang mit einem detektierten Objekt und sie erlauben in gewissem Maße ein Vorhersehen des Verhaltens eines detektierten Objekts. The environment model data are preferably generated object-based, with attributes being assigned to individual objects. The at tributes include information on relevant properties of the detected objects. These properties enable a hazard assessment in connection with a detected object and they allow the behavior of a detected object to be predicted to a certain extent.
Die genannten Attribute eines Objekts können mindestens einen der folgenden Attributarten umfassen: The named attributes of an object can include at least one of the following attribute types:
- die Position des Objekts, - the position of the object,
- die Länge des Objekts, - the length of the object,
- die Geschwindigkeit des Objekts, - the speed of the object,
- die Detektionswahrscheinlichkeit des Objekts, - the detection probability of the object,
- den Typ des Objekts. - the type of object.
Weitere Attribute können Zeitstempel, eine Identifikations nummer, die Länge, Breite und Höhe eines Fahrzeugs oder Ob jekts, Konturen, rohdatennahe Kenngrößen, wie zum Beispiel die Anzahl der Reflexionspunkte oder ein Sicherheitsniveau bzw. Zuverlässigkeitsniveau übermittelter Daten umfassen. Die Zuverlässigkeit der Daten kann zum Beispiel davon abhängen, ob diese geschätzt oder anderweitig ermittelt wurden. Further attributes can include time stamps, an identification number, the length, width and height of a vehicle or object, contours, parameters close to raw data, such as the number of reflection points or a security level or reliability level of transmitted data. The reliability of the data can depend, for example, on whether they were estimated or otherwise determined.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Erzeugen eines Umfeldmodells eines autonom gesteuerten Fahr zeugs umfassen die Umfeldmodelldaten eine rasterbasierte Be legungskarte. Eine solche rasterbasierte Belegungskarte, auch als „occupancy grid map" bezeichnet, teilt den überwachten Bereich in eine Mehrzahl von Zellen ein, deren Besetzungs wahrscheinlichkeit auf Basis von Sensordaten ermittelt wird. Auf Basis der Position und Anzahl der besetzten Zellen in dem Raster bzw. Gitter der rasterbasierten Belegungskarte kann ein Objekt identifiziert werden und auf Basis der Besetzungs wahrscheinlichkeit der Zellen kann ein Detektionswahrschein- lichkeitswert eines Objekts angegeben werden. In one embodiment of the method according to the invention for generating an environment model of an autonomously controlled vehicle, the environment model data include a grid-based occupancy map. Such a grid-based occupancy map, also referred to as an "occupancy grid map", divides the monitored area into a plurality of cells, the occupancy probability of which is determined on the basis of sensor data. An object can be identified on the basis of the position and number of occupied cells in the grid or grid of the grid-based occupancy map, and a detection probability value of an object can be specified on the basis of the probability of the cells being occupied.
In einer vorteilhaften Variante des erfindungsgemäßen Verfah rens zum Erzeugen eines Umfeldmodells eines autonom gesteuer ten Fahrzeugs wird der Umgebungsbereich in Teilbereiche mit unterschiedlichen Prioritäten eingeteilt. Bereiche mit unter schiedlichen Prioritäten können zum Beispiel unterschiedliche Anforderungen an Echtzeitfähigkeiten der Sensorerfassung, un terschiedliche Sicherheitsanforderungen und daraus abgeleite te Systemanforderungen stellen. Beispielsweise kann eine hohe Priorität den Einsatz von unterschiedlichen Sensoren mit ei ner unterschiedlichen Performanz bei unterschiedlichen Witte rungsverhältnissen, eine hohe Redundanz der Erfassung von Ob jekten und der Verarbeitung der Sensordaten, hohe Echtzeitan forderungen und eine hohe Genauigkeit bzw. Auflösung der Um felderfassung notwendig machen. In an advantageous variant of the method according to the invention for generating an environment model of an autonomously controlled vehicle, the surrounding area is divided into sub-areas with different priorities. Areas with different priorities can, for example, have different requirements for real-time capabilities of sensor detection, different security requirements and system requirements derived from them. For example, a high priority may require the use of different sensors with different performance in different weather conditions, a high level of redundancy in the detection of objects and the processing of sensor data, high real-time requirements and a high level of accuracy and resolution in the area detection.
Vorzugsweise wird bei dieser Variante ein signifikanter An teil der Prozessierung der Sensordaten bereits in jedem Sen sor unter Berücksichtigung der spezifischen Sensoreigenschaf ten selbst vorgenommen. Mithin ist zur Erzeugung der Bele gungskarte kein weiteres Vorwissen nötig. Dadurch wird die Datenmenge der von allen Sensoren gesammelten Daten, sowie die Rechenlast zur Erstellung der Belegungskarte reduziert. Allerdings kann dies auf Kosten der Genauigkeit des Ergebnis ses gehen, da bei der sensorinternen Prozessierung Informati onen verloren gehen können, welche für eine mögliche Datenfu sion bei Erstellung der Belegungskarte hilfreich sein können. In this variant, a significant proportion of the processing of the sensor data is preferably carried out in each sensor itself, taking into account the specific sensor properties. No further prior knowledge is therefore required to generate the occupancy card. This reduces the amount of data collected by all sensors and the computing load for creating the occupancy card. However, this can be at the expense of the accuracy of the result, since information can be lost during the sensor-internal processing, which information can be helpful for a possible data fusion when creating the occupancy card.
Bevorzugt wird die rasterbasierte Belegungskarte auf Basis der objektbasierten Umfeldmodelldaten erzeugt. Bei dieser Va riante ist die Datenmenge zur Erzeugung der rasterbasierten Belegungsrate relativ klein, so dass die Erstellung der ras terbasierten Belegungskarte sehr schnell erfolgen kann. Besonders bevorzugt wird die rasterbasierte Belegungskarte direkt auf Basis der Sensordaten erzeugt. Bei dieser Vorge hensweise kann eine besonders präzise Prozessierung der er fassten Daten erfolgen, da dabei keine Zwischenschritte zu einem Verlust von Informationen führen können. Die Prozessie rung erfolgt hier auf Basis von Sensordaten, welche derart beschaffen sind, dass durch eventuelle Vorprozessierung kei nerlei zur Steigerung der Genauigkeit der Datenfusion hilf reiche Informationen verloren gehen. Die Datenmenge ist hier bei allerdings nicht zwangsläufig erhöht, es müssen jedoch bei der Fusion gewisse Sensoreigenschaften bzw. Vorwissen über die Beschaffeinheit des Sensors, wie zum Beispiel das Auflösungsvermögen, die Messgenauigkeit usw., bekannt sein und berücksichtigt werden. The grid-based occupancy map is preferably generated on the basis of the object-based environment model data. With this variant, the amount of data for generating the grid-based occupancy rate is relatively small, so that the grid-based occupancy map can be created very quickly. The grid-based occupancy card is particularly preferably generated directly on the basis of the sensor data. With this approach, the captured data can be processed particularly precisely, since no intermediate steps can lead to a loss of information. The processing takes place here on the basis of sensor data, which are composed in such a way that no information that is helpful for increasing the accuracy of the data fusion is lost due to any preprocessing. The amount of data is not necessarily increased in this case, however, certain sensor properties or prior knowledge of the procurement unit of the sensor, such as the resolution, the measurement accuracy, etc., must be known and taken into account during the fusion.
In einer Variante des erfindungsgemäßen Verfahrens zum Erzeu gen eines Umfeldmodells eines autonom gesteuerten Fahrzeugs werden zum Erzeugen der Umfeldmodelldaten auch fahrzeugseitig erfasste Sensordaten von dem Umgebungsbereich des Fahrzeugs herangezogen. Vorteilhaft kann eine Datengrundlage für das Umfeldmodell des Fahrzeugs erweitert werden, so dass die Zu verlässigkeit, Auflösung und Vollständigkeit des Umfeldmo dells verbessert ist. In a variant of the method according to the invention for generating an environment model of an autonomously controlled vehicle, sensor data recorded on the vehicle side from the area surrounding the vehicle are also used to generate the environment model data. A database for the environment model of the vehicle can advantageously be expanded, so that the reliability, resolution and completeness of the environment model is improved.
Die Erfindung wird im Folgenden unter Hinweis auf die beige fügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen: The invention is explained in more detail below with reference to the attached figures using exemplary embodiments. Show it:
FIG 1 ein Flussdiagramm, welches ein Verfahren zum Erzeugen eines Umfeldmodells eines autonom gesteuerten Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht, 1 shows a flow diagram which illustrates a method for generating an environment model of an autonomously controlled vehicle according to an exemplary embodiment of the invention,
FIG 2 eine schematische Darstellung eines automatisierten TransportSystems , FIG 3 eine schematische Darstellung einer stationär überwach ten geraden Fahrstrecke mit Bereichen mit unterschiedlichen Prioritäten, 2 shows a schematic representation of an automated transport system, 3 shows a schematic representation of a stationary monitored straight route with areas with different priorities,
FIG 4 eine schematische Darstellung einer stationär überwach ten Einmündung, 4 shows a schematic representation of a stationary monitored confluence,
FIG 5 eine schematische Darstellung eines Schichtenmodells von ermittelten Umfelddaten, FIG. 5 shows a schematic representation of a layer model of determined environment data,
FIG 6 eine schematische Darstellung, welche eine Erstellung eines digitalen Zwilling eines Knotens bzw. einer Einmündung veranschaulicht, 6 shows a schematic representation which illustrates the creation of a digital twin of a node or an intersection,
FIG 7 eine Umfeldmodellerzeugungseinrichtung gemäßen einem Ausführungsbeispiel der Erfindung, 7 shows an environment model generating device according to an exemplary embodiment of the invention,
FIG 8 eine schematische Darstellung einer Fahrzeugsteuerungs einrichtung . 8 shows a schematic representation of a vehicle control device.
In FIG 1 ist ein Flussdiagramm 100 gezeigt, welches ein Ver fahren zum Erzeugen eines Umfeldmodells MD eines autonom ge steuerten Fahrzeugs F gemäß einem Ausführungsbeispiel der Er findung veranschaulicht. FIG. 1 shows a flow diagram 100 which illustrates a method for generating an environment model MD of an autonomously controlled vehicle F according to an exemplary embodiment of the invention.
Bei dem Schritt 1. I werden Sensordaten SD durch eine Mehrzahl von infrastrukturseitigen Sensoren in einem Umgebungsbereich des Fahrzeugs F erfasst. Die für die Erfassung der Sensorda ten eingesetzten Sensoren können zum Beispiel Lidarsensoren, Radarsensoren und Kameras umfassen. Die Sensoren sind zum Beispiel an Sensormasten in regelmäßigen Abständen längs ei nes Fahrwegs oder um eine Kreuzung oder Einmündung verteilt angeordnet und überwachen jeweils eine nähere Umgebung. Bei dem Schritt l.II werden die Sensordaten SD von verschiedenen Sensoren zusammengeführt, so dass fusionierte Sensordaten FSD auf Basis der erfassten Sensordaten erzeugt werden. Bei dem Schritt l.III wird stationär ein Umfeldmodell MD eines Stra ßenabschnitts, beispielsweise eine Kreuzung oder ein gerader Streckenabschnitt, auf Basis der fusionierten Sensordaten er zeugt. Im Rahmen des Umfeldmodells werden in dem Umgebungsbe reich befindliche Objekte lokalisiert und identifiziert. Bei dem Schritt 1. IV werden weiterhin die Umfeldmodelldaten MD an das Fahrzeug F übermittelt. Das Fahrzeug F reichert bei dem Schritt l.V sein eigenes Umfeldmodell MDF mit dem stationären Umfeldmodell MD an, d.h. es ergänzt sein Umfeldmodell MDF mit den erhaltenen Umfeldmodelldaten MD, welche stationär erfasst und erzeugt wurden. In step 1. I, sensor data SD are recorded by a plurality of infrastructure-side sensors in an area surrounding the vehicle F. The sensors used to acquire the sensor data can include, for example, lidar sensors, radar sensors and cameras. For example, the sensors are arranged on sensor masts at regular intervals along a driveway or around an intersection or junction and each monitor a closer environment. In step 1.II, the sensor data SD from different sensors are merged, so that merged sensor data FSD are generated on the basis of the sensed sensor data. In step 1.III, an environment model MD of a street section, for example an intersection or a straight line, becomes stationary Section, based on the merged sensor data. In the context of the environment model, rich objects located in the environment are localized and identified. In step 1. IV, the environment model data MD are also transmitted to the vehicle F. In step IV, the vehicle F enriches its own environment model MDF with the stationary environment model MD, ie it supplements its environment model MDF with the environment model data MD obtained, which were recorded and generated in a stationary manner.
In FIG 2 ist eine schematische Darstellung 20 einer Anordnung aus einem fahrzeugseitigen und einem infrastrukturseitigen Sensorsystem veranschaulicht. Die Infrastruktur 23 umfasst Sensoreinheiten 22a, 22b mit Sensoren A2, mit denen ein Stra ßenabschnitt 21 überwacht wird, auf dem ein Fahrzeug F unter wegs ist. Typische Sensoren sind zum Beispiel Lidarsensoren, Radarsensoren und optische Sensoren, wie zum Beispiel Kame ras, mit denen Daten von der Umgebung der Infrastruktur er fasst werden. Die erfassten Daten werden infrastrukturseitig auch bewertet, plausibilisiert und ausgetauscht. Von den ge nannten Einrichtungen 22a, 22b wird infrastrukturseitig ein definierter Bereich überwacht, was auch als GeoFence bezeich net wird. Dieser Bereich wird in einen Kernbereich mit hoher Priorität und einen Bereich mit niedriger Priorität einge teilt. Die Überwachung der genannten unterschiedlichen Berei che erfüllt unterschiedliche Anforderungen hinsichtlich La tenz, Detektionswahrscheinlichkeit usw.. D.h., beispielsweise muss ein dem Fahrzeug F näherer Bereich mit einer höheren Frequenz und einer erhöhten Detektionswahrscheinlichkeit überwacht werden, da dieser Bereich relevanter für die Si cherheit des Fahrzeugs F ist als ein von dem Fahrzeug ent fernter äußerer Bereich. Die Sensoreinheiten 22a, 22b weisen jeweils Kommunikationsantennen Al auf, mit denen sie mit Hil fe einer straßenseitigen Kommunikationseinheit 22c mit ande ren Einheiten, wie zum Beispiel einer Auswertungseinrichtung 22d oder mit dem Fahrzeug F kommunizieren können. Das Fahr zeug F weist ebenfalls eine Sensoreinheit A2 auf, mit der es sein Umfeld überwachen kann. Weiterhin umfasst das Fahrzeug F auch eine Antenne Al, mit des es mit den Sensoreinheiten 22a, 22b oder der Auswertungseinrichtung 22d gegebenenfalls über die infrastrukturseitige Kommunikationseinheit 22c kommuni zieren kann. FIG. 2 shows a schematic representation 20 of an arrangement made up of a vehicle-side and an infrastructure-side sensor system. The infrastructure 23 comprises sensor units 22a, 22b with sensors A2, with which a road section 21 is monitored on which a vehicle F is on the way. Typical sensors are, for example, lidar sensors, radar sensors and optical sensors, such as cameras, with which data from the environment of the infrastructure is recorded. On the infrastructure side, the recorded data is also evaluated, checked for plausibility and exchanged. A defined area is monitored on the infrastructure side by the devices 22a, 22b mentioned, which is also referred to as GeoFence. This area is divided into a core area with high priority and an area with low priority. The monitoring of the different areas mentioned meets different requirements in terms of latency, detection probability, etc. That is, for example, an area closer to vehicle F must be monitored with a higher frequency and an increased detection probability, since this area is more relevant for the safety of vehicle F is as an external area remote from the vehicle. The sensor units 22a, 22b each have communication antennas A1, with which they can communicate with other units, such as an evaluation device 22d or with the vehicle F, with the aid of a communication unit 22c on the roadside. The vehicle F also has a sensor unit A2 with which it can monitor its surroundings. Furthermore, the vehicle F also an antenna A1, with which it can communicate with the sensor units 22a, 22b or the evaluation device 22d, if necessary via the infrastructure-side communication unit 22c.
Konkret weist ein autonomes Fahrzeug F eine bordseitige Ein heit (nicht gezeigt) zur Kommunikation auf, mit der es über die Antenne Al mit einer infrastrukturseitigen Kommunikati onseinheit 22c kommunizieren kann. Die infrastrukturseitige Kommunikationseinheit 22c sendet ihre Informationen perio disch mittels Rundfunk aus. Zur Übertragung kann zum Beispiel der IEEE 802.11-Standard oder car-to-X genutzt werden. Sobald das Fahrzeug F in den Kommunikationsradius der infrastruktur seitigen Kommunikationseinheit 22c gelangt, empfängt es In formationen bezüglich eines Umgebungsmodells der Infrastruk tur. Die Umfeldinformationen können beispielsweise an alle Verkehrsteilnehmer im Einzugsbereich der infrastrukturseiti gen Kommunikationseinheit 22c bzw. der dieser zugeordneten Verkehrszelle übermittelt werden. Soll ein Umfeldmodell dyna misch für einzelne Fahrzeuge angepasst werden, so kann eine Identifikation über eine bidirektionale Kommunikation erfol gen . Specifically, an autonomous vehicle F has an on-board unit (not shown) for communication, with which it can communicate via the antenna A1 with an infrastructure-side communication unit 22c. The infrastructure-side communication unit 22c transmits its information periodically by radio. For example, the IEEE 802.11 standard or car-to-X can be used for transmission. As soon as the vehicle F comes within the communication radius of the infrastructure-side communication unit 22c, it receives information relating to an environment model of the infrastructure. The information on the surroundings can be transmitted, for example, to all road users in the catchment area of the infrastructure-side communication unit 22c or the traffic cell assigned to it. If an environment model is to be dynamically adapted for individual vehicles, identification can take place via bidirectional communication.
In FIG 3 ist beispielhaft eine gerade Strecke 30 gezeigt, welche in einen Kernbereich 31a mit hoher Priorität und einen Außenbereich 31b mit niedriger Priorität eingeteilt ist. Der Kernbereich 31a wird von dem Fahrbereich der Strecke 30 für Fahrzeuge F gebildet und stellt besonders hohe Sicherheitsan forderungen. Diese werden durch eine erhöhte Zahl von unter schiedlichen Sensoren 22a, 22b erfüllt, die diesen Kernbe reich überwachen. Die unterschiedlichen Sensoren ergänzen sich gegenseitig durch ihre Eigenschaften hinsichtlich Erfas sungsgenauigkeit und Verfügbarkeit bei unterschiedlichen Wit terungsverhältnissen und weisen eine Redundanz bei der Erfas sung und Verarbeitung der Überwachungsdaten auf. Die Echt- zeitanforderungen sowie die Genauigkeit und die Auflösung der Umfelderfassung im Kernbereich sind deutlich höher als in der Peripherie. Entsprechend werden die erforderlichen Sensoren und Auswertungseinrichtungen ausgewählt und angeordnet. FIG. 3 shows an example of a straight stretch 30 which is divided into a core area 31a with high priority and an outer area 31b with low priority. The core area 31a is formed by the driving area of the route 30 for vehicles F and has particularly high safety requirements. These are met by an increased number of different sensors 22a, 22b that monitor this core area rich. The different sensors complement each other through their properties in terms of detection accuracy and availability in different weather conditions and have redundancy in the acquisition and processing of the monitoring data. The real-time requirements as well as the accuracy and resolution of the environment detection in the core area are significantly higher than in the Periphery. The required sensors and evaluation devices are selected and arranged accordingly.
In FIG 4 ist eine Einmündung 40 im Straßennetz gezeigt. Auch diese weist einen Kernbereich 41a mit hoher Priorität und ei nen peripheren Bereich 41b mit niedrigerer Priorität auf. Die Einmündung 40 wird mit Hilfe von drei Sensoreinheiten 22a,In Figure 4, a junction 40 is shown in the road network. This also has a core area 41a with high priority and a peripheral area 41b with lower priority. The junction 40 is with the help of three sensor units 22a,
22b überwacht. Im Einmündungsbereich und damit auch im Über wachungsbereich 41a, 41b befinden sich zwei Fahrzeuge F, die jeweils auf die Einmündung zufahren. Weiterhin wird ein Mo torrad M detektiert, dass sich aus dem inneren Überwachungs bereich 41a entfernt. Überdies wird im inneren Überwachungs bereich 41a eine Person P detektiert, die gerade einen Zebra streifen Z überquert. Überwachungsdaten werden von einer Kom munikationseinheit 22c per Rundfunk an im Sendebereich be findliche Fahrzeuge F übertragen. 22b monitored. In the junction area and thus also in the monitoring area 41a, 41b there are two vehicles F, each of which is approaching the junction. Furthermore, a motorbike M is detected that is moving away from the inner monitoring area 41a. In addition, a person P who is currently crossing a zebra strip Z is detected in the inner monitoring area 41a. Monitoring data are transmitted from a communication unit 22c by radio to vehicles F in the transmission range.
In FIG 5 ist ein Schichtenmodell 50 für ein Umfeldmodell mit fünf Schichten veranschaulicht. Vierschichtenmodelle sind als „local dynamic map" bereits bekannt. Bei dem in FIG 5 gezeig ten Ausführungsbeispiel wird das herkömmliche Vierschichten modell um eine zusätzliche Schicht S5 ergänzt. Diese fünfte Schicht S5 umfasst eine sogenannte rasterbasierte Belegungs karte („occupancy grid map"), welche als kompakte Repräsenta tion einer Umfeldsituation an ein Fahrzeug übertragen werden kann. Die unterste Schicht S1 umfasst sogenannte permanente statische Daten, wie zum Beispiel Kartendaten. Die zweitun terste Schicht S2 umfasst transiente statische Daten, wie zum Beispiel die straßenseitige Infrastruktur. Hierzu gehören Straßenschilder, Landmarken usw. Die dritte Schicht S3 um fasst die transienten dynamischen Daten. Diese umfassen zum Beispiel Staudaten und Daten über die Signalphase oder Daten über den aktuellen wetterbedingten Straßenzustand. Die vierte Schicht S4 umfasst hochdynamische Daten, wie zum Beispiel Fahrzeuge und Fußgänger. In der vierten Schicht befinden sich die von den Sensoren detektierten Verkehrsbeteiligten, wie zum Beispiel Fußgänger P, Radfahrer, Fahrzeuge F und die zu gehörigen abgeschätzten Attribute, wie zum Beispiel deren Po- sition, Länge, Geschwindigkeit, Detektionswahrscheinlichkeit und Typ. Die Ermittlung des Typs, d.h. die Unterscheidung zwischen einem Fußgänger, einem Radfahrer und einem Fahrzeug erfolgt durch die Anwendung eines Klassifikationsalgorithmus auf die erfassten Sensordaten. FIG. 5 shows a layer model 50 for an environment model with five layers. Four-layer models are already known as “local dynamic map”. In the embodiment shown in FIG. 5, the conventional four-layer model is supplemented by an additional layer S5 can be transferred to a vehicle as a compact representation of a surrounding situation. The lowest layer S1 comprises so-called permanent static data, such as map data. The second lowest layer S2 comprises transient static data, such as the roadside infrastructure. This includes street signs, landmarks, etc. The third layer S3 comprises the transient dynamic data. These include, for example, traffic data and data about the signal phase or data about the current weather-related road conditions. The fourth layer S4 comprises highly dynamic data, such as vehicles and pedestrians. In the fourth layer are the traffic participants detected by the sensors, such as pedestrians P, cyclists, vehicles F and the associated estimated attributes, such as their position. position, length, speed, detection probability and type. The determination of the type, ie the distinction between a pedestrian, a cyclist and a vehicle, is carried out by applying a classification algorithm to the recorded sensor data.
Die fünfte Schicht S5 wird von einer rasterartigen Belegungs karte (Occupancy Gridmap) gebildet. In dieser sind die aktu ellen Positionen von Objekten, wie zum Beispiel Fahrzeugen, als Raster R eingezeichnet. In der Schicht S5 werden die in der Schicht S4 vorhandenen Daten in das Occupancy-Grid-Format umgewandelt. Alternativ können auch die Rohdaten der Sensoren direkt verwendet werden. Dabei wird der überwachte Bereich in Zellen unterteilt und die Besetzungswahrscheinlichkeit der Zellen durch die infrastrukturseitigen Auswerteeinheiten und gegebenenfalls auch durch fahrzeugseitige Auswerteeinheiten bestimmt. Die Qualität der Bestimmung der Besetzungswahr scheinlichkeit sowie der genannten Attribute wird durch Sens ordatenfusion erhöht. The fifth layer S5 is formed by a grid-like occupancy map. In this, the current positions of objects, such as vehicles, are shown as a grid R. In layer S5, the data present in layer S4 are converted into the occupancy grid format. Alternatively, the raw data from the sensors can also be used directly. The monitored area is divided into cells and the probability that the cells are occupied is determined by the infrastructure-side evaluation units and, if necessary, also by the vehicle-side evaluation units. The quality of the determination of the occupation probability and the attributes mentioned is increased by sensor data fusion.
Auf Basis der in den Schichten S4 und S5 durch mehrere Senso ren und auch das autonome Fahrzeug selbst gesammelten Infor mationen können nachfolgende Szeneninterpretationen, wie zum Beispiel ein geeignetes Verhaltensmodell für das autonome Fahrzeug F gewählt werden. Außerdem ermöglicht die infra strukturseitige Überwachung eine bessere Abschätzung der Dy namik im betrachteten Bereich. Hierzu können Informationen über den Verkehrsfluss bestimmter Straßen und Kreuzungen ge sammelt werden. Based on the information collected in layers S4 and S5 by several sensors and also by the autonomous vehicle itself, subsequent scene interpretations, such as a suitable behavior model for the autonomous vehicle F, can be selected. In addition, the infrastructural monitoring enables a better assessment of the dynamics in the area under consideration. For this purpose, information about the traffic flow of certain streets and intersections can be collected.
Allgemein formuliert, geben die unterschiedlichen Schichten unterschiedliche Veränderungen der Umgebung eines Fahrzeugs wieder. Schicht S1 ist statisch, wohingegen die Schichten S4 und S5 hoch dynamische Vorgänge betreffen. Die infrastruktur seitig erfassten Informationen betreffen insbesondere die Schichten S4 und S5. Je nach Dynamik und Kritikalität der vorliegenden Daten werden diese mit einer entsprechend hohen Aktualisierungsrate an das Fahrzeug weitegegeben. Für hochdy- namische Daten sind wenigstens 15 Aktualisierungen pro Sekun de typisch. In general terms, the different layers reflect different changes in the surroundings of a vehicle. Layer S1 is static, whereas layers S4 and S5 concern highly dynamic processes. The information recorded on the infrastructure side relates in particular to layers S4 and S5. Depending on the dynamics and criticality of the available data, these are passed on to the vehicle at a correspondingly high update rate. For highly dy- Named data is typically at least 15 updates per second.
Daten der Schicht 1 sind statisch und müssen nur einmal am Tag an das Fahrzeug übermittelt werden. Die Daten der unter schiedlichen Schichten haben im Grunde unterschiedliche Aktu alisierungshäufigkeiten und haben deshalb auch unterschiedli che Anforderungen hinsichtlich echtzeitfähiger Datenerfassung und Datenübertragung. Die Schicht S5 dient insbesondere der Freiflächenmodellierung bei gleichzeitig sehr geringer Daten menge und damit hoher möglicher Aktualisierungsrate und ge ringer Latenz. Ein Fahrzeug kann mit Daten der Schicht S5 in Echtzeit über eine befahrbare Fläche informiert werden. Layer 1 data is static and only needs to be transmitted to the vehicle once a day. The data of the different layers basically have different update frequencies and therefore also have different requirements with regard to real-time data acquisition and data transmission. Layer S5 is used, in particular, for free space modeling with a very small amount of data and thus a high possible update rate and low latency. A vehicle can be informed in real time about a drivable area using data from layer S5.
In FIG 6 ist eine schematische Darstellung 60 gezeigt, welche eine Erstellung eines digitalen Zwillings eines Knotens bzw. einer Einmündung veranschaulicht. Dabei werden die detektier- ten Objekte F, M, P als kubische Objekte dargestellt. FIG. 6 shows a schematic illustration 60 which illustrates the creation of a digital twin of a node or an intersection. The detected objects F, M, P are shown as cubic objects.
Diese Daten können dann an ein autonomes Fahrzeug zur Umfeld- Anreicherung und Erweiterung weitervermittelt werden. Der Übertragungsvorgang kann durch ein Kommunikationsmedium wie zum Beispiel einer Road side unit 22c (siehe auch FIG 2) oder mit Hilfe einer 4G/5G-Datenübertragung erfolgen. Der Informa tionsfluss kann sowohl unidirektional von der Infrastruktur 22a, 22b, 22c, 22d zum Fahrzeug F erfolgen als auch umgekehrt unidirektional vom Fahrzeug F zur Infrastruktur 22a, 22b,This data can then be passed on to an autonomous vehicle for enrichment and expansion. The transmission process can take place through a communication medium such as a roadside unit 22c (see also FIG. 2) or with the aid of 4G / 5G data transmission. The flow of information can be unidirectional from infrastructure 22a, 22b, 22c, 22d to vehicle F and vice versa, unidirectional from vehicle F to infrastructure 22a, 22b,
22c, 22d erfolgen. Der Informationsfluss kann aber auch bidi rektional erfolgen. 22c, 22d take place. The flow of information can, however, also be bidirectional.
In FIG 7 ist eine schematische Darstellung einer Umfeldmo dellerzeugungseinrichtung 70 gezeigt. Die Umfeldmodellerzeu gungseinrichtung 70 umfasst infrastrukturseitige Sensoren 22a, 22b zum Erfassen von Sensordaten SD im Umgebungsbereich der Sensoren. Die erfassten Sensordaten werden über eine Kom munikationseinheit 22c an eine Auswertungseinrichtung 22d übermittelt. Die Auswertungseinrichtung 22d umfasst eine sta tionäre Fusionseinheit 71 zum Fusionieren der Sensordaten SD und eine Auswertungseinheit 72 zum stationären Erzeugen von Umfeldmodelldaten MD auf Basis der fusionierten Sensordaten SD. Dabei werden in dem Umgebungsbereich der Sensoren 22a,FIG. 7 shows a schematic representation of a surrounding model generating device 70. The environment model generation device 70 comprises infrastructure-side sensors 22a, 22b for acquiring sensor data SD in the vicinity of the sensors. The recorded sensor data are transmitted to an evaluation device 22d via a communication unit 22c. The evaluation device 22d comprises a stationary fusion unit 71 for merging the sensor data SD and an evaluation unit 72 for the stationary generation of environment model data MD on the basis of the merged sensor data SD. In the vicinity of the sensors 22a,
22b befindliche Objekte lokalisiert und identifiziert. Die Auswertungseinrichtung 22d umfasst auch eine stationäre Kom munikationseinheit 73 zum Übermitteln der Umfeldmodelldaten MD gegebenenfalls auch über die Kommunikationseinheit 22c an ein autonom gesteuertes Fahrzeug F. 22b located objects located and identified. The evaluation device 22d also includes a stationary communication unit 73 for transmitting the environment model data MD, possibly also via the communication unit 22c, to an autonomously controlled vehicle F.
In FIG 8 ist eine Fahrzeugsteuerungseinrichtung 80 gezeigt, welche eine fahrzeugseitige Kommunikationseinheit 81 zum Emp fangen von Umfeldmodelldaten MD von einer stationären Umfeld modellerzeugungseinrichtung 70 aufweist. Teil der Fahrzeug steuerungseinrichtung 80 ist auch eine Steuerungseinheit 82 zum automatisierten Steuern des Fahrverhaltens eines Fahr zeugs F auf Basis eines durch die stationäre Umfeldmodeller zeugungseinrichtung 70 erzeugten Umfeldmodells MD. FIG. 8 shows a vehicle control device 80 which has a vehicle-side communication unit 81 for receiving environment model data MD from a stationary environment model generation device 70. Part of the vehicle control device 80 is also a control unit 82 for the automated control of the driving behavior of a vehicle F on the basis of an environment model MD generated by the stationary environment model generation device 70.
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen le diglich um bevorzugte Ausführungsbeispiele der Erfindung han delt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständig keit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können. Finally, it is pointed out once again that the methods and devices described above are merely preferred exemplary embodiments of the invention and that the invention can be varied by a person skilled in the art without departing from the scope of the invention as far as it is specified by the claims is. For the sake of completeness, it is also pointed out that the use of the indefinite article “a” or “an” does not exclude the possibility of the features in question being present several times. Likewise, the term “unit” does not exclude that it consists of several components, which may also be spatially distributed.

Claims

Patentansprüche Claims
1. Verfahren zum Erzeugen eines Umfeldmodells (MD) eines au tonom gesteuerten Fahrzeugs (F), aufweisend die Schritte:1. A method for generating an environment model (MD) of an autonomously controlled vehicle (F), comprising the steps:
- Erfassen von Sensordaten (SD) durch eine Mehrzahl von inf rastrukturseitigen Sensoren (22a, 22b) in einem Umgebungs bereich des Fahrzeugs (F), - Acquisition of sensor data (SD) by a plurality of infrastructure-side sensors (22a, 22b) in an area around the vehicle (F),
- stationäres Erzeugen von fusionierten Sensordaten (FSD) auf Basis der erfassten Sensordaten (SD) , - stationary generation of fused sensor data (FSD) on the basis of the recorded sensor data (SD),
- stationäres Erzeugen von Umfeldmodelldaten (MD) durch inf rastrukturseitiges Auswerten der Sensordaten (SD) , wobei in dem Umgebungsbereich befindliche Objekte lokalisiert und identifiziert werden, - Stationary generation of environment model data (MD) by evaluating the sensor data (SD) on the infrastructure side, with objects located in the surrounding area being localized and identified,
- Übermitteln der Umfeldmodelldaten (MD) an das Fahrzeug (F) . - Transmission of the environment model data (MD) to the vehicle (F).
2. Verfahren nach Anspruch 1, wobei die Sensoren (22a, 22b) Radarsensoren und/oder Lidarsensoren umfassen. 2. The method according to claim 1, wherein the sensors (22a, 22b) comprise radar sensors and / or lidar sensors.
3. Verfahren nach Anspruch 1 oder 2, wobei die Umfeldmodell daten (MD) objektbasiert erzeugt werden, wobei einzelnen Ob jekten Attribute zugeordnet werden. 3. The method according to claim 1 or 2, wherein the environment model data (MD) are generated object-based, with attributes being assigned to individual objects.
4. Verfahren nach Anspruch 3, wobei die Attribute eines Ob jekts mindestens einen der folgenden Attributtypen umfassen:4. The method of claim 3, wherein the attributes of an object include at least one of the following attribute types:
- die Position des Objekts, - the position of the object,
- die Länge des Objekts, - the length of the object,
- die Geschwindigkeit des Objekts, - the speed of the object,
- die Detektionswahrscheinlichkeit des Objekts, - the detection probability of the object,
- den Typ des Objekts. - the type of object.
5. Verfahren nach einem der vorstehenden Ansprüche, wobei die Umfeldmodelldaten (MD) eine rasterbasierte Belegungskarte um fassen . 5. The method according to any one of the preceding claims, wherein the environment model data (MD) include a grid-based occupancy map.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei der Umgebungsbereich in Teilbereiche (41a, 41b) mit unterschied lichen Prioritäten eingeteilt wird. 6. The method according to any one of the preceding claims, wherein the surrounding area is divided into sub-areas (41a, 41b) with different priorities.
7. Verfahren nach Anspruch 5, wobei die rasterbasierte Bele gungskarte auf Basis der objektbasierten Umfeldmodelldaten (MD) erzeugt wird 7. The method according to claim 5, wherein the grid-based occupancy map is generated on the basis of the object-based environment model data (MD)
8. Verfahren nach einem der vorstehenden Ansprüche, wobei die rasterbasierte Belegungskarte direkt auf Basis der Sensorda ten (SD) erzeugt wird. 8. The method according to any one of the preceding claims, wherein the grid-based occupancy map is generated directly on the basis of the Sensorda th (SD).
9. Verfahren nach einem der vorstehenden Ansprüche, wobei zum Erzeugen der Umfeldmodelldaten (MD) auch fahrzeugseitig er fasste Sensordaten (SD) von dem Umgebungsbereich des Fahr zeugs (F) herangezogen werden. 9. The method according to any one of the preceding claims, wherein in order to generate the environment model data (MD), sensor data (SD) recorded on the vehicle side from the area surrounding the vehicle (F) are also used.
10. Verfahren zur autonomen Steuerung eines Fahrzeugs (F), aufweisend die Schritte: 10. A method for the autonomous control of a vehicle (F), comprising the steps:
- Erzeugen eines Umfeldmodells (MD) durch Anwendung des Ver fahrens nach einem der Ansprüche 1 bis 9, - Generating an environment model (MD) by using the method according to one of claims 1 to 9,
- automatisiertes Steuern des Fahrverhaltens des Fahrzeugs (F) auf Basis des erzeugten Umfeldmodells (MD) . - Automated control of the driving behavior of the vehicle (F) on the basis of the generated environment model (MD).
11. Umfeldmodellerzeugungseinrichtung (70), aufweisend: 11. Environment model generation device (70), comprising:
- infrastrukturseitige Sensoren (22a, 22b) zum Erfassen von Sensordaten (SD) im Umgebungsbereich der Sensoren, - Infrastructure-side sensors (22a, 22b) for capturing sensor data (SD) in the vicinity of the sensors,
- eine stationäre Fusionseinheit (71) zum Fusionieren der Sensordaten (SD) , - a stationary fusion unit (71) for fusing the sensor data (SD),
- eine Auswertungseinheit (72) zum stationären Erzeugen von Umfeldmodelldaten (MD) auf Basis der fusionierten Sensorda ten (SD), wobei in dem Umgebungsbereich befindliche Objekte lokalisiert und identifiziert werden, - An evaluation unit (72) for the stationary generation of environment model data (MD) on the basis of the merged sensor data (SD), objects located in the surrounding area being localized and identified,
- eine stationäre Kommunikationseinheit (73) zum Übermitteln der Umfeldmodelldaten (MD) an ein autonom gesteuertes Fahr zeug (F) . - A stationary communication unit (73) for transmitting the environment model data (MD) to an autonomously controlled vehicle (F).
12. Fahrzeugsteuerungseinrichtung (80), aufweisend: 12. Vehicle control device (80), comprising:
- eine fahrzeugseitige Kommunikationseinheit (81) zum Empfan gen von Umfeldmodelldaten (MD) von einer stationären Um feldmodellerzeugungseinrichtung (70) nach Anspruch 11, - eine Steuerungseinheit (82) zum automatisierten Steuern des Fahrverhaltens eines Fahrzeugs (F) auf Basis des durch die stationäre Umfeldmodellerzeugungseinrichtung (70) nach An spruch 11 erzeugten Umfeldmodells (MD) . - A vehicle-side communication unit (81) for receiving environment model data (MD) from a stationary environment model generation device (70) according to claim 11, - A control unit (82) for the automated control of the driving behavior of a vehicle (F) on the basis of the environment model (MD) generated by the stationary environment model generation device (70) according to claim 11.
13. Autonom gesteuertes Fahrzeug (F), aufweisend eine Fahr zeugsteuerungseinrichtung (80) nach Anspruch 12. 13. Autonomously controlled vehicle (F), comprising a vehicle control device (80) according to claim 12.
14. Automatisiertes Transportsystem, aufweisend: 14. Automated transport system, comprising:
- eine infrastrukturseitig angeordnete Umfeldmodellerzeu gungseinrichtung (70), - an environment model generation device (70) arranged on the infrastructure side,
- mindestens ein autonom gesteuertes Fahrzeug (F) nach An spruch 13. - At least one autonomously controlled vehicle (F) according to claim 13.
15. Computerprogrammprodukt mit einem Computerprogramm, wel ches direkt in eine Speichereinheit eines automatisierten Transportsystems ladbar ist, mit Programmabschnitten, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 10 auszuführen, wenn das Computerprogramm in dem automatisierten Transportsystem ausgeführt wird. 15. Computer program product with a computer program that can be loaded directly into a memory unit of an automated transport system, with program sections to carry out all the steps of a method according to one of claims 1 to 10 when the computer program is executed in the automated transport system.
16. Computerlesbares Medium, auf welchem von einer Rech nereinheit ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 10 auszuführen, wenn die Programmabschnitte von der Rech nereinheit ausgeführt werden. 16. Computer-readable medium on which program sections which can be executed by a computer unit are stored in order to carry out all the steps of the method according to one of claims 1 to 10 when the program sections are executed by the computer unit.
EP20725093.7A 2019-06-25 2020-04-21 Infrastructure-side surroundings acquisition in autonomous driving Pending EP3928127A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019209154.7A DE102019209154A1 (en) 2019-06-25 2019-06-25 Infrastructure detection of the surroundings in autonomous driving
PCT/EP2020/061065 WO2020259892A1 (en) 2019-06-25 2020-04-21 Infrastructure-side surroundings acquisition in autonomous driving

Publications (1)

Publication Number Publication Date
EP3928127A1 true EP3928127A1 (en) 2021-12-29

Family

ID=70680458

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20725093.7A Pending EP3928127A1 (en) 2019-06-25 2020-04-21 Infrastructure-side surroundings acquisition in autonomous driving

Country Status (3)

Country Link
EP (1) EP3928127A1 (en)
DE (1) DE102019209154A1 (en)
WO (1) WO2020259892A1 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020211478A1 (en) 2020-09-14 2022-03-17 Robert Bosch Gesellschaft mit beschränkter Haftung Concept for supporting an at least partially automated motor vehicle
DE102020213661A1 (en) 2020-10-30 2022-05-05 Robert Bosch Gesellschaft mit beschränkter Haftung Method for analyzing the surroundings of a motor vehicle
DE102021203994A1 (en) 2021-04-21 2022-10-27 Robert Bosch Gesellschaft mit beschränkter Haftung Method for operating an at least partially automated vehicle
DE102021206319A1 (en) 2021-06-21 2022-12-22 Robert Bosch Gesellschaft mit beschränkter Haftung Method for infrastructure-supported assistance in a motor vehicle
DE102021207997A1 (en) 2021-07-26 2023-01-26 Robert Bosch Gesellschaft mit beschränkter Haftung Method for checking completeness of a model of traffic dynamics at a traffic junction
DE102021208616A1 (en) 2021-08-06 2023-02-09 Siemens Mobility GmbH Arrangement of infrastructure-side monitoring sensors
DE102021209699A1 (en) 2021-09-03 2023-03-09 Robert Bosch Gesellschaft mit beschränkter Haftung Method for operating multiple infrastructure systems
DE102021209680A1 (en) 2021-09-03 2023-03-09 Robert Bosch Gesellschaft mit beschränkter Haftung Procedure for improving the estimation of existence probabilities
DE102021213819A1 (en) 2021-12-06 2023-06-07 Robert Bosch Gesellschaft mit beschränkter Haftung Method for determining a data transmission quality of a communication connection between networked motor vehicles and an infrastructure system for driving support of at least partially automated networked motor vehicles
DE102021213818A1 (en) 2021-12-06 2023-06-07 Robert Bosch Gesellschaft mit beschränkter Haftung Method for determining a data transmission quality of an infrastructure system for driving support of networked motor vehicles that are at least partially automated
DE102022201280A1 (en) 2022-02-08 2023-08-10 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for operating an infrastructure sensor system
DE102022203289A1 (en) 2022-04-01 2023-10-05 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for detecting misalignments of a stationary sensor and stationary sensor
DE102022206981A1 (en) 2022-07-08 2024-01-11 Robert Bosch Gesellschaft mit beschränkter Haftung Method for driving support for a networked motor vehicle
DE102022211436A1 (en) 2022-10-28 2024-05-08 Robert Bosch Gesellschaft mit beschränkter Haftung Method for creating a vehicle model for a motor vehicle, in particular for a truck
DE102023108153A1 (en) 2023-03-30 2024-10-02 Daimler Truck AG Method for localizing a sound source

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130127822A (en) * 2012-05-15 2013-11-25 한국전자통신연구원 Apparatus and method of processing heterogeneous sensor fusion for classifying and positioning object on road
DE102016205139B4 (en) * 2015-09-29 2022-10-27 Volkswagen Aktiengesellschaft Device and method for characterizing objects
DE102016214470B4 (en) * 2016-08-04 2023-06-22 Volkswagen Aktiengesellschaft Method and system for capturing a traffic environment of a mobile unit
US10692365B2 (en) * 2017-06-20 2020-06-23 Cavh Llc Intelligent road infrastructure system (IRIS): systems and methods
DE102017212533A1 (en) * 2017-07-21 2019-01-24 Robert Bosch Gmbh Device and method for providing state information of an automatic valet parking system

Also Published As

Publication number Publication date
WO2020259892A1 (en) 2020-12-30
DE102019209154A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
WO2020259892A1 (en) Infrastructure-side surroundings acquisition in autonomous driving
EP3688742B1 (en) System for producing and/or updating a digital model of a digital map
EP3572293B1 (en) Method for assisting driving of at least one motor vehicle and assistance system
EP3363005B1 (en) Method for ascertaining and providing a database which relates to a specified surrounding area and contains environmental data
DE102013107959B4 (en) A method of assisting the parking of vehicles on a parking area, parking area management system, on-vehicle system and computer program therefor
DE102020111682A1 (en) SYSTEMS AND METHODS FOR IMPLEMENTING AN AUTONOMOUS VEHICLE REACTION TO A SENSOR FAILURE
DE112020004587T5 (en) DISTRIBUTED ROAD SAFETY CONSENSATION
DE102017217443B4 (en) Method and system for providing training data for machine learning for a control model of an automatic vehicle control
DE102018129048A1 (en) SYSTEMS AND METHOD FOR DETERMINING SAFETY EVENTS FOR AN AUTONOMOUS VEHICLE
DE112017003968T5 (en) CONTROL OF AN AUTONOMOUS VEHICLE
DE102015209947A1 (en) Evacuation travel assistance device
DE102014220681A1 (en) Traffic signal prediction
DE102014220678A1 (en) VEHICLE REMOTE MONITORING
DE102016212700A1 (en) Method and system for controlling a vehicle
EP2936470B1 (en) Method and system for learning traffic events, and use of the system
EP2858039A1 (en) Method for automatically control of the entry of a road vehicle into a controlled stretch of road, control system and on-board system for the same, and computer program
WO2017102623A1 (en) Method and device for predicting a movement of a road traffic participant in a traffic space
DE102019209552A1 (en) Procedure for traffic registration
DE102018124578A1 (en) SYSTEM AND METHOD FOR DYNAMIC VEHICLE ADJUSTMENT AND TUNING
DE112019004772T5 (en) System and method for providing road sharing support actions
DE102013107960B4 (en) Method for updating a database as well as device and computer program
DE112019000969T5 (en) Information processing system and information processing method
WO2018010875A1 (en) Method and apparatus for creating a hazard map for identifying at least one hazardous location for a vehicle
DE102019117136A1 (en) COMMUNICATION AND CONTROL FOR TRAFFIC INFRASTRUCTURE
DE102019116962A1 (en) TRANSPORT INFRASTRUCTURE COMMUNICATION AND CONTROL

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210923

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ROBERT BOSCH GMBH

17Q First examination report despatched

Effective date: 20231222