EP3176046A1 - Method and device in a motor vehicle for automated driving - Google Patents

Method and device in a motor vehicle for automated driving Download PDF

Info

Publication number
EP3176046A1
EP3176046A1 EP16197937.2A EP16197937A EP3176046A1 EP 3176046 A1 EP3176046 A1 EP 3176046A1 EP 16197937 A EP16197937 A EP 16197937A EP 3176046 A1 EP3176046 A1 EP 3176046A1
Authority
EP
European Patent Office
Prior art keywords
scenario
motor vehicle
elementary
situation
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP16197937.2A
Other languages
German (de)
French (fr)
Other versions
EP3176046B1 (en
Inventor
David Perdomo Lopez
Christian JÖRDENS
Lutz Junge
Michael Darms
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3176046A1 publication Critical patent/EP3176046A1/en
Application granted granted Critical
Publication of EP3176046B1 publication Critical patent/EP3176046B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18154Approaching an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4026Cycles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/65Data transmitted between vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/18Propelling the vehicle
    • B60Y2300/18008Propelling the vehicle related to particular drive situations
    • B60Y2300/18158Approaching intersection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Definitions

  • the invention relates to a method and a device in a motor vehicle for automated driving in an environment.
  • Modern motor vehicles have a variety of assistance systems that assist the driver in driving the vehicle.
  • semi-autonomous and autonomous systems are used which permit semi-automatic or fully automatic control of the motor vehicle.
  • the processing of the resulting data sets leads to a large computational effort.
  • a method for automatically assisting a driver of a motor vehicle is known.
  • a lane corridor accessible by the motor vehicle from the current position is determined, wherein the lane corridor is bounded on both sides by a lane corridor border and falls below a distance of the motor vehicle to a lane corridor border the driver oversteer Quer Operations- and / or longitudinal guidance intervention is performed, in particular by acting on a steering of the motor vehicle with a steering torque, by changing the steering ratio characteristic of active steering of the motor vehicle, by changing the accelerator pedal characteristic of the accelerator pedal of the motor vehicle and / or by change the engine torque of the engine of the motor vehicle.
  • a method and an evaluation device for evaluating information of at least one of at least one optical camera recorded image is known.
  • a method for evaluating information of at least one image recorded by at least one optical camera, wherein the at least one optical camera is part of a vehicle is described.
  • the method comprises the following steps: At least one image is recorded by means of the at least one optical camera at least during a drive of the vehicle on a roadway. Furthermore, a determination of an anticipated course of the road in a Environment of the vehicle by means of at least one determining device of the vehicle. In addition, determining at least one area of the at least one image, which includes at least a portion of the determined probable course of the road in the vicinity of the vehicle takes place. In addition, there is an evaluation of image information contained in the at least one determined region of the at least one image.
  • a method and system for automatic traffic guidance is known.
  • traffic-relevant information or traffic relating to an environment or surroundings of several road users or of a traffic infrastructure are automatically detected and transmitted as environment data to a central control unit.
  • the environment data are then displayed by the central control unit in a general environment model, so that this general environment model describes the environment of the road users.
  • those traffic guidance data concerning an environment of a respective road user are automatically transmitted to this road user by the central control unit from the general environment model.
  • the invention is based on the technical problem of providing a method and a device for the automated driving of a motor vehicle in an environment in which a reduced amount of computation is necessary in the interpretation of the environmental data.
  • a scenario will be a set of temporally ordered and interconnected elementary situations. Such a scenario may be, for example, a left turn, straight ahead or right turn on an intersection.
  • An elementary situation denotes a moment or a temporal portion within a scenario.
  • the elementary situation includes a scene and information of the motor vehicle.
  • a scene contains a scene where the scenery includes static objects of the environment.
  • the static objects are, for example, lane markings, traffic signs, etc.
  • the scene also includes dynamic objects, such as traffic light phases, other road users, etc.
  • a method of automated driving of a motor vehicle comprising the steps of: providing environment data, detecting objects in the environment data by an environment perception device, selecting a current scenario from a provided set of known scenarios by a scenario interpretation device based on the recognized objects, wherein a scenario has at least one elementary situation, and wherein each elementary situation as attributes at least one monitoring area and a release criterion are assigned, and sequentially for each of the elementary situations of the current scenario: estimating a target point for the current elementary situation by the scenario interpretation device, scheduling a trajectory to the destination point by a maneuver scheduler, querying information about the surveillance environment associated with the elementary situation at the environment perception device by the scenario interpretation means, checking existence of the at least one elementary release criterion based on the requested information by the scenario interpretation means, and if the at least one release criterion is met, automated driving along the trajectory to the target point Controlling at least one actuator of the motor vehicle by a controller.
  • an automated car driving apparatus comprising environment awareness means for recognizing objects in provided environment data, scenario interpretation means for selecting an actual scenario from a provided set of known scenarios based on the detected objects, a scenario being at least elemental Situation, and wherein each elementary situation as attributes at least one monitoring area and a release criterion are assigned, a maneuver planning device and a controller, wherein the scenario interpretation means is adapted to estimate a target point for a present elementary situation, information about the elementary Situation monitoring area to interrogate from the environment perception device and a presence of the at least one release criterion of the current elementary situation on G check the roundness of the requested information, and wherein the controller is designed in such a way, provided that the at least one release criterion is met, automatically drive the motor vehicle along a planned by the maneuver planning device trajectory to the target point by controlling at least one actuator of the motor vehicle, and the scenario interpretation device is further configured to process, after reaching the destination point, a next elementary situation of the current scenario.
  • the core idea of the invention is to improve the scenario interpretation.
  • a scenario is broken down into several elementary situations.
  • the elementary situations each have at least one monitoring area and a release criterion as attributes assigned to them.
  • the idea behind this is to evaluate not all information, but only the information relevant to a current elementary situation about the environment of the motor vehicle.
  • this scenario comprises several elementary situations which have to be passed through step by step. In every current elementary situation, the complete environment of the motor vehicle can or must no longer be monitored, but only a monitoring area assigned to this elementary situation.
  • the scenario interpretation means that the motor vehicle is in one elementary situation without traffic lights and the surveillance area may only include the zebra crossing and the areas to the left and right of the zebra crossing on the sidewalk.
  • the scenario interpretation device inquires at the surroundings perception device whether pedestrians are present in the area. If it then receives from the environment perception device the information that there are no pedestrians, then the release criterion is fulfilled and the scenario interpretation device initiates the automated driving to a destination estimated by the scenario interpretation device. Then the next elementary situation is worked off.
  • the breakdown of the scenario into several elementary situations has the advantage that a complex scenario in road traffic can be solved within the framework of substeps.
  • Decomposition into elementary situations makes it possible to monitor only a subarea of the environment, which means that only a reduced amount of data has to be processed or evaluated. This results in a considerable reduction of the computational effort.
  • the set of provided scenarios includes, for example, a left turn or a right turn on a T-junction or an X-junction, a straight ahead at an X-junction with and without a traffic sign (stop sign, right of way) or with a traffic signal system, which regulates the traffic ,
  • a scenario may be previously provided or learned, for example, for turning from a public road to a private driveway, etc.
  • the scenario interpretation device preferably also accesses information about a planned route provided by the maneuver planning device.
  • the route includes, for example, the roads that are to be traveled from a starting point to a destination of the automated journey.
  • the environment data are provided by at least one sensor, wherein the at least one sensor detects the environment of the motor vehicle.
  • Suitable sensors include all known sensor systems, such as cameras, ultrasonic sensors, laser scanners, radar sensors, TopView cameras, etc.
  • the environment data is provided alternatively or additionally in the form of an environment map.
  • This may be, for example, a road map in addition to the course of the road also more information are stored, such as street signs, right of way rules, traffic lights etc.
  • a road map facilitates the information stored therein, the selection of a scenario, for example, even if not complete Environment data with high probability between a T-junction and an X-junction can be distinguished.
  • the environment data is provided alternatively or additionally via a communication interface.
  • a communication interface for example, a consideration of Car2X data, which are provided by other motor vehicles or traffic management systems.
  • the scenario interpretation device continuously checks whether the selected current scenario is still present or a change of the current scenario is necessary. This allows dynamic adaptation of the current scenario to the environment. For example, a scenario erroneously selected due to insufficient data of the environment perception device can be corrected in this way. If, for example, a T-junction has been selected and it turns out, when approaching the intersection, that it is not a T-junction but an X-junction, this can be corrected by providing a corresponding scenario for the T-junction X-crossing is selected.
  • future trajectories of detected objects are predicted by a prediction device. This makes it possible to predict or estimate the behavior of objects in the future. Estimates can be made about the estimated future trajectories about where the objects will be, how they will be positioned relative to the motor vehicle, and whether an object in the current elementary situation is relevant to the motor vehicle.
  • a release criterion is that a trajectory of the motor vehicle to the next target point is collision-free with trajectories of other objects. This allows a conflict-free automated journey to the corresponding destination of the current elementary situation.
  • a safety corridor can additionally be defined around the trajectories, which must be observed to avoid collisions.
  • An embodiment provides that at least one elementary situation has a further attribute, wherein the further attribute is a specific object whose presence is queried by the scenario interpretation device at the environment perception device.
  • additional information can be stored, such as a specific traffic sign.
  • an associated release criterion can additionally be stored with the object.
  • the estimation of the destination point is dynamically adapted by the scenario interpretation device on the basis of the information requested by the environment perception device.
  • the ability to dynamically adapt a target point allows a flexible response to the circumstances or changes in the environment of the motor vehicle. This may be necessary, for example, if information becomes available in the current elementary situation that was not previously available in the original estimation of the destination point. For example, it is possible to react flexibly to a construction site, which is only detected when approaching.
  • an automated journey can be influenced or aborted.
  • the driver of the motor vehicle can always intervene in the automated drive or other devices provided for this purpose of the motor vehicle can stop or correct the automated drive. If, for example, a collision with another object takes place, the automated drive is interrupted and the motor vehicle is brought to a standstill.
  • FIG. 1 shows a schematic representation of the structure of a scenario 100.
  • a scenario 100 is, for example, a left turn at an intersection.
  • the scenario comprises at least one elementary situation 101. If the scenario 100 comprises several elementary situations 101, these are arranged in time and connected to one another.
  • Each elementary situation 101 comprises a scene 102 and a description of the state 103 of the motor vehicle.
  • the scene 102 includes, for example, a scene 104 and dynamic elements 105.
  • the scene 104 includes all static objects 113 of the environment, the dynamic elements 105 include, for example, traffic light phases, etc.
  • the state 103 of the motor vehicle includes, for example, an action 106 of the driver and automated actions 107 of a Control.
  • Fig. 2 shows a schematic representation of a typical traffic situation 60 at an intersection 61 for explaining possible conflict points 71, 72, 73, 74, 75 which may occur when turning left of a motor vehicle 50 with other road users.
  • the intersecting roads 62.1, 62.2 each have one lane 63 per direction. From each direction of the intersection 61 there is respectively a motor vehicle 50, 51, 52, 53.
  • there are a plurality of pedestrians 81, 82, 83 which connect the roads 62.1 , 62.2 on crosswalk 64.1, 64.2 crossing or crossing.
  • the left-turn vehicle 50 experiences the points of conflict 72, 73, 74 at which the trajectories 90, 91, 92, 93 of the motor vehicles 50, 51, 52 , 53 can collide with each other.
  • a first point of conflict 71 results with a pedestrian 81 coming from the right.
  • the trajectory 94 of the pedestrian 81 and the trajectory 90 of the motor vehicle 50 intersect.
  • the motor vehicle must therefore wait until the pedestrian 81 has crossed the crosswalk 64.1. Only then can the motor vehicle 50 pass the crosswalk 64.1.
  • a further point of conflict 72 then results with the vehicle 53 coming from the left, since the trajectories 90, 93 overlap.
  • the motor vehicle 50 must let the motor vehicle 53 coming from the left pass by.
  • a priority sign 66 is present for the road 62.1, on which the motor vehicle 50 is located.
  • the motor vehicle 50 must therefore wait until the other motor vehicle 53 has passed the junction 61. Once this has happened, the next conflict points 73, 74 with motor vehicles 51, 52 are found, which come from the right or from the opposite direction. These motor vehicles 51, 52 also have priority in the traffic situation 60, so that the motor vehicle 50 must wait for it to pass.
  • the last point of conflict 75 may be a collision with the pedestrians 82, 83, which want to cross the crosswalk 64.2. Again, the motor vehicle 50 must wait until they have crossed the crosswalk 64.2.
  • the conflict points 71, 72, 73, 74, 75 illustrate in this example that the traffic situation 60 can be broken down into several sub-problems or sub-steps.
  • the traffic situation 60 in the context of the invention represents a scenario which corresponds to the turning left from a single-lane road 62.1 at an X-junction 61 to a one-lane road 62.2 without right of way.
  • the situations or problems to the individual conflict points 71, 72, 73, 74, 75 then correspond to the elementary situations of the scenario.
  • FIGS. 3a to 3e show a schematic representation of in Fig. 2 already shown traffic situation at an X-junction to explain the possible maneuvers under consideration of different right of way and right of way. Each of the representations corresponds to a scenario.
  • Fig. 3a shows the three maneuvers or scenarios, if the right of way is regulated according to the right-to-left rule. In all three scenarios, the rights of the pedestrians 81 on the respective crosswalk 64 are to be observed. If motor vehicle 50 is traveling straight ahead, there is a point of conflict 71 with a pedestrian from the right. Then there is a point of conflict 72 with another motor vehicle 51 from the right and another point of conflict 73 with a pedestrian 81 from the right.
  • the pedestrian 81 In the scenario where the motor vehicle 50 wants to turn right, the pedestrian 81 must be serviced from the right, then pedestrians 81 who want to cross the road 62.2 into which the motor vehicle 50 turns.
  • the pedestrian 81 When turning left, there is a point of conflict 71 with a pedestrian 81 from the right, then a point of conflict 72 with another motor vehicle 51 from the right and a point of conflict 73 with an oncoming motor vehicle 52, finally a last point of conflict 74 with pedestrians 81 crossing the street 62.2. in which the motor vehicle 50 turns.
  • FIGS. 3b and 3c show the two scenarios in which the right of way rights are regulated by means of traffic signs, both in the event that the motor vehicle 50 has priority and in the event that the motor vehicle 50 has no right of way.
  • the motor vehicle 50 must wait for pedestrians 81 on the crosswalk 64 while driving straight ahead. Even when turning to the right, it is also necessary to wait only for the pedestrians 81 of the crosswalks 64.
  • pedestrians 81 and other vehicles 51, 53 must be serviced from right and left.
  • pedestrians 81 and other motor vehicles 51, 52, 53 must be serviced from all other directions.
  • the 3d figures and 3e show the scenarios in the event that a traffic signal (traffic light) controls the traffic.
  • a tolerable scenario has no conflict points.
  • a conditionally compatible scenario has at least one potential point of conflict, for example an intersection with a trajectory of a pedestrian (or cyclist) or with a trajectory of another motor vehicle.
  • the rules of priority applicable in the scenario decide whether a maneuver is compatible or conditionally compatible.
  • Fig. 4 shows a schematic representation of a scenario 100, which has several elementary situations 101.0, 101.1, 101.2, 101.3, 101.X.
  • the elementary Situations 101.0, 101.1, 101.2, 101.3, 101.X are linked with one another in terms of time and each have as attributes 108 at least one monitoring area 110 and an enabling criterion 114. Only when in a current elementary situation 101.0, 101.1, 101.2, 101.3, 101.X the respective release criterion 114 is fulfilled, is it changed to the subsequent elementary situation 101.1, 101.2, 101.3, 101.X. It is possible that for an elementary situation 101.0 there is more than one potential subsequent elementary situation 101.1, 101.2.
  • the elementary situation 101.0 results from the current environment or from acquired environmental data.
  • the elementary situation 101.0 describes an approach to an intersection, the case may be that it is an X-junction or a T-junction.
  • the environment data provided does not allow a clear decision, so that only two hypotheses 109 can be set up: the X-intersection then corresponds to the one potential subsequent elementary situation 101.1, the T-intersection of the second potentially subsequent elementary situation 101.2. If the motor vehicle then continues to approach the intersection, the environment data provided will generally become better, so that at some point a clear decision can be taken or a correction 115 of the previous hypothesis can be carried out. In this way, the current scenario is continuously reviewed and, if necessary, corrected on the basis of currently provided environment data. This allows an always up-to-date interpretation.
  • FIGS. 5a and 5b show the elementary situations 101.1, 101.2, 101.2, 101.4, 101.5, 101.6, 101.7 of an exemplary scenario, which describes the turning of a motor vehicle 50 from a three-lane road to a two-lane road, the right of way is regulated by traffic signs and the motor vehicle 50 no right of way has.
  • the motor vehicle 50 changes to the left lane to the left and approaches the intersection 61.
  • the scenario interpreter recognizes that the motor vehicle 50 is approaching an X-junction 61 and a left turn is planned.
  • This elementary scenario 101.1 has as an attribute a monitoring area 110.1, which comprises the pedestrian crossing and the areas on the left and right on the pedestrian path for monitoring a potential point of conflict.
  • the motor vehicle 50 has to wait for passing pedestrians (or cyclists) and only when pedestrians no longer want to cross or cross the street, the release criterion associated with the elementary situation 101.1 is met.
  • the scenario interpretation device queries at the environment perception device whether objects are within the surveillance area 110.1. In this case, future trajectories of the objects can also be estimated on the basis of detected or estimated movement data, for example via a prediction device, and then made available to the scenario interpretation device.
  • the next elementary situation 101.2 follows the first elementary situation 101.1 and takes into account as a potential point of conflict a vehicle coming from the left. Accordingly, the elementary situation 101.2 is assigned as an attribute a monitoring area 110.2 on the crossing lane to the left in front of the motor vehicle 50 and a corresponding release criterion (no other motor vehicle from the left).
  • Another elementary situation 101.3 considers as potential conflict point another motor vehicle coming from the right. Accordingly, the elementary situation 101.3 is assigned as an attribute a monitoring area 110.3 on the crossing lane to the right in front of the motor vehicle 50 and a corresponding release criterion (no other motor vehicle from the right).
  • Another elementary situation 101.4 summarizes the two previous elementary situations 101.2, 101.3. This elementary situation 101.4 is then assigned as an attribute to a monitoring area 110.4 on the crossing lane both on the right and left in front of the motor vehicle 50 and a corresponding release criterion (no other motor vehicle from left or right).
  • a subsequent elementary situation 101.5 ( Fig. 5b ) the motor vehicle 50 is already in the middle of the intersection 61.
  • the motor vehicle 50 must wait for pedestrians, accordingly, the elementary situation 101.5 assigned a surveillance area 110.5, which includes the walkways to the left and right of the motor vehicle 50 and the pedestrian crossing.
  • An associated approval criterion is that no pedestrian is on the pedestrian crossing and no pedestrians cross the street anymore intended.
  • a corresponding elementary situation 101.7 results for the motor vehicle 50 in the right turn.
  • a surveillance area 110.7 must be monitored for weaker road users who want to cross or cross the road.
  • the Figures 6a and 6b exemplarily show by the scenario interpretation means estimated target points 111.1, 111.2, 111.3, 111.4 for a left turn or estimated target points 111.5, 111.6, 111.7 for a right turn at an intersection 61.
  • the scenario interpretation means estimated target points 111.1, 111.2, 111.3, 111.4 for a left turn or estimated target points 111.5, 111.6, 111.7 for a right turn at an intersection 61.
  • the same destination 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7 is or is assigned to several elementary situations.
  • the motor vehicle 50 is automatically assigned to the elemental situation Target point 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7.
  • a maneuver planning organization assumes the planning of the concrete Trajectory 112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7 of one Destination point 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7 to the next and a controller performs the automated journey along the planned Trajectory 112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7 by controlling at least one actuator of the motor vehicle 50 by.
  • Fig. 7a Figure 12 is a schematic flow chart for explaining the maneuver "turn off" at an intersection, the maneuver being based on elementary situations.
  • the flowchart includes several scenarios, which are dynamically adjusted depending on the environment. In each case, parts of the flowchart correspond with the elementary situations, which in the FIGS. 5a and 5b have been described.
  • the elementary situations are for better overview in Fig. 7b presented as a legend, using the same names as in the FIGS. 5a and 5b , Furthermore, in the Figures 6a and 6b defined target points used.
  • the motor vehicle approaches an intersection. It changes 201 to a suitable lane to make a corresponding left turn or maneuver To prepare right turn. If it has changed the lane, then it continues to approach the intersection.
  • the scenario interpretation device inquires at the environment perception device whether a traffic light system (traffic light) is present.
  • 204 asks which traffic light phase is present.
  • the vehicle must wait. It is then automatically sent to a first first target point estimated by the scenario interpretation device (target points 111.1, 111.5 in FIG Fig. 6a respectively. Fig. 6b ) approached before the intersection 205. Once arrived at the first destination point, the interrogation 204 of the traffic light phase is repeated. If the traffic light phase is "green”, it is checked in a query 206 whether the traffic flow is compatible or not (or conditionally compatible). If the traffic flow is compatible, then it can be completely turned (to the left or right) 207, since the motor vehicle enjoys priority. The scenario is finished.
  • a query 208 first of all clarifies whether the maneuver to be performed provides for a left turn or a right turn. If it is intended to turn to the left, a check is made in a following query 209 as to whether traffic is coming from the opposite direction. If this is the case, the motor vehicle is automated until the second destination point estimated by the scenario interpretation device (destination point 111.2 in FIG Fig. 6a ) 210. There, the query 209 is repeated. If no traffic comes from the opposite direction, the motor vehicle is automatically automated up to the third estimated destination (destination point 111.3 in Fig. 6a 211.
  • a query 212 takes place whether weaker road users (pedestrians, cyclists, etc.) want to cross or cross the road into which they wish to be inflected. If this is the case, it is held 261 and the query 212 is repeated. If there are no weaker road users, it is completely turned off (corresponds to destination point 111.4 in Fig. 6a ). If the maneuver of the motor vehicle is a right turn, the query 208 results in a corresponding result. Then, in the next step 211 to the sixth target point (target point 111.6 in FIG Fig. 6b ) hazards. There, the query 212 is executed accordingly. If there are no weaker road users, it is completely turned off 207 (corresponds to destination 111.7 in Fig. 6b ).
  • the query 204 that the traffic light is turned off this corresponds to the case in which the query 203 shows that no traffic light is present. Then it is checked in a query 213, whether a crosswalk is in front of the motor vehicle. If a zebra crossing exists, the motor vehicle is automatically driven 214 up to the first estimated destination point. Here the motor vehicle waits if necessary and it is checked in a query 215 whether there are weaker road users crossing the crosswalk or want to cross. Waiting 216 and retrying 215 is repeated. If there are no weaker road users (more) or if there is no crosswalk, a query 217 checks whether there are traffic signs which regulate the right of way.
  • a query 219 determines whether to turn left or right. If you want to turn left, it is checked in a query 220 whether other road users come from the right. If this is the case, it is stopped 221 and the query 220 is repeated. If there are no other road users (more) from the right side, then automation takes place to the second destination point (destination point 111.2 in Fig. 6a ) 222. There is checked in a query 223, if traffic comes from the opposite direction. If this is the case, it is held 260 and the query 223 repeated.
  • the motor vehicle is automatically automated up to the third estimated destination (destination point 111.3 in Fig. 6a 224. There, it is checked in a query 225 whether weaker road users want to cross or cross the road to be inflected. If weaker road users are present, it will be held 258 and the query 225 repeated. If there are no weaker road users (more) available, the motor vehicle is automatically automated up to the fourth estimated destination (destination point 111.4 in Fig. 6a ) 259.
  • the scenario is simplified. It then becomes the sixth estimated target point (target point 111.6 in FIG Fig. 6b 226. There, it is checked in a query 227 whether weaker road users want to cross or cross the road to be inflected. If weaker road users are present, it is held 228 and the query 227 repeated. If there are no weaker road users (more) available, the system automates to the seventh estimated destination point (destination point 111.7 in Fig. 6b ) 229.
  • a query 232 determines whether to turn left or right , If you want to turn to the left, then a subsequent query 233 determines whether there is traffic from the left or right. Is this the If so, it is stopped 234 and query 233 is repeated. If this is not the case, it is checked in a query 235 whether traffic from the opposite direction is present.
  • the motor vehicle is automatically automated up to the second estimated destination point (destination point 111.2 in FIG Fig. 6a ) 236 and query 235 repeated. If there is no oncoming traffic (more), then until the third estimated destination point (destination point 111.3 in Fig. 6a ) 237. In a query 238 it is then checked whether there are weaker road users who want to cross or cross the road to be inflected. If weaker road users are present, it is held 239 and the query 238 repeated. If there are no weaker road users (more), the estimated fourth destination point (destination point 111.4 in Fig. 6a ) driven 240.
  • the query 232 If the query 232, however, that is to be bent to the right, it is checked in a query 241, whether traffic from the left or right exists. If there is cross traffic, it is held 242 and the query 241 is repeated. If there is no cross traffic (more), the estimated destination point (destination point 111.6 in Fig. 6b ) 243. Here is checked in a query 244, if weaker road users are present, who want to cross or cross the road to be inflected. If weaker road users are present, it will be held 245 and the query 244 repeated. If there are no weaker road users (more), then the estimated seventh destination (destination point 111.7 in Fig. 6b ) 246.
  • the query 230 indicates that the motor vehicle has priority, it is determined in a following query 247 whether to turn to the left or to the right. Should be bent to the left, it is then checked in a query 248 whether traffic from the opposite direction is present. If oncoming traffic is present, the motor vehicle is automatically automated up to the second estimated destination point (destination point 111.2 in FIG Fig. 6a ) 249 and the query 248 repeated. If there is no oncoming traffic (more), the motor vehicle is automatically automated up to the third estimated destination point (destination point 111.3 in Fig. 6a 250). There, it is checked in a query 251 whether there are weaker road users who want to cross or cross the road into which they wish to be inflected. If weaker road users are present, it is held 252 and the query 251 is repeated. If there are no weaker road users (more), the estimated fourth destination point (destination point 111.4 in Fig. 6a ) 253.
  • query 247 indicates that it is to be bent to the right, then the motor vehicle is automatically automated up to the sixth estimated target point (target point 111.6 in FIG Fig. 6b ) 254.
  • query 255 There is checked in a query 255, if weaker road users are present, who want to cross or cross the road to be inflected. If weaker road users are present, 256 is held and poll 255 is repeated. If there are no weaker road users (more), then the estimated seventh destination (destination point 111.7 in Fig. 6b ) 257.
  • Fig. 8 1 shows a schematic representation of a device 1 for the automated driving of a motor vehicle 50.
  • the device 1 comprises an environment perception device 2, a scenario interpretation device 3, a maneuver planning device 4 and a controller 5.
  • An environment of the motor vehicle 50 is detected by means of a sensor 6 and provided as environment data 7.
  • a sensor 6 may be, for example, a camera, a radar sensor, an ultrasonic sensor or the like.
  • environment data 7 can also be provided via a communication interface 8, for example a Car2X interface, and / or an environment map 9.
  • the environment data 7 are evaluated by the environment perception device 2 and objects detected in the environment of the motor vehicle. This can be done, for example, via a roadway recognition device 10 and / or an object recognition device 11.
  • the roadway recognition device 10 there is a fusion of the environment data 7, which relate to the roadway.
  • the object recognition device 11 a fusion of the environment data 7, which describe objects in the environment of the motor vehicle 50, takes place.
  • Recognized objects can be, for example, other motor vehicles, weaker road users (pedestrians, cyclists, etc.) or even traffic signs.
  • the data on the detected objects are forwarded by the environment perception device 2 to the scenario interpretation device 3.
  • a scenario may be a turn to the left or right (such as in the FIGS. 5a . 5b or Fig. 7 shown).
  • the selected scenario 12 forms a hypothesis about the current traffic situation. It is always possible for the scenario interpretation means 3 to discard the current scenario 12 and select another or modified scenario if such a scenario is more likely based on new data from the environment perception means 2. For example, when approaching an intersection, a scenario for a T-junction may first be assumed, but then this scenario may be replaced by an X-junction, because in the Meanwhile, new (better) data has been provided by the environment perception device 2.
  • a current scenario 12 includes at least one elementary situation 13, which corresponds to an intermediate time step in the current scenario 12.
  • the elementary situations 13 are connected with each other in terms of time.
  • the next elementary situation 13 is transitioned if at least one of the elementary situation 13 is fulfilled as an associated release criterion.
  • each elementary situation 13 is assigned a monitoring area as a further attribute.
  • the monitoring area is queried by the scenario interpretation device 3 by request 20 at the environment perception device 2.
  • the attributes for the current elementary situation 13 are transmitted to the environment perception device 2, which in turn can recognize the elementary situations 13 via a situation recognition device 19.
  • special attributes such as certain objects (traffic lights, traffic signs, ...) can certain objects are queried specifically at the environment perception device.
  • the scenario interpretation device 3 estimates a destination point.
  • the destination point is transferred to the maneuver planning device 4.
  • the maneuver planning device 4 comprises a mission planner 14, which carries out the planning of the route (for example, which roads are to be traveled in the automated journey from the starting point to the destination) of the motor vehicle.
  • the maneuver planning device 4 also assumes the planning of the concrete trajectories between the individual target points estimated by the scenario interpretation device 3 by means of a trajectory planning device 15.
  • the specifically planned trajectories are transferred from the maneuver planning device 4 to the controller 5.
  • the controller 5 then includes, for example, a control device 16 which controls or controls at least one actuator 17 of the motor vehicle 50, so that the motor vehicle 50 automatically travels along the concrete trajectory.
  • the device 1 may comprise a prediction device 22 which predicts future trajectories of detected objects within the at least one monitoring region of an elementary situation.
  • a prediction device 22 which predicts future trajectories of detected objects within the at least one monitoring region of an elementary situation.
  • movement data eg a position, an orientation, an insert of a turn signal
  • the following approaches can be used: Mixtures of Gaussian, Kalman filters, Monte Carlo simulations, Gaussian Process, Logistic Regression, Relevance Vector Machines, Support Vector, Hidden Markov Models and Bayesian Networks.
  • the device or parts thereof can also be designed as a combination of hardware and software, for example in the form of a microcontroller or microprocessor on which a corresponding computer program is executed.
  • a mission planner provides information about suitable lanes and the motor vehicle 50 makes a lane change to an appropriate lane.
  • the motor vehicle 50 then approaches the intersection 61.
  • the scenario interpretation device recognizes a left turn maneuver based on the data from the surroundings perception device and selects the corresponding scenario. Subsequently, the scenario interpretation device inquires at the environment perception device whether a traffic light exists. If there is no traffic light, the scenario interpretation device additionally needs information about the applicable right of way regulation (left-to-right or traffic signs, etc.).
  • the environment perception device recognizes a STOP sign 21, so that a scenario with a corresponding basic order of elementary situations is selected (see also the procedure in FIG Fig. 7 ).
  • the following elementary situations each represent hypotheses about the future course of the scenario. The hypotheses can then be confirmed or disproved by the environment perception device.
  • the first elementary situation ( Fig. 9a ) requests at the environment perception device the information as to whether weaker road users (pedestrians or cyclists) are present in the monitoring area 110.1 assigned to the first elementary situation. Depending on whether weaker road users are present or not, the scenario interpretation device estimates a first destination point 111.1. Since the scenario interpretation device is already known in advance, where monitoring areas 110.2 of the next elementary situation ( Fig. 9b ), information about vehicles coming from the left and the right is requested at the environment perception facility.
  • the scenario interpretation device does not change the destination point 111.1 as long as pedestrians or bicycles still want to cross or cross the street. Otherwise, the destination point 111.1 is moved forward (before a potential conflict point with a motor vehicle coming from the left). Furthermore, information about the monitoring area 110.2 in the surroundings perception device is queried.
  • next elementary situation ( Fig. 9c ) oncoming motor vehicles are taken into account. Accordingly, the surveillance area 110.3 is selected for this elementary situation. If there is no cross traffic, the next destination point 111.2 is estimated by the scenario interpretation facility. The estimated destination point 111.2 lies before a possible point of conflict with an oncoming motor vehicle. The motor vehicle 50 is then automatically moved to the destination point 111.2.
  • the next elementary situation ( Fig. 9d ).
  • a destination point 111.3 is estimated, which is approached automatically by the motor vehicle 50.
  • the monitoring area 110.4 is defined. If there are no weaker road users (more), the scenario is ended by completing the turn.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum automatisierten Fahren eines Kraftfahrzeugs (50), umfassend die folgenden Schritte: Bereitstellen von Umfelddaten (7), Erkennen von Objekten (113) in den Umfelddaten (7), Auswählen eines aktuellen Szenarios (12, 100) durch eine Szenario-Interpretationseinrichtung (3) auf Grundlage der erkannten Objekte (113), wobei ein Szenario (12, 100) mindestens eine elementare Situation (13, 101, 101.1 - 101.X) aufweist, der als Attribute (108) zumindest ein Überwachungsbereich (110.1 - 110.7) und ein Freigabekriterium (114) zugeordnet sind, ferner nacheinander für jede der elementaren Situationen (13, 101, 101.1 - 101.X) des aktuellen Szenarios (12, 100): Schätzen eines Zielpunktes (111.1 - 111.7), Planen einer Trajektorie (112.1 - 112.7) zu dem Zielpunkt (111.1 - 111.7) durch eine Manöverplanungseinrichtung (4), Abfragen von Informationen über den Überwachungsbereich (110.1 - 110.7) bei der Umfeldwahrnehmungseinrichtung (2) durch die Szenario-Interpretationseinrichtung (3), Überprüfen eines Vorliegens des mindestens einen Freigabekriteriums (114) durch die Szenario-Interpretationseinrichtung (3), und sofern das mindestens eine Freigabekriterium (114) erfüllt ist, automatisiertes Fahren entlang der Trajektorie (112.1 - 112.7) bis zum Zielpunkt (111.1 - 111.7) durch eine Steuerung (5). Ferner betrifft die Erfindung eine zugehörige Vorrichtung (1).The invention relates to a method for the automated driving of a motor vehicle (50), comprising the following steps: providing environment data (7), recognizing objects (113) in the environment data (7), selecting a current scenario (12, 100) by a Scenario interpretation device (3) on the basis of the detected objects (113), wherein a scenario (12, 100) has at least one elementary situation (13, 101, 101.1 - 101.X), which as attributes (108) comprises at least one monitoring area (113). 110.1 - 110.7) and an enabling criterion (114) are assigned, one after another for each of the elementary situations (13, 101, 101.1 - 101.X) of the current scenario (12, 100): estimating a destination (111.1 - 111.7), scheduling a trajectory (112.1 - 112.7) to the target point (111.1 - 111.7) by a maneuver planning device (4), querying information about the surveillance area (110.1 - 110.7) in the environment perception device (2) by the scenario interp (3) checking the existence of the at least one release criterion (114) by the scenario interpretation device (3), and if the at least one release criterion (114) is met, automated driving along the trajectory (112.1 - 112.7) to the destination point ( 111.1 - 111.7) by a controller (5). Furthermore, the invention relates to an associated device (1).

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung in einem Kraftfahrzeug zum automatisierten Fahren in einem Umfeld.The invention relates to a method and a device in a motor vehicle for automated driving in an environment.

Moderne Kraftfahrzeuge weisen eine Vielzahl von Assistenzsystemen auf, welche den Fahrer beim Führen des Fahrzeugs unterstützen. Vermehrt kommen dabei semi-autonome und autonome Systeme zum Einsatz, die eine semi- oder vollautomatische Steuerung des Kraftfahrzeugs erlauben. Die Verarbeitung der dabei auftretenden Datenmengen führt zu einem großen Rechenaufwand.Modern motor vehicles have a variety of assistance systems that assist the driver in driving the vehicle. Increasingly, semi-autonomous and autonomous systems are used which permit semi-automatic or fully automatic control of the motor vehicle. The processing of the resulting data sets leads to a large computational effort.

Aus der DE 10 2010 010 856 A1 ist ein Verfahren zur automatischen Unterstützung eines Fahrers eines Kraftfahrzeugs bekannt. Dabei wird aus den Positionsdaten des Kraftfahrzeugs und den Daten des elektronischen Abbildes der Fahrzeugumgebung ein von dem Kraftfahrzeug aus der aktuellen Position heraus befahrbarer Fahrspurkorridor bestimmt, wobei der Fahrspurkorridor beidseitig jeweils von einem Fahrspurkorridorrand begrenzt wird und bei Unterschreitung eines Abstandes des Kraftfahrzeugs zu einem Fahrspurkorridorrand ein durch den Fahrer übersteuerbaren Querführungs- und/oder Längsführungseingriff durchgeführt wird, insbesondere durch Beaufschlagung einer Lenkung des Kraftfahrzeugs mit einem Lenkmoment, durch Änderung der Lenkübersetzungs-Kennlinie einer aktiven Lenkung des Kraftfahrzeugs, durch Änderung der Fahrpedal-Kennlinie des Fahrpedals des Kraftfahrzeugs und/oder durch Änderung des Motormoments des Motors des Kraftfahrzeugs.From the DE 10 2010 010 856 A1 For example, a method for automatically assisting a driver of a motor vehicle is known. In this case, from the position data of the motor vehicle and the data of the electronic image of the vehicle environment, a lane corridor accessible by the motor vehicle from the current position is determined, wherein the lane corridor is bounded on both sides by a lane corridor border and falls below a distance of the motor vehicle to a lane corridor border the driver oversteer Querführungs- and / or longitudinal guidance intervention is performed, in particular by acting on a steering of the motor vehicle with a steering torque, by changing the steering ratio characteristic of active steering of the motor vehicle, by changing the accelerator pedal characteristic of the accelerator pedal of the motor vehicle and / or by change the engine torque of the engine of the motor vehicle.

Aus der DE 10 2010 018 333 A1 ist ein Verfahren und eine Auswertevorrichtung zum Auswerten von Informationen zumindest eines von zumindest einer optischen Kamera aufgenommenen Bildes bekannt. Beschrieben wird ein Verfahren zum Auswerten von Informationen zumindest eines von zumindest einer optischen Kamera aufgenommenen Bildes, wobei die zumindest eine optische Kamera Bestandteil eines Fahrzeugs ist. Das Verfahren weist folgende Schritte auf: Es erfolgt ein Aufnehmen zumindest eines Bildes mittels der zumindest einen optischen Kamera zumindest während einer Fahrt des Fahrzeugs auf einer Fahrbahn. Weiterhin erfolgt ein Ermitteln eines voraussichtlichen Verlaufs der Fahrbahn in einer Umgebung des Fahrzeugs mittels zumindest einer Ermittlungsvorrichtung des Fahrzeugs. Zudem erfolgt ein Ermitteln zumindest eines Bereiches des zumindest einen Bildes, der zumindest einen Teilbereich des ermittelten voraussichtlichen Verlaufs der Fahrbahn in der Umgebung des Fahrzeugs beinhaltet. Darüber hinaus erfolgt ein Auswerten von in dem zumindest einen ermittelten Bereich des zumindest einen Bildes enthaltenen Bildinformationen.From the DE 10 2010 018 333 A1 a method and an evaluation device for evaluating information of at least one of at least one optical camera recorded image is known. A method for evaluating information of at least one image recorded by at least one optical camera, wherein the at least one optical camera is part of a vehicle, is described. The method comprises the following steps: At least one image is recorded by means of the at least one optical camera at least during a drive of the vehicle on a roadway. Furthermore, a determination of an anticipated course of the road in a Environment of the vehicle by means of at least one determining device of the vehicle. In addition, determining at least one area of the at least one image, which includes at least a portion of the determined probable course of the road in the vicinity of the vehicle takes place. In addition, there is an evaluation of image information contained in the at least one determined region of the at least one image.

Aus der DE 10 2009 008 745 A1 ist ein Verfahren und System zur automatischen Verkehrsführung bekannt. Dabei werden verkehrsrelevante oder einen Straßenverkehr betreffende Informationen über ein Umfeld oder eine Umgebung von mehreren Verkehrsteilnehmern oder von einer Verkehrsinfrastruktur (z. B. Einrichtungen, welche einen Verkehr erfassen und/oder regeln) automatisch erfasst und als Umfelddaten an eine zentrale Steuereinheit übermittelt. Die Umfelddaten werden dann von der zentralen Steuereinheit in einem allgemeinen Umfeldmodell dargestellt, so dass dieses allgemeine Umfeldmodell das Umfeld der Verkehrsteilnehmer beschreibt. Um die Verkehrsführung der Verkehrsteilnehmer zu unterstützen, werden von der zentralen Steuereinheit aus dem allgemeinen Umfeldmodell diejenigen Verkehrsführungsdaten, welche ein Umfeld eines jeweiligen Verkehrsteilnehmers betreffen, automatisch an diesen Verkehrsteilnehmer übermittelt.From the DE 10 2009 008 745 A1 a method and system for automatic traffic guidance is known. In this context, traffic-relevant information or traffic relating to an environment or surroundings of several road users or of a traffic infrastructure (eg devices which detect and / or regulate traffic) are automatically detected and transmitted as environment data to a central control unit. The environment data are then displayed by the central control unit in a general environment model, so that this general environment model describes the environment of the road users. In order to support the traffic guidance of the road users, those traffic guidance data concerning an environment of a respective road user are automatically transmitted to this road user by the central control unit from the general environment model.

Der Erfindung liegt das technische Problem zu Grunde, ein Verfahren und eine Vorrichtung zum automatisierten Fahren eines Kraftfahrzeugs in einem Umfeld zur Verfügung zu stellen, bei der ein verringerter Rechenaufwand bei der Interpretation der Umfelddaten notwendig ist.The invention is based on the technical problem of providing a method and a device for the automated driving of a motor vehicle in an environment in which a reduced amount of computation is necessary in the interpretation of the environmental data.

Die technische Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und einer Vorrichtung mit den Merkmalen des Patentanspruchs 5 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.The technical problem is solved by a method with the features of claim 1 and a device having the features of claim 5. Advantageous embodiments of the invention will become apparent from the dependent claims.

Ein Szenario soll im Folgenden eine Menge von zeitlich geordneten und miteinander verbundenen elementaren Situationen sein. Ein solches Szenario kann beispielsweise ein Linksabbiegen, Geradeausfahren oder Rechtsabbiegen auf einer Kreuzung sein.In the following, a scenario will be a set of temporally ordered and interconnected elementary situations. Such a scenario may be, for example, a left turn, straight ahead or right turn on an intersection.

Eine elementare Situation bezeichnet einen Augenblick bzw. einen zeitlichen Abschnitt innerhalb eines Szenarios. Die elementare Situation umfasst dabei eine Szene und Informationen des Kraftfahrzeugs.An elementary situation denotes a moment or a temporal portion within a scenario. The elementary situation includes a scene and information of the motor vehicle.

Eine Szene enthält eine Szenerie, wobei die Szenerie statische Objekte des Umfeldes umfasst. Die statischen Objekte sind beispielsweise Fahrbahnmarkierungen, Verkehrszeichen usw. Ferner umfasst die Szene auch dynamische Objekte, wie beispielsweise Ampelphasen, andere Verkehrsteilnehmer usw.A scene contains a scene where the scenery includes static objects of the environment. The static objects are, for example, lane markings, traffic signs, etc. Furthermore, the scene also includes dynamic objects, such as traffic light phases, other road users, etc.

Es wird ein Verfahren zum automatisierten Fahren eines Kraftfahrzeugs zur Verfügung gestellt, umfassend die folgenden Schritte: Bereitstellen von Umfelddaten, Erkennen von Objekten in den Umfelddaten durch eine Umfeldwahrnehmungseinrichtung, Auswählen eines aktuellen Szenarios aus einer bereitgestellten Menge von bekannten Szenarien durch eine Szenario-Interpretationseinrichtung auf Grundlage der erkannten Objekte, wobei ein Szenario mindestens eine elementare Situation aufweist, und wobei jeder elementaren Situation als Attribute zumindest ein Überwachungsbereich und ein Freigabekriterium zugeordnet sind, ferner nacheinander für jede der elementaren Situationen des aktuellen Szenarios: Schätzen eines Zielpunktes für die aktuell vorliegende elementare Situation durch die Szenario-Interpretationseinrichtung, Planen einer Trajektorie zu dem Zielpunkt durch eine Manöverplanungseinrichtung, Abfragen von Informationen über den zur elementaren Situation gehörenden Überwachungsbereich bei der Umfeldwahrnehmungseinrichtung durch die Szenario-Interpretationseinrichtung, Überprüfen eines Vorliegens des mindestens einen zur elementaren Situation gehörenden Freigabekriteriums auf Grundlage der abgefragten Informationen durch die Szenario-Interpretationseinrichtung, und sofern das mindestens eine Freigabekriterium erfüllt ist, automatisiertes Fahren entlang der Trajektorie bis zum Zielpunkt durch Steuern mindestens einer Aktorik des Kraftfahrzeugs durch eine Steuerung.There is provided a method of automated driving of a motor vehicle, comprising the steps of: providing environment data, detecting objects in the environment data by an environment perception device, selecting a current scenario from a provided set of known scenarios by a scenario interpretation device based on the recognized objects, wherein a scenario has at least one elementary situation, and wherein each elementary situation as attributes at least one monitoring area and a release criterion are assigned, and sequentially for each of the elementary situations of the current scenario: estimating a target point for the current elementary situation by the scenario interpretation device, scheduling a trajectory to the destination point by a maneuver scheduler, querying information about the surveillance environment associated with the elementary situation at the environment perception device by the scenario interpretation means, checking existence of the at least one elementary release criterion based on the requested information by the scenario interpretation means, and if the at least one release criterion is met, automated driving along the trajectory to the target point Controlling at least one actuator of the motor vehicle by a controller.

Ferner wird eine Vorrichtung zum automatisierten Fahren eines Kraftfahrzeugs geschaffen, umfassend eine Umfeldwahrnehmungseinrichtung zum Erkennen von Objekten in bereitgestellten Umfelddaten, eine Szenario-Interpretationseinrichtung zum Auswählen eines aktuellen Szenarios aus einer bereitgestellten Menge von bekannten Szenarien auf Grundlage der erkannten Objekte, wobei ein Szenario mindestens eine elementare Situation aufweist, und wobei jeder elementaren Situation als Attribute zumindest ein Überwachungsbereich und ein Freigabekriterium zugeordnet sind, eine Manöverplanungseinrichtung und eine Steuerung, wobei die Szenario-Interpretationseinrichtung derart ausgebildet ist, einen Zielpunkt für eine aktuell vorliegende elementare Situation zu schätzen, Informationen über den zur elementaren Situation gehörenden Überwachungsbereich von der Umfeldwahrnehmungseinrichtung abzufragen und ein Vorliegen des mindestens einen Freigabekriteriums der aktuellen elementaren Situation auf Grundlage der abgefragten Informationen zu überprüfen, und wobei die Steuerung derart ausgebildet, sofern das mindestens eine Freigabekriterium erfüllt ist, das Kraftfahrzeug entlang einer von der Manöverplanungseinrichtung geplanten Trajektorie bis zum Zielpunkt durch Steuern mindestens einer Aktorik des Kraftfahrzeugs automatisiert zu fahren, und die Szenario-Interpretationseinrichtung ferner derart ausgebildet ist, nach Erreichen des Zielpunktes eine nächstfolgende elementare Situation des aktuellen Szenarios zu verarbeiten.Furthermore, there is provided an automated car driving apparatus comprising environment awareness means for recognizing objects in provided environment data, scenario interpretation means for selecting an actual scenario from a provided set of known scenarios based on the detected objects, a scenario being at least elemental Situation, and wherein each elementary situation as attributes at least one monitoring area and a release criterion are assigned, a maneuver planning device and a controller, wherein the scenario interpretation means is adapted to estimate a target point for a present elementary situation, information about the elementary Situation monitoring area to interrogate from the environment perception device and a presence of the at least one release criterion of the current elementary situation on G check the roundness of the requested information, and wherein the controller is designed in such a way, provided that the at least one release criterion is met, automatically drive the motor vehicle along a planned by the maneuver planning device trajectory to the target point by controlling at least one actuator of the motor vehicle, and the scenario interpretation device is further configured to process, after reaching the destination point, a next elementary situation of the current scenario.

Die Kernidee der Erfindung ist, die Szenariointerpretation zu verbessern. Dazu wird ein Szenario in mehrere elementare Situationen zerlegt. Die elementaren Situationen weisen als ihnen zugeordnete Attribute jeweils mindestens einen Überwachungsbereich und ein Freigabekriterium auf. Die Idee dahinter ist, nicht alle Informationen, sondern nur die für eine aktuelle elementare Situation relevanten Informationen über das Umfeld des Kraftfahrzeugs auszuwerten.The core idea of the invention is to improve the scenario interpretation. For this purpose, a scenario is broken down into several elementary situations. The elementary situations each have at least one monitoring area and a release criterion as attributes assigned to them. The idea behind this is to evaluate not all information, but only the information relevant to a current elementary situation about the environment of the motor vehicle.

Wird von der Szenario-Interpretationseinrichtung ein bestimmtes Szenario aus einer bereitgestellten Menge von Szenarien erkannt bzw. ausgewählt, beispielsweise ein Linksabbiegen auf einer Kreuzung, so umfasst dieses Szenario mehrere elementare Situationen, welche schrittweise aufeinanderfolgend durchlaufen werden müssen. In jeder aktuellen elementaren Situation kann bzw. muss dann nicht mehr das komplette Umfeld des Kraftfahrzeugs, sondern nur ein dieser elementaren Situation zugeordneter Überwachungsbereich überwacht werden.If the scenario interpretation device recognizes or selects a specific scenario from a set of scenarios provided, for example a left turn on an intersection, this scenario comprises several elementary situations which have to be passed through step by step. In every current elementary situation, the complete environment of the motor vehicle can or must no longer be monitored, but only a monitoring area assigned to this elementary situation.

Befindet sich das Kraftfahrzeug beispielsweise am Anfang des Szenarios in einer elementaren Situation vor einer Kreuzung ohne Ampel, welche den Verkehr regelt, und es existiert ein Zebrastreifen (d.h. Fußgänger haben immer Vorfahrt), so interpretiert die Szenario-Interpretationseinrichtung, dass das Kraftfahrzeug sich in einer elementaren Situation ohne Ampel befindet und der Überwachungsbereich kann lediglich den Zebrastreifen und die Bereiche links und rechts vom Zebrastreifen auf dem Gehweg umfassen. In diesem Überwachungsbereich wird dann überprüft, ob das der aktuellen elementaren Situation zugeordnete Freigabekriterium erfüllt ist. Ist als Freigabekriterium beispielsweise vorgesehen, dass auf dem Zebrastreifen oder in deren Nähe rechts und links davon keine Fußgänger vorhanden sind, so fragt die Szenario-Interpretationseinrichtung bei der Umfeldwahrnehmungseinrichtung ab, ob Fußgänger in dem Bereich vorhanden sind. Erhält sie dann von der Umfeldwahrnehmungseinrichtung die Information, dass keine Fußgänger vorhanden sind, so ist das Freigabekriterium erfüllt und die Szenario-Interpretationseinrichtung veranlasst das automatisierte Fahren zu einem von der Szenario-Interpretationseinrichtung geschätzten Zielpunkt. Anschließend wird dann die nächste elementare Situation abgearbeitet.For example, if the motor vehicle is at the beginning of the scenario in an elementary situation in front of an intersection without a traffic light, which regulates the traffic, and there is a zebra crossing (ie pedestrians always have priority), the scenario interpretation means that the motor vehicle is in one elementary situation without traffic lights and the surveillance area may only include the zebra crossing and the areas to the left and right of the zebra crossing on the sidewalk. In this monitoring area, it is then checked whether the release criterion assigned to the current elementary situation is fulfilled. If, for example, it is provided as the release criterion that there are no pedestrians on the zebra crossing or in its vicinity to the right and left of it, the scenario interpretation device inquires at the surroundings perception device whether pedestrians are present in the area. If it then receives from the environment perception device the information that there are no pedestrians, then the release criterion is fulfilled and the scenario interpretation device initiates the automated driving to a destination estimated by the scenario interpretation device. Then the next elementary situation is worked off.

Die Zerlegung des Szenarios in mehrere elementare Situationen hat den Vorteil, dass ein komplexes Szenario im Straßenverkehr im Rahmen von Teilschritten gelöst werden kann. DieThe breakdown of the scenario into several elementary situations has the advantage that a complex scenario in road traffic can be solved within the framework of substeps. The

Zerlegung in elementare Situationen erlaubt es, dass jeweils nur ein Teilbereich des Umfeldes überwacht werden muss, wodurch immer nur eine reduzierte Datenmenge verarbeitet bzw. ausgewertet werden muss. Dies hat eine beträchtliche Reduktion des Rechenaufwands zur Folge.Decomposition into elementary situations makes it possible to monitor only a subarea of the environment, which means that only a reduced amount of data has to be processed or evaluated. This results in a considerable reduction of the computational effort.

Die Menge an bereitgestellten Szenarien umfasst dabei beispielsweise ein Linksabbiegen oder ein Rechtsabbiegen auf einer T-Kreuzung oder einer X-Kreuzung, ein Geradeausfahren an einer X-Kreuzung mit und ohne einem Verkehrszeichen (Stoppschild, Vorfahrtsschild) oder mit einer Lichtsignalanlage, welche den Verkehr regelt. Ein Szenario kann beispielsweise vorher bereitgestellt sein oder angelernt werden, beispielsweise für ein Einbiegen von einer öffentlichen Straße in eine private Auffahrt etc.The set of provided scenarios includes, for example, a left turn or a right turn on a T-junction or an X-junction, a straight ahead at an X-junction with and without a traffic sign (stop sign, right of way) or with a traffic signal system, which regulates the traffic , For example, a scenario may be previously provided or learned, for example, for turning from a public road to a private driveway, etc.

Zum Auswählen des Szenarios greift die Szenario-Interpretationseinrichtung vorzugsweise auch auf von der Manöverplanungseinrichtung bereitgestellte Informationen über eine geplante Route zu. Die Route umfasst dabei beispielsweise die Straßen, welche von einem Startpunkt bis zu einem Ziel der automatisierten Fahrt befahren werden sollen. Durch Berücksichtigung der Route lässt sich auf einfache Weise frühzeitig ein Szenario schätzen, beispielsweise ein Linksabbiegen, wenn die Route ein solches Manöver vorsieht.In order to select the scenario, the scenario interpretation device preferably also accesses information about a planned route provided by the maneuver planning device. The route includes, for example, the roads that are to be traveled from a starting point to a destination of the automated journey. By taking the route into account, it is easy to estimate a scenario in good time, for example, turning left when the route involves such a maneuver.

In einer Ausführungsform ist vorgesehen, dass die Umfelddaten durch mindestens eine Sensorik bereitgestellt werden, wobei die mindestens eine Sensorik das Umfeld des Kraftfahrzeugs erfasst. Als Sensorik kommen dabei sämtliche bekannten Sensoriken in Frage, wie beispielsweise Kameras, Ultraschallsensoren, Laserscanner, Radarsensoren, TopView-Kameras etc.In one embodiment, it is provided that the environment data are provided by at least one sensor, wherein the at least one sensor detects the environment of the motor vehicle. Suitable sensors include all known sensor systems, such as cameras, ultrasonic sensors, laser scanners, radar sensors, TopView cameras, etc.

In einer Ausführungsform ist vorgesehen, dass die Umfelddaten alternativ oder zusätzlich in Form einer Umfeldkarte bereitgestellt werden. Dies kann beispielsweise eine Straßenkarte sein, in der neben dem Verlauf der Straßen auch weitere Informationen hinterlegt sind, wie beispielsweise Straßenschilder, Vorfahrtsregeln, Lichtsignalanlagen usw. Eine solche Straßenkarte erleichtert über die darin hinterlegten Informationen die Auswahl eines Szenarios, da zum Beispiel auch bei nicht vollständigen Umfelddaten mit hoher Wahrscheinlichkeit zwischen einer T-Kreuzung und einer X-Kreuzung unterschieden werden kann.In one embodiment, it is provided that the environment data is provided alternatively or additionally in the form of an environment map. This may be, for example, a road map in addition to the course of the road also more information are stored, such as street signs, right of way rules, traffic lights etc. Such a road map facilitates the information stored therein, the selection of a scenario, for example, even if not complete Environment data with high probability between a T-junction and an X-junction can be distinguished.

In einer weiteren Ausführungsform ist vorgesehen, dass die Umfelddaten alternativ oder zusätzlich über eine Kommunikationsschnittstelle bereitgestellt werden. Dies ermöglicht beispielsweise eine Berücksichtigung von Car2X-Daten, welche von anderen Kraftfahrzeugen oder Verkehrsleitsystemen zur Verfügung gestellt werden.In a further embodiment it is provided that the environment data is provided alternatively or additionally via a communication interface. this makes possible For example, a consideration of Car2X data, which are provided by other motor vehicles or traffic management systems.

In einer Ausführungsform ist vorgesehen, dass durch die Szenario-Interpretationseinrichtung fortlaufend überprüft wird, ob das ausgewählte aktuelle Szenario noch vorliegt oder eine Änderung des aktuellen Szenarios notwendig ist. Dies ermöglicht eine dynamische Anpassung des aktuellen Szenarios an das Umfeld. Beispielsweise kann auf diese Weise ein auf Grund mangelnder Daten der Umfeldwahrnehmungseinrichtung irrtümlicherweise ausgewähltes Szenario korrigiert werden. Ist beispielsweise eine T-Kreuzung ausgewählt worden und es stellt sich bei Annäherung an die Kreuzung heraus, dass es sich nicht um eine T-Kreuzung, sondern um eine X-Kreuzung handelt, so kann dies korrigiert werden, indem dann ein entsprechendes Szenario für die X-Kreuzung ausgewählt wird.In one embodiment, it is provided that the scenario interpretation device continuously checks whether the selected current scenario is still present or a change of the current scenario is necessary. This allows dynamic adaptation of the current scenario to the environment. For example, a scenario erroneously selected due to insufficient data of the environment perception device can be corrected in this way. If, for example, a T-junction has been selected and it turns out, when approaching the intersection, that it is not a T-junction but an X-junction, this can be corrected by providing a corresponding scenario for the T-junction X-crossing is selected.

In einer Ausführungsform ist vorgesehen, dass innerhalb des mindestens einen Überwachungsbereichs einer elementaren Situation zukünftige Trajektorien von erkannten Objekten durch eine Prädiktionseinrichtung vorhergesagt werden. Dadurch wird es möglich, das Verhalten von Objekten in der Zukunft vorherzusagen bzw. abzuschätzen. Über die abgeschätzten zukünftigen Trajektorien kann eine Schätzung darüber getroffen werden, wo sich die Objekte befinden werden, wie sie relativ zum Kraftfahrzeug positioniert sein werden, und ob ein Objekt in der aktuellen elementaren Situation für das Kraftfahrzeug relevant ist bzw. berücksichtigt werden muss.In one embodiment, it is provided that within the at least one monitoring area of an elementary situation future trajectories of detected objects are predicted by a prediction device. This makes it possible to predict or estimate the behavior of objects in the future. Estimates can be made about the estimated future trajectories about where the objects will be, how they will be positioned relative to the motor vehicle, and whether an object in the current elementary situation is relevant to the motor vehicle.

In einer Ausführungsform ist ferner vorgesehen, dass ein Freigabekriterium ist, dass eine Trajektorie des Kraftfahrzeugs zum nächstfolgenden Zielpunkt kollisionsfrei mit Trajektorien anderer Objekte ist. Dies ermöglicht eine konfliktfreie automatisierte Fahrt bis zum korrespondierenden Zielpunkt der aktuellen elementaren Situation. Zur Erhöhung der Sicherheit kann um die Trajektorien zusätzlich ein Sicherheitskorridor definiert werden, welcher zur Kollisionsvermeidung eingehalten werden muss.In one embodiment, it is further provided that a release criterion is that a trajectory of the motor vehicle to the next target point is collision-free with trajectories of other objects. This allows a conflict-free automated journey to the corresponding destination of the current elementary situation. To increase safety, a safety corridor can additionally be defined around the trajectories, which must be observed to avoid collisions.

Eine Ausführungsform sieht vor, dass mindestens eine elementare Situation ein weiteres Attribut aufweist, wobei das weitere Attribut ein bestimmtes Objekt ist, dessen Vorhandensein durch die Szenario-Interpretationseinrichtung bei der Umfeldwahrnehmungseinrichtung abgefragt wird. Auf diese Weise können zusätzliche Informationen hinterlegt werden, wie beispielsweise ein bestimmtes Verkehrszeichen. Darüber hinaus kann zusätzlich mit dem Objekt auch ein zugehöriges Freigabekriterium hinterlegt werden.An embodiment provides that at least one elementary situation has a further attribute, wherein the further attribute is a specific object whose presence is queried by the scenario interpretation device at the environment perception device. In this way, additional information can be stored, such as a specific traffic sign. In addition, an associated release criterion can additionally be stored with the object.

In einer weiteren Ausführungsform ist vorgesehen, dass die Schätzung des Zielpunktes von der Szenario-Interpretationseinrichtung dynamisch angepasst wird auf Grundlage der bei der Umfeldwahrnehmungseinrichtung abgefragten Informationen. Die Fähigkeit zur dynamischen Anpassung eines Zielpunktes ermöglicht eine flexible Reaktion auf die Gegebenheiten bzw. Veränderungen im Umfeld des Kraftfahrzeugs. Dies kann beispielsweise notwendig sein, wenn in der aktuellen elementaren Situation Informationen verfügbar werden, welche vorher bei der ursprünglichen Schätzung des Zielpunktes noch nicht zur Verfügung standen. So kann beispielsweise flexibel auf eine Baustelle reagiert werden, welche erst bei Annäherung erfasst wird.In a further embodiment it is provided that the estimation of the destination point is dynamically adapted by the scenario interpretation device on the basis of the information requested by the environment perception device. The ability to dynamically adapt a target point allows a flexible response to the circumstances or changes in the environment of the motor vehicle. This may be necessary, for example, if information becomes available in the current elementary situation that was not previously available in the original estimation of the destination point. For example, it is possible to react flexibly to a construction site, which is only detected when approaching.

Generell ist es stets möglich, dass eine automatisierte Fahrt beeinflusst oder abgebrochen werden kann. So kann der Fahrer des Kraftfahrzeugs beispielsweise immer in die automatisierte Fahrt eingreifen oder andere dafür vorgesehene Einrichtungen des Kraftfahrzeugs können die automatisierte Fahrt anhalten oder korrigieren. Findet zum Beispiel eine Kollision mit einem anderen Objekt statt, so wird die automatisierte Fahrt abgebrochen und das Kraftfahrzeug zum Stehen gebracht.In general, it is always possible that an automated journey can be influenced or aborted. For example, the driver of the motor vehicle can always intervene in the automated drive or other devices provided for this purpose of the motor vehicle can stop or correct the automated drive. If, for example, a collision with another object takes place, the automated drive is interrupted and the motor vehicle is brought to a standstill.

Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:

Fig. 1
eine schematische Darstellung von Bestandteilen eines typischen Szenarios;
Fig. 2
eine schematische Darstellung einer typischen Verkehrssituation an einer X-Kreuzung zur Erläuterung möglicher Konfliktpunkte beim Linksabbiegen;
Fig. 3a
eine schematische Darstellung einer typischen Verkehrssituation an einer X-Kreuzung zur Erläuterung unterschiedlicher Szenarien unter Berücksichtigung der Rechts-vor-Links-Vorfahrtsregel;
Fig. 3b
eine schematische Darstellung einer typischen Verkehrssituation an einer X-Kreuzung zur Erläuterung unterschiedlicher Szenarien unter Berücksichtigung der durch Verkehrszeichen begründeten Vorfahrtsregeln, wobei das Kraftfahrzeug Vorfahrt genießt;
Fig. 3c
eine schematische Darstellung einer typischen Verkehrssituation an einer X-Kreuzung zur Erläuterung unterschiedlicher Szenarien unter Berücksichtigung der durch Verkehrszeichen begründeten Vorfahrtsregeln, wobei das Kraftfahrzeug keine Vorfahrt genießt;
Fig. 3d
eine schematische Darstellung einer typischen Verkehrssituation an einer X-Kreuzung zur Erläuterung unterschiedlicher Szenarien unter Berücksichtigung der durch eine Lichtsignalanlage geregelten Vorfahrt, wobei verträgliche Szenarien betrachtet werden;
Fig. 3e
eine schematische Darstellung einer typischen Verkehrssituation an einer X-Kreuzung zur Erläuterung unterschiedlicher Szenarien unter Berücksichtigung der durch eine Lichtsignalanlage geregelten Vorfahrt, wobei bedingt verträgliche Szenarien betrachtet werden;
Fig. 4
eine schematische Darstellung der Verknüpfung von mehreren elementaren Situationen innerhalb eines Szenarios;
Fig. 5a
eine schematische Darstellung eines beispielhaften Szenarios von aufeinander folgenden elementaren Situationen beim Abbiegen;
Fig. 5b
eine schematische Darstellung von weiteren aufeinanderfolgenden elementaren Situationen des beispielhaften Szenarios Abbiegen (Fortsetzung von Fig. 5a);
Fig. 6a
eine schematische Darstellung zur Erläuterung von Zielpunkten, welche den einzelnen elementaren Situationen beim Linksabbiegen zugeordnet werden;
Fig. 6b
eine schematische Darstellung zur Erläuterung von Zielpunkten, welche den einzelnen elementaren Situationen beim Rechtsabbiegen zugeordnet werden;
Fig. 7a
ein schematisches Ablaufdiagramm zum Erläutern Abbiegemanövers, wobei das Abbiegemanöver auf elementaren Situationen basiert;
Fig. 7b
eine Legende zu den in Fig. 7a gezeigten elementaren Situationen;
Fig. 8
ein schematische Darstellung einer Vorrichtung zum automatisierten Fahren;
Fig. 9a
eine schematische Darstellung einer Verkehrssituation zur Erläuterung einer elementaren Situation;
Fig. 9b
eine schematische Darstellung der Verkehrssituation zur Erläuterung einer nachfolgenden elementaren Situation;
Fig. 9c
eine schematische Darstellung der Verkehrssituation zur Erläuterung einer nachfolgenden elementaren Situation;
Fig. 9d
eine schematische Darstellung der Verkehrssituation zur Erläuterung einer nachfolgenden elementaren Situation.
The invention will be explained in more detail with reference to preferred embodiments with reference to the figures. Hereby show:
Fig. 1
a schematic representation of components of a typical scenario;
Fig. 2
a schematic representation of a typical traffic situation at an X-junction to explain possible points of conflict when turning left;
Fig. 3a
a schematic representation of a typical traffic situation at an X-junction to explain different scenarios, taking into account the right-to-left right of way rule;
Fig. 3b
a schematic representation of a typical traffic situation at an X-junction for explaining different scenarios, taking into account the ground rules established by traffic signs, wherein the motor vehicle enjoys priority;
Fig. 3c
a schematic representation of a typical traffic situation at an X-junction to explain different scenarios taking into account right-of-way rules based on traffic signs, whereby the motor vehicle does not enjoy right of way;
Fig. 3d
a schematic representation of a typical traffic situation at an X-junction to explain different scenarios, taking into account the regulated by a traffic signal right of way, where compatible scenarios are considered;
Fig. 3e
a schematic representation of a typical traffic situation at an X-junction for explaining different scenarios, taking into account the regulated by a traffic signal priority, with conditionally compatible scenarios are considered;
Fig. 4
a schematic representation of the linking of several elementary situations within a scenario;
Fig. 5a
a schematic representation of an exemplary scenario of successive elementary situations when turning;
Fig. 5b
a schematic representation of further successive elementary situations of the exemplary scenario turn (continuation of Fig. 5a );
Fig. 6a
a schematic representation for explaining target points, which are assigned to the individual elementary situations when turning left;
Fig. 6b
a schematic representation for explaining target points, which are assigned to the individual elementary situations in the right turn;
Fig. 7a
a schematic flow diagram for explaining turning maneuver, wherein the turn maneuver is based on elementary situations;
Fig. 7b
a legend to the in Fig. 7a shown elementary situations;
Fig. 8
a schematic representation of an apparatus for automated driving;
Fig. 9a
a schematic representation of a traffic situation to explain an elementary situation;
Fig. 9b
a schematic representation of the traffic situation to explain a subsequent elementary situation;
Fig. 9c
a schematic representation of the traffic situation to explain a subsequent elementary situation;
Fig. 9d
a schematic representation of the traffic situation to explain a subsequent elementary situation.

Fig. 1 zeigt eine schematische Darstellung des Aufbaus eines Szenarios 100. Ein Szenario 100 ist beispielweise ein Linksabbiegen an einer Kreuzung. Das Szenario umfasst mindestens eine elementare Situation 101. Umfasst das Szenario 100 mehrere elementare Situationen 101, so sind diese zeitlich geordnet und miteinander verbunden. Jede elementare Situation 101 umfasst dabei eine Szene 102 und eine Beschreibung des Zustands 103 des Kraftfahrzeugs. Die Szene 102 umfasst beispielsweise eine Szenerie 104 und dynamische Elemente 105. Die Szenerie 104 umfasst alle statischen Objekte 113 des Umfeldes, die dynamischen Elemente 105 umfassen beispielswiese Ampelphasen etc. Der Zustand 103 des Kraftfahrzeugs umfasst beispielsweise eine Aktion 106 des Fahrers und automatisierte Aktionen 107 einer Steuerung. Fig. 1 shows a schematic representation of the structure of a scenario 100. A scenario 100 is, for example, a left turn at an intersection. The scenario comprises at least one elementary situation 101. If the scenario 100 comprises several elementary situations 101, these are arranged in time and connected to one another. Each elementary situation 101 comprises a scene 102 and a description of the state 103 of the motor vehicle. The scene 102 includes, for example, a scene 104 and dynamic elements 105. The scene 104 includes all static objects 113 of the environment, the dynamic elements 105 include, for example, traffic light phases, etc. The state 103 of the motor vehicle includes, for example, an action 106 of the driver and automated actions 107 of a Control.

Fig. 2 zeigt eine schematische Darstellung einer typischen Verkehrssituation 60 an einer Kreuzung 61 zur Erläuterung möglicher Konfliktpunkte 71, 72, 73, 74, 75 welche beim Linksabbiegen eines Kraftfahrzeugs 50 mit anderen Verkehrsteilnehmern auftreten können. Die sich kreuzenden Straßen 62.1, 62.2 besitzen dabei pro Richtung jeweils eine Fahrspur 63. Aus jeder Richtung der Kreuzung 61 kommt jeweils ein Kraftfahrzeug 50, 51, 52, 53. Zusätzlich sind noch mehrere Fußgänger 81, 82, 83 vorhanden, welche die Straßen 62.1, 62.2 auf Zebrastreifen 64.1, 64.2 überqueren oder überqueren wollen. Je nachdem, wie die anderen Kraftfahrzeuge 51, 52, 53 planen, weiterzufahren, ergeben sich für das Kraftfahrzeug 50 beim Linksabbiegen die Konfliktpunkte 72, 73, 74, an denen die Trajektorien 90, 91, 92, 93 der Kraftfahrzeuge 50, 51, 52, 53 miteinander kollidieren können. Darüber hinaus gibt es zwei mögliche Konfliktpunkte 71, 75 der Trajektorie 90 des Kraftfahrzeugs 50 mit den Trajektorien 94, 95 der Fußgänger 81, 82, 83. Fig. 2 shows a schematic representation of a typical traffic situation 60 at an intersection 61 for explaining possible conflict points 71, 72, 73, 74, 75 which may occur when turning left of a motor vehicle 50 with other road users. The intersecting roads 62.1, 62.2 each have one lane 63 per direction. From each direction of the intersection 61 there is respectively a motor vehicle 50, 51, 52, 53. In addition, there are a plurality of pedestrians 81, 82, 83 which connect the roads 62.1 , 62.2 on crosswalk 64.1, 64.2 crossing or crossing. Depending on how the other motor vehicles 51, 52, 53 are planning to proceed, the left-turn vehicle 50 experiences the points of conflict 72, 73, 74 at which the trajectories 90, 91, 92, 93 of the motor vehicles 50, 51, 52 , 53 can collide with each other. In addition, there are two possible conflict points 71, 75 of the trajectory 90 of the motor vehicle 50 with the trajectories 94, 95 of the pedestrians 81, 82, 83.

Ein erster Konfliktpunkt 71 ergibt sich mit einem von rechts kommenden Fußgänger 81. Die Trajektorie 94 des Fußgängers 81 und die Trajektorie 90 des Kraftfahrzeugs 50 kreuzen sich. Das Kraftfahrzeug muss folglich solange warten, bis der Fußgänger 81 den Zebrastreifen 64.1 überquert hat. Erst dann kann das Kraftfahrzeug 50 den Zebrastreifen 64.1 passieren. Ein weiterer Konfliktpunkt 72 ergibt sich anschließend mit dem von links kommenden Kraftfahrzeug 53, da sich die Trajektorien 90, 93 überschneiden. In Abhängigkeit der aktuell für die Verkehrssituation 60 geltenden Verkehrsregeln muss das Kraftfahrzeug 50 das von links kommende Kraftfahrzeug 53 passieren lassen. Hier ist für die Straße 62.1, auf der sich das Kraftfahrzeug 50 befindet, ein "Vorfahrt beachten"-Schild 65 und für die Straße 62.2, auf der sich das andere Kraftfahrzeug 53 befindet, ein Vorfahrtschild 66 vorhanden. Das Kraftfahrzeug 50 muss also warten, bis das andere Kraftfahrzeug 53 die Kreuzung 61 passiert hat. Ist dies geschehen, so finden sich die nächsten Konfliktpunkte 73, 74 mit Kraftfahrzeugen 51, 52, die von rechts bzw. aus entgegengesetzter Richtung kommen. Auch diese Kraftfahrzeuge 51, 52 haben in der Verkehrssituation 60 jeweils Vorfahrt, so dass das Kraftfahrzeug 50 auf ihr Passieren warten muss. Als letzter Konfliktpunkt 75 kann es zu einer Kollision mit den Fußgängern 82, 83 kommen, welche den Zebrastreifen 64.2 überqueren wollen. Auch hier muss das Kraftfahrzeug 50 warten, bis sie den Zebrastreifen 64.2 überquert haben.A first point of conflict 71 results with a pedestrian 81 coming from the right. The trajectory 94 of the pedestrian 81 and the trajectory 90 of the motor vehicle 50 intersect. The motor vehicle must therefore wait until the pedestrian 81 has crossed the crosswalk 64.1. Only then can the motor vehicle 50 pass the crosswalk 64.1. A further point of conflict 72 then results with the vehicle 53 coming from the left, since the trajectories 90, 93 overlap. Depending on the traffic regulations currently applicable to the traffic situation 60, the motor vehicle 50 must let the motor vehicle 53 coming from the left pass by. Here, for the road 62.1, on which the motor vehicle 50 is located, a "notice the right of way" sign 65 and for the road 62.2, on which the other motor vehicle 53 is located, a priority sign 66 is present. The motor vehicle 50 must therefore wait until the other motor vehicle 53 has passed the junction 61. Once this has happened, the next conflict points 73, 74 with motor vehicles 51, 52 are found, which come from the right or from the opposite direction. These motor vehicles 51, 52 also have priority in the traffic situation 60, so that the motor vehicle 50 must wait for it to pass. The last point of conflict 75 may be a collision with the pedestrians 82, 83, which want to cross the crosswalk 64.2. Again, the motor vehicle 50 must wait until they have crossed the crosswalk 64.2.

Die Konfliktpunkte 71, 72, 73, 74, 75 verdeutlichen in diesem Beispiel, dass sich die Verkehrssituation 60 in mehrere Teilprobleme oder Teilschritte zerlegen lässt. Die Verkehrssituation 60 insgesamt stellt dann im Sinne der Erfindung ein Szenario dar, das dem Linksabbiegen von einer einspurigen Straße 62.1 an einer X-Kreuzung 61 auf eine einspurige Straße 62.2 ohne Vorfahrt entspricht. Die Situationen bzw. Problemstellungen zu den einzelnen Konfliktpunkten 71, 72, 73, 74, 75 entsprechen dann den elementaren Situationen des Szenarios.The conflict points 71, 72, 73, 74, 75 illustrate in this example that the traffic situation 60 can be broken down into several sub-problems or sub-steps. Overall, the traffic situation 60 in the context of the invention represents a scenario which corresponds to the turning left from a single-lane road 62.1 at an X-junction 61 to a one-lane road 62.2 without right of way. The situations or problems to the individual conflict points 71, 72, 73, 74, 75 then correspond to the elementary situations of the scenario.

Die Figuren 3a bis 3e zeigen eine schematische Darstellung der in Fig. 2 bereits gezeigten Verkehrssituation an einer X-Kreuzung zur Erläuterung der möglichen Manöver unter Beachtung unterschiedlicher Vorfahrtsregeln und Vorfahrtsrechte. Jede der Darstellungen entspricht dabei einem Szenario.The FIGS. 3a to 3e show a schematic representation of in Fig. 2 already shown traffic situation at an X-junction to explain the possible maneuvers under consideration of different right of way and right of way. Each of the representations corresponds to a scenario.

Generell gibt es an der X-Kreuzung drei mögliche Manöver, die von dem Kraftfahrzeug ausgeführt werden können: Geradeausfahren, Rechtsabbiegen und Linksabbiegen. Dabei ergibt sich für jede der Möglichkeiten ein anderes Szenario, wobei die Szenarien dabei jeweils aus unterschiedlichen elementaren Situationen bestehen können.Generally, there are three possible maneuvers at the X-junction that can be performed by the motor vehicle: straight ahead, right turn and left turn. This results in a different scenario for each of the possibilities, whereby the scenarios can each consist of different elementary situations.

Fig. 3a zeigt die drei Manöver bzw. Szenarien, wenn die Vorfahrtsrechte nach der Rechts-vor-Links-Regel geregelt sind. In allen drei Szenarien sind dabei die Rechte der Fußgänger 81 auf den jeweiligen Zebrastreifen 64 zu beachten. Fährt das Kraftfahrzeug 50 geradeaus, so gibt es einen Konfliktpunkt 71 mit einem Fußgänger von rechts. Anschließend gibt es einen Konfliktpunkt 72 mit einem anderen Kraftfahrzeug 51 von rechts und einen weiteren Konfliktpunkt 73 mit einem Fußgänger 81 von rechts. Fig. 3a shows the three maneuvers or scenarios, if the right of way is regulated according to the right-to-left rule. In all three scenarios, the rights of the pedestrians 81 on the respective crosswalk 64 are to be observed. If motor vehicle 50 is traveling straight ahead, there is a point of conflict 71 with a pedestrian from the right. Then there is a point of conflict 72 with another motor vehicle 51 from the right and another point of conflict 73 with a pedestrian 81 from the right.

In dem Szenario, wo das Kraftfahrzeug 50 nach rechts abbiegen will, muss auf den Fußgänger 81 von rechts gewartet werden, anschließend auf Fußgänger 81, welche die Straße 62.2, in die das Kraftfahrzeug 50 einbiegt, überqueren wollen. Beim Linksabbiegen ergeben sich ein Konfliktpunkt 71 mit einem Fußgänger 81 von rechts, anschließend ein Konfliktpunkt 72 mit einem anderen Kraftfahrzeug 51 von rechts und ein Konfliktpunkt 73 mit einem entgegenkommenden Kraftfahrzeug 52, schließlich ein letzter Konfliktpunkt 74 mit Fußgängern 81, die die Straße 62.2 überqueren, in welche das Kraftfahrzeug 50 einbiegt.In the scenario where the motor vehicle 50 wants to turn right, the pedestrian 81 must be serviced from the right, then pedestrians 81 who want to cross the road 62.2 into which the motor vehicle 50 turns. When turning left, there is a point of conflict 71 with a pedestrian 81 from the right, then a point of conflict 72 with another motor vehicle 51 from the right and a point of conflict 73 with an oncoming motor vehicle 52, finally a last point of conflict 74 with pedestrians 81 crossing the street 62.2. in which the motor vehicle 50 turns.

Die Figuren 3b und 3c zeigen die beiden Szenarien, in denen die Vorfahrtsrechte mittels Verkehrszeichen geregelt sind, sowohl für den Fall, dass das Kraftfahrzeug 50 Vorfahrt hat als auch für den Fall, dass das Kraftfahrzeug 50 keine Vorfahrt hat. Mit Vorfahrt muss das Kraftfahrzeug 50 beim Geradeausfahren lediglich auf Fußgänger 81 auf dem Zebrastreifen 64 warten. Auch beim Rechtsabbiegen muss ebenfalls nur auf die Fußgänger 81 der Zebrastreifen 64 gewartet werden. Beim Linksabbiegen hingegen, muss zusätzlich auf ein entgegenkommendes Kraftfahrzeug 51 gewartet werden. In den Szenarien ohne Vorfahrtsrecht muss auf die Fußgänger 81 und andere Kraftfahrzeuge 51, 53 von rechts und links gewartet werden. Beim Linksabbiegen muss auf die Fußgänger 81 und andere Kraftfahrzeuge 51, 52, 53 aus sämtlichen anderen Richtungen gewartet werden.The FIGS. 3b and 3c show the two scenarios in which the right of way rights are regulated by means of traffic signs, both in the event that the motor vehicle 50 has priority and in the event that the motor vehicle 50 has no right of way. With right of way, the motor vehicle 50 must wait for pedestrians 81 on the crosswalk 64 while driving straight ahead. Even when turning to the right, it is also necessary to wait only for the pedestrians 81 of the crosswalks 64. When turning left, however, in addition to an oncoming motor vehicle 51 has to be maintained. In the non-right-of-way scenarios, pedestrians 81 and other vehicles 51, 53 must be serviced from right and left. When turning left, pedestrians 81 and other motor vehicles 51, 52, 53 must be serviced from all other directions.

Die Figuren 3d und 3e zeigen die Szenarien für den Fall, dass eine Lichtsignalanlage (Ampel) den Verkehr regelt. Dabei wird unterschieden zwischen verträglichen und bedingt verträglichen Szenarien. Ein verträgliches Szenario hat keine Konfliktpunkte. Ein bedingt verträgliches Szenario hat hingegen zumindest einen potentiellen Konfliktpunkt, beispielsweise einen Schnittpunkt mit einer Trajektorie eines Fußgängers (oder Radfahrers) oder mit einer Trajektorie eines anderen Kraftfahrzeugs. Dabei entscheiden die in dem Szenario geltenden Vorfahrtsregeln darüber, ob ein Manöver verträglich oder bedingt verträglich ist.The 3d figures and 3e show the scenarios in the event that a traffic signal (traffic light) controls the traffic. A distinction is made between compatible and conditionally compatible scenarios. A tolerable scenario has no conflict points. By contrast, a conditionally compatible scenario has at least one potential point of conflict, for example an intersection with a trajectory of a pedestrian (or cyclist) or with a trajectory of another motor vehicle. The rules of priority applicable in the scenario decide whether a maneuver is compatible or conditionally compatible.

Beim Geradeausfahren muss auf keinen anderen Verkehrsteilnehmer gewartet werden. Beim Rechtsabbiegen muss nur in der bedingt verträglichen Situation auf Fußgänger 81 gewartet werden, in der verträglichen Situation gibt es hingegen keinen potentiellen Konfliktpunkt, so dass das Kraftfahrzeug 50 einfach abbiegen kann. Beim Linksabbiegen muss im verträglichen Szenario nicht auf andere Verkehrsteilnehmer gewartet werden, da das Kraftfahrzeug 50 gegenüber allen anderen Verkehrsteilnehmern Vorfahrt genießt. Im bedingt verträglichen Szenario muss das Kraftfahrzeug 50 hingegen auf ein entgegenkommendes Kraftfahrzeug 52 und auf Fußgänger 81 gewartet werden.When driving straight ahead, there is no need to wait for another road user. When turning to the right, it is only necessary to wait for the pedestrian 81 in the condition of limited compatibility; in the tolerable situation, on the other hand, there is no potential point of conflict, so that the motor vehicle 50 can easily turn. When turning left must be in the compatible Scenario not to be waited for other road users, since the motor vehicle 50 enjoys priority over all other road users. In the conditionally tolerable scenario, however, the motor vehicle 50 must be maintained on an oncoming motor vehicle 52 and pedestrian 81.

Fig. 4 zeigt eine schematische Darstellung eines Szenarios 100, welches mehrere elementare Situationen 101.0, 101.1, 101.2, 101.3, 101.X aufweist. Die elementaren
Situationen 101.0, 101.1, 101.2, 101.3, 101.X sind zeitlich aufeinander folgend miteinander verknüpft und weisen jeweils als Attribute 108 mindestens einen Überwachungsbereich 110 und ein Freigabekriterium 114 auf. Erst wenn in einer aktuellen elementaren Situation 101.0, 101.1, 101.2, 101.3, 101.X das jeweilige Freigabekriterium 114 erfüllt ist, wird zur nachfolgenden elementaren Situation 101.1, 101.2, 101.3, 101.X gewechselt. Dabei ist es möglich, dass es zu einer elementaren Situation 101.0 mehr als eine potentiell nachfolgende elementare Situation 101.1, 101.2 gibt. Welche der potentiell nachfolgenden elementaren Situationen 101.1, 101.2 dabei auf die elementare Situation 101.0 nachfolgt, ergibt sich aus dem aktuellen Umfeld bzw. aus erfassten Umfelddaten. Beschreibt die elementare Situation 101.0 beispielsweise ein Annähern an eine Kreuzung, so kann der Fall auftreten, dass es sich um eine X-Kreuzung oder um eine T-Kreuzung handelt. Die bereitgestellten Umfelddaten lassen jedoch keine eindeutige Entscheidung zu, so dass lediglich zwei Hypothesen 109 aufgestellt werden können: Die X-Kreuzung entspricht dann der einen potentiell nachfolgenden elementaren Situation 101.1, die T-Kreuzung der zweiten potentiell nachfolgenden elementaren Situation 101.2. Nähert sich das Kraftfahrzeug dann weiter an die Kreuzung an, so werden die bereitgestellten Umfelddaten in der Regel besser, so dass irgendwann eine eindeutige Entscheidung getroffen werden kann bzw. eine Korrektur 115 der vorherigen Hypothese durchgeführt werden kann. Auf diese Weise wird das aktuell vorliegende Szenario fortlaufend überprüft und gegebenenfalls auf Grundlage aktuell bereitgestellter Umfelddaten korrigiert. Dadurch ist eine stets aktuelle Interpretation möglich.
Fig. 4 shows a schematic representation of a scenario 100, which has several elementary situations 101.0, 101.1, 101.2, 101.3, 101.X. The elementary
Situations 101.0, 101.1, 101.2, 101.3, 101.X are linked with one another in terms of time and each have as attributes 108 at least one monitoring area 110 and an enabling criterion 114. Only when in a current elementary situation 101.0, 101.1, 101.2, 101.3, 101.X the respective release criterion 114 is fulfilled, is it changed to the subsequent elementary situation 101.1, 101.2, 101.3, 101.X. It is possible that for an elementary situation 101.0 there is more than one potential subsequent elementary situation 101.1, 101.2. Which of the potentially subsequent elementary situations 101.1, 101.2 follows the elementary situation 101.0 results from the current environment or from acquired environmental data. For example, if the elementary situation 101.0 describes an approach to an intersection, the case may be that it is an X-junction or a T-junction. However, the environment data provided does not allow a clear decision, so that only two hypotheses 109 can be set up: the X-intersection then corresponds to the one potential subsequent elementary situation 101.1, the T-intersection of the second potentially subsequent elementary situation 101.2. If the motor vehicle then continues to approach the intersection, the environment data provided will generally become better, so that at some point a clear decision can be taken or a correction 115 of the previous hypothesis can be carried out. In this way, the current scenario is continuously reviewed and, if necessary, corrected on the basis of currently provided environment data. This allows an always up-to-date interpretation.

Die Figuren 5a und 5b zeigen die elementaren Situationen 101.1, 101.2, 101.2, 101.4, 101.5, 101.6, 101.7 eines beispielhaftes Szenarios, welches das Abbiegen eines Kraftfahrzeug 50 von einer dreispurigen Straße auf eine zweispurige Straße beschreibt, wobei die Vorfahrtsrechte nach Verkehrszeichen geregelt werden und das Kraftfahrzeug 50 kein Vorfahrtsrecht besitzt. In der ersten elementaren Situation 101.1 wechselt das Kraftfahrzeug 50 zum Linksabbiegen auf die linke Fahrspur und nähert sich der Kreuzung 61. Die Szenario-Interpretationseinrichtung erkennt, dass das Kraftfahrzeug 50 auf eine X-Kreuzung 61 zufährt und ein Linksabbiegen geplant ist. Dieses elementare Szenario 101.1 weist als Attribut einen Überwachungsbereich 110.1 auf, der den Fußgängerübergang und die Bereiche links und rechts auf dem Fußgängerweg zur Überwachung eines potentiellen Konfliktpunktes umfasst.The FIGS. 5a and 5b show the elementary situations 101.1, 101.2, 101.2, 101.4, 101.5, 101.6, 101.7 of an exemplary scenario, which describes the turning of a motor vehicle 50 from a three-lane road to a two-lane road, the right of way is regulated by traffic signs and the motor vehicle 50 no right of way has. In the first elementary situation 101.1, the motor vehicle 50 changes to the left lane to the left and approaches the intersection 61. The scenario interpreter recognizes that the motor vehicle 50 is approaching an X-junction 61 and a left turn is planned. This elementary scenario 101.1 has as an attribute a monitoring area 110.1, which comprises the pedestrian crossing and the areas on the left and right on the pedestrian path for monitoring a potential point of conflict.

Das Kraftfahrzeug 50 muss auf passierende Fußgänger (oder Radfahrer) warten und erst wenn keine Fußgänger mehr die Straße überqueren oder überqueren wollen, ist das der elementaren Situation 101.1 zugeordnete Freigabekriterium erfüllt.The motor vehicle 50 has to wait for passing pedestrians (or cyclists) and only when pedestrians no longer want to cross or cross the street, the release criterion associated with the elementary situation 101.1 is met.

Gegenüber einer Überwachung der kompletten Kreuzung 61 ist eine Überwachung lediglich des Überwachungsbereiches 110.1 von Vorteil, da sehr viel weniger Informationen ausgewertet werden müssen. Für die Beurteilung des Freigabekriteriums in einer elementaren Situation ist jeweils nur eine Überwachung der zugehörigen Überwachungsbereiche notwendig. Die Szenario-Interpretationseinrichtung fragt bei der Umfeldwahrnehmungseinrichtung ab, ob sich Objekte innerhalb des Überwachungsbereiches 110.1 befinden. Dabei können auch zukünftige Trajektorien der Objekte auf Grundlage erfasster oder geschätzter Bewegungsdaten, beispielsweise über eine Prädiktionseinrichtung, geschätzt werden und der Szenario-Interpretationseinrichtung dann zur Verfügung gestellt werden.Compared to monitoring the entire intersection 61, monitoring only the monitoring area 110.1 is advantageous since much less information must be evaluated. For the assessment of the release criterion in an elementary situation, only one monitoring of the associated monitoring areas is necessary in each case. The scenario interpretation device queries at the environment perception device whether objects are within the surveillance area 110.1. In this case, future trajectories of the objects can also be estimated on the basis of detected or estimated movement data, for example via a prediction device, and then made available to the scenario interpretation device.

Die nächste elementare Situation 101.2 folgt auf die erste elementare Situation 101.1 und berücksichtigt als potentiellen Konfliktpunkt ein von links kommendes Kraftfahrzeug. Dementsprechend ist der elementaren Situation 101.2 als Attribut ein Überwachungsbereich 110.2 auf der kreuzenden Fahrspur links vor dem Kraftfahrzeug 50 und ein entsprechendes Freigabekriterium (kein anderes Kraftfahrzeug von links) zugeordnet.The next elementary situation 101.2 follows the first elementary situation 101.1 and takes into account as a potential point of conflict a vehicle coming from the left. Accordingly, the elementary situation 101.2 is assigned as an attribute a monitoring area 110.2 on the crossing lane to the left in front of the motor vehicle 50 and a corresponding release criterion (no other motor vehicle from the left).

Eine weitere elementare Situation 101.3 berücksichtigt als potentiellen Konfliktpunkt ein von rechts kommendes anderes Kraftfahrzeug. Dementsprechend ist der elementaren Situation 101.3 als Attribut ein Überwachungsbereich 110.3 auf der kreuzenden Fahrspur rechts vor dem Kraftfahrzeug 50 und ein entsprechendes Freigabekriterium (kein anderes Kraftfahrzeug von rechts) zugeordnet.Another elementary situation 101.3 considers as potential conflict point another motor vehicle coming from the right. Accordingly, the elementary situation 101.3 is assigned as an attribute a monitoring area 110.3 on the crossing lane to the right in front of the motor vehicle 50 and a corresponding release criterion (no other motor vehicle from the right).

Ein andere elementare Situation 101.4 fasst die beiden vorherigen elementaren Situationen 101.2, 101.3 zusammen. Dieser elementaren Situation 101.4 ist dann als Attribut ein Überwachungsbereich 110.4 auf der kreuzenden Fahrspur sowohl rechts als auch links vor dem Kraftfahrzeug 50 und ein entsprechendes Freigabekriterium (kein anderes Kraftfahrzeug von links oder rechts) zugeordnet.Another elementary situation 101.4 summarizes the two previous elementary situations 101.2, 101.3. This elementary situation 101.4 is then assigned as an attribute to a monitoring area 110.4 on the crossing lane both on the right and left in front of the motor vehicle 50 and a corresponding release criterion (no other motor vehicle from left or right).

In einer nachfolgenden elementaren Situation 101.5 (Fig. 5b) befindet sich das Kraftfahrzeug 50 bereits in der Mitte der Kreuzung 61. Hier muss das Kraftfahrzeug 50 auf Fußgänger warten, dementsprechend ist der elementaren Situation 101.5 ein Überwachungsbereich 110.5 zugeordnet, welcher die Gehwege links und rechts von dem Kraftfahrzeug 50 und den Fußgängerüberweg umfasst. Ein zugehöriges Freigabekriterium ist, dass sich kein Fußgänger mehr auf dem Fußgängerüberweg befindet und kein Fußgänger die Straße mehr zu überqueren beabsichtigt. Eine dazu entsprechende elementare Situation 101.7 ergibt sich für das Kraftfahrzeug 50 beim Rechtsabbiegen. Hier muss ebenfalls ein Überwachungsbereich 110.7 überwacht werden auf schwächere Verkehrsteilnehmer, die die Straße überqueren oder überqueren wollen.In a subsequent elementary situation 101.5 ( Fig. 5b ), the motor vehicle 50 is already in the middle of the intersection 61. Here, the motor vehicle 50 must wait for pedestrians, accordingly, the elementary situation 101.5 assigned a surveillance area 110.5, which includes the walkways to the left and right of the motor vehicle 50 and the pedestrian crossing. An associated approval criterion is that no pedestrian is on the pedestrian crossing and no pedestrians cross the street anymore intended. A corresponding elementary situation 101.7 results for the motor vehicle 50 in the right turn. Here too, a surveillance area 110.7 must be monitored for weaker road users who want to cross or cross the road.

In derselben Position des Kraftfahrzeugs 50 auf der Kreuzung ist beispielsweise eine weitere elementare Situation 101.6, dass das Kraftfahrzeug 50 auf ein entgegenkommendes Kraftfahrzeug warten muss. Der Überwachungsbereich 110.6 und das Freigabekriterium sind dann entsprechend definiert.In the same position of the motor vehicle 50 at the intersection, for example, another elementary situation 101.6 is that the motor vehicle 50 must wait for an oncoming motor vehicle. The monitoring area 110.6 and the release criterion are then defined accordingly.

Die Figuren 6a und 6b zeigen beispielhaft von der Szenario-Interpretationseinrichtung geschätzte Zielpunkte 111.1, 111.2, 111.3, 111.4 für ein Linksabbiegen bzw. geschätzte Zielpunkte 111.5, 111.6, 111.7 für ein Rechtsabbiegen an einer Kreuzung 61. Dabei wurde zu jeder der elementaren Situationen (siehe dazu Figuren 5a und 5b) ein
Zielpunkt 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7 geschätzt. Prinzipiell ist es dabei auch möglich, dass derselbe Zielpunkt 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7 mehreren elementaren Situationen zugeordnet wird oder ist. Jedes Mal, wenn das mindestens eine Freigabekriterium einer aktuellen elementaren Situation erfüllt ist, wird das Kraftfahrzeug 50 automatisiert zu dem der elementaren Situation zugeordneten
Zielpunkt 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7 gefahren. Eine Manöverplanungseinrichtung übernimmt dabei die Planung der konkreten
Trajektorie 112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7 von einem
Zielpunkt 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7 zum nächsten und eine Steuerung führt die automatisierte Fahrt entlang der geplanten
Trajektorie 112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7 durch Steuern mindestens einer Aktorik des Kraftfahrzeugs 50 durch.
The Figures 6a and 6b exemplarily show by the scenario interpretation means estimated target points 111.1, 111.2, 111.3, 111.4 for a left turn or estimated target points 111.5, 111.6, 111.7 for a right turn at an intersection 61. In each of the elementary situations (see FIGS. 5a and 5b ) one
Target point 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7 estimated. In principle, it is also possible that the same destination 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7 is or is assigned to several elementary situations. Each time the at least one release criterion of a current elementary situation is met, the motor vehicle 50 is automatically assigned to the elemental situation
Target point 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7. A maneuver planning organization assumes the planning of the concrete
Trajectory 112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7 of one
Destination point 111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7 to the next and a controller performs the automated journey along the planned
Trajectory 112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7 by controlling at least one actuator of the motor vehicle 50 by.

Fig. 7a zeigt ein schematisches Ablaufdiagramm zum Erläutern des Manövers "Abbiegen" an einer Kreuzung, wobei das Manöver auf elementaren Situationen basiert. Das Ablaufdiagramm umfasst dabei mehrere Szenarien, welche in Abhängigkeit des Umfeldes dynamisch angepasst werden. Dabei korrespondieren jeweils Teile des Ablaufdiagramms mit den elementaren Situationen, welche in den Figuren 5a und 5b beschrieben wurden. Die elementaren Situationen sind zur besseren Übersicht in Fig. 7b als Legende dargestellt, wobei die gleichen Bezeichnungen verwendet wurden wie in den Figuren 5a und 5b. Ferner werden die in den Figuren 6a und 6b definierten Zielpunkte verwendet. Fig. 7a Figure 12 is a schematic flow chart for explaining the maneuver "turn off" at an intersection, the maneuver being based on elementary situations. The flowchart includes several scenarios, which are dynamically adjusted depending on the environment. In each case, parts of the flowchart correspond with the elementary situations, which in the FIGS. 5a and 5b have been described. The elementary situations are for better overview in Fig. 7b presented as a legend, using the same names as in the FIGS. 5a and 5b , Furthermore, in the Figures 6a and 6b defined target points used.

In der Ausgangssituation 200 nähert sich das Kraftfahrzeug einer Kreuzung. Es wechselt 201 auf eine geeignete Fahrspur, um ein entsprechendes Manöver zum Linksabbiegen oder Rechtsabbiegen vorzubereiten. Hat es die Fahrspur gewechselt, so nähert 202 es sich weiter an die Kreuzung an. In einer ersten Abfrage 203 fragt die Szenario-Interpretationseinrichtung bei der Umfeldwahrnehmungseinrichtung an, ob eine Lichtsignalanlage (Ampel) vorhanden ist.In the initial situation 200, the motor vehicle approaches an intersection. It changes 201 to a suitable lane to make a corresponding left turn or maneuver To prepare right turn. If it has changed the lane, then it continues to approach the intersection. In a first query 203, the scenario interpretation device inquires at the environment perception device whether a traffic light system (traffic light) is present.

Ist dies der Fall, so wird abgefragt 204, welche Ampelphase vorliegt. Hier ergeben sich drei Möglichkeiten (rot, grün, ausgeschaltet). Wenn die Ampel auf "rot" geschaltet ist, muss das Kraftfahrzeug warten. Es wird dann automatisch an einen ersten von der Szenario-Interpretationseinrichtung geschätzten ersten Zielpunkt (Zielpunkte 111.1, 111.5 in Fig. 6a bzw. Fig. 6b) vor der Kreuzung herangefahren 205. Am ersten Zielpunkt angelangt, wird die Abfrage 204 der Ampelphase wiederholt. Ist die Ampelphase "grün", so wird in einer Abfrage 206 überprüft, ob der Verkehrsstrom verträglich ist oder nicht (bzw. bedingt verträglich). Ist der Verkehrsstrom verträglich, so kann komplett (nach links oder rechts) abgebogen werden 207, da das Kraftfahrzeug Vorfahrt genießt. Das Szenario ist dann beendet. Ist der Verkehrsfluss hingegen nur bedingt verträglich, das heißt, das Kraftfahrzeug muss trotz der grünen Ampelphase Vorfahrtsregeln beachten, so wird in einer Abfrage 208 zunächst geklärt, ob das Manöver, das durchgeführt werden soll, ein Linksabbiegen oder ein Rechtsabbiegen vorsieht. Soll nach links abgebogen werden, so wird in einer folgenden Abfrage 209 überprüft, ob Verkehr aus entgegengesetzter Richtung kommt. Ist dies der Fall, so wird das Kraftfahrzeug automatisiert bis zum zweiten von der Szenario-Interpretationseinrichtung geschätzten Zielpunkt (Zielpunkt 111.2 in Fig. 6a) gefahren 210. Dort wird die Abfrage 209 wiederholt. Kommt kein Verkehr aus entgegengesetzter Richtung, so wird das Kraftfahrzeug automatisiert bis zum dritten geschätzten Zielpunkt (Zielpunkt 111.3 in Fig. 6a) gefahren 211. Dort findet eine Abfrage 212 statt, ob schwächere Verkehrsteilnehmer (Fußgänger, Fahrradfahrer etc.) die Straße, in die eingebogen werden soll, überqueren oder überqueren wollen. Ist dies der Fall, so wird gehalten 261 und die Abfrage 212 wiederholt. Sind keine schwächeren Verkehrsteilnehmer vorhanden, so wird komplett abgebogen (entspricht Zielpunkt 111.4 in Fig. 6a). Ist das Manöver des Kraftfahrzeugs ein Rechtabbiegen, so ergibt die Abfrage 208 ein entsprechendes Ergebnis. Dann wird im nächsten Schritt 211 bis zum sechsten Zielpunkt (Zielpunkt 111.6 in Fig. 6b) gefahren. Dort wird die Abfrage 212 entsprechend ausgeführt. Sind keine schwächeren Verkehrsteilnehmer vorhanden, so wird komplett abgebogen 207 (entspricht Zielpunkt 111.7 in Fig. 6b).If this is the case, 204 asks which traffic light phase is present. Here are three options (red, green, off). If the traffic light is switched to "red", the vehicle must wait. It is then automatically sent to a first first target point estimated by the scenario interpretation device (target points 111.1, 111.5 in FIG Fig. 6a respectively. Fig. 6b ) approached before the intersection 205. Once arrived at the first destination point, the interrogation 204 of the traffic light phase is repeated. If the traffic light phase is "green", it is checked in a query 206 whether the traffic flow is compatible or not (or conditionally compatible). If the traffic flow is compatible, then it can be completely turned (to the left or right) 207, since the motor vehicle enjoys priority. The scenario is finished. If, on the other hand, the traffic flow is only conditionally compatible, that is, the motor vehicle has to observe priority rules despite the green traffic light phase, a query 208 first of all clarifies whether the maneuver to be performed provides for a left turn or a right turn. If it is intended to turn to the left, a check is made in a following query 209 as to whether traffic is coming from the opposite direction. If this is the case, the motor vehicle is automated until the second destination point estimated by the scenario interpretation device (destination point 111.2 in FIG Fig. 6a ) 210. There, the query 209 is repeated. If no traffic comes from the opposite direction, the motor vehicle is automatically automated up to the third estimated destination (destination point 111.3 in Fig. 6a 211. There, a query 212 takes place whether weaker road users (pedestrians, cyclists, etc.) want to cross or cross the road into which they wish to be inflected. If this is the case, it is held 261 and the query 212 is repeated. If there are no weaker road users, it is completely turned off (corresponds to destination point 111.4 in Fig. 6a ). If the maneuver of the motor vehicle is a right turn, the query 208 results in a corresponding result. Then, in the next step 211 to the sixth target point (target point 111.6 in FIG Fig. 6b ) hazards. There, the query 212 is executed accordingly. If there are no weaker road users, it is completely turned off 207 (corresponds to destination 111.7 in Fig. 6b ).

Ergibt die Abfrage 204, dass die Ampel ausgeschaltet ist, so entspricht dies dem Fall, bei dem die Abfrage 203 ergibt, dass keine Ampel vorhanden ist. Dann wird in einer Abfrage 213 überprüft, ob sich ein Zebrastreifen vor dem Kraftfahrzeug befindet. Ist ein Zebrastreifen vorhanden, so wird das Kraftfahrzeug automatisiert bis zum ersten geschätzten Zielpunkt gefahren 214. Hier wartet das Kraftfahrzeug gegebenenfalls und es wird in einer Abfrage 215 überprüft, ob es schwächere Verkehrsteilnehmer gibt, welche den Zebrastreifen überqueren oder überqueren wollen. Es wird gewartet 216 und die Abfrage 215 wiederholt. Sind keine schwächeren Verkehrsteilnehmer (mehr) vorhanden oder ist kein Zebrastreifen vorhanden, so wird in einer Abfrage 217 überprüft, ob Verkehrszeichen vorhanden sind, welche die Vorfahrt regeln.If the query 204 that the traffic light is turned off, this corresponds to the case in which the query 203 shows that no traffic light is present. Then it is checked in a query 213, whether a crosswalk is in front of the motor vehicle. If a zebra crossing exists, the motor vehicle is automatically driven 214 up to the first estimated destination point. Here the motor vehicle waits if necessary and it is checked in a query 215 whether there are weaker road users crossing the crosswalk or want to cross. Waiting 216 and retrying 215 is repeated. If there are no weaker road users (more) or if there is no crosswalk, a query 217 checks whether there are traffic signs which regulate the right of way.

Ergibt die Abfrage 217, dass keine Verkehrsschilder vorhanden sind, so wird die "Rechts-vor-Links"-Regel angenommen. Die Schätzung des ersten Zielpunktes wird dann durch die Szenario-Interpretationseinrichtung wiederholt, so dass der erste Zielpunkt weiter nach hinten verschoben wird 218. Als nächstes wird in einer Abfrage 219 festgestellt, ob nach links oder rechts abgebogen werden soll. Soll nach links abgebogen werden, so wird in einer Abfrage 220 überprüft, ob andere Verkehrsteilnehmer von rechts kommen. Ist dies der Fall, so wird angehalten 221 und die Abfrage 220 wiederholt. Kommen keine anderen Verkehrsteilnehmer (mehr) von rechts, so wird automatisiert bis zum zweiten Zielpunkt (Zielpunkt 111.2 in Fig. 6a) gefahren 222. Dort wird in einer Abfrage 223 überprüft, ob Verkehr aus der entgegengesetzten Richtung kommt. Ist dies der Fall, so wird gehalten 260 und die Abfrage 223 wiederholt. Ist kein Verkehr aus entgegengesetzter Richtung (mehr) vorhanden, so wird das Kraftfahrzeug automatisiert bis zum dritten geschätzten Zielpunkt (Zielpunkt 111.3 in Fig. 6a) gefahren 224. Dort wird in einer Abfrage 225 überprüft, ob schwächere Verkehrsteilnehmer die Straße, in die eingebogen werden soll, überqueren oder überqueren wollen. Sind schwächere Verkehrsteilnehmer vorhanden, so wird gehalten 258 und die Abfrage 225 wiederholt. Sind keine schwächeren Verkehrsteilnehmer (mehr) vorhanden, so wird das Kraftfahrzeug automatisiert bis zum vierten geschätzten Zielpunkt (Zielpunkt 111.4 in Fig. 6a) gefahren 259.If query 217 indicates that there are no traffic signs, then the "right-to-left" rule is adopted. The estimation of the first target point is then repeated by the scenario interpreter so that the first target point is further displaced 218. Next, a query 219 determines whether to turn left or right. If you want to turn left, it is checked in a query 220 whether other road users come from the right. If this is the case, it is stopped 221 and the query 220 is repeated. If there are no other road users (more) from the right side, then automation takes place to the second destination point (destination point 111.2 in Fig. 6a ) 222. There is checked in a query 223, if traffic comes from the opposite direction. If this is the case, it is held 260 and the query 223 repeated. If there is no traffic from the opposite direction (more), the motor vehicle is automatically automated up to the third estimated destination (destination point 111.3 in Fig. 6a 224. There, it is checked in a query 225 whether weaker road users want to cross or cross the road to be inflected. If weaker road users are present, it will be held 258 and the query 225 repeated. If there are no weaker road users (more) available, the motor vehicle is automatically automated up to the fourth estimated destination (destination point 111.4 in Fig. 6a ) 259.

Ergibt die Abfrage 219, dass nach rechts abgebogen werden soll, vereinfacht sich das Szenario. Es wird dann zum sechsten geschätzten Zielpunkt (Zielpunkt 111.6 in Fig. 6b) gefahren 226. Dort wird in einer Abfrage 227 überprüft, ob schwächere Verkehrsteilnehmer die Straße, in die eingebogen werden soll, überqueren oder überqueren wollen. Sind schwächere Verkehrsteilnehmer vorhanden, so wird gehalten 228 und die Abfrage 227 wiederholt. Sind keine schwächeren Verkehrsteilnehmer (mehr) vorhanden, so wird automatisiert bis zum siebten geschätzten Zielpunkt (Zielpunkt 111.7 in Fig. 6b) gefahren 229.If the query 219 results in a right turn, the scenario is simplified. It then becomes the sixth estimated target point (target point 111.6 in FIG Fig. 6b 226. There, it is checked in a query 227 whether weaker road users want to cross or cross the road to be inflected. If weaker road users are present, it is held 228 and the query 227 repeated. If there are no weaker road users (more) available, the system automates to the seventh estimated destination point (destination point 111.7 in Fig. 6b ) 229.

Ergibt die Abfrage 217 hingegen, dass Verkehrszeichen vorhanden sind, so wird in einer folgenden Abfrage 230 festgestellt, ob das Kraftfahrzeug Vorfahrt genießt oder nicht. Genießt es keine Vorfahrt, so wird der erste geschätzte Zielpunkt von der Szenario-Interpretationseinrichtung erneut geschätzt und dadurch (z.B. weiter nach hinten in Richtung der Kreuzung) verschoben 231. Anschließend wird in einer Abfrage 232 festgestellt, ob nach links oder nach rechts abgebogen werden soll. Soll nach links abgebogen werden, so wird in einer folgenden Abfrage 233 festgestellt, ob es Verkehr von links oder rechts gibt. Ist dies der Fall, so wird angehalten 234 und die Abfrage 233 wiederholt. Ist dies nicht der Fall, so wird in einer Abfrage 235 überprüft, ob Verkehr aus entgegengesetzter Richtung vorhanden ist. Ist Gegenverkehr vorhanden, so wird das Kraftfahrzeug automatisiert bis zum zweiten geschätzten Zielpunkt (Zielpunkt 111.2 in Fig. 6a) gefahren 236 und die Abfrage 235 wiederholt. Ist kein Gegenverkehr (mehr) vorhanden, so wird bis zum dritten geschätzten Zielpunkt (Zielpunkt 111.3 in Fig. 6a) gefahren 237. In einer Abfrage 238 wird dann überprüft, ob schwächere Verkehrsteilnehmer vorhanden sind, die die Straße, in die eingebogen werden soll, überqueren oder überqueren wollen. Sind schwächere Verkehrsteilnehmer vorhanden, so wird gehalten 239 und die Abfrage 238 wiederholt. Sind keine schwächeren Verkehrsteilnehmer (mehr) vorhanden, so wird bis zum vierten geschätzten Zielpunkt (Zielpunkt 111.4 in Fig. 6a) gefahren 240.If the query 217, however, indicates that traffic signs are present, it is determined in a subsequent query 230 whether the motor vehicle has priority or not. If it does not enjoy priority, then the first estimated target point is re-estimated by the scenario interpretation device and thereby (eg further back towards the intersection) 231. Subsequently, a query 232 determines whether to turn left or right , If you want to turn to the left, then a subsequent query 233 determines whether there is traffic from the left or right. Is this the If so, it is stopped 234 and query 233 is repeated. If this is not the case, it is checked in a query 235 whether traffic from the opposite direction is present. If oncoming traffic is present, the motor vehicle is automatically automated up to the second estimated destination point (destination point 111.2 in FIG Fig. 6a ) 236 and query 235 repeated. If there is no oncoming traffic (more), then until the third estimated destination point (destination point 111.3 in Fig. 6a ) 237. In a query 238 it is then checked whether there are weaker road users who want to cross or cross the road to be inflected. If weaker road users are present, it is held 239 and the query 238 repeated. If there are no weaker road users (more), the estimated fourth destination point (destination point 111.4 in Fig. 6a ) driven 240.

Ergibt die Abfrage 232 hingegen, dass nach rechts abgebogen werden soll, so wird in einer Abfrage 241 überprüft, ob Verkehr von links oder rechts vorhanden ist. Ist Querverkehr vorhanden, so wird gehalten 242 und die Abfrage 241 wiederholt. Ist kein Querverkehr (mehr) vorhanden, so wird bis zum sechsten geschätzten Zielpunkt (Zielpunkt 111.6 in Fig. 6b) gefahren 243. Hier wird in einer Abfrage 244 überprüft, ob schwächere Verkehrsteilnehmer vorhanden sind, die die Straße, in die eingebogen werden soll, überqueren oder überqueren wollen. Sind schwächere Verkehrsteilnehmer vorhanden, so wird gehalten 245 und die Abfrage 244 wiederholt. Sind keine schwächeren Verkehrsteilnehmer (mehr) vorhanden, so wird bis zum siebten geschätzten Zielpunkt (Zielpunkt 111.7 in Fig. 6b) gefahren 246.If the query 232, however, that is to be bent to the right, it is checked in a query 241, whether traffic from the left or right exists. If there is cross traffic, it is held 242 and the query 241 is repeated. If there is no cross traffic (more), the estimated destination point (destination point 111.6 in Fig. 6b ) 243. Here is checked in a query 244, if weaker road users are present, who want to cross or cross the road to be inflected. If weaker road users are present, it will be held 245 and the query 244 repeated. If there are no weaker road users (more), then the estimated seventh destination (destination point 111.7 in Fig. 6b ) 246.

Ergibt die Abfrage 230, dass das Kraftfahrzeug Vorfahrt genießt, so wird in einer folgenden Abfrage 247 festgestellt, ob nach links oder nach rechts abgebogen werden soll. Soll nach links abgebogen werden, so wird anschließend in einer Abfrage 248 überprüft, ob Verkehr aus entgegengesetzter Richtung vorhanden ist. Ist Gegenverkehr vorhanden, so wird das Kraftfahrzeug automatisiert bis zum zweiten geschätzten Zielpunkt (Zielpunkt 111.2 in Fig. 6a) gefahren 249 und die Abfrage 248 wiederholt. Ist kein Gegenverkehr (mehr) vorhanden, so wird das Kraftfahrzeug automatisiert bis zum dritten geschätzten Zielpunkt (Zielpunkt 111.3 in Fig. 6a) gefahren 250. Dort wird in einer Abfrage 251 überprüft, ob schwächere Verkehrsteilnehmer vorhanden sind, die die Straße, in die eingebogen werden soll, überqueren oder überqueren wollen. Sind schwächere Verkehrsteilnehmer vorhanden, so wird gehalten 252 und die Abfrage 251 wiederholt. Sind keine schwächeren Verkehrsteilnehmer (mehr) vorhanden, so wird bis zum vierten geschätzten Zielpunkt (Zielpunkt 111.4 in Fig. 6a) gefahren 253.If the query 230 indicates that the motor vehicle has priority, it is determined in a following query 247 whether to turn to the left or to the right. Should be bent to the left, it is then checked in a query 248 whether traffic from the opposite direction is present. If oncoming traffic is present, the motor vehicle is automatically automated up to the second estimated destination point (destination point 111.2 in FIG Fig. 6a ) 249 and the query 248 repeated. If there is no oncoming traffic (more), the motor vehicle is automatically automated up to the third estimated destination point (destination point 111.3 in Fig. 6a 250). There, it is checked in a query 251 whether there are weaker road users who want to cross or cross the road into which they wish to be inflected. If weaker road users are present, it is held 252 and the query 251 is repeated. If there are no weaker road users (more), the estimated fourth destination point (destination point 111.4 in Fig. 6a ) 253.

Ergibt die Abfrage 247, dass nach rechts abgebogen werden soll, so wird das Kraftfahrzeug automatisiert bis zum sechsten geschätzten Zielpunkt (Zielpunkt 111.6 in Fig. 6b) gefahren 254. Dort wird in einer Abfrage 255 überprüft, ob schwächere Verkehrsteilnehmer vorhanden sind, die die Straße, in die eingebogen werden soll, überqueren oder überqueren wollen. Sind schwächere Verkehrsteilnehmer vorhanden, so wird gehalten 256 und die Abfrage 255 wiederholt. Sind keine schwächeren Verkehrsteilnehmer (mehr) vorhanden, so wird bis zum siebten geschätzten Zielpunkt (Zielpunkt 111.7 in Fig. 6b) gefahren 257.If query 247 indicates that it is to be bent to the right, then the motor vehicle is automatically automated up to the sixth estimated target point (target point 111.6 in FIG Fig. 6b ) 254. There is checked in a query 255, if weaker road users are present, who want to cross or cross the road to be inflected. If weaker road users are present, 256 is held and poll 255 is repeated. If there are no weaker road users (more), then the estimated seventh destination (destination point 111.7 in Fig. 6b ) 257.

Mit Erreichen des jeweiligen letzten Zielpunktes (Zielpunkt 111.4 in Fig. 6a bzw. Zielpunkt 111.7 in Fig. 6b) ist das jeweilige Szenario vollständig durchlaufen und damit beendet.Upon reaching the respective last target point (target point 111.4 in Fig. 6a or destination point 111.7 in Fig. 6b ), the respective scenario is completely run through and thus ended.

Fig. 8 zeigt eine schematische Darstellung einer Vorrichtung 1 zum automatisierten Fahren eines Kraftfahrzeugs 50. Die Vorrichtung 1 umfasst eine Umfeldwahrnehmungseinrichtung 2, eine Szenario-Interpretationseinrichtung 3, eine Manöverplanungseinrichtung 4 und eine Steuerung 5. Fig. 8 1 shows a schematic representation of a device 1 for the automated driving of a motor vehicle 50. The device 1 comprises an environment perception device 2, a scenario interpretation device 3, a maneuver planning device 4 and a controller 5.

Ein Umfeld des Kraftfahrzeugs 50 wird mit Hilfe einer Sensorik 6 erfasst und als Umfelddaten 7 bereitgestellt. Eine solche Sensorik 6 kann beispielsweise eine Kamera, ein Radarsensor, ein Ultraschallsensor oder Ähnliches sein. Ferner können Umfelddaten 7 auch über eine Kommunikationsschnittstelle 8, beispielsweise eine Car2X-Schnittstelle, und/oder eine Umfeldkarte 9 bereitgestellt werden. Die Umfelddaten 7 werden von der Umfeldwahrnehmungseinrichtung 2 ausgewertet und Objekte in dem Umfeld des Kraftfahrzeugs erkannt. Dies kann beispielsweise über eine Fahrbahnerkennungseinrichtung 10 und/oder eine Objekterkennungseinrichtung 11 erfolgen. In der Fahrbahnerkennungseinrichtung 10 erfolgt eine Fusion der Umfelddaten 7, welche die Fahrbahn betreffen. In der Objekterkennungseinrichtung 11 erfolgt entsprechend eine Fusion der Umfelddaten 7, welche Objekte im Umfeld des Kraftfahrzeugs 50 beschreiben. Erkannte Objekte können beispielsweise andere Kraftfahrzeuge, schwächere Verkehrsteilnehmer (Fußgänger, Radfahrer etc.) oder auch Verkehrsschilder sein. Die Daten zu den erkannten Objekten werden von der Umfeldwahrnehmungseinrichtung 2 an die Szenario-Interpretationseinrichtung 3 weitergeleitet. Diese wertet die Daten aus und wählt auf Grundlage der ausgewerteten Daten ein Szenario 12 aus einer Menge von bereitgestellten Szenarien aus. Ein Szenario kann beispielsweise ein Abbiegen nach links oder rechts sein (wie z.B. in den Figuren 5a, 5b oder Fig. 7 dargestellt). Das ausgewählte Szenario 12 bildet eine Hypothese über die aktuelle Verkehrssituation. Es ist jederzeit möglich, dass die Szenario-Interpretationseinrichtung 3 das aktuelle Szenario 12 verwirft und ein anderes oder abgeändertes Szenario auswählt, wenn ein solches Szenario auf Grundlage von neuen Daten der Umfeldwahrnehmungseinrichtung 2 wahrscheinlicher ist. So kann bei Annäherung an eine Kreuzung beispielsweise zuerst von einem Szenario für eine T-Kreuzung ausgegangen werden, anschließend dieses Szenario aber durch eine X-Kreuzung ersetzt werden, weil in der Zwischenzeit neue (bessere) Daten von der Umfeldwahrnehmungseinrichtung 2 bereitgestellt worden sind.An environment of the motor vehicle 50 is detected by means of a sensor 6 and provided as environment data 7. Such a sensor 6 may be, for example, a camera, a radar sensor, an ultrasonic sensor or the like. Furthermore, environment data 7 can also be provided via a communication interface 8, for example a Car2X interface, and / or an environment map 9. The environment data 7 are evaluated by the environment perception device 2 and objects detected in the environment of the motor vehicle. This can be done, for example, via a roadway recognition device 10 and / or an object recognition device 11. In the roadway recognition device 10 there is a fusion of the environment data 7, which relate to the roadway. Accordingly, in the object recognition device 11, a fusion of the environment data 7, which describe objects in the environment of the motor vehicle 50, takes place. Recognized objects can be, for example, other motor vehicles, weaker road users (pedestrians, cyclists, etc.) or even traffic signs. The data on the detected objects are forwarded by the environment perception device 2 to the scenario interpretation device 3. This evaluates the data and, based on the evaluated data, selects scenario 12 from a set of deployed scenarios. For example, a scenario may be a turn to the left or right (such as in the FIGS. 5a . 5b or Fig. 7 shown). The selected scenario 12 forms a hypothesis about the current traffic situation. It is always possible for the scenario interpretation means 3 to discard the current scenario 12 and select another or modified scenario if such a scenario is more likely based on new data from the environment perception means 2. For example, when approaching an intersection, a scenario for a T-junction may first be assumed, but then this scenario may be replaced by an X-junction, because in the Meanwhile, new (better) data has been provided by the environment perception device 2.

Ein aktuelles Szenario 12 umfasst dabei mindestens eine elementare Situation 13, welche einem zeitlichen Zwischenschritt im aktuellen Szenario 12 entspricht. Die elementaren Situationen 13 sind dabei zeitlich folgend miteinander verbunden. Dabei wird zur jeweils nächsten elementaren Situation 13 übergegangen, wenn mindestens ein der elementaren Situation 13 als Attribut zugeordnetes Freigabekriterium erfüllt ist. Zum Überprüfen des mindestens einen Freigabekriteriums ist jeder elementaren Situation 13 als weiteres Attribut ein Überwachungsbereich zugeordnet. Der Überwachungsbereich wird von der Szenario-Interpretationseinrichtung 3 durch Anfrage 20 bei der Umfeldwahrnehmungseinrichtung 2 abgefragt. Dabei werden die Attribute für die aktuelle elementare Situation 13 an die Umfeldwahrnehmungseinrichtung 2 übermittelt, welche ihrerseits auch die elementaren Situationen 13 erkennen kann über eine Situationserkennungseinrichtung 19. Durch Zuordnung spezieller Attribute, wie beispielsweise bestimmten Objekten (Ampel, Verkehrsschild,...) können die bestimmten Objekte gezielt bei der Umfeldwahrnehmungseinrichtung abgefragt werden.A current scenario 12 includes at least one elementary situation 13, which corresponds to an intermediate time step in the current scenario 12. The elementary situations 13 are connected with each other in terms of time. In this case, the next elementary situation 13 is transitioned if at least one of the elementary situation 13 is fulfilled as an associated release criterion. For checking the at least one release criterion, each elementary situation 13 is assigned a monitoring area as a further attribute. The monitoring area is queried by the scenario interpretation device 3 by request 20 at the environment perception device 2. The attributes for the current elementary situation 13 are transmitted to the environment perception device 2, which in turn can recognize the elementary situations 13 via a situation recognition device 19. By assigning special attributes, such as certain objects (traffic lights, traffic signs, ...) can certain objects are queried specifically at the environment perception device.

Für jede der elementaren Situationen 13 schätzt die Szenario-Interpretationseinrichtung 3 dann einen Zielpunkt. Der Zielpunkt wird an die Manöverplanungseinrichtung 4 übergeben. Die Manöverplanungseinrichtung 4 umfasst einen Missionsplaner 14, der die Planung der Route (z.B. welche Straßen bei der automatisierten Fahrt vom Startpunkt bis zum Ziel befahren werden sollen) des Kraftfahrzeugs vornimmt. Ferner übernimmt die Manöverplanungseinrichtung 4 mittels einer Trajektorienplanungseinrichtung 15 auch die Planung der konkreten Trajektorien zwischen den einzelnen von der Szenario-Interpretationseinrichtung 3 geschätzten Zielpunkten. Die konkret geplanten Trajektorien werden von der Manöverplanungseinrichtung 4 an die Steuerung 5 übergeben. Die Steuerung 5 umfasst dann beispielsweise eine Regelungseinrichtung 16, welche mindestens eine Aktorik 17 des Kraftfahrzeugs 50 regelt oder steuert, so dass das Kraftfahrzeug 50 auf der konkreten Trajektorie automatisiert entlangfährt.For each of the elementary situations 13, the scenario interpretation device 3 then estimates a destination point. The destination point is transferred to the maneuver planning device 4. The maneuver planning device 4 comprises a mission planner 14, which carries out the planning of the route (for example, which roads are to be traveled in the automated journey from the starting point to the destination) of the motor vehicle. Furthermore, the maneuver planning device 4 also assumes the planning of the concrete trajectories between the individual target points estimated by the scenario interpretation device 3 by means of a trajectory planning device 15. The specifically planned trajectories are transferred from the maneuver planning device 4 to the controller 5. The controller 5 then includes, for example, a control device 16 which controls or controls at least one actuator 17 of the motor vehicle 50, so that the motor vehicle 50 automatically travels along the concrete trajectory.

Optional kann die Vorrichtung 1 eine Prädiktionseinrichtung 22 umfassen, welche innerhalb des mindestens einen Überwachungsbereiches einer elementaren Situation zukünftige Trajektorien von erkannten Objekten vorhersagt. Dabei können zum Beispiel auch Kartendaten, eine Verkehrsregelung, sowie Bewegungsdaten, z.B. eine Position, eine Orientierung, ein Einsatz eines Blinkers, von den erkannten Objekten mit einfließen. Zum Schätzen der Trajektorien können beispielsweise folgende Ansätze verwendet werden: Mixtures of Gaussian, Kalman-Filter, Monte-Carlo-Simulationen, Gaussian Process, Logistische Regression, Relevance Vector Machines, Support Vector, Hidden Markov Models und Bayessche Netze.Optionally, the device 1 may comprise a prediction device 22 which predicts future trajectories of detected objects within the at least one monitoring region of an elementary situation. In this case, for example, also map data, traffic control, as well as movement data, eg a position, an orientation, an insert of a turn signal, can be included in the detected objects. To estimate the trajectories, for example, the following approaches can be used: Mixtures of Gaussian, Kalman filters, Monte Carlo simulations, Gaussian Process, Logistic Regression, Relevance Vector Machines, Support Vector, Hidden Markov Models and Bayesian Networks.

Die Vorrichtung oder Teile davon können auch als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise in Form eines Mikrocontrollers oder Mikroprozessors auf dem ein entsprechendes Computerprogramm ausgeführt wird.The device or parts thereof can also be designed as a combination of hardware and software, for example in the form of a microcontroller or microprocessor on which a corresponding computer program is executed.

Ein schematischer Ablauf der elementaren Situationen in einem Szenario zum Linksabbiegen, wie sie ihn die Szenario-Interpretationseinrichtung durchführt, ist in den Figuren 9a bis 9d dargestellt.A schematic sequence of elementary situations in a left-turn scenario, as performed by the scenario interpretation engine, is described in US Pat FIGS. 9a to 9d shown.

In Fig. 9a stellt ein Missionsplaner eine Informationen über geeignete Fahrspuren bereit und das Kraftfahrzeug 50 führt einen Fahrspurwechsel auf eine geeignete Fahrspur durch. Das Kraftfahrzeug 50 nähert sich anschließend der Kreuzung 61. Das Szenario-Interpretationseinrichtung erkennt auf Grundlage der Daten der Umfeldwahrnehmungseinrichtung ein Linksabbiegemanöver und wählt das entsprechende Szenario aus. Anschließend fragt die Szenario-Interpretationseinrichtung bei der Umfeldwahrnehmungseinrichtung an, ob eine Ampel vorhanden ist. Wenn keine Ampel vorhanden ist, benötigt die Szenario-Interpretationseinrichtung zusätzlich Informationen über die geltende Vorfahrtregelung (Links-vor-Rechts oder Verkehrszeichen etc.). In diesem Beispiel erkennt die Umfeldwahrnehmungseinrichtung ein STOP-Schild 21, so dass ein Szenario mit einer entsprechenden Grundreihenfolge aus elementaren Situationen ausgewählt wird (siehe dazu auch den Ablauf in Fig. 7). Dabei stellen die folgenden elementaren Situationen jeweils Hypothesen über den zukünftigen Verlauf des Szenarios dar. Die Hypothesen können dann über die Umfeldwahrnehmungseinrichtung bestätigt oder widerlegt werden.In Fig. 9a a mission planner provides information about suitable lanes and the motor vehicle 50 makes a lane change to an appropriate lane. The motor vehicle 50 then approaches the intersection 61. The scenario interpretation device recognizes a left turn maneuver based on the data from the surroundings perception device and selects the corresponding scenario. Subsequently, the scenario interpretation device inquires at the environment perception device whether a traffic light exists. If there is no traffic light, the scenario interpretation device additionally needs information about the applicable right of way regulation (left-to-right or traffic signs, etc.). In this example, the environment perception device recognizes a STOP sign 21, so that a scenario with a corresponding basic order of elementary situations is selected (see also the procedure in FIG Fig. 7 ). The following elementary situations each represent hypotheses about the future course of the scenario. The hypotheses can then be confirmed or disproved by the environment perception device.

Die erste elementare Situation (Fig. 9a) fordert bei der Umfeldwahrnehmungseinrichtung die Information an, ob schwächere Verkehrsteilnehmer (Fußgänger oder Fahrradfahrer) in dem der ersten elementaren Situation zugeordneten Überwachungsbereich 110.1 vorhanden sind. Je nachdem, ob schwächere Verkehrsteilnehmer vorhanden sind oder nicht, wird von der Szenario-Interpretationseinrichtung ein erster Zielpunkt 111.1 geschätzt. Da der Szenario-Interpretationeinrichtung bereits im Voraus bekannt ist, wo Überwachungsbereiche 110.2 der nächsten elementaren Situation (Fig. 9b) sind, werden Informationen über von links und rechts kommende Fahrzeuge bei der Umfeldwahrnehmungseinrichtung nachgefragt.The first elementary situation ( Fig. 9a ) requests at the environment perception device the information as to whether weaker road users (pedestrians or cyclists) are present in the monitoring area 110.1 assigned to the first elementary situation. Depending on whether weaker road users are present or not, the scenario interpretation device estimates a first destination point 111.1. Since the scenario interpretation device is already known in advance, where monitoring areas 110.2 of the next elementary situation ( Fig. 9b ), information about vehicles coming from the left and the right is requested at the environment perception facility.

Die Szenario-Interpretationseinrichtung ändert den Zielpunkt 111.1 nicht, solange noch Fußgänger oder Fahrräder die Straße überqueren oder überqueren wollen. Anderenfalls wird der Zielpunkt 111.1 nach vorne verschoben (vor einen potentiellen Konfliktpunkt mit einem von links kommenden Kraftfahrzeug). Es werden weiterhin Informationen über den Überwachungsbereich 110.2 bei der Umfeldwahrnehmungseinrichtung abgefragt.The scenario interpretation device does not change the destination point 111.1 as long as pedestrians or bicycles still want to cross or cross the street. Otherwise, the destination point 111.1 is moved forward (before a potential conflict point with a motor vehicle coming from the left). Furthermore, information about the monitoring area 110.2 in the surroundings perception device is queried.

In der nächsten elementaren Situation (Fig. 9c) werden entgegenkommende Kraftfahrzeuge berücksichtigt. Entsprechend ist für diese elementare Situation der Überwachungsbereich 110.3 gewählt. Wenn kein Querverkehr vorhanden ist, wird der nächste Zielpunkt 111.2 von der Szenario-Interpretationseinrichtung geschätzt. Der geschätzte Zielpunkt 111.2 liegt dabei vor einem möglichen Konfliktpunkt mit einem entgegenkommenden Kraftfahrzeug. Das Kraftfahrzeug 50 wird dann automatisiert zum Zielpunkt 111.2 gefahren.In the next elementary situation ( Fig. 9c ) oncoming motor vehicles are taken into account. Accordingly, the surveillance area 110.3 is selected for this elementary situation. If there is no cross traffic, the next destination point 111.2 is estimated by the scenario interpretation facility. The estimated destination point 111.2 lies before a possible point of conflict with an oncoming motor vehicle. The motor vehicle 50 is then automatically moved to the destination point 111.2.

Ist kein Gegenverkehr vorhanden, so wird zur nächsten elementaren Situation (Fig. 9d) übergegangen. Dazu wird ein Zielpunkt 111.3 geschätzt, der automatisiert von dem Kraftfahrzeug 50 angefahren wird. In dieser elementaren Situation muss auf schwächere Verkehrsteilnehmer gewartet werden, welche die Straße, in die abgebogen werden soll, überqueren oder überqueren wollen. Entsprechend ist der Überwachungsbereich 110.4 definiert. Sind keine schwächeren Verkehrsteilnehmer (mehr) vorhanden, so wird das Szenario beendet, indem das Abbiegen vollendet.If there is no oncoming traffic, the next elementary situation ( Fig. 9d ). For this purpose, a destination point 111.3 is estimated, which is approached automatically by the motor vehicle 50. In this elementary situation, it is necessary to wait for weaker road users, who want to cross or cross the road into which they wish to turn. Accordingly, the monitoring area 110.4 is defined. If there are no weaker road users (more), the scenario is ended by completing the turn.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Vorrichtungcontraption
22
UmfeldwahrnehmungseinrichtungEnvironment sensing device
33
Szenario-InterpretationseinrichtungScenario interpreter
44
ManöverplanungseinrichtungManeuver planning device
55
Steuerungcontrol
66
Sensoriksensors
77
Umfelddatenenvironmental data
88th
KommunikationsschnittstelleCommunication Interface
99
Umfeldkarteenvironment map
1010
FahrbahnerkennungseinrichtungLane recognition device
1111
ObjekterkennungseinrichtungObject recognition device
1212
Szenarioscenario
1313
elementare Situationelementary situation
1414
Missionsplanermission planners
1515
TrajektorienplanungseinrichtungTrajektorienplanungseinrichtung
1616
Regelungseinrichtungcontrol device
1717
Aktorikactuators
2121
STOP-SchildStop sign
2222
Prädiktionseinrichtungprediction
5050
Kraftfahrzeugmotor vehicle
5151
weiteres Kraftfahrzeuganother motor vehicle
5252
weiteres Kraftfahrzeuganother motor vehicle
5353
weiteres Kraftfahrzeuganother motor vehicle
6060
Verkehrssituationtraffic situation
6161
Kreuzungcrossing
62.162.1
StraßeStreet
62.262.2
StraßeStreet
6363
Fahrspurlane
64.164.1
Zebrastreifenzebra crossing
64.264.2
Zebrastreifenzebra crossing
6565
"Vorfahrt beachten"-Schild"Note right of way" sign
6666
Vorfahrtschildgive way sign
7171
Konfliktpunktpoint of conflict
7272
Konfliktpunktpoint of conflict
7373
Konfliktpunktpoint of conflict
7474
Konfliktpunktpoint of conflict
7575
Konfliktpunktpoint of conflict
8181
Fußgängerpedestrian
8282
Fußgängerpedestrian
8383
Fußgängerpedestrian
9090
Trajektorietrajectory
9191
Trajektorietrajectory
9292
Trajektorietrajectory
9393
Trajektorietrajectory
100100
Szenarioscenario
101101
elementare Situationelementary situation
101.0101.0
elementare Situationelementary situation
101.1101.1
elementare Situationelementary situation
101.2101.2
elementare Situationelementary situation
101.3101.3
elementare Situationelementary situation
101.4101.4
elementare Situationelementary situation
101.5101.5
elementare Situationelementary situation
101.6101.6
elementare Situationelementary situation
101.7101.7
elementare Situationelementary situation
101.X101.X
elementare Situationelementary situation
102102
Szenescene
103103
Zustand des KraftfahrzeugsCondition of the motor vehicle
104104
Szeneriescenery
105105
dynamische Elementedynamic elements
106106
Aktion des FahrersAction of the driver
107107
automatisierte Aktionautomated action
108108
Attributattribute
109109
Hypothesehypothesis
110110
Überwachungsbereichmonitoring area
110.1110.1
Überwachungsbereichmonitoring area
110.2110.2
Überwachungsbereichmonitoring area
110.3110.3
Überwachungsbereichmonitoring area
110.4110.4
Überwachungsbereichmonitoring area
110.5110.5
Überwachungsbereichmonitoring area
110.6110.6
Überwachungsbereichmonitoring area
110.7110.7
Überwachungsbereichmonitoring area
111.1111.1
ZielpunktEndpoint
111.2111.2
ZielpunktEndpoint
111.3111.3
ZielpunktEndpoint
111.4111.4
ZielpunktEndpoint
111.5111.5
ZielpunktEndpoint
111.6111.6
ZielpunktEndpoint
111.7111.7
ZielpunktEndpoint
112.1112.1
Trajektorietrajectory
112.2112.2
Trajektorietrajectory
112.3112.3
Trajektorietrajectory
112.4112.4
Trajektorietrajectory
112.5112.5
Trajektorietrajectory
112.6112.6
Trajektorietrajectory
112.7112.7
Trajektorietrajectory
113113
Objektobject
114114
Freigabekriteriumrelease criterion
115115
Korrekturcorrection
200-261200-261
Abfragen und Aktionen in einem SzenarioQueries and actions in a scenario

Claims (10)

Verfahren zum automatisierten Fahren eines Kraftfahrzeugs (50), umfassend die folgenden Schritte: Bereitstellen von Umfelddaten (7), Erkennen von Objekten (113) in den Umfelddaten (7) durch eine Umfeldwahrnehmungseinrichtung (2), Auswählen eines aktuellen Szenarios (12, 100) aus einer bereitgestellten Menge von bekannten Szenarien (12, 100) durch eine Szenario-Interpretationseinrichtung (3) auf Grundlage der erkannten Objekte (113), wobei ein Szenario (12, 100) mindestens eine elementare Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) aufweist, und wobei jeder elementaren Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) als Attribute (108) zumindest ein Überwachungsbereich (110.1, 110.2, 110.2, 110.3, 110.4, 110.5, 110.6, 110.7) und ein Freigabekriterium (114) zugeordnet sind, ferner nacheinander für jede der elementaren Situationen (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) des aktuellen Szenarios (12, 100): Schätzen eines Zielpunktes (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) für die aktuell vorliegende elementare Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) durch die Szenario-Interpretationseinrichtung (3), Planen einer Trajektorie (112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7) zu dem Zielpunkt (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) durch eine Manöverplanungseinrichtung (4), Abfragen von Informationen über den zur elementaren Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) gehörenden Überwachungsbereich (110.1, 110.2, 110.2, 110.3, 110.4, 110.5, 110.6, 110.7) bei der Umfeldwahrnehmungseinrichtung (2) durch die Szenario-Interpretationseinrichtung (3), Überprüfen eines Vorliegens des mindestens einen zur elementaren Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) gehörenden Freigabekriteriums (114) auf Grundlage der abgefragten Informationen durch die Szenario-Interpretationseinrichtung (3), und sofern das mindestens eine Freigabekriterium (114) erfüllt ist, automatisiertes Fahren entlang der Trajektorie (112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7) bis zum Zielpunkt (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) durch Steuern mindestens einer Aktorik (17) des Kraftfahrzeugs (50) durch eine Steuerung (5). Method for automatically driving a motor vehicle (50), comprising the following steps: Provision of environmental data (7), Detecting objects (113) in the environment data (7) by an environment perception device (2), Selecting a current scenario (12, 100) from a provided set of known scenarios (12, 100) by scenario interpretation means (3) based on the detected objects (113), wherein a scenario (12, 100) is at least one elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X), and wherein each elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) has as attributes (108) at least one monitoring area (110.1, 110.2, 110.2 , 110.3, 110.4, 110.5, 110.6, 110.7) and an enabling criterion (114) are assigned, also in succession for each of the elementary situations (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) of the current scenario (12, 100): Estimating a target point (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) for the currently existing elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) the scenario interpretation device (3), planning a trajectory (112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7) to the destination (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) by a maneuver planning device (4) . Retrieving information about the monitoring area (110.1, 110.2, 110.2, 110.3, 110.4, 110.5, 110.6, 110.7) at the environment perception device (2) by the scenario interpretation device (3), checking for the existence of the at least one elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X ) on the basis of the requested information by the scenario interpretation means (3), and if the at least one release criterion (114) is fulfilled, automated driving along the trajectory (112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7) to the destination point (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) Controlling at least one actuator (17) of the motor vehicle (50) by a controller (5). Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass durch die Szenario-Interpretationseinrichtung (3) fortlaufend überprüft wird, ob das ausgewählte aktuelle Szenario (12, 100) noch vorliegt oder eine Änderung des aktuellen Szenarios (12, 100) notwendig ist.Method according to one of the preceding claims, characterized in that it is continuously checked by the scenario interpretation device (3) whether the selected current scenario (12, 100) is still present or a change of the current scenario (12, 100) is necessary. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass mindestens eine elementare Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) ein weiteres Attribut (108) aufweist, wobei das weitere Attribut (108) ein bestimmtes Objekt (113) ist, dessen Vorhandensein durch die Szenario-Interpretationseinrichtung (3) bei der Umfeldwahrnehmungseinrichtung (2) abgefragt wird.Method according to one of the preceding claims, characterized in that at least one elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) has a further attribute (108), wherein the another attribute (108) is a specific object (113) whose presence is queried by the scenario interpretation device (3) at the environment perception device (2). Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Schätzung des Zielpunktes (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) von der Szenario-Interpretationseinrichtung (3) dynamisch angepasst wird auf Grundlage der bei der Umfeldwahrnehmungseinrichtung (2) abgefragten Informationen.Method according to one of the preceding claims, characterized in that the estimation of the target point (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) is dynamically adapted by the scenario interpretation device (3) on the basis of the environment perception device (2). requested information. Vorrichtung (1) zum automatisierten Fahren eines Kraftfahrzeugs (50), umfassend: eine Umfeldwahrnehmungseinrichtung (2) zum Erkennen von Objekten (113) in bereitgestellten Umfelddaten (7), eine Szenario-Interpretationseinrichtung (3) zum Auswählen eines aktuellen Szenarios (12, 100) aus einer bereitgestellten Menge von bekannten Szenarien (12, 100) auf Grundlage der erkannten Objekte (113), wobei ein Szenario (12, 100) mindestens eine elementare Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) aufweist, und wobei jeder elementaren Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) als Attribute (108) zumindest ein Überwachungsbereich (110.1, 110.2, 110.2, 110.3, 110.4, 110.5, 110.6, 110.7) und ein Freigabekriterium (114) zugeordnet sind, eine Manöverplanungseinrichtung (4) und eine Steuerung (4), wobei die Szenario-Interpretationseinrichtung (3) derart ausgebildet ist, einen Zielpunkt (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) für eine aktuell vorliegende elementare Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) zu schätzen, Informationen über den zur elementaren Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.X) gehörenden Überwachungsbereich (110.1, 110.2, 110.2, 110.3, 110.4, 110.5, 110.6, 110.7) von der Umfeldwahrnehmungseinrichtung (2) abzufragen und ein Vorliegen des mindestens einen Freigabekriteriums (114) der aktuellen elementaren Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) auf Grundlage der abgefragten Informationen zu überprüfen, und wobei die Steuerung (5) derart ausgebildet, sofern das mindestens eine Freigabekriterium (114) erfüllt ist, das Kraftfahrzeug (50) entlang einer von der Manöverplanungseinrichtung (4) geplanten Trajektorie (112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7) bis zum Zielpunkt (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) durch Steuern mindestens einer Aktorik (17) des Kraftfahrzeugs (50) automatisiert zu fahren, und die Szenario-Interpretationseinrichtung (3) ferner derart ausgebildet ist, nach Erreichen des Zielpunktes (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) eine nächstfolgende elementare Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) des aktuellen Szenarios (12, 100) zu verarbeiten. Device (1) for the automated driving of a motor vehicle (50), comprising: an environment perception device (2) for recognizing objects (113) in provided environment data (7), scenario interpretation means (3) for selecting a current scenario (12, 100) from a provided set of known scenarios (12, 100) based on the detected objects (113), wherein a scenario (12, 100) is at least one elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X), and wherein each elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6 , 101.7, 101.X) as attributes (108) at least one monitoring area (110.1, 110.2, 110.2, 110.3, 110.4, 110.5, 110.6, 110.7) and an enabling criterion (114) are assigned, a maneuver planning device (4) and a controller (4), wherein the scenario interpretation device (3) is designed such that it has a target point (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) for a currently existing elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X), information about the elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.X) Monitoring area (110.1, 110.2, 110.2, 110.3, 110.4, 110.5, 110.6, 110.7) of the environment perception device (2) and a presence of the at least one release criterion (114) of the current elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4, 101.5, 101.6, 101.7, 101.X) on the basis of the requested information, and wherein the controller (5) is designed such, provided that the at least one release criterion (114) is met, the motor vehicle (50) along a planned by the maneuver planning device (4) trajectory (112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7 ) to drive to the destination (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) by controlling at least one actuator (17) of the motor vehicle (50), and the scenario interpretation device (3) is further designed such that, after reaching the destination point (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7), a next elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.4 , 101.5, 101.6, 101.7, 101.X) of the current scenario (12, 100). Vorrichtung (1) nach Anspruch 5, dadurch gekennzeichnet, dass die Vorrichtung (1) mindestens eine Sensorik (6) umfasst, welche das Umfeld des Kraftfahrzeugs (50) erfasst und die Umfelddaten (7) bereitgestellt.Device (1) according to claim 5, characterized in that the device (1) comprises at least one sensor (6) which detects the environment of the motor vehicle (50) and provides the environment data (7). Vorrichtung (1) nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Vorrichtung (1) einen Speicher aufweist und die Umfelddaten (7) alternativ oder zusätzlich in Form einer gespeicherten Umfeldkarte (9) bereitgestellt werden.Device (1) according to claim 5 or 6, characterized in that the device (1) has a memory and the environment data (7) are provided alternatively or additionally in the form of a stored environment map (9). Vorrichtung (1) nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass die Vorrichtung (1) eine Kommunikationsschnittstelle (8) aufweist und die Umfelddaten (7) alternativ oder zusätzlich über die Kommunikationsschnittstelle (8) bereitgestellt werden.Device (1) according to one of claims 5 to 7, characterized in that the device (1) has a communication interface (8) and the environment data (7) are provided alternatively or additionally via the communication interface (8). Vorrichtung (1) nach einem der Ansprüche 5 bis 8, dadurch gekennzeichnet, dass die Vorrichtung (1) eine Prädiktionseinrichtung (22) umfasst, wobei die Prädiktionseinrichtung (22) derart ausgebildet ist, innerhalb des mindestens einen Überwachungsbereiches (110.1, 110.2, 110.2, 110.3, 110.4, 110.5, 110.6, 110.7) einer elementaren Situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.X) zukünftige Trajektorien von erkannten Objekten (113) vorherzusagen.Device (1) according to one of claims 5 to 8, characterized in that the device (1) comprises a prediction device (22), wherein the prediction device (22) is designed such within the at least one monitoring area (110.1, 110.2, 110.2, 110.3, 110.4, 110.5, 110.6, 110.7) of an elementary situation (13, 101, 101.1, 101.2, 101.2, 101.3, 101.X) predict future trajectories of recognized objects (113). Vorrichtung (1) nach Anspruch 9, dadurch gekennzeichnet, dass ein Freigabekriterium (114) ist, dass eine Trajektorie (112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7) des Kraftfahrzeugs (50) zum nächstfolgenden Zielpunkt (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) kollisionsfrei mit Trajektorien anderer Objekte (113) ist.Device (1) according to claim 9, characterized in that a release criterion (114) is that a trajectory (112.1, 112.2, 112.3, 112.4, 112.5, 112.6, 112.7) of the motor vehicle (50) to the next target point (111.1, 111.2, 111.3, 111.4, 111.5, 111.6, 111.7) is collision-free with trajectories of other objects (113).
EP16197937.2A 2015-12-04 2016-11-09 Method and device in a motor vehicle for automated driving Active EP3176046B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015224338.9A DE102015224338B4 (en) 2015-12-04 2015-12-04 Method and device in a motor vehicle for automated driving

Publications (2)

Publication Number Publication Date
EP3176046A1 true EP3176046A1 (en) 2017-06-07
EP3176046B1 EP3176046B1 (en) 2021-07-14

Family

ID=57281092

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16197937.2A Active EP3176046B1 (en) 2015-12-04 2016-11-09 Method and device in a motor vehicle for automated driving

Country Status (5)

Country Link
US (1) US10173675B2 (en)
EP (1) EP3176046B1 (en)
CN (1) CN106871915B (en)
DE (1) DE102015224338B4 (en)
ES (1) ES2887083T3 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019002160A1 (en) * 2017-06-30 2019-01-03 Siemens Aktiengesellschaft Context-based autonomous control of a vehicle
DE102019205481A1 (en) * 2019-04-16 2020-10-22 Zf Friedrichshafen Ag Environment detection by means of a sensor with a variable detection area
WO2021233607A1 (en) * 2020-05-18 2021-11-25 Bayerische Motoren Werke Aktiengesellschaft Predicting a behaviour of a road user

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107179767B (en) * 2016-03-10 2021-10-08 松下电器(美国)知识产权公司 Driving control device, driving control method, and non-transitory recording medium
US10202118B2 (en) * 2016-10-14 2019-02-12 Waymo Llc Planning stopping locations for autonomous vehicles
US10490066B2 (en) * 2016-12-29 2019-11-26 X Development Llc Dynamic traffic control
BR112019016278A2 (en) * 2017-02-10 2020-04-07 Nissan North America, Inc. autonomous vehicle operational management lock monitoring
CA3052954C (en) 2017-02-10 2023-04-04 Nissan North America, Inc. Autonomous vehicle operational management including operating a partially observable markov decision process model instance
KR102406506B1 (en) * 2017-02-17 2022-06-10 현대자동차주식회사 Apparatus for controlling competition of an autonomous vehicle, system having the same and method thereof
DE102017006338B4 (en) * 2017-06-30 2023-09-07 Daniel Karch Methods for efficient validation and safe application of autonomous and semi-autonomous vehicles
DE102017213353A1 (en) * 2017-08-02 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft Verification of a planned trajectory of an automated motor vehicle
DE102017118651A1 (en) * 2017-08-16 2019-02-21 Valeo Schalter Und Sensoren Gmbh Method and system for collision avoidance of a vehicle
DE102017009435B4 (en) * 2017-10-10 2023-05-11 Volkswagen Ag Evaluation of components of automatic driving functions and lane recognition at different processing levels
US10836405B2 (en) 2017-10-30 2020-11-17 Nissan North America, Inc. Continual planning and metareasoning for controlling an autonomous vehicle
WO2019089015A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
WO2019088989A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
WO2019087379A1 (en) * 2017-11-06 2019-05-09 本田技研工業株式会社 Vehicle, vehicle monitoring server, vehicle monitoring system, and vehicle monitoring method
BR112020010209B1 (en) * 2017-11-30 2023-12-05 Nissan North America, Inc. METHODS FOR USE IN CROSSING A VEHICLE AND AUTONOMOUS VEHICLE TRANSPORTATION NETWORK
WO2020204871A1 (en) 2017-12-22 2020-10-08 Nissan North America, Inc. Shared autonomous vehicle operational management
WO2019140185A1 (en) * 2018-01-11 2019-07-18 Shemirade Management Llc Architecture for vehicle automation and fail operational automation
JP6963158B2 (en) 2018-02-26 2021-11-05 ニッサン ノース アメリカ,インク Centralized shared autonomous vehicle operation management
DE102018202966A1 (en) * 2018-02-28 2019-08-29 Robert Bosch Gmbh Method for operating at least one automated vehicle
US10782699B2 (en) * 2018-03-10 2020-09-22 Baidu Usa Llc Real-time perception adjustment and driving adaption based on surrounding vehicles' behavior for autonomous driving vehicles
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
DE102018208105B3 (en) * 2018-05-23 2019-03-21 Volkswagen Aktiengesellschaft A method for supporting a guidance of at least one motor vehicle and assistance system
DE102018209031A1 (en) * 2018-06-07 2019-12-12 Robert Bosch Gmbh Method and apparatus for operating an automated vehicle at an intersection
DE102018209978A1 (en) * 2018-06-20 2019-12-24 Robert Bosch Gmbh Automatic crossing of an intersection area
US11120688B2 (en) 2018-06-29 2021-09-14 Nissan North America, Inc. Orientation-adjust actions for autonomous vehicle operational management
CN109060370B (en) * 2018-06-29 2019-12-10 奇瑞汽车股份有限公司 Method and device for vehicle testing of automatically driven vehicle
CN109034120B (en) * 2018-08-27 2022-05-10 合肥工业大学 Scene understanding method for autonomous behavior of intelligent device
DE102018216110A1 (en) * 2018-09-21 2020-03-26 Volkswagen Aktiengesellschaft Method and device for providing an environment image of an environment of a mobile device and motor vehicle with such a device
US11037382B2 (en) * 2018-11-20 2021-06-15 Ford Global Technologies, Llc System and method for evaluating operation of environmental sensing systems of vehicles
DE102018219911A1 (en) * 2018-11-21 2020-05-28 Robert Bosch Gmbh Method and device for operating a vehicle to avoid or resolve a traffic jam
DE102018222492A1 (en) * 2018-12-20 2020-06-25 Robert Bosch Gmbh Method and device for operating an automated vehicle
US20220084399A1 (en) * 2019-01-04 2022-03-17 Audi Ag Method, system, module and software for intelligently governing a multi-way stop intersection
CN109774716B (en) * 2019-01-16 2021-11-09 阿波罗智能技术(北京)有限公司 Vehicle control method and device
US11320820B2 (en) * 2019-03-26 2022-05-03 GM Global Technology Operations LLC Hyperassociation in episode memory
DE102019204260A1 (en) * 2019-03-27 2020-10-01 Zf Friedrichshafen Ag Controlling a motor vehicle
US11046317B2 (en) 2019-05-31 2021-06-29 Waymo Llc Multi-way stop intersection precedence for autonomous vehicles
CN110096062B (en) * 2019-06-05 2022-10-14 阿波罗智联(北京)科技有限公司 Vehicle control method and device and vehicle
US11787407B2 (en) * 2019-07-24 2023-10-17 Pony Ai Inc. System and method for sensing vehicles and street
DE102019211071A1 (en) * 2019-07-25 2021-01-28 Robert Bosch Gmbh Method and device for operating an automated vehicle
JP2021024423A (en) * 2019-08-05 2021-02-22 本田技研工業株式会社 Vehicle control device, vehicle control method, and program
DE102019124118A1 (en) * 2019-09-09 2021-03-11 Valeo Schalter Und Sensoren Gmbh Procedure for collision avoidance in road traffic based on an adaptive definition of occupied areas
CN112577501B (en) * 2019-09-29 2024-03-05 中车株洲电力机车研究所有限公司 Track identification device and rescue engineering vehicle
DE102019130919A1 (en) * 2019-11-15 2021-05-20 Bayerische Motoren Werke Aktiengesellschaft Method and control unit for the automated longitudinal guidance of a vehicle
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
CN111367265A (en) * 2020-03-11 2020-07-03 新石器慧通(北京)科技有限公司 Unmanned vehicle control terminal management method and management system
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
US11673576B2 (en) * 2020-03-23 2023-06-13 Baidu Usa Llc Nested scenarios in planning for autonomous driving vehicles
EP3951673A1 (en) * 2020-08-04 2022-02-09 Aptiv Technologies Limited Method and system of collecting training data suitable for training an autonomous driving system of a vehicle
US11535253B2 (en) * 2020-09-18 2022-12-27 GM Global Technology Operations LLC Lane change maneuver intention detection systems and methods
US11618444B2 (en) 2020-10-01 2023-04-04 Argo AI, LLC Methods and systems for autonomous vehicle inference of routes for actors exhibiting unrecognized behavior
DE102020213588A1 (en) 2020-10-29 2022-05-05 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for operating an automated vehicle
CN116457261B (en) * 2020-11-02 2024-02-06 梅赛德斯-奔驰集团股份公司 Method for controlling an autonomous vehicle
DE102020214347A1 (en) 2020-11-16 2022-05-19 Volkswagen Aktiengesellschaft Path planning of a vehicle
DE102022104932A1 (en) 2022-03-02 2023-09-07 Bayerische Motoren Werke Aktiengesellschaft METHOD AND DEVICE FOR SITUATIONAL AVOIDANCE OF A START-UP OF AN AUTOMATED MOTOR VEHICLE

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005020429A1 (en) * 2005-04-29 2006-11-09 Daimlerchrysler Ag Method and device to support driver when crossing an intersection divide crossing into many zones arranged on the street and determine the navigability of each on the basis of surrounding information
DE102009008745A1 (en) 2009-02-12 2010-08-19 Volkswagen Ag Method for automatic traffic routing of motor vehicle, involves transmitting traffic routing data from surrounding field model to corresponding road user for traffic routing by central control unit
DE102010010856A1 (en) 2010-03-10 2011-09-15 Continental Teves Ag & Co. Ohg Method for automatic supporting of driver of motor vehicle with its driving situation, involves detecting vehicle environment and producing electronic image, where electronic image is applied for recognition of lane or track
DE102010018333A1 (en) 2010-04-27 2011-10-27 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Method for evaluating information of image that is captured by optical camera in driver assisting system in e.g. passenger car, involves evaluating information that contains in determined image region, which comprises track course portion
US8761991B1 (en) * 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
WO2015008588A1 (en) * 2013-07-19 2015-01-22 日産自動車株式会社 Drive assist device for vehicle, and drive assist method for vehicle

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102059978B (en) * 2009-11-16 2014-09-10 财团法人工业技术研究院 Assisted method and system for driving
US8744626B2 (en) * 2010-05-27 2014-06-03 Deere & Company Managing autonomous machines across multiple areas
DE102012002307A1 (en) * 2012-02-06 2013-08-08 Audi Ag Motor vehicle with a driver assistance device and method for operating a motor vehicle
US9253753B2 (en) * 2012-04-24 2016-02-02 Zetta Research And Development Llc-Forc Series Vehicle-to-vehicle safety transceiver using time slots
FR2996512B1 (en) * 2012-10-05 2014-11-21 Renault Sa METHOD FOR EVALUATING THE RISK OF COLLISION AT AN INTERSECTION
DE102013216263A1 (en) * 2013-08-16 2015-02-19 Continental Automotive Gmbh Arrangement for controlling a highly automated driving of a vehicle
JP6241341B2 (en) * 2014-03-20 2017-12-06 アイシン・エィ・ダブリュ株式会社 Automatic driving support device, automatic driving support method and program
CN103921788B (en) * 2014-04-02 2018-03-16 奇瑞汽车股份有限公司 A kind of running car control system and method
EP2950114B1 (en) * 2014-05-30 2020-03-04 Honda Research Institute Europe GmbH Method for assisting a driver in driving a vehicle, a driver assistance system, a computer software program product and vehicle
EP3845426A1 (en) * 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005020429A1 (en) * 2005-04-29 2006-11-09 Daimlerchrysler Ag Method and device to support driver when crossing an intersection divide crossing into many zones arranged on the street and determine the navigability of each on the basis of surrounding information
DE102009008745A1 (en) 2009-02-12 2010-08-19 Volkswagen Ag Method for automatic traffic routing of motor vehicle, involves transmitting traffic routing data from surrounding field model to corresponding road user for traffic routing by central control unit
DE102010010856A1 (en) 2010-03-10 2011-09-15 Continental Teves Ag & Co. Ohg Method for automatic supporting of driver of motor vehicle with its driving situation, involves detecting vehicle environment and producing electronic image, where electronic image is applied for recognition of lane or track
DE102010018333A1 (en) 2010-04-27 2011-10-27 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Method for evaluating information of image that is captured by optical camera in driver assisting system in e.g. passenger car, involves evaluating information that contains in determined image region, which comprises track course portion
US8761991B1 (en) * 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
WO2015008588A1 (en) * 2013-07-19 2015-01-22 日産自動車株式会社 Drive assist device for vehicle, and drive assist method for vehicle
EP3023963A1 (en) * 2013-07-19 2016-05-25 Nissan Motor Co., Ltd. Drive assist device for vehicle, and drive assist method for vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JAVIER ALONSO ET AL: "Autonomous vehicle control systems for safe crossroads", TRANSPORTATION RESEARCH. PART C, EMERGING TECHNOLOGIES, PERGAMON, NEW YORK, NY, GB, vol. 19, no. 6, 5 June 2011 (2011-06-05), pages 1095 - 1110, XP028289470, ISSN: 0968-090X, [retrieved on 20110630], DOI: 10.1016/J.TRC.2011.06.002 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019002160A1 (en) * 2017-06-30 2019-01-03 Siemens Aktiengesellschaft Context-based autonomous control of a vehicle
DE102019205481A1 (en) * 2019-04-16 2020-10-22 Zf Friedrichshafen Ag Environment detection by means of a sensor with a variable detection area
WO2021233607A1 (en) * 2020-05-18 2021-11-25 Bayerische Motoren Werke Aktiengesellschaft Predicting a behaviour of a road user

Also Published As

Publication number Publication date
CN106871915A (en) 2017-06-20
DE102015224338A1 (en) 2017-06-08
US10173675B2 (en) 2019-01-08
US20170158193A1 (en) 2017-06-08
EP3176046B1 (en) 2021-07-14
DE102015224338B4 (en) 2021-10-28
ES2887083T3 (en) 2021-12-21
CN106871915B (en) 2020-12-04

Similar Documents

Publication Publication Date Title
EP3176046B1 (en) Method and device in a motor vehicle for automated driving
EP2881829B1 (en) Method for automatically controlling a vehicle, device for generating control signals for a vehicle and vehicle
DE102016211180B4 (en) Method and device for carrying out an automated drive of a vehicle
EP3671693B1 (en) Method and driver assistance system for assisting a driver of a vehicle during guiding of the vehicle
EP3572293B1 (en) Method for assisting driving of at least one motor vehicle and assistance system
DE102017204603B4 (en) Vehicle control system and method for controlling a vehicle
DE102019104974A1 (en) Method and system for determining a driving maneuver
EP3497686B1 (en) Method for checking a passing possibility condition
EP3479183B1 (en) Method for operating a motor vehicle in a navigation environment and motor vehicle
WO2014067638A2 (en) Method for coordinating the operation of motor vehicles that drive in fully automated mode
DE102018210280A1 (en) Adaptation of the trajectory of an ego vehicle to moving foreign objects
WO2013189633A1 (en) Formation of an emergency lane
DE112012006226T5 (en) Driving assistance device
EP3212485B1 (en) Method and device for operating a vehicle
DE102014215473A1 (en) Control device, vehicle and method
DE102016007899A1 (en) Method for operating a device for traffic situation analysis, motor vehicle and data processing device
WO2019233719A1 (en) Method and device for assisting a driver in a vehicle
DE102017126026A1 (en) OPERATION OF A TRAFFIC LAMP
DE102020109001A1 (en) Driver assistance system
DE102018113314A1 (en) Driving Assistance System
DE102018116982A1 (en) Method for at least partially automated control of a motor vehicle
DE102018124161A1 (en) Method for at least partially automated driving of a motor vehicle on a roadway
WO2019166143A1 (en) Method for operating at least one automated vehicle
DE102015202469A1 (en) Method and device for reducing a risk of collision between two vehicles driving in a parking lot
DE102017219065A1 (en) METHOD AND DEVICE FOR CONFIGURING AN AUTOMATED VEHICLE GUIDANCE

Legal Events

Date Code Title Description
AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20171207

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20210408

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502016013406

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1410410

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210815

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20210714

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2887083

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20211221

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211014

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211115

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211014

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211015

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502016013406

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

26N No opposition filed

Effective date: 20220419

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211109

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211130

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20211130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211109

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1410410

Country of ref document: AT

Kind code of ref document: T

Effective date: 20211109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20161109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210714

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231121

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231219

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20231123

Year of fee payment: 8

Ref country code: FR

Payment date: 20231123

Year of fee payment: 8

Ref country code: DE

Payment date: 20231130

Year of fee payment: 8

Ref country code: CZ

Payment date: 20231027

Year of fee payment: 8