EP4176378A1 - Verfahren zur umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden umgebungserfassungssensoren, vorrichtung zur durchführung des verfahrens, fahrzeug sowie entsprechend ausgelegtes computerprogramm - Google Patents

Verfahren zur umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden umgebungserfassungssensoren, vorrichtung zur durchführung des verfahrens, fahrzeug sowie entsprechend ausgelegtes computerprogramm

Info

Publication number
EP4176378A1
EP4176378A1 EP21742742.6A EP21742742A EP4176378A1 EP 4176378 A1 EP4176378 A1 EP 4176378A1 EP 21742742 A EP21742742 A EP 21742742A EP 4176378 A1 EP4176378 A1 EP 4176378A1
Authority
EP
European Patent Office
Prior art keywords
sensor
environment detection
rcdr
surroundings
reliability range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21742742.6A
Other languages
English (en)
French (fr)
Inventor
Richard MATTHAEI
Kannan Shanthi ANBARASU
Adrian Costache
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF CV Systems Europe BV
Original Assignee
ZF CV Systems Europe BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF CV Systems Europe BV filed Critical ZF CV Systems Europe BV
Publication of EP4176378A1 publication Critical patent/EP4176378A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to the technical field of systems for detecting surroundings, in particular in vehicles.
  • Such systems play an increasingly important role in the vehicle sector and are used for both autonomous driving systems and driver assistance systems.
  • the relevant driver assistance systems and automatic driving functions also have an autonomy level and are dependent on the environment detection sensors producing reliable data.
  • driver assistance systems that relieve the driver of certain tasks.
  • driver assistance systems are a blind spot warning assistant, an emergency brake assistant, a parking assistant, a turning assistant, a lane departure warning system, a cruise control assistant, etc.
  • completely autonomous driving is also mentioned, in which a completely autonomous driving function is implemented with a correspondingly powerful computer.
  • the data obtained in this way about the environment can thus be used as a basis for system-based driving recommendations, warnings, automatic driving maneuvers, etc.
  • displays / warnings are conceivable about the direction in which (possibly in your own trajectory ) another it wants to turn the surrounding vehicle.
  • an automatic braking maneuver can be carried out when an adaptive speed warning assistant detects that a certain distance from a vehicle in front is not reached.
  • traffic sign recognition is also mentioned as an application in order to inform the driver of the legal framework. These traffic signs must also be observed by automatic driving systems or driver assistance systems and can trigger automatic braking or acceleration processes.
  • a particularly important example is an AEBS emergency braking system, corresponding to the Advanced Emergency Braking System.
  • Such systems can be designed for various combinations of environmental detection sensors. Accordingly, adjustments are required with regard to the availability of the assistance system, the triggering of the various warnings from the driver, and the braking behavior, etc.
  • autonomous driving sometimes also Automatic driving, automated driving or piloted driving
  • autonomous driving is to be understood as the locomotion of vehicles, mobile robots and driverless transport systems that behave largely autonomously.
  • autonomous driving is also used when there is still a driver in the vehicle who may only be responsible for monitoring the automatic driving process.
  • transport organizations in Germany the Federal Highway Research Institute was involved
  • Level 0 “Driver only”, the driver drives himself, steers, accelerates, brakes, etc. An emergency braking function can also intervene at this level.
  • Level 1 Certain assistance systems help to operate the vehicle (including a distance control system - Automatic Cruise Control ACC).
  • Level 2 partial automation. Automatic parking, lane keeping function, general longitudinal guidance, acceleration, braking, etc. are taken over by the assistance systems (including traffic jam assistant).
  • Level 3 high automation. The driver does not have to constantly monitor the system. The vehicle independently performs functions such as triggering the indicator, changing lanes and keeping in lane. The driver can focus on other things, but if necessary, the system prompts the system to take the lead within a warning period. This form of autonomy is technically feasible on motorways. Legislators are working to allow Level 3 vehicles. The legal framework for this has already been created.
  • Level 4 full automation. The system is permanently in charge of the vehicle. If the system can no longer handle the driving tasks, the driver can be asked to take the lead.
  • Level 5 No driver required. No human intervention is required other than setting the destination and starting the system. Automated driving functions from level 3 relieve the driver of the responsibility for controlling the vehicle.
  • the VDA issued a similar classification of the various levels of autonomy, which can also be used.
  • the Society of Automotive Engineers also has a specification for the classification of the levels of autonomy. It is the specification “S ⁇ E J3016 TM: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Drivinq Systems”. Even according to this specification, the emergency braking function can intervene at level 0.
  • a very important aspect is that the surroundings of the moving vehicle must be recorded very precisely.
  • sensor data fusion in which the accuracy of the environment detection is increased by the fact that the object recognitions of several different environment detection sensors are related to one another, with the resulting data being merged.
  • a sensor data fusion can consist, for example, in the fusion of camera and radar data in order to classify objects and to increase the object recognition performance of the sensor system.
  • a vehicle-based system for recognizing traffic signs is known from US 2016/0170414 A1.
  • Environmental sensors such as LIDAR sensors, RADAR sensors and cameras are used. The position of the vehicle is also recorded via GPS. The recognized traffic signs are reported externally with their position and entered there in a database.
  • the known solutions have various disadvantages. This was recognized within the scope of the invention. With the image acquisition methods known today for use in the driver assistance sector, there is the problem that their detection performance decreases when an environmental sensor supplies unreliable data, for example due to the environmental conditions. It can happen quickly. The environmental conditions also include the weather conditions. These strongly influence the visibility conditions. Daylight is also mentioned in this context. In twilight, rain, fog and at night, the images recorded by the camera can no longer be used so well for object recognition. The boundaries are fluid.
  • the object of the invention is to find such an approach.
  • the technology of sensor data fusion should be used as extensively as possible, since it has proven itself in increasing the accuracy of object recognition.
  • This object is achieved by a method for environment detection with at least two independent imaging environment detection sensors, which include cameras as well as RADAR and LIDAR sensors, according to claim 1, a device for carrying out the method according to claim 11 and a vehicle for use in the method according to claim 1 Claim 15 and a computer program according to Claim 16 achieved.
  • the inventors have recognized that there is a decrease in the functional accuracy of the driver assistance system when a Environment detection sensor is exposed to adverse conditions, although another environment detection sensor is not impaired.
  • the functional accuracy can be impaired if one of the environmental detection sensors is exposed to adverse conditions. Therefore, it is provided according to the invention to monitor the function of the environment detection sensors.
  • the invention consists in a method for capturing the surroundings with at least two independent imaging sensors for capturing the surroundings, the images of the sensors capturing the surroundings being evaluated with respective object recognition algorithms.
  • the at least two environment detection sensors have different characteristics with regard to the object detection as a function of the distance of the object from the environment detection sensor. Because the environment detection sensors move, multiple successive object detection for the respective environment sensor takes place for dynamic object detection. The multiple successive object identifications are entered in an object list, the object identifications being related to one another in the object lists of the environment detection sensors. With the help of the sensor data fusion, the accuracy of the object identifications of the object identifications that are related to one another is increased. In addition, however, due to the problems mentioned above, the function of the environment detection sensors is monitored.
  • the method has the advantage that the accuracy of the object detection by the environment detection sensors is increased overall.
  • the reliability range is determined by the fact that in this range the object recognition rate and / or the object tracking rate is in a nominal value range that is required for reliable object recognition.
  • the nominal range of values can be determined through experiments.
  • An example of a required nominal range of values is in the range of 80-90% object detection rate and 90-100% object tracking rate.
  • An advantageous variant consists in that the reliability range is continuously redefined in order to enable a dynamic definition of the reliability range. This enables quick adaptation to changing environmental conditions, such as changing light conditions or changing weather conditions.
  • This also enables dynamic adaptation of the control behavior of the driver assistance system or the automatic driving function. This can relate to various aspects of the driver assistance system. In addition to the control behavior, the availability of the driver assistance system and the type of warning given to the driver are also mentioned as examples.
  • the method can be used particularly advantageously with environment detection sensors for environment detection for a vehicle, one environment detection sensor being a RADAR sensor or a LIDAR sensor and the other environment detection sensor being a camera.
  • stationary objects in particular traffic signs or stationary vehicles, are also detected as objects by the environmental sensors. These objects are extremely important for safe driver assistance systems and automatic speed steps.
  • a trajectory is determined for object tracking, on which the positions of the continuous object recognition of the object lie.
  • the determination of the trajectory is advantageous for controlling the sensor data fusion.
  • the reliability range is dependent on the object and the position of the object relative to the sensor.
  • the trajectory can be divided into sections which indicate the actual calculation of the position of a person using the measurement data of which environment detection sensor or which environment detection sensors Object recognition should take place.
  • the invention in another embodiment, relates to a device for carrying out the method, having at least two independent imaging environment detection sensors, the at least two environment detection sensors having different characteristics with regard to object detection depending on the distance of the object from the environment detection sensor.
  • the device further includes a computing device and a storage device, the computing device being designed to calculate an exact position for object recognition by the at least two imaging sensors for the environment by means of sensor fusion.
  • a special feature is that the computing device is designed to dynamically determine a reliability range with regard to the object detection of at least one environment detection sensor and to limit the implementation of the sensor data fusion for the corresponding object detections of the at least two environment detection sensors to the reliability range and, outside the reliability range, to limit the object localization based on to calculate the object detections of the other environment detection sensor for which the specific reliability range does not apply.
  • the method according to the invention can thus be implemented in a device.
  • Such a computing device can be used particularly advantageously as part of a control device in a driver assistance system of a vehicle.
  • driver assistance systems rely on the fact that they receive reliable object recognition from surroundings detection sensors.
  • the reliability of the object recognition can be checked and the accuracy of the object recognition can be increased in certain areas.
  • An advantageous development of the device consists in that the computing device is equipped with a degradation function which is designed to dynamically adapt the function of the driver assistance system as a function of the determination of the reliability range. This can be done in such a way that, for example, the control behavior is adapted. This can go as far as the complete shutdown of the driver assistance system. The driver can also be warned in stages.
  • the environment detection sensors consist of a video camera and a LIDAR or RADAR sensor.
  • Another embodiment of the invention consists in a vehicle with a device according to the invention.
  • FIG. 2 shows a block diagram of the on-board electronics of a vehicle
  • Fig. 3 is a block diagram of a control unit of a
  • FIG. 5 shows a basic illustration in which an object tracking lane for a static object is drawn in in the form of a traffic sign and the current reliability range for a camera sensor; and
  • FIG. 6 shows a flowchart for a computer program with which the method according to the invention for environment detection with at least two independent imaging environment detection sensors can be implemented.
  • Fig. 1 shows a typical traffic situation on a six-lane motorway.
  • the reference number 10 denotes a utility vehicle. It can be a bus or a truck, for example.
  • the commercial vehicle 10 is equipped with environment detection sensors and a driver assistance system that is based on the object detection that results from the evaluation of the data of the environment detection sensors.
  • the driver assistance system relates to an emergency braking assistance system.
  • Vehicles traveling ahead are denoted by the reference number 12.
  • the commercial vehicle 10 moves in the middle lane.
  • a traffic sign 16 is shown on the right-hand side of the road. It is a speed limit traffic sign.
  • Oncoming vehicles 14 move in the lanes of the opposite lane. As is customary on motorways, the two lanes for the different directions are structurally separated.
  • FIG. 2 schematically shows a block diagram of the on-board electronics of the commercial vehicle 10.
  • the infotainment system of the commercial vehicle 10 is shown in the upper area.
  • a touch-sensitive display unit 20, a computing device 40, an input unit 50 and a memory 60 are used to operate the infotainment system.
  • the display unit 20 is connected to the computing device 40 via a data line 70.
  • the data line can be designed according to the LVDS standard, corresponding to low voltage differential signaling.
  • the display unit 20 receives control data for controlling the display surface of the touchscreen 20 from the computing device 40 via the data line 70. Control data of the commands entered are also transmitted from the touchscreen 30 to the computing device 40 via the data line 70.
  • the input unit is denoted by the reference number 50. Associated with it are operating elements such as buttons, rotary controls, sliders or rotary push-button controls, with the help of which the operator can make entries via the menu navigation.
  • the memory device 60 is connected to the computing device 40 via a data line 80.
  • pictogram directories and / or symbol directories can be stored with the pictograms and / or symbols for the possible insertion of additional information.
  • the other parts of the infotainment system interior camera 150, radio 140, navigation device 130, telephone 120 and instrument cluster 110 are connected to the device for operating the infotainment system via the data bus 100.
  • a bus system based on Ethernet technology such as BroadR-Reach, can be used as the data bus 100. Further examples are the MOST bus (Media Oriented System Transport) or the D2B bus (Domestic Digital Bus).
  • a communication module 160 is also connected to the data bus 100. This is used for internal and external communication. For this purpose, the communication module 160 is equipped with an Ethernet interface for internal communication.
  • an LTE (Long Term Evolution) or 5G is in the communication module 160 Modem provided with which data can be received and sent via cellular radio.
  • sections of a constantly updated, highly accurate map can be loaded via cellular network.
  • the interior camera 150 can be designed as a conventional video camera. In this case, it records 25 frames / s, which corresponds to 50 fields / s in the interlace recording mode.
  • An engine control unit is denoted by the reference number 151.
  • Reference numeral 152 corresponds to an ESC control unit (Electronic Stability Control) and reference numeral 153 denotes a transmission control unit.
  • Further control devices such as an additional brake control device, can be present in the commercial vehicle 10.
  • Such control devices are typically networked with the CAN bus system (Controller Area Network) 104, which is standardized as an ISO standard, mostly as ISO 11898-1.
  • the communication bus 100 of the infotainment system is connected to a gateway 30.
  • the other parts of the on-board electronics are also connected to it.
  • the communication bus 104 of the drive train and on the other hand the communication bus 102 for driver assistance systems, which can be designed in the form of the FlexRay bus.
  • An emergency brake assistant 184 is shown here.
  • This emergency braking assistant is known internationally as the Advanced Emergency Braking System (AEBS).
  • AEBS Advanced Emergency Braking System
  • further driver assistance systems could also be connected to it, including, for example, a control unit for automatic distance control ACC in accordance with Adaptive Cruise Control, a driver assistance system DCC for adaptive chassis control, in accordance with Dynamic Chassis Control.
  • the surroundings detection sensors, a RADAR sensor 186, corresponding to radio detection and ranging, and a front camera 182 are also connected to this bus 102. Their function is discussed in more detail below.
  • a communication bus 106 is also connected to the gateway 30. This connects the gateway 30 with an on-board diagnostic interface 190. The task of the gateway 30 is to carry out the format conversions for the various communication systems 100, 102, 104, 106 so that data can be exchanged with one another.
  • the emergency braking assistance system 184 makes use of a highly precise map of the surroundings for the emergency braking function. The map of the surroundings can be stored in advance in a memory of the emergency braking assistance system.
  • the gateway 30 For this purpose, it is usually loaded via the communication module 160, forwarded by the gateway 30 and written to the memory of the emergency braking assistance system 184.
  • the gateway 30 In another variant, only a section of a map of the surroundings is loaded and written into the memory of the emergency braking assistance system.
  • the loaded map of the surroundings still has to be supplemented by the observations of the surroundings detection sensors 182 and 186.
  • a stereo camera, range 500m, is used to capture a 3D map, used for an automatic emergency brake assistant, lane change assistant, traffic sign recognition and an adaptive cruise control.
  • Camera range 100 m
  • Camera is used to capture a 3D map, used for an automatic emergency braking assistant, lane change assistant, traffic sign recognition, adaptive cruise control, front impact warning, automatic light control and a parking assistant.
  • Radar sensor range 20 cm to 100 m, used for an automatic emergency braking assistant, for automatic speed control, an adaptive cruise control, a blind spot assistant, a cross traffic alarm
  • Lidar sensor range 100 m
  • the front camera 182 can be designed as a special camera that records more images / s in order to increase the accuracy of the object detection in the case of faster moving objects.
  • the front camera 182 is mainly used for object recognition.
  • Typical objects that are to be recognized are traffic signs, vehicles driving ahead / surrounding / parked and other road users, intersections, turning points, potholes, etc.
  • the image evaluation takes place in the computing unit of the emergency brake assistant 184.
  • Known algorithms for object recognition can be used for this purpose.
  • the object recognition algorithms are processed by the computing unit of the emergency brake assistant 184. How many images can be analyzed per second depends on the performance of this processing unit.
  • the reference number 184-1 denotes a computing unit. It is a powerful arithmetic unit that is able to perform the necessary arithmetic operations for the aforementioned sensor data fusion. For this, it can be equipped with several computing cores in order to carry out parallel computing operations.
  • Reference numeral 184-2 denotes a storage unit. It can contain several different memory modules. Including RAM memory, EPROM memory and FEPROM memory.
  • Reference numeral 184-6 denotes an Ethernet interface. This establishes the connection to the communication bus 102.
  • Reference numeral 184-3 denotes an object list in which the successive object recognitions of an object recognized by the RADAR sensor 186 are recorded.
  • This object list is received from the RADAR sensor 186 via the communication bus 102.
  • Reference numeral 184-4 denotes an object list in which the successive object recognitions of an object recognized by the camera sensor 182 are recorded. These too Object list is received from camera sensor 182 via communication bus 102. Both object lists 184-3 and 184-4 relate to the same object that is observed by the two different environment detection sensors 182, 186 at the same time.
  • Reference numeral 184-5 denotes a resulting object list in which the accuracy of the object localizations is increased by means of sensor data fusion.
  • the RADAR sensor 186 has its strengths in distance measurement and object recognition at night, while the front camera 182 has its strengths in object recognition in daylight.
  • the nominal object recognition areas are shown in FIG. 4.
  • the nominal object detection area of the front camera 182 is marked with the reference symbol NCDR.
  • the nominal object detection range of the RADAR sensor 186 is marked with the reference symbol NRDR. Nominally under ideal conditions, the object detection range of the front camera 182 extends as far as that of the RADAR sensor 186. Under deteriorated conditions, the object detection range of the front camera can deviate significantly from the nominal object detection range. In FIG.
  • RCDR a currently valid reliability range of the object recognition for the front camera.
  • object tracking tracks for the followed vehicles 12 in front are also shown. With them, the reliability range can be easily determined.
  • the object tracking tracks are divided into different sections.
  • the section labeled COT relates to the part of the object tracking track in which, with the aid of object recognition algorithms, which are based on the image data from the front camera 182 can be applied, the preceding vehicle 12 could be localized.
  • the section labeled RED relates to the part of the object tracking lane in which the vehicle 12 traveling ahead could be localized with the aid of object recognition algorithms which are applied to the image data of the RADAR sensor 186.
  • the RADAR sensor 186 also delivers object identifications in the COT section.
  • the reference symbol 1 RDP denotes the point of the first object detection by the RADAR sensor 186.
  • the reference symbol 1CDP denotes the point of the first object detection by the front camera 182.
  • the reference symbol LCDP denotes the point of the last object detection by the front camera 182 under the given ambient conditions.
  • the COT section is significantly longer and approaches the end of the nominal object detection area NCDR. This could be due to the fact that the vehicle 12 traveling ahead is larger or has a different shape that is easier to recognize. However, it would also be possible that visibility is better in that direction, for example because there are fewer clouds of fog there, or because there are no shadows in this direction.
  • an object detection rate and an object tracking rate along the object tracking track over the distance between the environmental sensor and the object are calculated. Both rates form a simple criterion with which the reliability range can be determined quantitatively.
  • the reliability range RCDR is determined by the fact that in this range the object recognition rate and / or the object tracking rate is in a nominal value range that is required for reliable object recognition.
  • the nominal range of values can be determined through experiments.
  • a An example of a required nominal value range is in the range of 80-90% object detection rate and 90-100% object tracking rate.
  • An advantageous variant consists in that the reliability range is continuously redefined in order to enable a dynamic definition of the reliability range RCDR. This enables quick adaptation to changing environmental conditions, such as changing light conditions or changing weather conditions.
  • FIG. 5 shows a basic illustration of the detection of the surroundings by the utility vehicle 10, a static object in the form of a traffic sign 16 being tracked as the object.
  • the same reference symbols in FIG. 5 denote the same components as in FIG. 4.
  • a difference is that the first object recognition at point 1 RDP by the RADAR sensor 186 occurs when the traffic sign 16 is the furthest away.
  • the traffic sign 16 moves towards the commercial vehicle 10 in the recorded image because the commercial vehicle 10 is moving toward the traffic sign 16.
  • the same situation would also arise with the detection of dynamic objects when the commercial vehicle 10 approaches them.
  • a typical situation in which the emergency brake assistant is to be activated relates, for example, to the low-speed approach of the commercial vehicle 10 to the end of a traffic jam.
  • the first object recognition would take place at the distant end of the object recognition area NCDR and NRDR and the last recognition would take place in the vicinity of the commercial vehicle 10.
  • FIG. 6 shows a flowchart with which the method according to the invention for detecting the surroundings with at least two independent imaging sensors 182, 186 can be carried out.
  • the program is executed by the arithmetic unit 184-1 in the control unit of the emergency brake assistant 184.
  • the program start is denoted by the reference number 202.
  • the object lists 184-3 and 184-4 are received in program step 204.
  • the position of the recognized object is also indicated in the object lists.
  • the image evaluations therefore find in the environment detection sensors 182 and 186 themselves.
  • the image data can be transmitted to the emergency braking assistant 184, the image evaluations then having to be carried out in the computing unit 184-1.
  • the image evaluation involves typical object recognition algorithms that perform pattern recognition on the basis of patterns stored in a table.
  • All valid traffic signs are known and their patterns can be saved in a table. Typically, the pattern recognition is improved by a convolution operation in which the recorded images are folded with the known patterns. Such algorithms are known to the person skilled in the art and are available. If a traffic sign has been recognized in this way, the recognition distance to the traffic sign is also determined and stored. Corresponding algorithms exist for object recognition in the case of moving objects.
  • the object identifications are related to one another. From the positions in the object lists 184-3 and 184-4, the distances of the objects 12, 16 to the surroundings detection sensor 182, 186 can also be calculated in each case. The object identifications in the two object lists 184-3, 184-4 can be assigned to one another via this and via the times at which the respective image was recorded. Statistical methods, such as the calculation of the covariances between object identifications, can also be used to determine whether the object identifications correspond.
  • the received object lists 184-3 and 184-4 are evaluated.
  • the history of the object lists which is still stored in the memory 184-2, can also be used for this purpose.
  • the aim of the evaluation is to carry out a cross-check as to whether the two object lists 184-3 and 184-4 correspond. At points where the object lists do not correspond, the evaluation will show which of the two sensors has delivered an object recognition and which has not. It can be seen in FIG. 3 that the object list 184-4 of the front camera 182 is the The object only contains three times, while the object list 184-3 of the RADAR sensor 186 contains the object five times.
  • program step 210 the operation of the sensor data fusion of the corresponding object identifications in the reliability range RCDR of the front camera 182 then takes place. Outside the RCDR reliability range, the object identifications are entered by the RADAR sensor 186 in the merged object list 184-5. This takes place in program step 212.
  • the result is a common object list 184-5 for a recognized object.
  • the object can be, for example, one of the vehicles 12 in front or the traffic sign 16, as shown in FIGS.
  • the common object list 184-5 is used by the control program of the emergency braking assistant 184.
  • the letter F indicates which objects in the object list were determined by sensor data fusion.
  • the letter R indicates which objects were determined exclusively from the data of the RADAR sensor 186.
  • the emergency braking process is carried out in order to prevent a collision with the object.
  • the determination of the position of the objects can be supported with GNSS signals and odometry signals that the commercial vehicle has ready.
  • the image quality will vary greatly with the time of day. A distinction should at least be made between day and night times.
  • the traffic conditions can also have an influence on the accuracy of the object recognition.
  • a distinction can be made here as to whether the Vehicle moved in city traffic, on the highway, on the country road, etc. In city traffic, it is particularly important to record the traffic signs precisely.
  • specialty processors can include application specific integrated circuits (ASICs), reduced instruction set computers (RISC), and / or field programmable gate arrays (FPGAs).
  • ASICs application specific integrated circuits
  • RISC reduced instruction set computers
  • FPGAs field programmable gate arrays
  • the proposed method and the device are preferably implemented as a combination of hardware and software.
  • the software is preferably installed as an application program on a program storage device. Typically, it is a machine based on a computer platform that has flardware, such as one or more central processing units (CPU), a random access memory (RAM) and one or more input / output (I / O) interfaces.
  • An operating system is also typically installed on the computer platform.
  • the invention can also be used for remote-controlled devices such as drones and robots, where image evaluation is very important.
  • Other possible uses relate to a smartphone, a tablet computer, a personal assistant or data glasses.
  • LCDP last object detection position camera sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren (182, 186), wobei die Bilder der Umgebungserfassungssensoren (182, 186) mit jeweiligen Objekterkennungsalgorithmen ausgewertet werden. Für eine dynamische Objekterkennung wird eine mehrfache aufeinanderfolgende Objekterkennung für den jeweiligen Umgebungssensor (182, 186) durchgeführt und es werden die Objekterkennungen mit Positionsangabe in eine Objektliste (184-3; 184-4) für den jeweiligen Umgebungserfassungssensoren (182, 186) eingetragen. Anschließend wird die Genauigkeit der Objektlokalisierungen durch eine Sensordatenfusion der miteinander in Beziehung gesetzten Objekterkennungen erhöht. Dies erfolgt dynamisch nur in einem Zuverlässigkeitsbereich (RCDR), der durch miteinander in Beziehung setzen der Objekterkennungen in den Objektlisten (184-3; 184-4) bestimmt wird. Die Durchführung der Sensordatenfusion mit den sich entsprechenden Objekterkennungen wird auf den Zuverlässigkeitsbereich (RCDR) beschränkt und außerhalb des Zuverlässigkeitsbereiches (RCDR) erfolgt die Objektlokalisierung basierend auf den Objekterkennungen des anderen Umgebungserfassungssensors (186) erfolgt, für den der bestimmte Zuverlässigkeitsbereich (NRDR) nicht gilt.

Description

Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren, Vorrichtung zur Durchführung des Verfahrens, Fahrzeug sowie entsprechend ausgelegtes Computerprogramm
Die Erfindung betrifft das technische Gebiet von Systemen zur Umgebungserfassung, insbesondere bei Fahrzeugen. Solche Systeme spielen im Fahrzeugbereich eine immer größer werdende Rolle und werden sowohl für autonome Fahrsysteme und Fahrerassistenzsysteme eingesetzt. Die betreffenden Fahrerassistenzsysteme und automatische Fahrfunktionen besitzen ebenfalls eine Autonomiestufe und sind darauf angewiesen, dass die Umgebungserfassungssensoren verlässliche Daten produzieren.
Zur Zeit wird intensiv an Technologien gearbeitet, die zukünftig ein autonomes Fahren ermöglichen sollen. Ein erster Ansatz ist dabei die Einführung von verschiedenen Fahrerassistenzsystemen, die dem Fahrer bestimmte Aufgaben abnehmen. Beispiele von Fahrerassistenzsystemen sind ein Totwinkelwarnassistent, ein Notbremsassistent, ein Einparkassistent, ein Abbiegeassistent, ein Spurhalteassistent, ein Geschwindigkeitsregelassistent usw. In diesem Zusammenhang wird auch das komplett autonome Fahren erwähnt, bei dem eine komplett autonome Fahrfunktion mit einem entsprechend leistungsfähigem Rechner realisiert wird.
Um diese Systeme zu realisieren ist es erforderlich umfassende Informationen über Objekte (insb. bewegliche Verkehrsteilnehmer aber auch statische Objekte wie Verkehrszeichen) im sichtbaren und verdeckten/nicht sichtbaren Umfeld des eigenen Fahrzeugs zu sammeln. Das wird systemseitig durch den Einsatz neuerer Technologien (Fahrzeug-zu-Fahrzeug-Kommunikation, Einsatz von Datenbanken, Backend-Anbindung, Cloud-Dienste, Server-Einsatz, Fahrzeugsensorik, etc. ermöglicht. Im Bereich Fahrzeugsensorik werden insbesondere die folgenden Komponenten genannt, die eine Umfeldbeobachtung ermöglichen: RADAR-Geräte entsprechend Radio Detection and Ranging, LIDAR-Geräte, entsprechend Light Detection and Ranging, hauptsächlich für den Bereich Abstandserfassung/-warnung, und Kameras mit entsprechender Bildverarbeitung für den Bereich der Objekterkennung. Alle drei Sensorarten sind bildgebende Umgebungserfassungssensoren. Durch Bildauswertung kann eine Objekterkennung erfolgen. Die so gewonnen Daten über die Umwelt können somit als Basis für systemseitige Fahrempfehlungen, Warnungen, automatische Fahrmanöver, etc. herangezogen werden. Beispielsweise sind so Anzeigen/Warnungen darüber denkbar, in welche Richtung (möglicherweise in die eigene Trajektorie) ein anderes, umgebendes Fahrzeug abbiegen will. Es kann z.B. ein automatisches Bremsmanöver durchgeführt werden, wenn ein adaptiver Geschwindigkeitswarnassistent feststellt, dass ein bestimmter Abstand zu einem vorausfahrenden Fahrzeug unterschritten wird. Zusätzlich wird auch die Verkehrszeichenerkennung als Anwendungsfall erwähnt, um den Fahrer auf rechtliche Rahmenbedingungen hinzuweisen. Diese Verkehrszeichen müssen auch von automatischen Fahrsystemen oder Fahrerassistenzsystemen beachtet werden, und können automatische Bremsvorgänge oder Beschleunigungsvorgänge auslösen. Ein besonders wichtiges Beispiel ist ein AEBS-Notbremssystem, entsprechend Advanced Emergency Braking System. Solche Systeme können für verschiedene Kombinationen von Umgebungserfassungssensoren ausgelegt werden. Entsprechend sind Anpassungen erforderlich hinsichtlich der Verfügbarkeit des Assistenzsystems, der Auslösung der verschiedenen Warnungen des Fahrers, und des Bremsverhaltens etc..
Zur Klärung des Begriffs „autonomes Fahren“ wird hier noch folgender Einschub präsentiert. Unter autonomem Fahren (manchmal auch automatisches Fahren, automatisiertes Fahren oder pilotiertes Fahren genannt) ist die Fortbewegung von Fahrzeugen, mobilen Robotern und fahrerlosen Transportsystemen zu verstehen, die sich weitgehend autonom verhalten. Es gibt verschiedene Abstufungen des Begriffs autonomes Fahren. Dabei wird auf bestimmten Stufen auch dann von autonomen Fahren gesprochen, wenn noch ein Fahrer im Fahrzeug befindlich ist, der ggfs nur noch die Überwachung des automatischen Fahrvorgangs übernimmt. In Europa haben die verschiedenen Verkehrsministerien (in Deutschland war die Bundesanstalt für Straßenwesen beteiligt) zusammengearbeitet und die folgenden Autonomiestufen definiert.
• Level 0: „Driver only“, der Fahrer fährt selbst, lenkt, gibt Gas, bremst, etc. Eine Notbremsfunktion kann auch auf dieser Ebene eingreifen.
• Level 1 : Bestimmte Assistenzsysteme helfen bei der Fahrzeugbedienung (u.a. ein Abstandsregelsystem - Automatic Cruise Control ACC).
• Level 2: Teilautomatisierung. U.a. automatisches Einparken, Spurhaltefunktion, allgemeine Längsführung, Beschleunigen, Abbremsen etc. werden von den Assistenzsystemen übernommen (u.a. Stauassistent).
• Level 3: Hochautomatisierung. Der Fahrer muss das System nicht dauernd überwachen. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert, die Führung zu übernehmen. Diese Form der Autonomie ist auf Autobahnen technisch machbar. Der Gesetzgeber arbeitet darauf hin, Level 3-Fahrzeuge zuzulassen. Die gesetzlichen Rahmenbedingungen wurden dafür bereits geschaffen.
• Level 4: Vollautomatisierung. Die Führung des Fahrzeugs wird dauerhaft vom System übernommen. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen.
• Level 5: Kein Fahrer erforderlich. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich. Automatisierte Fahrfunktionen ab Stufe 3 nehmen dem Fahrer die Verantwortung für die Steuerung des Fahrzeugs ab. Vom VDA wurde eine ähnliche Einteilung der verschiedenen Autonomiestufen herausgegeben, die ebenfalls benutzt werden kann. Genauso gibt es von der Society of Automotive Engineers eine Spezifikation für die Einteilung der Autonomiestufen. Es handelt sich um die Spezifiktaion “SÄE J3016™: Taxonomv and Definitions for Terms Related to On-Road Motor Vehicle Automated Drivinq Systems”. Auch nach dieser Spezifikation kann die Notbremsfunktion auf Level 0 eingreifen.
Aufgrund der derzeitigen Entwicklung hin zu höheren Autonomiestufen, wo aber viele Fahrzeuge nach wie vor noch vom Fahrer gesteuert werden, ist davon auszugehen, dass entsprechende zusätzliche Informationen mittelfristig bereits für manuell geführte Fahrzeuge und nicht erst langfristig für hochautomatisierte Systeme genutzt werden können.
Ein sehr wichtiger Aspekt ist dabei, dass die Umgebung des sich bewegenden Fahrzeuges sehr genau erfasst werden muss. Hier gibt es den Ansatz der Sensordatenfusion, bei dem die Genauigkeit der Umgebungserfassung dadurch erhöht wird, dass die Objekterkennungen mehrerer verschiedener Umgebungserfassungssensoren, miteinander in Beziehung gesetzt werden, wobei die sich so ergebenden Daten fusioniert werden. Eine Sensordatenfusion kann beispielsweise in der Fusion von Kamera- und Radardaten bestehen, um Objekte zu klassifizieren und die Objekterkennungsleistung des Sensorsystems zu erhöhen.
Aus der US 2016/0170414 A1 ist ein Fahrzeug-basiertes System zur Verkehrszeichenerkennung bekannt. Dabei werden Umgebungssensoren wie LIDAR-Sensor, RADAR-Sensor und Kamera eingesetzt. Auch die Position des Fahrzeuges wird über GPS erfasst. Die erkannten Verkehrszeichen werden mit ihrer Position nach extern berichtet und dort in einer Datenbank eingetragen. Die bekannten Lösungen sind mit verschiedenen Nachteilen behaftet. Dies wurde im Rahmen der Erfindung erkannt. Bei den heute bekannten Bilderfassungsverfahren für den Einsatz im Fahrerassistenzbereich besteht das Problem, dass deren Detektionsleistung abnimmt, wenn ein Umgebungssensor z.B. aufgrund der Umgebungsbedingungen unzuverlässige Daten liefert. Das kann schnell passieren. Zu den Umgebungsbedingungen zählen auch die Wetterbedingungen. Diese beeinflussen stark die Sichtbedingungen. In diesem Zusammenhang wird auch das Tageslicht erwähnt. In der Dämmerung, bei Regen, Nebel und in der Nacht können die von der Kamera aufgenommenen Bilder nicht mehr so gut für eine Objekterkennung benutzt werden. Die Grenzen sind dabei fließend.
Es besteht also der Bedarf für weitere Verbesserungen bei Umgebungserfassungssystemen, insbesondere bei Fahrzeug-basierten Umgebungserfassungssensoren deren Objekterkennungen möglichst zuverlässig sein müssen.
Die Erfindung setzt sich zur Aufgabe, einen solchen Ansatz zu finden. Dabei soll die Technik der Sensordatenfusion möglichst weitgehend benutzt werden, da sie sich für die Genauigkeitserhöhung bei der Objekterkennung bewährt hat. Diese Aufgabe wird durch ein Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren zu denen neben Kameras auch RADAR- und LIDAR-Sensoren gezählt werden, gemäß Anspruch 1 , eine Vorrichtung zur Durchführung des Verfahrens nach Anspruch 11 und ein Fahrzeug zur Verwendung bei dem Verfahren gemäß Anspruch 15 sowie ein Computerprogramm gemäß Anspruch 16 gelöst.
Die abhängigen Ansprüche beinhalten vorteilhafte Weiterbildungen und Verbesserungen der Erfindung entsprechend der nachfolgenden Beschreibung dieser Maßnahmen.
Dabei haben die Erfinder erkannt, dass es zu einer Abnahme in der Funktionsgenauigkeit des Fahrerassistenzsystems kommt, wenn ein Umgebungserfassungssensor widrigen Bedingungen ausgesetzt ist, obwohl ein anderer Umgebungserfassungssensor nicht beeinträchtigt ist. Insbesondere wurde auch erkannt, dass es trotz des Einsatzes der Sensordatenfusion zu einer Beeinträchtigung der Funktionsgenauigkeit kommen kann, wenn einer der Umgebungserfassungssensoren widrigen Bedingungen ausgesetzt ist. Deshalb wird es erfindungsgemäß vorgesehen, die Funktion der Umgebungserfassungs sensoren zu überwachen.
In einer Ausprägung besteht die Erfindung in einem Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren, wobei die Bilder der Umgebungserfassungs sensoren mit jeweiligen Objekterkennungsalgorithmen ausgewertet werden. Dabei weisen die wenigstens zwei Umgebungserfassungssensoren unterschiedliche Charakteristiken bzgl. der Objekterkennung in Abhängigkeit von der Distanz des Objektes zum Umgebungserfassungssensor auf. Weil sich die Umgebungserfassungssensoren bewegen, erfolgt für eine dynamische Objekterkennung eine mehrfache aufeinanderfolgende Objekterkennung für den jeweiligen Umgebungssensor. Die mehrfachen aufeinanderfolgenden Objekterkennungen werden in eine Objektliste eingetragen, wobei die Objekterkennungen in den Objektlisten der Umgebungserfassungssensoren miteinander in Beziehung gesetzt werden. Mit Hilfe der Sensordatenfusion wird die Genauigkeit der Objekterkennungen der miteinander in Beziehung gesetzten Objekterkennungen erhöht. Zusätzlich erfolgt aber aufgrund der oben erwähnten Problematik eine Überwachung der Funktion der Umgebungserfassungssensoren. Dies erfolgt in Form der Bestimmung eines Zuverlässigkeitsbereichs bzgl. der Objekterkennung wenigstens eines Umgebungserfassungssensors. Wird bei einem Umgebungserfassungssensor erkannt, dass seine Funktion gegenüber der Normalfunktion beeinträchtigt ist, und er nur in einem kleineren Bereich als dem Nominalbereich zuverlässige Objekterkennungen liefert, wird die Durchführung der Sensorfusion der Objekterkennungen nur noch auf den Zuverlässigkeitsbereich beschränkt und außerhalb des Zuverlässigkeitsbereiches findet eine Objektlokalisierung basierend auf den Objekterkennungen des anderen Umgebungserfassungssensors statt, für den der bestimmte Zuverlässigkeitsbereich nicht gilt. Die Benutzung der Ergebnisse der Sensordatenfusion wird deshalb in dem Bereich außerhalb des Zuverlässigkeitsbereichs ausgesetzt. Das Verfahren hat den Vorteil, dass die Genauigkeit der Objekterkennungen durch die Umgebungserfassungssensoren insgesamt gesteigert wird. Dies ergibt sich dadurch, dass in den Bereichen, wo einer der Umgebungserfassungssensoren keine verlässlichen Objekterkennungen abliefert die Sensordatenfusion unterbunden wird und stattdessen die Objekterkennungen des anderen Umgebungserfassungssen sors übernommen werden. So kommt es nicht zur Verfälschung von Objekterkennungen durch die Sensordatenfusion zwischen verlässlichen und unzuverlässigen Objekterkennungen.
Dabei ist es vorteilhaft, wenn für die Bestimmung des Zuverlässigkeitsbereiches die historischen Daten von vorhergehenden Objekterkennungen berücksichtigt werden und eine Objekterkennungsrate über die Entfernung zwischen Umgebungssensor und Objekt berechnet wird.
Genauso ist es vorteilhaft, wenn für die Bestimmung des Zuverlässigkeitsbereiches die historischen Daten von vorhergehenden Objekterkennungen berücksichtigt werden und eine Objektverfolgungsrate über die Entfernung zwischen Umgebungssensor und Objekt berechnet wird. Beide Raten bilden ein einfaches Kriterium mit dem der Zuverlässigkeitsbereich quantitativ festgelegt werden kann.
Dies kann in vorteilhafter Weise so erfolgen, dass der Zuverlässigkeitsbereich dadurch bestimmt wird, dass in diesem Bereich die Objekterkennungsrate und/oder die Objektverfolgungsrate in einem nominalen Wertebereich liegt, der für eine zuverlässige Objekterkennung gefordert wird. Durch Experimente kann der nominale Wertebereich festgelegt werden. Ein Beispiel von einem geforderten nominalen Wertebereich liegt in dem Bereich von 80 - 90% Objekterkennungsrate und 90 - 100% Objektverfolgungsrate. Eine vorteilhafte Variante besteht darin, dass der Zuverlässigkeitsbereich fortlaufend neu bestimmt wird, um eine dynamische Festlegung des Zuverlässigkeitsbereiches zu ermöglichen. Dies ermöglicht eine schnelle Anpassung an wechselnde Umgebungsbedingungen, wie wechselnde Lichtverhältnisse oder wechselnde Wetterbedingungen. Dies ermöglicht auch eine dynamische Anpassung des Regelverhaltens des Fahrerassistenzsystems oder der automatischen Fahrfunktion. Dies kann sich auf verschiedene Aspekte des Fahrerassistenzsystems beziehen. Als Beispiel wird neben dem Regelverhalten auch die Verfügbarkeit des Fahrerassistenzsystems und die Art der Warnung des Fahrers erwähnt.
Das Verfahren kann besonders vorteilhaft bei Umgebungserfassungssensoren zur Umgebungserfassung für ein Fahrzeug benutzt werden, wobei der eine Umgebungserfassungssensor ein RADAR-Sensor oder ein LIDAR-Sensor ist und der andere Umgebungserfassungssensor eine Kamera ist.
Als Objekte werden dabei bewegliche Verkehrsteilnehmer, insbesondere vorausfahrende Fahrzeuge von den Umgebungssensoren erfasst.
Zusätzlich ist es vorteilhaft, wenn als Objekte auch unbewegliche Objekte, insbesondere Verkehrsschilder oder stehende Fahrzeuge von den Umgebungssensoren erfasst werden. Diese Objekte sind für sichere Fahrerassistenzsysteme und automatische Fahrstufen höchst wichtig.
Dabei ist es vorteilhaft, wenn zur Objektverfolgung eine Trajektorie ermittelt wird, auf der die Positionen der fortlaufenden Objekterkennungen des Objektes liegen. Die Ermittlung der Trajektorie ist für die Steuerung der Sensordatenfusion vorteilhaft. Der Zuverlässigkeitsbereich ist nämlich abhängig von dem Objekt und der Lage des Objektes relativ zum Sensor.
Dabei kann die Trajektorie in Abschnitte eingeteilt werden, die angeben, mit den Messdaten welches Umgebungserfassungssensors oder welcher Umgebungserfassungssensoren die tatsächliche Berechnung der Position einer Objekterkennung erfolgen soll. Es gibt also Bereiche, in denen eine Verbesserung der Genauigkeit der Objekterkennung durch Sensordatenfusion von sich entsprechenden Objekterkennungen beider Umgebungserfassungssensoren stattfindet und Bereiche, bei denen nur die Objekterkennungen eines Umgebungserfassungssensors benutzt werden.
In einer anderen Ausprägung betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens, aufweisend wenigstens zwei unabhängige bildgebende Umgebungserfassungssensoren, wobei die wenigstens zwei Umgebungserfassungssensoren unterschiedliche Charakteristiken bzgl. der Objekterkennung in Abhängigkeit von der Distanz des Objektes zum Umgebungserfassungssensor aufweisen. Die Vorrichtung beinhaltet weiter eine Recheneinrichtung und eine Speichereinrichtung, wobei die Recheneinrichtung ausgelegt ist, eine genaue Position für eine Objekterkennung seitens der wenigstens zwei bildgebenden Umgebungserfassungssensoren durch Sensorfusion zu berechnen. Eine Besonderheit besteht darin, dass die Recheneinrichtung ausgelegt ist, einen Zuverlässigkeitsbereich bzgl. der Objekterkennung wenigstens eines Umgebungserfassungssensors dynamisch zu bestimmen und die Durchführung der Sensordatenfusion für die sich entsprechenden Objekterkennungen der wenigstens zwei Umgebungserfassungssensoren auf den Zuverlässigkeitsbereich zu beschränken und außerhalb des Zuverlässigkeitsbereiches die Objektlokalisierung basierend auf den Objekterkennungen des anderen Umgebungserfassungssensors zu berechnen, für den der bestimmte Zuverlässigkeitsbereich nicht gilt. So kann das erfindungsgemäße Verfahren in einer Vorrichtung implementiert werden.
Ein derartige Recheneinrichtung kann besonders vorteilhaft als Teil eines Steuergerätes in einem Fahrerassistenzsystem eines Fahrzeuges eingesetzt werden. Solche Fahrerassistenzsysteme sind darauf angewiesen, dass sie von Umgebungserfassungssensoren zuverlässige Objekterkennungen erhalten. Mit der erfindungsgemäßen Vorrichtung und dem erfindungsgemäßen Verfahren kann die Verlässlichkeit der Objekterkennungen überprüft werden und in bestimmten Bereichen die Genauigkeit der Objekterkennungen erhöht werden.
Eine vorteilhafte Weiterbildung der Vorrichtung besteht darin, dass die Recheneinrichtung mit einer Degradationsfunktion ausgestattet ist, die dafür ausgelegt ist die Funktion des Fahrerassistenzsystems dynamisch anzupassen in Abhängigkeit von der Bestimmung des Zuverlässigkeitsbereichs. Dies kann so erfolgen, dass z.B. das Regelverhalten angepasst wird. Dies kann bis hin zur Komplettabschaltung des Fahrerassistenzsystems gehen. Ebenfalls kann der Fahrer abgestuft gewarnt werden.
Bei einer häufig besonders wichtigen Variante bestehen die Umgebungserfassungssensoren in einer Videokamera und in einem LIDAR- oder RADAR-Sensor.
Eine weitere Ausprägung der Erfindung besteht in einem Fahrzeug, mit einer erfindungsgemäßen Vorrichtung.
Schließlich gibt es noch eine vierte Ausprägung der Erfindung, die in einem Computerprogramm, besteht das ausgelegt ist, bei Abarbeitung in einer Recheneinrichtung die Schritte des erfindungsgemäßen Verfahrens durchzuführen. Dafür gelten die entsprechenden Vorteile wie zu dem erfindungsgemäßen Verfahren beschrieben.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend anhand der Figuren näher erläutert.
Es zeigen:
Fig. 1 eine typische Fahrsituation auf einer mehrspurigen Autobahn;
Fig. 2 ein Blockschaltbild der Bordelektronik eines Fahrzeuges;
Fig. 3 ein Blockschaltbild eines Steuergerätes eines
Notbremsassistenzsystems des Fahrzeuges; und Fig. 4 eine Prinzip-Darstellung, in der die Objektverfolgungsspuren für verschiedene vorausfahrende Fahrzeuge eingezeichnet sind und der momentane Zuverlässigkeitsbereich für einen Kamerasensor;
Fig. 5 eine Prinzip-Darstellung, in der eine Objektverfolgungsspur für ein statisches Objekt in Form eines Verkehrszeichens eingezeichnet ist und der momentane Zuverlässigkeitsbereich für einen Kamerasensor; und Fig. 6 ein Flussdiagramm für ein Computerprogramm mit dem das erfindungsgemäße Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren realisiert werden kann.
Die vorliegende Beschreibung veranschaulicht die Prinzipien der erfindungsgemäßen Offenbarung. Es versteht sich somit, dass Fachleute in der Lage sein werden, verschiedene Anordnungen zu konzipieren, die zwar hier nicht explizit beschrieben werden, die aber Prinzipien der erfindungsgemäßen Offenbarung verkörpern und in ihrem Umfang ebenfalls geschützt sein sollen.
Fig. 1 zeigt eine typische Verkehrssituation auf einer sechsspurigen Autobahn. Mit der Bezugszahl 10 ist ein Nutzfahrzeug bezeichnet. Es kann sich z.B. um einen Bus oder einen LKW (Lastkraftwagen) handeln. Das Nutzfahrzeug 10 ist mit Umgebungserfassungssensoren und einem Fahrerassistenzsystem ausgestattet, dass sich auf die Objekterkennungen, die sich durch Auswertung der Daten der Umgebungserfassungssensoren ergeben, abstützt. Das Fahrerassistenzsystem betrifft einen Notbremsassistenzsystem. Mit der Bezugszahl 12 sind vorausfahrende Fahrzeuge bezeichnet. Das Nutzfahrzeug 10 bewegt sich auf der mittleren Fahrspur. Am rechten Straßenrand ist ein Verkehrszeichen 16 dargestellt. Es handelt sich um ein Verkehrsschild zur Geschwindigkeitsbegrenzung. Auf den Fahrspuren der gegenüberliegenden Fahrbahn bewegen sich entgegenkommende Fahrzeuge 14. Wie bei Autobahnen üblich sind die beiden Fahrbahnen für die verschiedenen Richtungen baulich getrennt. Dies ist durch den Doppelstrich in der Mitte angedeutet. Fig. 2 zeigt schematisch ein Blockschaltbild der Bordelektronik des Nutzfahrzeuges 10. Im oberen Bereich ist das Infotainmentsystem des Nutzfahrzeuges 10 gezeigt. Zur Bedienung des Infotainmentsystems dient eine berührungsempfindliche Anzeigeeinheit 20, eine Recheneinrichtung 40, eine Eingabeeinheit 50 und ein Speicher 60. Die Anzeigeeinheit 20 ist über eine Datenleitung 70 mit der Recheneinrichtung 40 verbunden. Die Datenleitung kann nach dem LVDS-Standard ausgelegt sein, entsprechend Low Voltage Differential Signalling. Über die Datenleitung 70 empfängt die Anzeigeeinheit 20 Steuerdaten zum Ansteuern der Anzeigefläche des Touchscreens 20 von der Recheneinrichtung 40. Über die Datenleitung 70 werden auch Steuerdaten der eingegebenen Befehle von dem Touchscreen 30 zu der Recheneinrichtung 40 übertragen. Mit der Bezugszahl 50 ist die Eingabeeinheit bezeichnet. Ihr zugehörig sind Bedienelemente wie Tasten, Drehregler, Schieberegler, oder Drehdrückregler, mit deren Hilfe die Bedienperson über die Menüführung Eingaben machen kann.
Die Speichereinrichtung 60 ist über eine Datenleitung 80 mit der Recheneinrichtung 40 verbunden. In dem Speicher 60 können Piktogrammverzeichnisse und/oder Symbolverzeichnisse hinterlegt sein mit den Piktogrammen und/oder Symbolen für die möglichen Einblendungen von Zusatzinformationen.
Die weiteren Teile des Infotainmentsystems Innenraumkamera 150, Radio 140, Navigationsgerät 130, Telefon 120 und Kombiinstrument 110 sind über den Datenbus 100 mit der Vorrichtung zur Bedienung des Infotainmentsystems verbunden. Als Datenbus 100 kommt eines auf Ethernet-Technologie beruhenden Bussystems wie BroadR-Reach in Frage. Als weitere Beispiele werden genannt der MOST Bus (Media Oriented System Transport) oder der D2B Bus (Domestic Digital Bus). An den Datenbus 100 ist auch ein Kommunikationsmodul 160 angeschlossen. Dieses dient zur Kommunikation nach innen und nach außen. Dafür ist das Kommunikationsmodul 160 mit einer Ethernet-Schnittstelle für die Kommunikation nach innen ausgestattet. Weiterhin ist in dem Kommunikationsmodul 160 ein LTE (Long Term Evolution) oder 5G Modem vorgesehen, mit dem Daten über Mobilfunk empfangen werden können und versendet werden können. Zum Beispiel können Abschnitte einer ständig aktualisierten hochgenauen Karte über Mobilfunk geladen werden. Hier wird noch erwähnt, dass die Innenraumkamera 150 als konventionelle Videokamera ausgelegt sein kann. In diesem Fall nimmt sie 25 Vollbilder/s auf, was bei dem Interlace-Aufnahmemodus 50 Halbbildern/s entspricht.
Mit der Bezugszahl 151 ist ein Motorsteuergerät bezeichnet. Die Bezugszahl 152 entspricht einem ESC-Steuergerät (Electronic Stability Control) und die Bezugszahl 153 bezeichnet ein Getriebe-Steuergerät. Weitere Steuergeräte, wie ein zusätzliches Brems-Steuergerät, können im Nutzfahrzeug 10 vorhanden sein. Die Vernetzung solcher Steuergeräte geschieht typischerweise mit dem CAN-Bussystem (Controller Area Network) 104, welches als ISO Norm standardisiert ist, meist als ISO 11898-1.
Der Kommunikationsbus 100 des Infotainment-Systems ist mit einem Gateway 30 verbunden. Daran angeschlossen sind auch die anderen Teile der Bordelektronik. Zum einen der Kommunikationsbus 104 des Antriebstrangs und weiter der Kommunikationsbus 102 für Fahrerassistenzsysteme, der in Form des FlexRay-Busses ausgebildet sein kann. Dabei ist ein Notbremsassistent 184 dargestellt. Dieser Notbremsassistent wird international als Advanced Emergency Braking System (AEBS) bezeichnet. Es könnten aber auch weitere Fahrerassistenzsysteme daran angeschlossen werden, darunter z.B. ein Steuergerät zur automatischen Abstandsregelung ACC entsprechend Adaptive Cruise Control, ein Fahrerassistenzsystem DCC zur adaptiven Fahrwerksregelung, entsprechend Dynamic Chassis Control. Ebenfalls sind an diesen Bus 102 die Umgebungserfassungssensoren ein RADAR-Sensor 186, entsprechend Radio Detection and Ranging und eine Frontkamera 182 angeschlossen. Auf deren Funktion wird nachfolgend noch genauer eingegangen. Weiterhin ist noch ein Kommunikationsbus 106 an das Gateway 30 angeschlossen. Dieser verbindet das Gateway 30 mit einer On-Board Diagnoseschnittstelle 190. Die Aufgabe des Gateway 30 besteht darin, die Formatumwandlungen für die verschiedenen Kommunikationssysteme 100, 102, 104, 106 zu machen, sodass untereinander Daten ausgetaucht werden können. Im gezeigten Ausführungsbeispiel macht das Notbremsassistenzsystem 184 für die Notbremsfunktion von einer hochgenauen Umgebungskarte Gebrauch. Die Umgebungskarte kann vorab in einem Speicher des Notbremsassistenzsystems abgespeichert werden. Dazu wird sie üblicherweise über das Kommunikationsmodul 160 geladen, von dem Gateway 30 weitergeleitet und in den Speicher des Notbremsassistenzsystem 184 geschrieben. In einer anderen Variante wird nur ein Ausschnitt einer Umgebungskarte geladen und in den Speicher des Notbremsassistenzsystems geschrieben. Die geladene Umgebungskarte muss aber noch ergänzt werden durch die Beobachtungen der Umgebungserfassungssensoren 182 und 186.
Es gibt noch weitere Umgebungssensoren, die in der Lage sind, das Umfeld des Fahrzeuges zu erfassen, die für unterschiedliche Entfernungen und unterschiedliche Einsatzzwecke einzusetzen sind. Es gelten in etwa die folgenden Reichweiten- und Zweckangaben:
• Eine Stereo-Kamera, Reichweite 500m, dient zur Erfassung einer 3D- Karte, benutzt für einen automatischen Notbremsassistenten, Spurwechselassistenten, zur Verkehrsschilderkennung und einen Abstandsregeltempomaten.
• Kamera, Reichweite 100 m, dient zur Erfassung einer 3D-Karte, benutzt für einen automatischen Notbremsassistenten, Spurwechselassistenten, zur Verkehrsschilderkennung, einen Abstandsregeltempomaten, zur Frontaufprallwarnung, automatischer Lichtsteuerung und einen Parkassistenten.
• Ultraschallsensor, Reichweite <10m, Parkassistent.
• Radar-Sensor, Reichweite 20 cm bis 100 m, benutzt für einen automatischen Notbremsassistenten, zur automatischen Geschwindigkeitsregelung, einen Abstandsregeltempomaten, einen Totwinkelassistenten, einen Querverkehralarmgeber
• Lidar-Sensor, Reichweite 100 m, dient zur Erfassung einer 3D-Karte, benutzt für einen automatischen Notbremsassistenten. Die Frontkamera 182 kann als Spezialkamera ausgeführt sein, die mehr Bilder/s aufnimmt, um die Genauigkeit der Objekterkennung bei sich schneller bewegenden Objekten zu erhöhen.
Die Frontkamera 182 wird hauptsächlich zur Objekterkennung eingesetzt. Typische Objekte, die erkannt werden sollen, sind Verkehrszeichen, vorausfahrende/umgebende/parkende Fahrzeuge und andere Verkehrsteilnehmer, Kreuzungen, Abbiegestellen, Schlaglöcher usw. Die Bildauswertung findet in der Recheneinheit des Notbremsassistenten 184 statt. Dazu können bekannte Algorithmen zur Objekterkennung eingesetzt werden.
Die Objekterkennungsalgorithmen werden von der Recheneinheit des Notbremsassistenten 184 abgearbeitet. Es hängt von der Leistungsfähigkeit dieser Recheneinheit ab, wie viele Bilder pro Sekunde analysiert werden können.
Fig. 3 zeigt ein Blockschaltbild des Notbremsassistenz-Steuergerätes 184. Mit der Bezugszahl 184-1 ist eine Recheneinheit bezeichnet. Es handelt sich um eine leistungsfähige Recheneinheit, die in der Lage ist die nötigen Rechenoperationen für die erwähnte Sensordatenfusion durchzuführen. Dafür kann sie mit mehreren Rechenkernen ausgestattet sein um parallele Rechenoperationen durchzuführen. Die Bezugszahl 184-2 bezeichnet eine Speichereinheit. Es können mehrere verschiedene Speicherbausteine darin enthalten sein. Darunter RAM-Speicher, EPROM-Speicher und FEPROM- Speicher. Die Bezugszahl 184-6 bezeichnet eine Ethernet-Schnittstelle. Damit wird die Verbindung zum Kommunikationsbus 102 hergestellt. Die Bezugszahl 184-3 bezeichnet eine Objektliste, in der die aufeinanderfolgenden Objekterkennungen eines durch den RADAR-Sensor 186 erkannten Objektes verzeichnet sind. Diese Objektliste wird über den Kommunikationsbus 102 von dem RADAR-Sensor 186 empfangen. Die Bezugszahl 184-4 bezeichnet eine Objektliste, in der die aufeinanderfolgenden Objekterkennungen eines durch den Kamera-Sensor 182 erkannten Objektes verzeichnet sind. Auch diese Objektliste wird über den Kommunikationsbus 102 von dem Kamera-Sensor 182 empfangen. Beide Objektlisten 184-3 und 184-4 beziehen sich auf dasselbe Objekt das von den beiden verschiedenen Umgebungserfassungssensoren 182, 186 gleichzeitig beobachtet wird. Die Bezugszahl 184-5 bezeichnet eine resultierende Objektliste in der die Genauigkeit der Objektlokalisierungen durch Sensordatenfusion erhöht ist.
Fig. 4 zeigt eine Prinzip-Darstellung der Umgebungserfassung durch das Nutzfahrzeug 10. Der RADAR-Sensor 186 hat seine Stärken bei der Abstandsmessung und der Objekterkennung bei Nacht während die Frontkamera 182 ihre Stärken bei der Objekterkennung bei Tageslicht hat. In Fig. 4 sind die nominellen Objekterkennungsbereiche eingezeichnet. Der nominelle Objekterkennungsbereich der Frontkamera 182 ist mit Bezugszeichen NCDR markiert. Der nominelle Objekterkennungsbereich des RADAR-Sensors 186 ist mit Bezugszeichen NRDR markiert. Nominell unter Idealbedingungen geht der Objekterkennungsbereich der Frontkamera 182 fasst so weit, wie der des RADAR-Sensors 186. Unter verschlechterten Bedingungen kann der Objekterkennungsbereich der Frontkamera stark von der nominellen Objekterkennungsbereich abweichen. In der Fig. 4 ist ein momentan gültiger Zuverlässigkeitsbereich der Objekterkennung für die Frontkamera mit Bezugszeichen RCDR bezeichnet. Mit der Erkenntnis, dass die Objektlokalisierungen von Frontkamera 182 und RADAR-Sensor 186 in dem Bereich außerhalb des Zuverlässigkeitsbereichs RCDR durch Sensordatenfusion nicht verbessert werden können, wird erfindungsgemäß der Zuverlässigkeitsbereich bestimmt und die Sensordatenfusionsoperation auf diesen Zuverlässigkeitsbereich RCDR beschränkt.
In der Fig. 4 sind weiterhin Objektverfolgungsspuren für die verfolgten vorausfahrenden Fahrzeuge 12 eingezeichnet. Mit ihnen kann der Zuverlässigkeitsbereich einfach bestimmt werden. Dazu werden die Objektverfolgungsspuren in unterschiedliche Abschnitte eingeteilt. Der mit COT bezeichnete Abschnitt betrifft den Teil der Objektverfolgungsspur, in dem mit Hilfe von Objekterkennungsalgorithmen, die auf die Bilddaten der Frontkamera 182 angewendet werden, das vorausfahrende Fahrzeug 12 lokalisiert werden konnte. Der mit ROT bezeichnete Abschnitt betrifft den Teil der Objektverfolgungsspur, in dem mit Hilfe von Objekterkennungsalgorithmen, die auf die Bilddaten der RADAR-Sensors 186 angewendet werden, das vorausfahrende Fahrzeug 12 lokalisiert werden konnte. Dabei liefert der RADAR-Sensor 186 auch in dem Abschnitt COT Objekterkennungen ab. Bei der Objektverfolgungsspur für das vorausfahrende Fahrzeug 12 am rechten Bildrand sind einzelne Punkte der Objektverfolgungsspur besonders hervorgehoben. Das Bezugszeichen 1 RDP bezeichnet den Punkt der ersten Objekterkennung durch den RADAR-Sensor 186. Das Bezugszeichen 1CDP bezeichnet den Punkt der ersten Objekterkennung durch die Frontkamera 182. Das Bezugszeichen LCDP bezeichnet den Punkt der letzten Objekterkennung durch die Frontkamera 182 unter den gegebenen Umgebungsbedingungen. Bei der Objektverfolgungsspur am linken Bildrand ist der COT-Abschnitt bedeutend länger und geht nah an den das Ende des nominalen Objekterkennungsbereiches NCDR heran. Dies könnte dadurch bedingt sein, dass das vorausfahrende Fahrzeug 12 größer ist oder eine andere Form aufweist, die besser erkennbar ist. Es wäre aber auch möglich, dass in der Richtung die Sicht besser ist, z.B. weil dort weniger Nebelschwaden gegeben sind, oder weil in dieser Richtung kein Schattenwurf vorliegt.
Für die Bestimmung des Zuverlässigkeitsbereiches RCDR wird eine Objekterkennungsrate und eine Objektverfolgungsrate entlang der Objektverfolgungsspur über die Entfernung zwischen Umgebungssensor und Objekt berechnet. Beide Raten bilden ein einfaches Kriterium mit dem der Zuverlässigkeitsbereich quantitativ festgelegt werden kann.
Dies kann in vorteilhafter Weise so erfolgen, dass der Zuverlässigkeitsbereich RCDR dadurch bestimmt wird, dass in diesem Bereich die Objekterkennungsrate und/oder die Objektverfolgungsrate in einem nominalen Wertebereich liegt, der für eine zuverlässige Objekterkennung gefordert wird. Durch Experimente kann der nominale Wertebereich festgelegt werden. Ein Beispiel von einem geforderten nominalen Wertebereich liegt in dem Bereich von 80 - 90% Objekterkennungsrate und 90 - 100% Objektverfolgungsrate.
Eine vorteilhafte Variante besteht darin, dass der Zuverlässigkeitsbereich fortlaufend neu bestimmt wird, um eine dynamische Festlegung des Zuverlässigkeitsbereiches RCDR zu ermöglichen. Dies ermöglicht eine schnelle Anpassung an wechselnde Umgebungsbedingungen, wie wechselnde Lichtverhältnisse oder wechselnde Wetterbedingungen.
Die Fig. 5 zeigt eine Prinzip-Darstellung der Umgebungserfassung durch das Nutzfahrzeug 10, wobei als Objekt ein statisches Objekt in Form eines Verkehrszeichen 16 verfolgt wird. Gleiche Bezugszeichen bezeichnen in Fig. 5 die gleichen Komponenten wie in Fig. 4. Ein Unterschied besteht darin, dass die erste Objekterkennung am Punkt 1 RDP durch den RADAR-Sensor 186 geschieht, wenn das Verkehrszeichen 16 am weitesten entfernt ist. In der Folge bewegt sich das Verkehrszeichen 16 im aufgenommenen Bild auf das Nutzfahrzeug 10 zu, weil das Nutzfahrzeug 10 sich auf das Verkehrszeichen 16 zubewegt. Die gleiche Situation würde sich auch bei der Erkennung dynamischer Objekte ergeben, wenn sich das Nutzfahrzeug 10 diesen annähert. Eine typische Situation in der der Notbremsassistent aktiv werden soll betrifft zum Beispiel das Fieranfahren des Nutzfahrzeuges 10 an ein Stauende. Auch dann würde die erste Objekterkennung am entfernten Ende des Objekterkennungsbereiches NCDR und NRDR erfolgen und die letzte Erkennung in der Nähe des Nutzfahrzeuges 10.
Fig. 6 zeigt ein Flussdiagramm mit dem das erfindungsgemäße Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren 182, 186 durchgeführt werden kann. Das Programm wird von der Recheneinheit 184-1 in dem Steuergerät des Notbremsassistenten 184 ausgeführt. Mit der Bezugszahl 202 ist der Programmstart bezeichnet. Im Programmschritt 204 erfolgt der Empfang der Objektlisten 184-3 und 184-4. In den Objektlisten ist jeweils auch die Position des jeweils erkannten Objektes angegeben. Die Bildauswertungen finden daher in den Umgebungserfassungssensoren 182 und 186 selbst statt. In einer anderen Ausführungsform können die Bilddaten zu dem Notbremsassistenten 184 übertragen werden, wobei dann die Bildauswertungen in der Recheneinheit 184-1 durchgeführt werden müssen. Es handelt sich bei der Bildauswertung um typische Objekterkennungsalgorithmen, die eine Mustererkennung auf Basis von in einer Tabelle abgespeicherten Mustern vornehmen. Alle gültigen Verkehrszeichen sind ja bekannt und deren Muster können in einer Tabelle abgespeichert werden. Typischerweise wird die Mustererkennung durch eine Faltungsoperation verbessert, bei der die aufgenommenen Bilder mit den bekannten Mustern gefaltet werden. Solche Algorithmen sind dem Fachmann bekannt und stehen zur Verfügung. Wenn auf diese Weise ein Verkehrszeichen erkannt wurde, wird auch die Erkennungsdistanz zum Verkehrszeichen ermittelt und abgespeichert. Entsprechende Algorithmen existieren für die Objekterkennung bei beweglichen Objekten.
Im Programmschritt 206 werden die Objekterkennungen miteinander in Beziehung gesetzt. Aus den Positionen in den Objektlisten 184-3 und 184-4 können jeweils auch die Entfernungen der Objekte 12, 16 zum Umgebungserfassungssensor 182, 186 berechnet werden. Darüber und über die Zeitpunkte, wann das jeweilige Bild aufgenommen wurde, können die Objekterkennungen in den beiden Objektlisten 184-3, 184-4 einander zugeordnet werden. Auch durch statistischen Methoden, wie der Berechnung der Kovarianzen zwischen Objekterkennungen kann ermittelt werden, ob sich die Objekterkennungen entsprechen.
Im Programmschritt 208 findet die Auswertung der empfangenen Objektlisten 184-3 und 184-4 statt. Dafür kann auch die Historie der Objektlisten herangezogen werden, die noch in dem Speicher 184-2 abgespeichert ist. Die Auswertung zielt darauf ab, einen Crosscheck durchzuführen, ob die beiden Objektlisten 184-3 und 184-4 sich entsprechen. An Stellen wo sich die Objektlisten nicht entsprechen, wird sich durch die Auswertung zeigen, welcher der beiden Sensoren eine Objekterkennung geliefert hat und welcher nicht. Es ist in der Fig. 3 zu sehen, dass die Objektliste 184-4 der Frontkamera 182 das Objekt nur dreimal enthält, während die Objektliste 184-3 des RADAR-Sensors 186 das Objekt fünfmal enthält. Dies ist verständlich, da wie beschrieben, bei schlechten Sichtverhältnissen eher eine Objekterkennung mit den Daten der Frontkamera 182 ausfallen wird als mit dem RADAR-Sensor 186 . So ist es dann möglich den Zuverlässigkeitsbereich RCDR der Frontkamera 182 zu bestimmen. Dies ergibt sich z.B. daraus, dass sich die Objekterkennungen in den beiden zu vergleichenden Objektlisten sich in dem Zuverlässigkeitsbereich innerhalb einer bestimmten Toleranz decken.
Im Programmschritt 210 findet dann die Operation der Sensordatenfusion von den sich entsprechenden Objekterkennungen in dem Zuverlässigkeitsbereich RCDR der Frontkamera 182 statt. Außerhalb des Zuverlässigkeitsbereichs RCDR werden die Objekterkennungen seitens des RADAR-Sensors 186 in die fusionierte Objektliste 184-5 eingetragen. Dies findet im Programmschritt 212 statt. Als Resultat entsteht eine gemeinsame Objektliste 184-5 für ein erkanntes Objekt. Das Objekt kann z.B. eines der vorausfahrenden Fahrzeuge 12 sein oder das Verkehrsschild 16, wie in den Fig. 4 und 5 gezeigt. Die gemeinsame Objektliste 184-5 wird von dem Steuerprogramm des Notbremsassistenten 184 benutzt. In der gemeinsamen Objektliste 184-5 ist mit dem Buchstaben F angedeutet welche Objekte in der Objektliste durch Sensordatenfusion bestimmt wurden. Mit dem Buchstaben R ist angedeutet welche Objekte ausschließlich aus den Daten des RADAR-Sensors 186 bestimmt wurden.
Wenn erkannt wird, das sich das Objekt zu weit und/oder zu schnell an das Nutzfahrzeug 10 annähert, wird der Notbremsvorgang durchgeführt um eine Kollision mit dem Objekt zu verhindern.
Die Positionsermittlung der Objekte kann mit GNSS-Signale und Odometrie- Signale, die das Nutzfahrzeug bereithält gestützt werden. Die Bildqualität wird sehr stark mit der Tageszeit variieren. Hier sollte wenigstens zwischen Tag- und Nachtzeiten unterschieden werden.
Auch die Verkehrsbedingungen können einen Einfluss auf die Genauigkeit der Objekterkennung haben. Hier kann unterschieden werden, ob sich das Fahrzeug im Stadtverkehr, auf der Autobahn, auf der Landstraße usw. bewegt. Im Stadtverkehr kommt es auf besonders genaue Erfassung der Verkehrsschilder an.
Alle hierin erwähnten Beispiele wie auch bedingte Formulierungen sind ohne Einschränkung auf solche speziell angeführten Beispiele zu verstehen. So wird es zum Beispiel von Fachleuten anerkannt, dass das hier dargestellte Blockdiagramm eine konzeptionelle Ansicht einer beispielhaften Schaltungsanordnung darstellt. In ähnlicher Weise ist zu erkennen, dass ein dargestelltes Flussdiagramm, Zustandsübergangsdiagramm, Pseudocode und dergleichen verschiedene Varianten zur Darstellung von Prozessen darstellen, die im Wesentlichen in computerlesbaren Medien gespeichert und somit von einem Computer oder Prozessor ausgeführt werden können. Das in den Patentansprüchen genannte Objekt kann ausdrücklich auch eine Person sein.
Es sollte verstanden werden, dass das vorgeschlagene Verfahren und die zugehörigen Vorrichtungen in verschiedenen Formen von Flardware, Software, Firmware, Spezialprozessoren oder einer Kombination davon implementiert werden können. Spezialprozessoren können anwendungsspezifische integrierte Schaltungen (ASICs), Reduced Instruction Set Computer (RISC) und / oder Field Programmable Gate Arrays (FPGAs) umfassen. Vorzugsweise wird das vorgeschlagene Verfahren und die Vorrichtung als eine Kombination von Flardware und Software implementiert. Die Software wird vorzugsweise als ein Anwendungsprogramm auf einer Programmspeichervorrichtung installiert. Typischerweise handelt es sich um eine Maschine auf Basis einer Computerplattform, die Flardware aufweist, wie beispielsweise eine oder mehrere Zentraleinheiten (CPU), einen Direktzugriffsspeicher (RAM) und eine oder mehrere Eingabe/Ausgabe (I/O) Schnittstelle(n). Auf der Computerplattform wird typischerweise außerdem ein Betriebssystem installiert. Die verschiedenen Prozesse und Funktionen, die hier beschrieben wurden, können Teil des Anwendungsprogramms sein oder ein Teil, der über das Betriebssystem ausgeführt wird. Die Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt. Es gibt Raum für verschiedene Anpassungen und Modifikationen, die der Fachmann aufgrund seines Fachwissens als auch zu der Offenbarung zugehörend in Betracht ziehen würde.
Die Erfindung wird in den Ausführungsbeispielen am Beispiel des Einsatzes in Fahrzeugen genauer erläutert. Hier wird auch auf die Einsatzmöglichkeit bei Flugzeugen und Helikoptern zum Beispiel bei Landemanövern oder Sucheinsätzen etc. hingewiesen.
Auch bei ferngesteuerten Geräten wie Drohnen und Robotern, bei denen die es sehr stark auf Bildauswertung ankommt, kann die Erfindung eingesetzt werden. Andere Einsatzmöglichkeiten betreffen ein Smartphone, ein Tablet Computer, ein Personal Assistant oder eine Daten-Brille.
Bezugszeichenliste (Teil der Beschreibung)
10 Nutzfahrzeug
12 vorausfahrendes Fahrzeug
14 entgegenkommendes Fahrzeug
16 Verkehrsschild
20 LCD-Display
30 Gateway
40 Recheneinheit
50 Eingabeeinheit
60 Speichereinheit
70 Datenleitung zur Anzeigeeinheit
80 Datenleitung zur Speichereinheit
90 Datenleitung zur Eingabeeinheit
100 1. Kommunikationsbus
102 2. Kommunikationsbus
104 3. Kommunikationsbus
106 4. Kommunikationsbus
110 Kombiinstrument
120 Telefon
130 Navigationsgerät
140 Radio
150 Innenraumkamera
160 On-Board-Kommunikationsmodul
172 Motorsteuergerät
174 ESC-Steuergerät
176 Getriebesteuergerät
182 Frontkamera
184 Notbremsassistenz-Steuergerät
184-1 Mikrorechner
184-2 Speichereinheit
184-3 Objektliste RADAR-Sensor
184-4 Objektliste Frontkamera
184-5 fusionierte Objektliste
186 RADAR-Steuergerät
190 On-Board-Diagnose-Anschluss
202 - 216 verschiedene Programmschritte eines Computerprogramms
NCDR nomineller Kamera-Objekterkennungsbereich
NRDR nomineller RADAR-Sensor-Objekterkennungsbereich
RCDR Zuverlässigkeitsbereich Kamera-Sensor
COT Kameraobjekt-Verfolgungsspur
ROT RADAR-Sensor-Objektverfolgungsspur
1CDP erste Objekterkennungsposition Kamera-Sensor
1 RDP erste Objekterkennungsposition RADAR-Sensor
LCDP letzte Objekterkennungsposition Kamera-Sensor
NCDP letzte Objekterkennungsposition RADAR-Sensor

Claims

Ansprüche
1. Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren (182, 186), wobei die Bilder der Umgebungserfassungssensoren (182, 186) mit jeweiligen Objekterkennungsalgorithmen ausgewertet werden, wobei die wenigstens zwei Umgebungserfassungssensoren (182, 186) unterschiedliche Charakteristiken bzgl. der Objekterkennung in Abhängigkeit von der Distanz des Objektes (12, 16) zum Umgebungserfassungssensor (182, 186) aufweisen, wobei für eine dynamische Objekterkennung eine mehrfache aufeinanderfolgende Objekterkennung für den jeweiligen Umgebungssensor (182, 186) durchgeführt wird und die Objekterkennungen mit Positionsangabe in eine Objektliste (184-3; 184-4) eingetragen werden, wobei die Objekterkennungen in den Objektlisten (184-3; 184-4) miteinander in Beziehung gesetzt werden, und wobei die Genauigkeit der Objektlokalisierungen durch eine Sensorfusion der miteinander in Beziehung gesetzten Objekterkennungen erhöht wird, dadurch gekennzeichnet, dass ein Zuverlässigkeitsbereich (RCDR) bzgl. der Objekterkennung wenigstens eines Umgebungserfassungssensors (182, 186) bestimmt wird, und wobei die Durchführung der Sensorfusion der Objekterkennungen auf den Zuverlässigkeitsbereich (RCDR) beschränkt wird und außerhalb des Zuverlässigkeitsbereiches (RCDR) die Objektlokalisierung basierend auf den Objekterkennungen des wenigstens einen anderen Umgebungserfassungssensors (186) erfolgt, für den der bestimmte Zuverlässigkeitsbereich (NRDR) nicht gilt.
2. Verfahren nach Anspruch 1 , wobei für die Bestimmung des Zuverlässigkeitsbereiches (RCDR) die historischen Daten von vorhergehenden Objekterkennungen berücksichtigt werden und eine Objekterkennungsrate über die Entfernung zwischen Umgebungssensor (182, 186) und Objekt (12, 16) entlang der Objektverfolgungsspur (COT, ROT) berechnet wird.
3. Verfahren nach Anspruch 2, wobei für die Bestimmung des Zuverlässigkeitsbereiches (RCDR) die historischen Daten von vorhergehenden Objekterkennungen berücksichtigt werden und eine Objektverfolgungsrate über die Entfernung zwischen Umgebungssensor und Objekt (12, 16) entlang der Objektverfolgungsspur (OT) berechnet wird.
4. Verfahren nach Anspruch 2 oder 3, wobei der Zuverlässigkeitsbereich (RCDR) dadurch bestimmt wird, dass in diesem Bereich die Objekterkennungsrate und/oder die Objektverfolgungsrate entlang der Objektverfolgungsspur (OT) in einem nominalen Wertebereich liegt, der für eine zuverlässige Objekterkennung gefordert wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Zuverlässigkeitsbereich (RCDR) fortlaufend neu bestimmt wird, um eine dynamische Festlegung des Zuverlässigkeitsbereiches (RCDR) zu ermöglichen.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Umgebungserfassungssensoren (182, 186) zur Umgebungserfassung für ein Fahrzeug (10) benutzt werden, wobei der eine bildgebende Umgebungserfassungssensor (186) ein RADAR-Sensor oder ein LIDAR-Sensor ist und der andere bildgebende Umgebungserfassungssensor (182) eine Kamera ist.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei als Objekte (12, 16) bewegliche Verkehrsteilnehmer, insbesondere vorausfahrende Fahrzeuge (12) von den Umgebungssensoren (182, 186) erfasst werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei als Objekte (12, 16) unbewegliche Objekte, insbesondere Verkehrsschilder (16) oder stehende Fahrzeuge (12) von den Umgebungssensoren (182, 186) erfasst werden.
9. Verfahren nach einem der Ansprüche 3 bis 8, wobei zur Objektverfolgung die Objektverfolgungsspur (OT) geschätzt wird, auf der die Positionen der fortlaufenden Objekterkennungen des Objektes (12, 16) mutmaßlich liegen.
10. Verfahren nach Anspruch 9, wobei die Objektverfolgungsspur (OT) in Abschnitte (ROT, COT) eingeteilt wird, die angeben, mit den Messdaten welches Umgebungserfassungssensors (182, 186) oder welcher Umgebungserfassungssensoren (182, 186) die tatsächliche Berechnung der Position einer Objekterkennung erfolgen soll.
11. Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, aufweisend wenigstens zwei unabhängige bildgebende Umgebungserfassungssensoren (182, 186), wobei die wenigstens zwei Umgebungserfassungssensoren (182, 186) unterschiedliche Charakteristiken bzgl. der Objekterkennung in Abhängigkeit von der Distanz des Objektes (12, 16) zum Umgebungserfassungssensor (182, 186) aufweisen, weiter aufweisend eine Recheneinrichtung (184-1) und eine Speichereinrichtung (184-2), wobei die Recheneinrichtung (184-1) ausgelegt ist, eine genauere Objekterkennung seitens der wenigstens zwei bildgebenden Umgebungserfassungssensoren (182, 186) durch Sensorfusion zu berechnen, wobei die Recheneinrichtung (184-1) ausgelegt ist für die erkannten Objekte in den Objektlisten der Umgebungserfassungssensoren die jeweilige Position des Objektes zu berechnen, dadurch gekennzeichnet, dass die Recheneinrichtung (184-1) ausgelegt ist, einen Zuverlässigkeitsbereich (RCDR) bzgl. der Objekterkennung wenigstens eines Umgebungserfassungssensors (182, 186) dynamisch zu bestimmen und die Durchführung der Sensorfusion für die sich entsprechenden Objekterkennungen der wenigstens zwei Umgebungserfassungssensoren (182, 186) auf den Zuverlässigkeitsbereich (RCDR) zu beschränken und außerhalb des Zuverlässigkeitsbereiches (RCDR) die Objektlokalisierung basierend auf den Objekterkennungen des anderen Umgebungserfassungssensors (186) zu berechnen, für den der bestimmte Zuverlässigkeitsbereich (NRDR) nicht gilt.
12. Vorrichtung nach Anspruch 11 , wobei die Recheneinrichtung (184-1 ) Teil eines Steuergerätes (184) in einem Fahrerassistenzsystem eines Fahrzeuges (10) ist.
13. Vorrichtung nach Anspruch 12, wobei die Recheneinrichtung (184-1) mit einer Degradationsfunktion ausgestattet ist, die dafür ausgelegt ist die Funktion des Fahrerassistenzsystems dynamisch anzupassen in Abhängigkeit von der Bestimmung des Zuverlässigkeitsbereichs (RCDR).
14. Vorrichtung nach einem der Ansprüche 8 bis 13, wobei ein Umgebungserfassungssensor (182, 186), eine Videokamera (182) und der wenigstens eine andere Umgebungserfassungssensor (182, 186), ein LIDAR- oder ein RADAR-Sensor ist.
15. Fahrzeug, dadurch gekennzeichnet, dass das Fahrzeug (10) mit einer Vorrichtung nach einem der Ansprüche 11 bis 14 ausgestattet ist.
16. Computerprogramm, dadurch gekennzeichnet, dass das Computerprogramm ausgelegt ist, bei Abarbeitung in einer Recheneinrichtung (184-1) die Schritte des Verfahrens nach einem der Ansprüche 1 bis 10 durchzuführen.
EP21742742.6A 2020-07-01 2021-06-29 Verfahren zur umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden umgebungserfassungssensoren, vorrichtung zur durchführung des verfahrens, fahrzeug sowie entsprechend ausgelegtes computerprogramm Pending EP4176378A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020117340.7A DE102020117340A1 (de) 2020-07-01 2020-07-01 Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren, Vorrichtung zur Durchführung des Verfahrens, Fahrzeug sowie entsprechend ausgelegtes Computerprogramm
PCT/EP2021/067790 WO2022002901A1 (de) 2020-07-01 2021-06-29 Verfahren zur umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden umgebungserfassungssensoren, vorrichtung zur durchführung des verfahrens, fahrzeug sowie entsprechend ausgelegtes computerprogramm

Publications (1)

Publication Number Publication Date
EP4176378A1 true EP4176378A1 (de) 2023-05-10

Family

ID=76958922

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21742742.6A Pending EP4176378A1 (de) 2020-07-01 2021-06-29 Verfahren zur umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden umgebungserfassungssensoren, vorrichtung zur durchführung des verfahrens, fahrzeug sowie entsprechend ausgelegtes computerprogramm

Country Status (5)

Country Link
US (1) US12423989B2 (de)
EP (1) EP4176378A1 (de)
CN (1) CN116034359A (de)
DE (1) DE102020117340A1 (de)
WO (1) WO2022002901A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12179797B2 (en) * 2020-10-28 2024-12-31 Toyota Research Institute, Inc. Layered architecture for availability of advanced driver assistance features
EP4174799B1 (de) * 2021-10-26 2026-04-01 Zenseact AB Wahrgenommene freiraumverifizierung eines werbeanzeigewahrnehmungssystems
CN114919548B (zh) * 2022-04-27 2023-10-20 一汽奔腾轿车有限公司 一种基于毫米波雷达的自适应制动控制方法
DE102022206345A1 (de) * 2022-06-23 2023-12-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Netzwerk zur Sensordatenfusion
WO2024110295A1 (en) * 2022-11-22 2024-05-30 Continental Autonomous Mobility Germany GmbH Environment perception system and method for perceiving an environment of a vehicle
DE102023117817A1 (de) 2023-07-06 2025-01-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Assistenzsystem zum Unterstützen einer automatisierten Fahrzeuglängsführung und entsprechend eingerichtetes Kraftfahrzeug
JP2025010839A (ja) * 2023-07-10 2025-01-23 トヨタ自動車株式会社 自動運転システム
JP2025089866A (ja) * 2023-12-04 2025-06-16 トヨタ自動車株式会社 車両運転支援装置、車両運転支援方法及びそのプログラム
DE102024114787A1 (de) * 2024-05-27 2025-11-27 HELLA GmbH & Co. KGaA System zur Fahrerassistenz oder zum autonomen Fahren eines Fahrzeugs, Fahrzeug und Verfahren zum Betreiben des Systems

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
GB2529997B (en) * 2014-05-01 2019-01-02 Jaguar Land Rover Ltd Vehicle communication system with occupant monitoring
US9726577B2 (en) * 2014-06-03 2017-08-08 Honeywell Internataionl Inc. Vehicle mission capability prediction system and method
EP3016352B1 (de) * 2014-11-03 2019-02-06 Fujitsu Limited Verfahren zum Verwalten eines Sensornetzwerksystems
US20160162743A1 (en) * 2014-12-05 2016-06-09 Magna Electronics Inc. Vehicle vision system with situational fusion of sensor data
US9459626B2 (en) 2014-12-11 2016-10-04 Here Global B.V. Learning signs from vehicle probes
CN105973619A (zh) 2016-04-27 2016-09-28 厦门大学 结构健康监测系统下基于影响线的桥梁局部损伤识别方法
US10453213B2 (en) * 2016-08-29 2019-10-22 Trifo, Inc. Mapping optimization in autonomous and non-autonomous platforms
JP7206583B2 (ja) * 2016-11-25 2023-01-18 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP6805992B2 (ja) 2017-07-18 2020-12-23 トヨタ自動車株式会社 周辺監視装置
CN108151806B (zh) * 2017-12-27 2020-11-10 成都西科微波通讯有限公司 基于目标距离的异类多传感器数据融合方法
JP6968722B2 (ja) * 2018-02-02 2021-11-17 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、インシデント監視方法
DE112019000049T5 (de) * 2018-02-18 2020-01-23 Nvidia Corporation Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
US10884119B2 (en) 2018-06-08 2021-01-05 Ford Global Technologies, Llc Object tracking in blind-spot
DE102018123779A1 (de) 2018-09-26 2020-03-26 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zum Verbessern einer Objekterkennung eines Radargeräts
JP6937855B2 (ja) * 2020-01-29 2021-09-22 本田技研工業株式会社 車両制御装置、車両、車両制御方法及びプログラム
US12299077B2 (en) * 2020-09-24 2025-05-13 Intel Corporation Perception system error detection and re-verification
US20250095344A1 (en) * 2023-09-18 2025-03-20 Qualcomm Incorporated Image interpolation for multi-sensor training of feature detection models

Also Published As

Publication number Publication date
US20230334836A1 (en) 2023-10-19
WO2022002901A1 (de) 2022-01-06
CN116034359A (zh) 2023-04-28
US12423989B2 (en) 2025-09-23
DE102020117340A1 (de) 2022-01-05

Similar Documents

Publication Publication Date Title
WO2022002901A1 (de) Verfahren zur umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden umgebungserfassungssensoren, vorrichtung zur durchführung des verfahrens, fahrzeug sowie entsprechend ausgelegtes computerprogramm
DE102018118220B4 (de) Verfahren zur Schätzung der Lokalisierungsgüte bei der Eigenlokalisierung eines Fahrzeuges, Vorrichtung für die Durchführung von Verfahrensschritten des Verfahrens, Fahrzeug sowie Computerprogramm
DE102017221191B4 (de) Verfahren zur Anzeige des Verlaufs einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
EP3160813B1 (de) Verfahren zur erstellung eines umfeldmodells eines fahrzeugs
DE102014008578B4 (de) Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
EP2149132B1 (de) Verfahren und vorrichtung zur erkennung von verkehrsrelevanten informationen
DE112012006226B4 (de) Fahrassistenzvorrichtung
DE102018219665B4 (de) Steuereinheit zum Betreiben eines autonomen Fahrzeugs
DE102014205953A1 (de) Verfahren zur Analyse einer Verkehrsumfeldsituation eines Fahrzeugs
DE102017100013A1 (de) Bestimmen der fahrerabsicht an strassenverkehrskreuzungen zum vermeiden der kollision von automobilen
DE102018125207A1 (de) Fahrzeuginterne verkehrsassistenz
DE102022115718A1 (de) Verfahren und Vorrichtung zum automatisierten Anfahren eines Fahrzeugs an einer Signalisierungseinheit
DE102021200636B4 (de) Verfahren zum Erzeugen einer Fahrspurwechselempfehlung, Spurwechselassistenzsystem sowie Kraftfahrzeug mit einem Spurwechselassistenzsystem
EP3609755B1 (de) Fahrerassistenzsystem für ein fahrzeug
DE102015015277A1 (de) Technik zum automatisierten Anhalten eines Fahrzeugs in einem Zielbereich
DE102014202385A1 (de) Verfahren zur Erkennung eines Fahrerausweichwunsches in einem Fahrerassistenzsystem für Kraftfahrzeuge
WO2019233777A1 (de) Fahrassistenzsystem
WO2023036545A1 (de) Verfahren und steuerschaltung zum überprüfen, ob ein aktuell aktiver fahrmodus innerhalb seiner odd betrieben wird, sowie system und backend-server
DE102013212360A1 (de) Vorhersage des zukünftigen Fahrpfades eines Fahrzeuges
DE102007002197A1 (de) Gemeinsamer Kontroller für verschiedene Fahrerassistenzsysteme
DE102017205495A1 (de) Vorrichtung und Verfahren zum Fokussieren von Sensoren im fahrdynamischen Grenzbereich für ein Kraftfahrzeug
DE102014214505B4 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102014214507B4 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102011083777A1 (de) Fahrerassistenzsystem und Verfahren zum Betreiben eines Fahrerassistenzsystems
DE102016224074A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230201

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250616