EP3871208A1 - System, verfahren und computerprogrammprodukt zur erzeugung eines kontext abhängigen hinweises auf ein einsatzfahrzeug für einen fahrzeugführer eines egofahrzeuges - Google Patents

System, verfahren und computerprogrammprodukt zur erzeugung eines kontext abhängigen hinweises auf ein einsatzfahrzeug für einen fahrzeugführer eines egofahrzeuges

Info

Publication number
EP3871208A1
EP3871208A1 EP19769444.1A EP19769444A EP3871208A1 EP 3871208 A1 EP3871208 A1 EP 3871208A1 EP 19769444 A EP19769444 A EP 19769444A EP 3871208 A1 EP3871208 A1 EP 3871208A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
driver
person
emergency
emergency vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19769444.1A
Other languages
English (en)
French (fr)
Inventor
Andrea Loi
Florian Ade
Julian Fieres
Anja Petrich
Lucas Hanson
Debora Lovison
Thomas Keutgens
Jens Kotte
Thomas Boettcher
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP3871208A1 publication Critical patent/EP3871208A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits

Definitions

  • the invention relates to a system according to claim for generating a context-dependent reference to an emergency vehicle for a driver of a first-person vehicle. Furthermore, the invention relates to a method according to claim 2 for generating a context-dependent reference to an emergency vehicle for a driver of a first-person vehicle. In addition, the invention relates to a computer program product according to claim 7 for generating a context-dependent reference to an emergency vehicle for a driver of a first-hand vehicle.
  • DE 43 23 145 A1 discloses a device for improving the perception of the acoustic and / or optical special signals emanating from emergency vehicles in a motor vehicle.
  • Receiving, capturing and processing information about the presence of an approaching emergency vehicle and the direction from which the emergency vehicle is approaching a first-person vehicle require a complex information processing process from the driver of the first-aid vehicle.
  • the vehicle driver must have an awareness of the overall context in order to be able to respond to the approaching emergency vehicle with correct driving behavior.
  • the driving behavior depends on the context, for example the road class, the traffic conditions and the current lane of the first-person vehicle and / or emergency vehicle. Therefore, the vehicle driver is usually overwhelmed to correctly adapt his driving behavior to the situation of an approaching emergency vehicle. The result is accidents involving the driver and / or traffic jams.
  • the invention is based on the object of improving the perception of emergency vehicles depending on the context.
  • the object is achieved by a system for generating a context-dependent reference to an emergency vehicle for a vehicle driver of a first-person vehicle with the features of claim 1.
  • the object is achieved by a method for generating a context-dependent reference to an emergency vehicle for a vehicle driver of a first-person vehicle with the features of claim 2.
  • the object is achieved by a computer program product for generating a context-dependent reference to an emergency vehicle for a driver of an first-person vehicle with the features of claim 7.
  • the system according to the invention is designed to generate a context-dependent reference to an emergency vehicle for a driver of a first-person vehicle.
  • the system comprises at least two acoustic sensors.
  • the acoustic sensors detect signal tones from the emergency vehicle.
  • the acoustic sensors can be arranged on the ego vehicle in such a way that a direction from which the signal tones arrive can be detected relative to the ego vehicle.
  • the system further comprises at least one imaging sensor.
  • the imaging sensor detects a number of lanes, a lane width and the road class of the lane on which the first-aid vehicle and / or the emergency vehicle and / or the emergency vehicle are traveling.
  • the system also includes another environment detection sensor.
  • the environment detection sensor detects the environment of the first-person vehicle.
  • the system comprises a first interface to a position determination system.
  • the position of the first-person vehicle is obtained via the first interface.
  • the system also includes a second interface. Depending on the position of the first-person vehicle, map data, traffic data and / or weather data are obtained via the second interface.
  • the system also includes an observation facility. The observation device detects a state of the vehicle driver.
  • the system also includes an evaluation device. The evaluation device is designed to generate the context-dependent reference to the emergency vehicle for the vehicle driver in the form of a signal as a function of this acquired and received information.
  • the system also includes a human-machine User interface. The human-machine interface outputs this signal to the vehicle driver.
  • Emergency vehicles are specially equipped vehicles for emergency operations on land, on water or in the air.
  • Emergency vehicles are marked country-specific with all-round lights and secondary tone horn.
  • all-round lights For example, a blue all-round light and a "ta-tü-ta-ta" follow tone are the characteristics of an emergency vehicle.
  • emergency vehicles can have flashing lights with the main emission direction in and against the direction of travel.
  • the first-person vehicle is the vehicle that is driven by the driver.
  • the first-person vehicle is preferably a road vehicle.
  • An acoustic sensor is a sensor that is used to record sound.
  • the acoustic sensor converts sound, in particular sound pressure, into electrical signals.
  • a microphone is an acoustic sensor.
  • a direction of the sound source relative to the acoustic sensors can be determined by analyzing the detected signals.
  • a first of the at least two acoustic sensors is preferably arranged in a front area of the first-person vehicle in the direction of travel.
  • a second of the at least two acoustic sensors is arranged in a rear area of the first-person vehicle in the direction of travel.
  • the microphones that can be arranged on the first-aid vehicle are microphones that are suitable for automotive applications, that is to say in particular correspondingly weather-resistant, functionally reliable, and are wind and splash-proof. These microphones preferably have filters and / or amplifiers in order to be particularly sensitive to signal tones from emergency vehicles.
  • An imaging sensor converts light into electrical signals to produce an image.
  • An optical system comprising a lens and / or a diaphragm can be connected upstream of the imaging sensor.
  • a camera is an imaging sensor.
  • Road class describes the classification of a road, for example with regard to the width of the road and / or restrictions on use. For example, roads can be classified into freeways, country roads and municipal roads. Country roads can have a narrow lane width. The imaging sensor therefore detects whether a lane is a freeway, a country road or a common road. Depending on the street class identified, the system supports the driver. For example, the context of an approaching emergency vehicle on a highway is different from the context of an approaching emergency vehicle on a country road.
  • the driver must clear the way for the emergency vehicle on the freeway and country road, for example by driving to the right-hand side of the road. If, however, the emergency vehicle approaches from the front relative to the first-person vehicle, the emergency vehicle is in a different lane relative to the first-aid vehicle in the context of the freeway, which lane is separate from the lane of the first-aid vehicle. Signal tones of the emergency vehicle then require no reaction from the driver of the first-person vehicle. On country roads, the lanes are usually not separate from one another and the lane widths are usually narrower than those of highways. Signal tones of the emergency vehicle then require a corresponding reaction from the driver of the first-person vehicle.
  • the imaging sensor is preferably designed to recognize traffic signs, in particular traffic signs and / or traffic lights, such as traffic lights.
  • traffic signs in particular traffic signs and / or traffic lights, such as traffic lights.
  • the evaluation device can derive local traffic rules from these recognized traffic signs.
  • the system is therefore not country-specific, but can be used across borders.
  • the environment of a first-person vehicle denotes a space around the first-person vehicle, the objects of which can act on the first-person vehicle.
  • the ego vehicle detects its surroundings by means of environment detection sensors, in addition to acoustic sensors and cameras, for example radar, lidar, infrared and / or ultrasonic sensors. By recording the surroundings, critical vehicle guidance is avoided. For example, with the detection of the rear area of the first-person vehicle, a driving Guidance on a road on which another vehicle approaches relative to the first-person vehicle from behind avoided.
  • An interface is a component between at least two functional units on which an exchange of logical quantities, e.g. Data or physical quantities, e.g. electrical signals, either unidirectional or bidirectional.
  • the exchange can be analog or digital.
  • the exchange can be wireless or wired.
  • An interface can exist between software and software, hardware and hardware as well as software and hardware and hardware and software.
  • a positioning system is a satellite navigation system, for example NAVSTAR GPS, GLONASS, Galileo or Beidou.
  • the second interface is in particular an interface to an online service provider, for example a cloud, which provides information about weather, local traffic rules, speed restrictions, traffic jams, obstacles and / or accidents that occur.
  • the second interface is in the form of a control device, in English as an electric control unit, abbreviated ECU, for vehicle-to-vehicle communication, in English as vehicle-to-vehicle communication, abbreviated V2V, and / or vehicle-to-infrastructure communication, referred to as vehicle-to-everything-communication, or V2X for short.
  • An observation device is, for example, a 3D camera, for example a time-of-flight camera, which captures the interior of the first-person vehicle, in particular the vehicle driver.
  • 3D information for example pose and / or facial expressions
  • the driver's level of alertness and / or fatigue can be recorded as a state.
  • An evaluation device is a device that processes incoming information and outputs a result resulting from this processing.
  • an electronic circuit such as a central processor unit or a graphics processor, an evaluation device.
  • the evaluation device is preferably implemented as a system-on-a-chip, ie all or at least a large part of the functions are integrated on one chip.
  • the chip includes, for example, a multi-core processor.
  • a multi-core processor several cores are arranged on a single chip, that is to say a semiconductor component.
  • Multi-core processors achieve higher computing power and are less expensive to implement in a chip compared to multi-processor systems in which each individual core is arranged in a processor socket and the individual processor sockets are arranged on a main board.
  • the multi-core processor comprises several central processing processors, referred to as Central Processing Unit, abbreviated CPU.
  • the chip also includes several graphics processors, referred to as graphic processing units, or GPUs for short.
  • Graphics processors have a special microarchitecture for parallel processing of processes.
  • a graphics processor comprises at least one process unit which is specifically designed for executing tensor and / or matrix multiplications.
  • Tensor and / or matrix multiplications are the central arithmetic operations for deep learning, ie artificial neural networks with several intermediate layers.
  • the evaluation device preferably also includes hardware accelerators for artificial intelligence, in particular so-called deep learning accelerators. The evaluation device is thus optimized and scalable overall for deep learning, ie the evaluation device can be adapted for different SAE levels.
  • Automated vehicles can be classified according to the level of the SAEJ3016 standard. A pure assistance system assists the driver in carrying out a driving task. This corresponds to SAE level 1.
  • SAE level 5 is defined by the fact that all aspects of the dynamic driving task are carried out consistently by an automated driving system under all driving and environmental conditions that can be handled by a human driver. Higher levels of automation require more computing power than lower levels of automation.
  • the invention is intended in particular for SAE levels 3, 4 and 5. In particular in a transition period to highly automated driving, the invention is used at SAE levels 3 and 4 in order to subsequently be used at SAE level 5.
  • SAE Level 5 corresponds to fully automated or autonomous driving.
  • the evaluation device is advantageously designed to generate the context-dependent reference to the emergency vehicle for the vehicle driver by means of artificial intelligence, depending on the acquired and received raw data.
  • Artificial intelligence is a generic term for the automation of intelligent behavior. For example, an intelligent algorithm learns to respond appropriately to new information.
  • An intelligent algorithm is, for example, an artificial neural network, referred to as an artificial neural network.
  • An artificial neural network is an algorithm that is executed on an electronic circuit and programmed on the model of the neural network of the human brain.
  • the evaluation device is designed to merge the acquired and received information. Fusion includes methods to link data from different sources with the aim of gaining new and more precise knowledge of the data and related events.
  • a human-machine user interface is an interface through which a person contacts a machine.
  • a touchscreen of an infotainment system of a vehicle is an HMI.
  • the output of the HMI can be an optical, acoustic and / or tactile signal with which the vehicle driver is informed, depending on the context, of the presence of an emergency vehicle.
  • This signal can also be provided as an action / maintenance instruction, for example as an acoustic request to the vehicle driver to brake and maneuver the first-hand vehicle to the right-hand side of the road.
  • the signal can also be provided directly as a vehicle control command to actuators for longitudinal and / or transverse control of the first-person vehicle in order to enable autonomous driving.
  • the respective traffic context is comprehensively represented for the vehicle driver by means of various information sources.
  • the sources of information are acoustic sensors, imaging sensors, other environment detection sensors, position determination systems, map data, traffic data and Combined weather data.
  • This overall knowledge of the respective traffic situation is used to provide the driver with improved warnings and instructions for action / maintenance, depending on the respective traffic situation.
  • the presence of the emergency vehicle is detected by means of the acoustic sensors and / or the imaging sensor. This capture is placed in the overall context that the system determines from a combination of the information obtained from the various sources. This combination advantageously makes it possible to identify logical relationships between the individual pieces of information.
  • the individual pieces of information are advantageously mutually checked and checked for plausibility, thereby improving the quality of the context obtained.
  • the evaluation device is designed to generate respective specific features from each individual piece of information. For example, the feature that an emergency vehicle is present is generated from the image of the emergency vehicle recorded with the imaging sensor. The feature that the vehicle is approaching the first-person vehicle is generated from a picture of a vehicle of a radar as an example of an environment detection sensor. The evaluation device determines a cross relation of these features, namely that an emergency vehicle approaches the first-person vehicle. With this cross relation, in particular with several features, an understanding of the scene is obtained.
  • the notice to the driver of the first-person vehicle can be better adapted to the respective context.
  • the system is designed to transfer the context-dependent reference to the emergency vehicle in the form of a vehicle control command to a vehicle control device.
  • a vehicle control device is designed to regulate the longitudinal and / or transverse control of a vehicle, for example by means of control loops. Depending on this information, the vehicle can thus be controlled autonomously, without a human driver, in response to the presence of an emergency vehicle.
  • a context-dependent reference to an emergency vehicle for a driver of an ego vehicle is generated.
  • the process comprises the process steps: Detection of signal tones of the emergency vehicle and determination of the direction from which the signal tones arrive, relative to the ego vehicle,
  • system according to the invention is used to carry out the method.
  • evaluation device fuses the detection of signal tones of the emergency vehicle by means of the acoustic sensors with the detection of the emergency vehicle by means of the imaging sensor. This fusion improves the accuracy of the detection, detection and recognition of the emergency vehicle as an emergency vehicle. Furthermore, the redundancy of the detection of the emergency vehicle is increased by the acoustic sensors. In particular, by means of the fusion of the signal tones of the emergency vehicle with, for example, the images of a camera, the emergency vehicle is also recognized as an emergency vehicle when the camera only partially functions, for example because of poor visibility in heavy snow. This also ensures that the target functions of the sensors are adequately secured, referred to as safety of the intended functionality.
  • the aforementioned fusion is preferably carried out by the evaluation device with the detection of the number of lanes, the lane width and the road class the roadway by means of the imaging sensor, the detection of the surroundings of the first-hand vehicle by means of the surroundings detection sensor and the map data, traffic data and / or weather data obtained. This merger will capture the traffic context more precisely.
  • the evaluation device fuses the previously mentioned fusion with the detection of the condition of the vehicle driver by means of the observation device. Through this merger, the output of the traffic context to the driver is adapted to his condition. If the driver's attention is relatively low, the information is output louder using the HMI, for example.
  • the computer program product according to the invention is designed to generate a context-dependent reference to an emergency vehicle for a driver of a first-hand vehicle.
  • the computer program is loaded into a memory of a computer of the first-person vehicle.
  • the computer program product comprises software code sections with which a method according to the invention can be carried out when the computer program product is running on the computer.
  • a program belongs to the software of a data processing system, for example an evaluation device or a computer.
  • Software is a collective term for programs and related data.
  • the complement to software is hardware.
  • Hardware refers to the mechanical and electronic alignment of a data processing system.
  • a computer is an evaluation device.
  • the measuring device is designed, for example, as a computer.
  • Computer program products generally comprise a sequence of instructions, by means of which the hardware, when the program is loaded, is caused to carry out a specific procedure which leads to a specific result. If the program in question is used on a computer, the computer program product produces a technical effect, namely the generation of a context-dependent reference to an emergency vehicle for a driver of an ego vehicle.
  • the invention is described in detail in the following figures using exemplary embodiments. Show it:
  • FIG. 1 shows an embodiment of an evaluation device according to the invention, integrated in an embodiment of a road vehicle
  • FIG. 1 shows a country road with two lanes 3.
  • the lanes 3 are optically separated by lane strips, otherwise there are no obstacles between the lanes 3. This means that a vehicle on one lane 3 can switch to the other lane 3.
  • a roadway width b essentially has the dimensions of a width of a first-person vehicle 2. That is, the roadway width b is relatively narrow; There is little space between the vehicle and the edge of the road. A driver of the first-person vehicle 2 must react accordingly to the presence of an emergency vehicle 1.
  • the first-person vehicle 2 has an acoustic sensor 10 on its front bumper.
  • the first-person vehicle 2 has an acoustic sensor 12 on its rear bumper.
  • the acoustic sensor 10 is a microphone that detects noises, in particular signal tones of the emergency vehicle 1, in the direction of travel of the first-person vehicle 2 from the front.
  • the acoustic sensor 12 is a microphone that detects noises, in particular signal tones of the emergency vehicle 1, from behind in the direction of travel of the first-aid vehicle 2.
  • the first-person vehicle 2 has an imaging sensor 14 on its front bumper.
  • the ego vehicle 2 has an imaging sensor 16 on its rear bumper.
  • the imaging sensor 14 is a camera that records optical recordings of objects, in particular emergency vehicles 1, in the direction of travel of the first-person vehicle 2 from the front.
  • the imaging sensor 16 is a camera that takes optical recordings of objects, in particular emergency vehicles 1, in the direction of travel of the first person witness 2 captured from behind.
  • the ego vehicle 2 has a surroundings detection sensor 18 on its front bumper.
  • the environment detection sensor 18 is, for example, a radar.
  • the first-person vehicle 2 also has an observation device 15.
  • the observation device 15 is arranged in an interior of the first-person vehicle 2.
  • the observation device 15 is, for example, a time-of-flight camera that detects the state of the driver of the first-person vehicle 2.
  • the data of the acoustic sensors 10, 12, the imaging sensors 14, 16, the environment detection sensor 18 and the observation device 15 are read in by an evaluation device 20 in order to obtain an understanding of the scene, that is to say an overall context of the information obtained.
  • the evaluation device 20 has a first interface 11.
  • the first interface 11 is, for example, an interface to a GPS system of the ego vehicle 2.
  • the position of the ego vehicle 2 is thus determined via the first interface 11.
  • the evaluation device 20 also has a second interface 13.
  • the second interface 13 is, for example, a WLAN interface to an online service provider.
  • the online service provider provides map and weather data, for example.
  • the evaluation device 20 receives further information about the local environment of the ego vehicle 2, for example on which street class the ego vehicle 2 is moving, via the second interface 13 via map data.
  • the evaluation device 20 receives local weather data, for example also about the state of the road 3 on which the first-person vehicle 2 and the emergency vehicle 1 are traveling. For a safe reaction and accordingly for an indication of a safe reaction of the driver of the first-person vehicle to the presence of the emergency vehicle 1, it is important whether the roadway 3 is dry, wet or icy.
  • the evaluation device 20 determines the overall context of the respective driving situation and derives an indication therefrom, as shown in FIG. 2, for example.
  • the driver is informed of the presence of the emergency vehicle 1 and corresponding driving instructions by a human-machine User interface 22 provided.
  • the human-machine user interface 22 is, for example, a visual display.
  • signal tones of the emergency vehicle 1 are detected in a first method step V1 by means of the acoustic sensors 10, 12 and the direction from which the signal tones arrive at the first-aid vehicle 2 is determined.
  • the number of lanes 3 are determined by means of imaging sensors 14, 16.
  • the lane width b and the road class of the lane 3 on which the first-person vehicle 2 is traveling are determined.
  • the emergency vehicle 1 is detected by means of the imaging sensors 14, 16.
  • the evaluation device 20 fuses the result of the first method step V1 with the result of the third method step V3 in order to obtain better detection of the emergency vehicle 1.
  • a fourth method step V4 the evaluation device 20 reads in the data from the surroundings detection sensor 18 for detecting the surroundings of the first-person vehicle 2.
  • position data of the first-person vehicle 2 are obtained via the first interface 11.
  • the evaluation device 20 receives map data, traffic data and / or weather data in a sixth method step V6.
  • the evaluation device 20 merges the results of the method steps V2, V3 and V6. As a result of this merger, the detection of the emergency vehicle 1 is integrated into the traffic context.
  • the result of the third method step is checked for plausibility by means of the first fusion and the second fusion.
  • the evaluation device 20 merges the result of the first fusion with the result of the second fusion in a third fusion. With the third fusion, a context-dependent information can be prepared for the vehicle driver.
  • a seventh method step V7 the state of the vehicle driver is recorded using the observation device 15.
  • the evaluation device 20 merges the result of the seventh method step V7 with the result of the third fusion in a fourth fusion in order to make the information to the driver additionally dependent on the condition of the driver.
  • the evaluation device generates the context-dependent reference to the input based on the result of the fourth fusion.
  • kit vehicle 1 for the driver in the form of a signal.
  • the signal is output to the vehicle driver visually, acoustically and / or tactilely by means of the human-machine user interface 22.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

System zur Erzeugung eines Kontext abhängigen Hinweises auf ein Einsatzfahr- zeug (1 ) für einen Fahrzeugführer eines Egofahrzeuges (2) umfassend wenigstens zwei Akustiksensoren (10,12), um Signaltöne des Einsatzfahrzeuges (1) zu erfassen, wobei die Akustiksensoren (10,12) derart an dem Egofahrzeug (2) anordenbar sind, dass eine Richtung, aus der die Signaltöne eintreffen, relativ zu dem Egofahrzeug (2) erfassbar ist, wenigstens einen Bildgebungssensor (14, 16), um eine Anzahl von Fahrbahnen (3), eine Fahrbahnbreite (b) und die Straßenklasse der Fahrbahn (3), auf der das Egofahrzeug (2) und/oder das Einsatzfahrzeug (1 ) fahren und/oder das Einsatzfahrzeug (1) zu erfassen, wenigstens einen weiteren Umfelderfassungs- sensor (18), um das Umfeld des Egofahrzeuges (2) zu erfassen, eine erste Schnitt- steile (11) zu einem Positionsbestimmungssystem, um die Position des Egofahrzeu- ges (2) zu erhalten, eine zweite Schnittstelle (13), um in Abhängigkeit der Position des Egofahrzeuges (2) Kartendaten, Verkehrsdaten und/oder Wetterdaten zu erhal- ten, eine Beobachtungseinrichtung (15), um einen Zustand des Fahrzeugführers zu erfassen, eine Auswerteeinrichtung (20), die ausgeführt ist, in Abhängigkeit dieser erfassten und erhaltenen Informationen den Kontext abhängigen Hinweis auf das Einsatzfahrzeug (1) für den Fahrzeugführer in Form eines Signals zu erzeugen, und eine Mensch-Maschinen-Benutzungsschnittstelle (22), um dieses Signal dem Fahr- zeugführer auszugeben. Ferner bezieht sich die Erfindung auf ein Verfahren und ein Computerprogrammprodukt zur Erzeugung eines Kontexts abhängigen Hinweises auf ein Einsatzfahrzeug (1) für einen Fahrzeugführer eines Egofahrzeuges (2).

Description

System, Verfahren und Computerproqrammprodukt zur Erzeugung eines Kontext abhängigen Hinweises auf ein Einsatzfahrzeuq für einen Fahrzeuqführer
eines Eqofahrzeuqes
Die Erfindung bezieht sich auf ein System nach Anspruch zur Erzeugung eines Kon- text abhängigen Hinweises auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egofahrzeuges. Ferner bezieht sich die Erfindung auf ein Verfahren nach Anspruch 2 zur Erzeugung eines Kontext abhängigen Hinweises auf ein Einsatzfahrzeug für ei- nen Fahrzeugführer eines Egofahrzeuges. Außerdem bezieht sich die Erfindung auf ein Computerprogrammprodukt nach Anspruch 7 zur Erzeugung eines Kontext ab- hängigen Hinweises auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egof- ahrzeuges.
Die DE 43 23 145 A1 offenbart eine Vorrichtung zur Verbesserung der Wahrneh- mung der von Einsatzfahrzeugen ausgehenden akustischen und/oder optischen Sondersignale in einem Kraftfahrzeug.
Das Erhalten, Erfassen und Verarbeiten von Informationen über die Präsenz eines nähernden Einsatzfahrzeuges und die Richtung, aus der das Einsatzfahrzeug sich einem Egofahrzeug nähert, verlangen dem Fahrzeugführer des Egofahrzeuges einen komplexen Informationsverarbeitungsprozess ab. Zusätzlich muss der Fahrzeugfüh- rer ein Bewusstsein für den jeweiligen Gesamtkontext haben, um mit einem korrek- ten Fahrverhalten auf das sich nähernde Einsatzfahrzeug reagieren zu können. Das Fahrverhalten hängt von dem Kontext ab, zum Beispiel der Straßenklasse, der Ver- kehrsbedingungen und der aktuellen Fahrbahn des Egofahrzeuges und/oder Einsatz- fahrzeuges ab. Daher ist der Fahrzeugführer in der Regel überfordert, sein Fahrver- halten korrekt an die Situation eines sich nähernden Einsatzfahrzeuges anzupassen. Ergebnis sind Unfälle des Fahrzeugführers und/oder Verkehrsstaus.
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zu Grunde gelegen, die Wahrnehmung von Einsatzfahrzeugen Kontext abhängig zu verbessern. Gelöst wird die Aufgabe durch ein System zur Erzeugung eines Kontext abhängigen Hinweises auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egofahrzeuges mit den Merkmalen des Anspruchs 1. Ferner wird die Aufgabe gelöst durch ein Ver- fahren zur Erzeugung eines Kontext abhängigen Hinweises auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egofahrzeuges mit den Merkmalen des Anspruchs 2. Außerdem wird die Aufgabe gelöst durch ein Computerprogrammprodukt zur Erzeu- gung eines Kontext abhängigen Hinweises auf ein Einsatzfahrzeug für einen Fahr- zeugführer eines Egofahrzeuges mit den Merkmalen des Anspruchs 7.
Weiterbildungen und vorteilhafte Ausgestaltungen sind in den Unteransprüchen an- gegeben.
Das erfindungsgemäße System ist ausgeführt, einen Kontext abhängigen Hinweis auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egofahrzeuges zu erzeugen. Das System umfasst wenigstens zwei Akustiksensoren. Die Akustiksensoren erfas- sen Signaltöne des Einsatzfahrzeuges. Die Akustiksensoren sind derart an dem Ego- fahrzeug anordenbar, dass eine Richtung, aus der die Signaltöne eintreffen, relativ zu dem Egofahrzeug erfassbar ist. Ferner umfasst das System wenigstens einen Bildgebungssensor. Der Bildgebungssensor erfasst eine Anzahl von Fahrbahnen, eine Fahrbahnbreite und die Straßenklasse der Fahrbahn, auf der das Egofahrzeug und/oder das Einsatzfahrzeug fahren und/oder das Einsatzfahrzeug. Außerdem um- fasst das System einen weiteren Umfelderfassungssensor. Der Umfelderfassungs- sensor erfasst das Umfeld des Egofahrzeuges. Des Weiteren umfasst das System eine erste Schnittstelle zu einem Positionsbestimmungssystem. Über die erste Schnittstelle wird die die Position des Egofahrzeuges erhalten. Zusätzlich umfasst das System eine zweite Schnittstelle. Über die zweite Schnittstelle werden in Abhän- gigkeit der Position des Egofahrzeuges Kartendaten, Verkehrsdaten und/oder Wet- terdaten erhalten. Das System umfasst auch eine Beobachtungseinrichtung. Die Be- obachtungseinrichtung erfasst einen Zustand des Fahrzeugführers. Das System um- fasst weiter eine Auswerteeinrichtung. Die Auswerteeinrichtung ist ausgeführt, in Ab- hängigkeit dieser erfassten und erhaltenen Informationen den Kontext abhängigen Hinweis auf das Einsatzfahrzeug für den Fahrzeugführer in Form eines Signals zu erzeugen. Das System umfasst weiter eine Mensch-Maschinen- Benutzungsschnittstelle. Die Mensch-Maschinen-Schnittstelle gibt dieses Signal dem Fahrzeugführer aus.
Einsatzfahrzeuge sind für Noteinsätze speziell ausgerüstete Fahrzeuge zu Lande, zu Wasser oder in der Luft. Einsatzfahrzeuge sind länderspezifisch mit Rundumlicht und Folgetonhorn gekennzeichnet. Beispielsweise sind ein blaues Rundumlicht und ein „ta-tü-ta-ta“ Folgeton Kennzeichen eines Rettungseinsatzfahrzeuges. Zusätzlich zu dem Rundumlicht können Einsatzfahrzeuge Blinklichter mit Hauptabstrahlrichtung in und entgegen der Fahrtrichtung aufweisen.
Das Egofahrzeug ist das Fahrzeug, das von dem Fahrzeugführer gefahren wird. Be- vorzugt ist das Egofahrzeug ein Straßenfahrzeug.
Ein Akustiksensor ist ein Sensor, der zur Schallaufnahme verwendet wird. Der Akus- tiksensor wandelt Schall, insbesondere Schallwechseldrücke, in elektrische Signale um. Beispielsweise ist ein Mikrofon ein Akustiksensor. Mit wenigstens zwei Akus- tiksensoren, die räumlich voneinander getrennt sind, ist durch Analyse der detektier- ten Signale eine Richtung der Schallquelle relativ zu den Akustiksensoren bestimm- bar. Vorzugsweise ist bei Verwendung des erfindungsgemäßen Systems ein erster der wenigstens zwei Akustiksensoren in Fahrtrichtung in einem vorderen Bereich des Egofahrzeuges angeordnet. Ein zweiter der wenigstens zwei Akustiksensoren ist in Fahrtrichtung in einem hinteren Bereich des Egofahrzeuges angeordnet. Mit einer derartigen Anordnung ist feststellbar, ob sich das Einsatzfahrzeug relativ zu dem Egofahrzeug von vorne oder von hinten nähert. Die an das Egofahrzeug anordenba- re Mikrofone sind Mikrofone, die für automobile Anwendungen geeignet sind, das heißt insbesondere entsprechend witterungsbeständig, funktionssicher, und Wind und Spritzwasser resistent sind. Vorzugweise weisen diese Mikrofone Filter und/oder Verstärker auf, um für Signaltöne von Einsatzfahrzeugen besonders sensitiv zu sein.
Ein Bildgebungssensor wandelt Licht in elektrische Signale um zur Erzeugung eines Bildes. Dem Bildgebungssensor kann ein optisches System umfassend eine Linse und/oder eine Blende vorausgeschaltet sein. Beispielsweise ist eine Kamera ein Bildgebungssensor. Straßenklasse beschreibt die Klassifizierung einer Straße beispielsweise hinsichtlich Fahrbahnbreite und/oder Nutzungsbeschränkungen. Beispielsweise lassen sich Straßen in Autobahn, Landstraße und Gemeindestraße klassifizieren. Landstraßen können eine geringe Fahrbahnbreite aufweisen. Mit dem Bildgebungssensor wird also erkannt, ob eine Fahrbahn eine Autobahn, eine Landstraße oder eine Gemein- destraße ist. Abhängig von der erkannten Straßenklasse unterstützt das System den Fahrzeugführer. Beispielsweise ist der Kontext eines herannahenden Einsatzfahr- zeuges auf einer Autobahn verschieden von dem Kontext eines herannahenden Ein- satzfahrzeuges auf einer Landstraße. Nähert sich das Einsatzfahrzeug relativ zu dem Egofahrzeug von hinten, hat der Fahrzeugführer bei Autobahn und Landstraße den Weg für das Einsatzfahrzeug frei zu räumen, beispielsweise durch Fahren an den rechten Fahrbahnrand. Wenn sich aber das Einsatzfahrzeug relativ zu dem Egofahr- zeug von vorne nähert, befindet sich im Kontext der Autobahn das Einsatzfahrzeug relativ zu dem Egofahrzeug auf einer anderen Fahrspur, die von der Fahrspur des Egofahrzeuges getrennt ist. Signaltöne des Einsatzfahrzeuges verlangen dann keine Reaktion des Fahrzeugführers des Egofahrzeuges. Auf Landstraßen sind die Fahr- bahnen meist nicht getrennt voneinander und die Fahrbahnbreiten sind gewöhnlich schmäler als die von Autobahnen. Signaltöne des Einsatzfahrzeuges verlangen dann eine entsprechende Reaktion des Fahrzeugführers des Egofahrzeuges.
Vorzugsweise ist der Bildgebungssensor ausgeführt, Verkehrszeichen, insbesondere Verkehrsschilder und/oder Verkehrslichter, wie zum Beispiel Ampellichter, zu erken- nen. Ein Aspekt der Erfindung besteht darin, dass die Auswerteeinrichtung aus die- sen erkannten Verkehrszeichen lokale Verkehrsregeln ableiten kann. Das System ist also nicht länderspezifisch, sondern kann länderübergreifend verwendet werden .
Das Umfeld eines Egofahrzeuges bezeichnet einen Raum um das Egofahrzeug, dessen Objekte auf das Egofahrzeug einwirken können. Das Egofahrzeug erfasst sein Umfeld mittels Umfelderfassungssensoren, neben Akustiksensoren und Kamera zum Beispiel Radar-, Lidar-, Infrarot-und/oder Ultraschallsensoren. Durch die Erfas- sung des Umfeldes wird eine kritische Fahrzeugführung vermieden. Zum Beispiel wird mit der Erfassung des rückwärtigen Bereichs des Egofahrzeuges eine Fahr- zeugführung auf eine Fahrbahn, auf der sich ein weiteres Fahrzeug relativ zu dem Egofahrzeug von hinten nähert, vermieden.
Eine Schnittstelle ist eine Bauteil zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, z.B. Daten oder physikalischen Größen, z.B. elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann drahtlos oder drahtgebunden erfolgen. Eine Schnittstelle kann zwischen Software und Software, Hardware und Hardware sowie Software und Hardware und Hardware und Software bestehen.
Ein Positionsbestimmungssystem ist ein Satellitennavigationssystem, zum Beispiel NAVSTAR GPS, GLONASS, Galileo oder Beidou.
Die zweite Schnittstelle ist insbesondere eine Schnittstelle zu einem Onlinedienstleis- tungsanbieter, zum Beispiel einer Cloud, die Informationen über Wetter, lokale Ver- kehrsregeln, Geschwindigkeitsbeschränkungen, Verkehrsstaus, auftretende Hinder- nisse und/oder Unfälle bereitstellt. Alternativ ist die zweite Schnittstelle in Form eines Steuergeräts, im Englischen als electric control unit, abgekürzt ECU, bezeichnet, für Fahrzeug-zu-Fahrzeug-Kommunikation, im Englischen als vehicle-to-vehicle- com- munication, abgekürzt V2V, bezeichnet, und/oder Fahrzeug-zu-lnfrastruktur- Kommunikation, im Englischen als vehicle-to-everything-communication, abgekürzt V2X, bezeichnet, realisiert.
Eine Beobachtungseinrichtung ist beispielsweise eine 3D-Kamera, zum Beispiel eine Time-of-Flight-Kamera, die den Innenraum des Egofahrzeuges erfasst, insbesondere den Fahrzeugführer. Anhand von 3D-lnformationen, beispielsweise Pose und/oder Mimik, kann als ein Zustand des Fahrzeugführers dessen Aufmerksamkeits-und/oder Müdigkeitslevel erfasst werden.
Eine Auswerteeinrichtung ist eine Vorrichtung, die eingehende Informationen verar- beitet und ein aus dieser Verarbeitung resultierendes Ergebnis ausgibt. Insbesonde- re ist eine elektronische Schaltung, wie zum Beispiel eine zentrale Prozessoreinheit oder ein Grafikprozessor, eine Auswerteinrichtung. Die Auswerteeinrichtung ist vor- zugsweise als ein System -on-a-Chip realisiert, das heißt alle oder zumindest ein gro- ßer Teil der Funktionen sind auf einem Chip integriert. Der Chip umfasst beispiels- weise einen Mehrkernprozessor. Bei einem Mehrkernprozessor sind mehrere Kerne auf einem einzigen Chip, das heißt einem Halbleiterbauelement, angeordnet sind. Mehrkernprozessoren erreichen eine höhere Rechenleistung und sind kostengünsti- ger in einem Chip zu implementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzel- nen Prozessorsockel auf einer Hauptplatine angeordnet sind. Der Mehrkernprozes- sor umfasst mehrere zentralen Verarbeitungsprozessoren, im Englischen als Central Processing Unit, abgekürzt CPU, bezeichnet. Der Chip umfasst auch mehrere Gra- fikprozessoren, im Englischen als Graphic Processing Unit, abgekürzt GPU, be- zeichnet. Grafikprozessoren besitzen eine spezielle Mikroarchitektur zum parallelen Prozessieren von Abläufen. Insbesondere umfasst ein Grafikprozessor wenigstens eine Prozesseinheit, die speziell zum Ausführen von Tensor-und/oder Matrixmultipli kationen ausgeführt ist. Tensor- und/oder Matrixmultiplikationen sind die zentralen Rechenoperationen für das Deep Learning, das heißt künstliche neuronale Netzwer- ke mit mehreren Zwischenschichten. Die Auswerteeinrichtung umfasst vorzugsweise auch Hardware Beschleuniger für künstliche Intelligenz insbesondere sogenannte Deep Learning Accelerators. Damit ist die Auswerteeinrichtung insgesamt für Deep Learning optimiert und skalierbar, das heißt die Auswerteeinrichtung kann für ver- schiedene SAE-Level angepasst werden. Automatisiert betreibbare Fahrzeuge kön- nen nach Level der Norm SAEJ3016 eingeteilt werden. Ein reines Assistenzsystem assistiert dem Fahrer bei der Durchführung einer Fahraufgabe. Dies entspricht SAE- Level 1. SAE-Level 5 ist dadurch definiert, dass die durchgängige Ausführung aller Aspekte der dynamischen Fahraufgabe durch ein automatisiertes Fahrsystem unter allen Fahr- und Umweltbedingungen, die von einem menschlichen Fahrer bewältigt werden können, ausgeführt wird. Höhere Automatisierungsstufen erfordern nämlich mehr Rechenleistung als niedrigere Automatisierungsstufen. Die Erfindung ist insbe- sondere für SAE Level 3, 4 und 5 vorgesehen. Insbesondere in einer Übergangszeit zum hochautomatisiertem Fahren wird die Erfindung auf SAE Level 3 und 4 einge- setzt, um daran anschließend auf SAE Level 5 verwendet zu werden. SAE Level 5 entspricht dem vollautomatisierten oder autonomen Fahren. Vorteilhaferweise ist die Auswerteeinrichtung ausgeführt, in Abhängigkeit der erfass- ten und erhaltenen Rohdaten den Kontext abhängigen Hinweis auf das Einsatzfahr- zeug für den Fahrzeugführer mit Mitteln der künstlichen Intelligenz erzeugen. Künstli- che Intelligenz ist ein Oberbegriff für die Automatisierung intelligenten Verhaltens. Beispielsweise lernt ein intelligenter Algorithmus, zweckgerichtet auf neue Informati- onen zu reagieren. Ein intelligenter Algorithmus ist zum Beispiel ein künstliches neu- ronales Netzwerk, im Englischen als Artificial Neural Network bezeichnet. Ein künstli- ches neuronales Netzwerk ist ein Algorithmus, der auf einer elektronischen Schal- tung ausgeführt wird und am Vorbild des neuronalen Netzwerks des menschlichen Gehirns programmiert ist.
Die Auswerteeinrichtung ist erfindungsgemäß ausgeführt, die erfassten und erhalte- nen Informationen zu fusionieren. Fusion umfasst Methoden, um Daten aus unter- schiedlichen Quellen zu verknüpfen, mit dem Ziel, neues und präziseres Wissen über die Daten und damit verbundene Ereignisse zu gewinnen.
Eine Mensch-Maschinen-Benutzungsschnittstelle, im Englischen als human- machine-interface, abgekürzt HMI, bezeichnet, ist eine Schnittstelle, über die ein Mensch mit einer Maschine in Kontakt tritt. Beispielsweise ist ein Touchscreen eines Infotainmentsystems eines Fahrzeuges ein HMI. Die Ausgabe der HMI kann ein opti sches, akustisches und/oder taktiles Signal sein, mit dem der Fahrzeugführer Kontext abhängig auf die Präsenz eines Einsatzfahrzeuges hingewiesen wird. Dieses Signal kann auch als eine Handlungs-A/erhaltensanweisung bereitgestellt werden, zum Bei- spiel als akustische Aufforderung an den Fahrzeugführer, abzubremsen und das Egofahrzeug an den rechten Fahrbahnrand zu manövrieren. Das Signal kann auch direkt als ein Fahrzeugsteuerungsbefehl Aktoren für Längs-und/oder Querregelung des Egofahrzeuges bereitgestellt werden, um ein autonomes Fahren zu ermöglichen.
Mit dem erfindungsgemäßen System wird der jeweilige Verkehrskontext mittels ver- schiedensten Informationsquellen für den Fahrzeugführer umfassend dargestellt. Die Informationsquellen sind Akustiksensoren, Bildgebungssensoren, weitere Umfelder- fassungssensoren, Positionsbestimmungssysteme, Kartendaten, Verkehrsdaten und Wetterdaten in Kombination. Diese Gesamtwissen der jeweiligen Verkehrssituation wird genutzt, um dem Fahrzeugführer verbesserte Warnhinweise und Handlungs- A/erhaltensanweisungen zu geben, abhängig von der jeweiligen Verkehrssituation. Erfindungsgemäß wird die Präsenz des Einsatzfahrzeuges mittels den Akustiksenso- ren und/oder dem Bildgebungssensor erfasst. Diese Erfassung wird in den Gesamt- kontext gesetzt, den das System aus einer Kombination der aus den verschiedenen Quellen erhaltenen Informationen bestimmt. Durch diese Kombination werden vor- teilhafterweise logische Zusammenhänge zwischen den einzelnen Informationen er- kannt. Durch diese Kombination werden die einzelnen Informationen vorteilhafter- weise gegenseitig überprüft und plausibilisiert und dadurch eine Qualität des erhalte- nen Kontextes verbessert. Insbesondere ist die Auswerteeinrichtung ausgeführt, aus jeden einzelnen Informationen jeweilige spezifische Merkmale zu generieren. Zum Beispiel wird aus dem mit dem Bildgebungssensor erfassten Bild des Einsatzfahr- zeuges das Merkmal generiert, dass ein Einsatzfahrzeug vorhanden ist. Aus einer Aufnahme eines Fahrzeuges eines Radars als Beispiel eines Umfelderfassungs- sensors wird das Merkmal generiert, dass das Fahrzeug sich dem Egofahrzeug nä- hert. Die Auswerteeinrichtung bestimmt eine Kreuzrelation dieser Merkmale, nämlich dass sich ein Einsatzfahrzeug dem Egofahrzeug nähert. Mit dieser Kreuzrelation, insbesondere mit mehreren Merkmalen, wird ein Szenenverständnis erhalten.
Dadurch kann der Hinweis an den Fahrzeugführer des Egofahrzeuges verbessert an den jeweiligen Kontext angepasst werden.
Ein weiterer Aspekt der Erfindung ist, dass das System ausgeführt ist, den Kontext abhängigen Hinweis auf das Einsatzfahrzeug in Form eines Fahrzeugsteuerungsbe- fehls einer Fahrzeugsteuerungseinrichtung zu übergeben. Eine Fahrzeugsteue- rungseinrichtung ist ausgeführt, die Längs- und/oder Quersteuerung eines Fahrzeu- ges, beispielsweise mittels Regelkreisen, zu regeln. Damit kann das Fahrzeug in Ab- hängigkeit dieses Hinweises autonom, ohne menschlichen Fahrer, in Reaktion auf die Präsenz eines Einsatzfahrzeuges gesteuert werden.
Mit dem erfindungsgemäßen Verfahren wird ein Kontext abhängiger Hinweis auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egofahrzeuges erzeugt. Das Verfah- ren umfasst die Verfahrensschritte: • Erfassen von Signaltönen des Einsatzfahrzeuges und Bestimmen der Rich- tung, aus der die Signaltöne eintreffen, relativ zu dem Egofahrzeug,
• Erfassen einer Anzahl von Fahrbahnen, einer Fahrbahnbreite und der Stra- ßenklasse der Fahrbahn, auf der das Egofahrzeug und/oder das Einsatzfahr- zeug fahren,
• Erfassen des Einsatzfahrzeuges,
• Erfassen des Umfeldes des Egofahrzeuges,
• Erhalten einer Position des Egofahrzeuges,
• Erhalten von Kartendaten, Verkehrsdaten und/oder Wetterdaten in Abhängig- keit der Position des Egofahrzeuges,
• Erfassen eines Zustandes des Fahrzeugführers,
• Erzeugen des Kontexts abhängigen Hinweises auf das Einsatzfahrzeug für den Fahrzeugführer in Form eines Signals in Abhängigkeit der erfassten und erhaltenen Informationen, und
• Ausgeben dieses Signals an den Fahrzeugführer.
Vorteilhafterweise wobei zur Durchführung des Verfahrens das erfindungsgemäße System verwendet.
In einer bevorzugten Ausgestaltung der Erfindung fusioniert Auswerteeinrichtung die Erfassung Signaltöne des Einsatzfahrzeuges mittels der Akustiksensoren mit der Er- fassung des Einsatzfahrzeuges mittels des Bildgebungssensors. Durch diese Fusion wird die Genauigkeit der Detektion, der Erfassung und der Erkennung des Einsatz- fahrzeuges als ein Einsatzfahrzeug verbessert. Ferner wird durch die Akustiksenso- ren die Redundanz der Erfassung des Einsatzfahrzeuges erhöht. Insbesondere wird mittels der Fusion der Signaltöne des Einsatzfahrzeuges mit beispielsweise den Bil dern einer Kamera das Einsatzfahrzeug auch dann als ein Einsatzfahrzeug erkannt, wenn die Kamera nur teilweise funktioniert, beispielsweise wegen schlechter Sicht bei dichtem Schneefall. Damit sind auch die Sollfunktionen der Sensoren hinreichend gesichert, im Englischen safety of the intended functionality genannt.
Die voran genannte Fusion wird vorzugsweise von der Auswerteeinrichtung mit der Erfassung der Anzahl von Fahrbahnen, der Fahrbahnbreite und der Straßenklasse der Fahrbahn mittels des Bildgebungssensors, der Erfassung des Umfeldes des Eg- ofahrzeuges mittels des Umfelderfassungssensors und der erhaltenen Kartendaten, Verkehrsdaten und/oder Wetterdaten fusioniert. Durch diese Fusion wird der Ver- kehrskontext genauer erfasst.
In einer besonders vorteilhaften Ausgestaltung der Erfindung fusioniert die Auswer- teeinrichtung die nächstvoran genannte Fusion mit der Erfassung des Zustandes des Fahrzeugführers mittels der Beobachtungseinrichtung. Durch diese Fusion wird die Ausgabe des Verkehrskontextes an den Fahrzeugführer an dessen Zustand ange- passt. Bei relativ geringer Aufmerksamkeit des Fahrzeugführers erfolgt die Ausgabe des Hinweises mittels der HMI beispielsweise lauter.
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, einen Kontext abhängigen Hinweis auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egof- ahrzeuges zu erzeugen. Hierzu wird das Computerprogramm in einen Speicher eines Computers des Egofahrzeuges geladen. Das Computerprogrammprodukt umfasst Softwarecodeabschnitte, mit denen ein erfindungsgemäßes Verfahren ausführbar ist, wenn das Computerprogrammprodukt auf dem Computer läuft.
Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Bei- spiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbe- griff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hard- ware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung. Die Messeinrichtung ist beispielsweise als ein Computer ausgeführt.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfah- ren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogramm- produkt einen technischen Effekt hervor, nämlich das Erzeugen eines Kontext ab- hängigen Hinweises auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egof- ahrzeuges. Die Erfindung wird in den nachfolgenden Figuren anhand von Ausführungsbeispielen ausführlich beschrieben. Es zeigen:
Fig. 1 ein Ausführungsbeispiel einer erfindungsgemäßen Auswerteeinrichtung, inte- griert in ein Ausführungsbeispiel Straßenfahrzeug, und
Fig. 2 ein Ausführungsbeispiel eines erfindungsgemäßen Trainingssystems,
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile.
Figur 1 zeigt eine Landstraße mit zwei Fahrbahnen 3. Die Fahrbahnen 3 sind optisch durch Fahrbahnstreifen getrennt, sonst sind keine Hindernisse zwischen den Fahr- bahnen 3 vorhanden. Das heißt, ein Fahrzeug auf einer Fahrbahn 3 kann auf die an- dere Fahrbahn 3 wechseln. Eine Fahrbahnbreite b hat im Wesentlichen die Ausmaße einer Breite eines Egofahrzeuges 2. Das heißt, die Fahrbahnbreite b ist relativ schmal; zwischen dem Fahrzeug und dem Fahrbahnrand ist wenig Platz vorhanden. Ein Fahrzeugführer des Egofahrzeuges 2 muss dementsprechend auf die Präsenz eines Einsatzfahrzeuges 1 reagieren.
Das Egofahrzeug 2 weist an seiner Frontstoßstange einen Akustiksensor 10 auf. An seiner Heckstoßstange weist das Egofahrzeug 2 einen Akustiksensor 12 auf. Der Akustiksensor 10 ist ein Mikrofon, das Geräusche, insbesondere Signaltöne des Ein- satzfahrzeuges 1 , in Fahrtrichtung des Egofahrzeuges 2 von vorne erfasst. Der Akus- tiksensor 12 ist ein Mikrofon, das Geräusche, insbesondere Signaltöne des Einsatz- fahrzeuges 1 , in Fahrtrichtung des Egofahrzeuges 2 von hinten erfasst. Ferner weist das Egofahrzeug 2 an seiner Frontstoßstange einen Bildgebungssensor 14 auf. An seiner Heckstoßstange weist das Egofahrzeug 2 einen Bildgebungssensor 16 auf.
Der Bildgebungssensor 14 ist eine Kamera, die optische Aufnahmen von Objekten, insbesondere von Einsatzfahrzeugen 1 , in Fahrtrichtung des Egofahrzeuges 2 von vorne erfasst. Der Bildgebungssensor 16 ist eine Kamera, die optische Aufnahmen von Objekten, insbesondere von Einsatzfahrzeugen 1 , in Fahrtrichtung des Egofahr- zeuges 2 von hinten erfasst. Außerdem weist das Egofahrzeug 2 an seiner Front- stoßstange einen Umfelderfassungssensor 18 auf. Der Umfelderfassungssensor 18 ist beispielsweise ein Radar.
Das Egofahrzeug 2 weist außerdem eine Beobachtungseinrichtung 15 auf. Die Be- obachtungseinrichtung 15 ist in einem Innenraum des Egofahrzeuges 2 angeordnet. Die Beobachtungseinrichtung 15 ist beispielsweise eine Time-Of-Flight-Kamera, die den Zustand des Fahrzeugführers des Egofahrzeuges 2 erfasst.
Die Daten der Akustiksensoren 10, 12, der Bildgebungssensoren 14, 16, des Umfel- derfassungssensors 18 und der Beobachtungseinrichtung 15 werden von einer Aus- werteeinrichtung 20 eingelesen, um ein Szenenverständnis, das heißt einen Ge- samtkontext der erhaltenen Informationen, zu erhalten. Die Auswerteeinrichtung 20 weist eine erste Schnittstelle 11 auf. Die erste Schnittstelle 11 ist beispielsweise eine Schnittstelle zu einem GPS-System des Egofahrzeuges 2. Über die erste Schnittstel- le 11 wird also die Position des Egofahrzeuges 2 bestimmt. Ferner weist die Auswer- teeinrichtung 20 eine zweite Schnittstelle 13 auf. Die zweite Schnittstelle 13 ist bei- spielsweise eine WLAN-Schnittstelle zu einem Online-Dienstleistungsanbieter. Der Online-Dienstleistungsanbieter stellt beispielsweise Karten- und Wetterdaten bereit. In Abhängigkeit der erhaltenen Position des GPS-Systems erhält die Auswerteein- richtung 20 über die zweite Schnittstelle 13 über Kartendaten weitere Informationen über das lokale Umfeld des Egofahrzeuges 2, zum Beispiel auf welcher Straßenklas- se sich das Egofahrzeug 2 bewegt. Außerdem erhält die Auswerteeinrichtung 20 lo- kale Wetterdaten, beispielsweise auch über den Zustand der Fahrbahn 3, auf der das Egofahrzeug 2 und das Einsatzfahrzeug 1 fahren. Für eine sichere Reaktion und dementsprechend für einen Hinweis auf eine sichere Reaktion des Fahrzeugführers des Egofahrzeuges auf die Präsenz des Einsatzfahrzeuges 1 ist es bedeutend, ob die Fahrbahn 3 trocken, nass oder vereist ist.
Die Auswerteeinrichtung 20 bestimmt den Gesamtkontext der jeweiligen Fahrsituati- on und leitet daraus einen Hinweis ab, wie in Figur 2 beispielsweise gezeigt ist. Der Hinweis auf die Präsenz des Einsatzfahrzeuges 1 und eine entsprechende Fahran- weisung wird dem Fahrzeugführer über eine Mensch-Maschinen- Benutzungsschnittstelle 22 zur Verfügung gestellt. Die Mensch-Maschinen- Benutzungsschnittstelle 22 ist beispielsweise eine optische Anzeige.
Zur Erzeugung des Kontext abhängigen Hinweises auf das Einsatzfahrzeug 1 wer- den in einem ersten Verfahrensschritt V1 mittels der Akustiksensoren 10, 12 Signal- töne des Einsatzfahrzeuges 1 erfasst und die Richtung bestimmt, aus der die Signal- töne bei dem Egofahrzeug 2 eintreffen. In einem zweiten Verfahrensschritt V2 wer- den mittels der Bildgebungssensoren 14, 16 die Anzahl der Fahrbahnen 3 bestimmt. Außerdem wird die Fahrbahnbreite b und die Straßenklasse der Fahrbahn 3, auf der das Egofahrzeug 2 fährt, bestimmt. In einem dritten Verfahrensschritt V3 wird das Einsatzfahrzeuges 1 mittels der Bildgebungssensoren 14, 16 erfasst. Die Auswer- teeinrichtung 20 fusioniert in einer ersten Fusion das Ergebnis des ersten Verfah- rensschrittes V1 mit dem Ergebnis des dritten Verfahrensschrittes V3, um eine bes- sere Erfassung des Einsatzfahrzeuges 1 zu erhalten. In einem vierten Verfahrens- schritt V4 liest die Auswerteeinrichtung 20 die Daten des Umfelderfassungssensors 18 zur Erfassung des Umfeldes des Egofahrzeugs 2 ein. In einem fünften Verfah- rensschritt V5 werden über die erste Schnittstelle 11 Positionsdaten des Egofahrzeu- ges 2 erhalten. In Abhängigkeit der Position des Egofahrzeuges 2 erhält die Auswer- teeinrichtung 20 in einem sechsten Verfahrensschritt V6 Kartendaten, Verkehrsdaten und/oder Wetterdaten. In einer zweiten Fusion fusioniert die Auswerteeinrichtung 20 die Ergebnisse der Verfahrensschritte V2, V3 und V6. Durch diese Fusion wird die Erfassung des Einsatzfahrzeuges 1 in den Verkehrskontext eingebunden. Mittels der ersten Fusion und der zweiten Fusion wird insbesondere das Ergebnis des dritten Verfahrensschrittes plausibilisiert. Das Ergebnis der ersten Fusion fusioniert die Auswerteeinrichtung 20 mit dem Ergebnis der zweiten Fusion in einer dritten Fusion. Mittels der dritten Fusion kann ein Kontext abhängiger Hinweis für den Fahrzeugfüh- rer vorbereitet werden. In einem siebten Verfahrensschritt V7 wird der Zustand des Fahrzeugführers mittels der Beobachtungseinrichtung 15 erfasst. Die Auswerteein- richtung 20 fusioniert das Ergebnis des siebten Verfahrensschrittes V7 mit dem Er- gebnis der dritten Fusion in einer vierten Fusion, um den Hinweis an den Fahrzeug- führer zusätzlich von dem Zustand des Fahrzeugführers abhängig zu machen. In ei- nem achten Verfahrensschritt V8 erzeugt die Auswerteeinrichtung ausgehend von dem Ergebnis der vierten Fusion den Kontext abhängigen Hinweises auf das Ein- satzfahrzeug 1 für den Fahrzeugführer in Form eines Signals. In einem neunten Ver- fahrensschritt V9 wird das Signal mittels der Mensch-Maschinen- Benutzungsschnittstelle 22 dem Fahrzeugführer visuell, akustisch und/oder taktil ausgegeben.
Bezuaszeichen
1 Einsatzfahrzeug
2 Egofahrzeug
3 Fahrbahn
10 Akustiksensor
11 erste Schnittstelle
12 Akustiksensor
13 zweite Schnittstelle
14 Bildgebungssensor
15 Beobachtungseinrichtung
16 Bildgebungssensor
18 Umfelderfassungssensor
20 Auswerteeinrichtung
22 Mensch-Maschinen-Benutzungsschnittstelle b Fahrbahnbreite
V1 -V9 Verfahrensschritte

Claims

Patentansprüche
1. System zur Erzeugung eines Kontext abhängigen Hinweises auf ein Einsatzfahr- zeug (1 ) für einen Fahrzeugführer eines Egofahrzeuges (2) umfassend
• wenigstens zwei Akustiksensoren (10,12), um Signaltöne des Einsatzfahrzeu- ges (1 ) zu erfassen, wobei die Akustiksensoren (10,12) derart an dem Ego- fahrzeug (2) anordenbar sind, dass eine Richtung, aus der die Signaltöne ein- treffen, relativ zu dem Egofahrzeug (2) erfassbar ist,
• wenigstens einen Bildgebungssensor (14, 16), um eine Anzahl von Fahrbah- nen (3), eine Fahrbahnbreite (b) und die Straßenklasse der Fahrbahn (3), auf der das Egofahrzeug (2) und/oder das Einsatzfahrzeug (1 ) fahren und/oder das Einsatzfahrzeug (1 ) zu erfassen,
• wenigstens einen weiteren Umfelderfassungssensor (18), um das Umfeld des Egofahrzeuges (2) zu erfassen,
• eine erste Schnittstelle (11 ) zu einem Positionsbestimmungssystem, um die Position des Egofahrzeuges (2) zu erhalten,
• eine zweite Schnittstelle (13), um in Abhängigkeit der Position des Egofahr- zeuges (2) Kartendaten, Verkehrsdaten und/oder Wetterdaten zu erhalten,
• eine Beobachtungseinrichtung (15), um einen Zustand des Fahrzeugführers zu erfassen,
• eine Auswerteeinrichtung (20), die ausgeführt ist, in Abhängigkeit dieser er- fassten und erhaltenen Informationen den Kontext abhängigen Hinweis auf das Einsatzfahrzeug (1 ) für den Fahrzeugführer in Form eines Signals zu er- zeugen, und
• eine Mensch-Maschinen-Benutzungsschnittstelle (22), um dieses Signal dem Fahrzeugführer auszugeben.
2. Verfahren zur Erzeugung eines Kontexts abhängigen Hinweises auf ein Einsatz- fahrzeug (1 ) für einen Fahrzeugführer eines Egofahrzeuges (2) umfassend die Ver- fahrenssch ritte
• Erfassen von Signaltönen des Einsatzfahrzeuges (1 ) und Bestimmen der Richtung, aus der die Signaltöne eintreffen, relativ zu dem Egofahrzeug (2) (V1 ), • Erfassen einer Anzahl von Fahrbahnen (3), einer Fahrbahnbreite (b) und der Straßenklasse der Fahrbahn (3), auf der das Egofahrzeug (2) und/oder das Einsatzfahrzeug (1 ) fahren (V2),
• Erfassen des Einsatzfahrzeuges (1 ) (V3),
• Erfassen des Umfeldes des Egofahrzeuges (2) (V4),
• Erhalten einer Position des Egofahrzeuges (2) (V5),
• Erhalten von Kartendaten, Verkehrsdaten und/oder Wetterdaten in Abhängig- keit der Position des Egofahrzeuges (2) (V6),
• Erfassen eines Zustandes des Fahrzeugführers (V7),
• Erzeugen des Kontexts abhängigen Hinweises auf das Einsatzfahrzeug (1 ) für den Fahrzeugführer in Form eines Signals in Abhängigkeit der erfassten und erhaltenen Informationen (V8), und
• Ausgeben dieses Signals an den Fahrzeugführer (V9).
3. Verfahren nach Anspruch 2, wobei zur Durchführung des Verfahrens das System nach Anspruch 1 verwendet wird.
4. Verfahren nach Anspruch 3, wobei die Auswerteeinrichtung (20) die Erfassung Signaltöne des Einsatzfahrzeuges (1 ) mittels der Akustiksensoren (10, 12) mit der Erfassung des Einsatzfahrzeuges (1 ) mittels des Bildgebungssensors (14, 16) fusio- niert.
5. Verfahren nach Anspruch 4, wobei die Auswerteeinrichtung (20) die Fusion nach Anspruch 4 mit der Erfassung der Anzahl von Fahrbahnen (3), der Fahrbahnbreite (b) und der Straßenklasse der Fahrbahn (3) mittels des Bildgebungssensors (14, 16), der Erfassung des Umfeldes des Egofahrzeuges (2) mittels des Umfelderfassungs- sensors (18) und der erhaltenen Kartendaten, Verkehrsdaten und/oder Wetterdaten fusioniert.
6. Verfahren nach Anspruch 5, wobei die Auswerteeinrichtung (20) die Fusion nach Anspruch 5 mit der Erfassung des Zustandes des Fahrzeugführers mittels der Be- obachtungseinrichtung (15) fusioniert.
7. Computerprogrammprodukt zur Erzeugung eines Kontext abhängigen Hinweises auf ein Einsatzfahrzeug (1 ) für einen Fahrzeugführer eines Egofahrzeuges (2), aus- geführt, in einen Speicher eines Computers des Egofahrzeuges (2) geladen zu wer- den, und das Softwarecodeabschnitte umfasst, mit denen ein Verfahren nach einem der Anspruch 2 bis 6 ausführbar ist, wenn das Computerprogrammprodukt auf dem Computer läuft.
EP19769444.1A 2018-10-23 2019-09-13 System, verfahren und computerprogrammprodukt zur erzeugung eines kontext abhängigen hinweises auf ein einsatzfahrzeug für einen fahrzeugführer eines egofahrzeuges Withdrawn EP3871208A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018218137.3A DE102018218137B4 (de) 2018-10-23 2018-10-23 System, Verfahren und Computerprogrammprodukt zur Erzeugung eines Kontext abhängigen Hinweises auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egofahrzeuges
PCT/EP2019/074467 WO2020083564A1 (de) 2018-10-23 2019-09-13 System, verfahren und computerprogrammprodukt zur erzeugung eines kontext abhängigen hinweises auf ein einsatzfahrzeug für einen fahrzeugführer eines egofahrzeuges

Publications (1)

Publication Number Publication Date
EP3871208A1 true EP3871208A1 (de) 2021-09-01

Family

ID=67982057

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19769444.1A Withdrawn EP3871208A1 (de) 2018-10-23 2019-09-13 System, verfahren und computerprogrammprodukt zur erzeugung eines kontext abhängigen hinweises auf ein einsatzfahrzeug für einen fahrzeugführer eines egofahrzeuges

Country Status (3)

Country Link
EP (1) EP3871208A1 (de)
DE (1) DE102018218137B4 (de)
WO (1) WO2020083564A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023000551B4 (de) 2023-02-20 2025-01-16 Mercedes-Benz Group AG Verfahren zur Erkennung von Einsatzfahrzeugen und Fahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397735B2 (ja) * 2008-09-12 2014-01-22 株式会社デンソー 車両用緊急車両接近検出システム
EP3121064A1 (de) * 2015-07-22 2017-01-25 LG Electronics Inc. Fahrzeugsteuerungsvorrichtung und fahrzeugsteuerungsverfahren dafür
DE102017126790A1 (de) * 2016-11-17 2018-05-17 Ford Global Technologies, Llc Erkennen und Reagieren auf Rettungsfahrzeuge auf einer Fahrbahn

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4323145A1 (de) 1993-07-10 1995-01-12 Goetz Dr Corinth Wahrnehmungsvorrichtung für Sondersignale
DE102004045690A1 (de) * 2003-10-29 2005-06-02 Volkswagen Ag Vorrichtung zur Bestimmung externer Schallquellen in der Umgebung eines Kraftfahrzeugs und entsprechendes Fahrerassistenzsystem
DE102006005022B3 (de) * 2006-02-03 2007-06-21 Audi Ag Kraftfahrzeug umfassend wenigstens eine Einrichtung zur Ausgabe akustischer und/oder optischer Informationen, sowie Verfahren zur Leitung eines Kraftfahrzeugs bei Annäherung eines vorfahrtsberechtigten Einsatzfahrzeugs
DE102010022165B4 (de) * 2010-05-20 2023-12-07 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Erfassung zumindest eines von einem Einsatzfahrzeug ausgehenden akustischen Sondersignals für ein Fahrzeug
DE102012014457A1 (de) * 2012-07-21 2014-01-23 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
DE102012016819A1 (de) * 2012-08-24 2014-02-27 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren und Vorrichtungen zur Fahrerunterstützung
JP2015022453A (ja) * 2013-07-18 2015-02-02 カルソニックカンセイ株式会社 緊急車両報知システム
WO2017002471A1 (ja) * 2015-07-02 2017-01-05 ソニー株式会社 車両制御装置と車両制御方法およびプログラム
US10074274B2 (en) * 2016-02-29 2018-09-11 Faraday & Future Inc. Emergency signal detection and response

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397735B2 (ja) * 2008-09-12 2014-01-22 株式会社デンソー 車両用緊急車両接近検出システム
EP3121064A1 (de) * 2015-07-22 2017-01-25 LG Electronics Inc. Fahrzeugsteuerungsvorrichtung und fahrzeugsteuerungsverfahren dafür
DE102017126790A1 (de) * 2016-11-17 2018-05-17 Ford Global Technologies, Llc Erkennen und Reagieren auf Rettungsfahrzeuge auf einer Fahrbahn

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2020083564A1 *

Also Published As

Publication number Publication date
WO2020083564A1 (de) 2020-04-30
DE102018218137A1 (de) 2020-04-23
DE102018218137B4 (de) 2023-03-02

Similar Documents

Publication Publication Date Title
EP2149131B1 (de) Verfahren und vorrichtung zur erkennung von verkehrsrelevanten informationen
DE102018120786B4 (de) Verfahren zum Überwachen eines autonomen Fahrzeugs sowie entsprechend eingerichtetes Fahrzeug
DE102020102725B4 (de) Verfahren und vorrichtung für eine kontextabhängige, aus der crowd-source stammende, spärliche, hochauflösende karte
DE102018132525A1 (de) Verfahren und Vorrichtung zur Bewertung einer Fahrzeugfahrfläche
DE102019127190A1 (de) System und verfahren zum beurteilen des bekanntseins eines gelernten fahrzeugdatensatzes eines fahrerassistenzsystems
DE102019127229A1 (de) System und verfahren zum bestimmen einer vertrautheit eines fahrzeugdatensatzes
DE102021131054B4 (de) Verfahren, System und Computerprogrammprodukt zur Bewertung einer Fahrsituation für die prädiktive Steuerung einer automatisierten Fahrfunktion
DE102019108610A1 (de) Verbesserung des fahrzeugverhaltens unter verwendung von informationen aus anderen fahrzeugleuchten
DE102018213378B4 (de) Fahrassistenzsystem für ein Fahrzeug, Fahrzeug mit demselben und Fahrassistenzverfahren für ein Fahrzeug
DE102018219103A1 (de) Vorrichtung und Verfahren zum Ermitteln eines Aufmerksamkeitserforderlichkeitsgrades eines Fahrers eines Fahrzeugs
DE112017007596T5 (de) Strategieerzeugungsvorrichtung und Fahrzeug
DE102020211280A1 (de) Computerimplementiertes Verfahren zur Umfelderkennung für ein automatisiertes Fahrsystem, Maschinenlernverfahren, Steuergerät für ein automatisiertes Fahrsystem und Computerprogramm für ein derartiges Steuergerät
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
DE102022119179A1 (de) Verfahren, System und Computerprogrammprodukt zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion
DE102024100521A1 (de) Bildgestützte generierung von beschreibenden und wahrnehmungs-nachrichten von automobilszenen
DE102022119711A1 (de) Verfahren, System und Computerprogrammprodukt zur Überprüfung von Datensätzen für das Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
DE102018218137B4 (de) System, Verfahren und Computerprogrammprodukt zur Erzeugung eines Kontext abhängigen Hinweises auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egofahrzeuges
DE112019007936T5 (de) Fahrassistenzvorrichtung und Fahrassistenzverfahren
DE102022201659B3 (de) Fahrzeugsystem und Verfahren zur Zuordnung von Ampeln zu Fahrspuren
DE102019213533A1 (de) Vorrichtung zum Anpassen einer Fahrstrategie eines Fahrzeugs
DE102018219255A1 (de) Trainingssystem, Datensatz, Trainingsverfahren, Auswerteeinrichtung und Einsatzsystem für ein Straßenfahrzeug zum Erfassen und Klassifizieren von Verkehrsgeräuschen
DE102022113992A1 (de) Verfahren, System und Computerprogrammprodukt zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer
DE102022207617B3 (de) Verfahren und Überwachungseinrichtung zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs
DE102023135741B4 (de) Verfahren und System zur Identifikation kritischer Szenarien
DE102023212351A1 (de) Verarbeiten von Fahrzeugsensordaten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210415

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20241203

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250604