EP3688661A1 - Kommunikationsfluss von verkehrsteilnehmer in richtung eines automatisiert fahrenden fahrzeug - Google Patents

Kommunikationsfluss von verkehrsteilnehmer in richtung eines automatisiert fahrenden fahrzeug

Info

Publication number
EP3688661A1
EP3688661A1 EP18772739.1A EP18772739A EP3688661A1 EP 3688661 A1 EP3688661 A1 EP 3688661A1 EP 18772739 A EP18772739 A EP 18772739A EP 3688661 A1 EP3688661 A1 EP 3688661A1
Authority
EP
European Patent Office
Prior art keywords
control command
vehicle
sign
road user
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP18772739.1A
Other languages
English (en)
French (fr)
Inventor
Philipp Notheis
Leschek Debernitz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP3688661A1 publication Critical patent/EP3688661A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F9/00—Arrangement of road signs or traffic signals; Arrangements for enforcing caution
    • E01F9/20—Use of light guides, e.g. fibre-optic devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking

Definitions

  • the invention relates to a training evaluation device for a vehicle according to claim 1, a method for training an artificial neural network according to claim 6 and a computer program product according to claim 8 for its execution, a deployment evaluation device for an automated operation vehicle according to claim 9, a driver assistance system according to claim 12, A use of a driver assistance system according to claim 16, a method for recognizing a meaning of a sign of a road user and for signaling a vehicle response to a recognized meaning of this sign according to claim 17 and a computer program product according to claim 19 for its execution.
  • the invention has the object to realize a communication flow from a road user to an automated moving vehicle, so that the road user has further eye contact with the vehicle to independently analyze their behavior, assess and thus calms down and safely perceive further locomotion in traffic to be able to.
  • a training evaluation device for a vehicle having the features of claim 1 a method for training an artificial neural network with the features of claim 6 and a computer program product having the features of claim 8 for its execution, an insert evaluation device for an automatically operable A vehicle having the features of claim 9, a driver assistance system having the features of claim 12, a use of a driver assistance system having the features of claim 16, a method of recognizing a meaning of a sign of a road user and signaling a vehicle response to a recognized meaning of that sign the features of claim 17 and a computer program product having the features of claim 19 for its execution.
  • the training evaluation apparatus for a vehicle has a first input interface for obtaining a sign of a road user, and a second input interface for receiving a driver control command corresponding to the sign, the training evaluating device executing an artificial neural network with detection of the vehicle Signal and the driver control command to receive a vehicle control command in the supply of the artificial neural network, and Adjust weighting factors such that the vehicle control command matches the driver control command for machine learning a meaning of the character.
  • An evaluation device is a device that processes incoming information and outputs a result resulting from this processing.
  • an electronic circuit such as a central processor unit or a graphics processor, an evaluation device.
  • a training evaluation device is an evaluation device which is in a training phase or learning phase for machine learning of a behavior. After the training phase, the behavior is learned and the evaluation device can be used as auswakened to react purposefully to new information.
  • a vehicle is a vehicle on land, water or in the air, in particular a road vehicle.
  • An interface is a device between at least two functional units at which an exchange of logical quantities, for example data or physical quantities, for example electrical signals, takes place, either only unidirectionally or bidirectionally.
  • the exchange can be analog or digital.
  • the exchange can also be wired or wireless.
  • a sign is in particular a sign with which a road user signals a traffic decision to another road user, for example, a further wave to request to continue.
  • Road users are in particular pedestrians, motorized and non-motorized cyclists and / or other non-motorized road users.
  • a driver control command is a command of a driver with which the driver controls the vehicle of which he is the driver.
  • a step on an accelerator pedal or a brake pedal are driver control commands.
  • Driver control commands can be processed electronically.
  • An artificial neural network is an algorithm that is executed on an electronic circuit and programmed on the model of the neural network of the human brain.
  • Functional units of an artificial neural network are artificial neurons whose output is generally evaluated as the value of an activation function over a weighted sum of the inputs plus a systematic error, the so-called bias.
  • By testing multiple inputs with different weighting factors and / or activation functions artificial neural networks similar to the human brain are trained. The training of an artificial neural network using predetermined inputs is called machine learning.
  • Food in particular forward feeding, means a summation and output by the activation function.
  • a subset of machine learning is deep learning, in which a series of hierarchical layers of neurons called hidden layers are used to perform the machine learning process.
  • An artificial neural network with multiple hidden layers is a deep neural network.
  • Artificial intelligence refers to the purposeful reaction to new information. For example, weighting factors are adjusted by means of a backward feed, that is, an already obtained output is processed as input by the artificial neural network in order to obtain the original input as calculated output.
  • a driver control command is an instruction calculated by the artificial neural network to control the vehicle, for example, an electrical voltage used to actuate a brake actuator.
  • the action of other road users can be trained with artificial intelligence on a vehicle, in particular what the features of a signaling could be. If, for example, a driver of a vehicle driving towards a crosswalk recognizes, by means of a clear further rotation of a pedestrian standing at the pedestrian crossing, that the pedestrian will stop at the crosswalk and will not cross it, the driver will accelerate and drive on, instead of order to stop at the crosswalk. It clearly means that there is no conversation between the vehicle and other road users, which would hinder traffic.
  • the further wave is detected by the training evaluation device by the first, the corresponding gas input by the second input interface.
  • the training evaluation device uses the artificial neural network to calculate a vehicle control command and optimizes it by adjusting the weighting factors. If the training evaluation device now detects a similar situation, the training evaluation device will automatically calculate and output a corresponding vehicle control command. Based on the driver control command, the training evaluation device has learned to react purposefully to the waving.
  • the training evaluation device is designed to simulate a fault movement of the vehicle, for example a stop vehicle control command in the case of a detected waving sign of the road user. This makes it possible to directly win error movements without additional sensors. With simulated error movements, an artificial neural network can learn to respond to errors.
  • the first input interface is designed to obtain a visual, preferably a gesture, in particular a hand movement, and / or a facial expression, and / or an acoustic signal of the road user.
  • Hand movements, facial expressions and / or acoustic sounds are the usual signs with which road users, especially non-motorized road users, communicate with drivers of vehicles.
  • the first input interface is designed to obtain a detection of a size and / or a facial feature of the road user
  • the artificial neural network is designed to obtain an age of the road user based on the size and / or the facial features Vehicle control command depending on the age to adjust.
  • the first input interface is an interface to an environment detection sensor and / or a system of environment detection sensors, preferably an image sensor of a camera, a radar, a lidar and / or a sound sensor and / or the second input interface an interface to a vehicle Data transmission system, preferably a CAN bus.
  • a vehicle Data transmission system preferably a CAN bus.
  • environment detection sensors the decisions communicated by a road user by means of signs are detected and processed particularly easily. Speech recognition can be provided in particular with a sound sensor, wherein corresponding filters are preferably provided in order to filter out a speech symbol of a road user from further environmental noises.
  • the CAN bus is the Controller Area Network Bus, which connects control units in a vehicle and transmits signals. Thus, a driver control command can be easily evaluated.
  • the artificial neural network is a multi-layer, preferably a convolutional or a recurrent, artificial neural network.
  • Convolutional artificial neural networks are characterized by a two- or three-dimensional arrangement of neurons and shared weighting factors and are used in particular for image recognition, in which the input is a gray image or an image in a three-dimensional color space and thus a two- or three-dimensional matrix.
  • a recurrent, also feedback, neural network is a network which is characterized by connections of neurons of a layer to neurons of the same or a preceding layer.
  • Practical applications commonly find artificial recurrent neural networks in problems that affect processing of sequences. Examples include text recognition, speech recognition and machine translation.
  • the method according to the invention for training an artificial neural network comprises the following method steps:
  • the artificial neural network learns a meaning of the sign.
  • a vehicle control command is learned with the method according to the invention in order to purposefully react to signs of road users.
  • a training evaluation device is used to carry out the method.
  • the inventive computer program product is designed to be loaded into a memory of a computer and has software code sections with which the steps of the method according to the invention for training an artificial neural network are executed when the computer program product is running on the computer.
  • a computer is a device for processing data that can process data by means of programmable calculation rules.
  • Computer program products typically include a sequence of instructions that cause the hardware, when the program is loaded, to perform a particular procedure that results in a particular result.
  • the computer program product causes a technical effect, namely, obtaining a vehicle control command.
  • a memory is a medium for backing up data.
  • Software is a collective term for programs and related data.
  • the complement to software is hardware.
  • Hardware refers to the mechanical and electronic alignment of a data processing system.
  • an artificial neural network is particularly easily trained to respond to signs of road users with a corresponding vehicle control command.
  • the automated vehicle operation evaluation device has an input interface for obtaining detection of a traffic participant's character, wherein the employment evaluation device is adapted to train a meaning of the character, preferably according to the artificial neural network training method of the present invention to feed artificial neural network with the detection of the character and to obtain a corresponding vehicle control command.
  • the deployment evaluation device has a first output interface in order to issue the vehicle control command to the road user in order to recognize the meaning of the sign and to signal to the road user a vehicle reaction to the recognized meaning of this sign.
  • An automated operable vehicle is a vehicle that has technical equipment to handle a driving task, including longitudinal and transverse guidance, the respective vehicle after activation of a corresponding automated driving function, in particular a highly or fully automated Driving function according to the standard SAE J3016, with a vehicle control device can control.
  • this technical equipment is designed to correspond to the traffic guidance directed to the vehicle guidance during the automated vehicle control, that is to say during the automated operation of the vehicle.
  • the technical equipment may consist in particular of sensors, control units and actuators.
  • this equipment may preferably be manually overridden or deactivated by the vehicle driver at any time.
  • the technical equipment may be designed to detect the necessity of autograph vehicle control by the driver and the driver to display the requirement of autograph vehicle control with sufficient time reserve before the delivery of vehicle control to the driver visually, acoustically, tactually or otherwise perceptible and on one of System description to indicate contrary use.
  • Driver is also the one who activates an automated driving function and used for vehicle control, even if he does not control the vehicle in the context of the intended use of this function by hand.
  • An automated operable vehicle that does not require human intervention during operation of the vehicle, other than the destination, is a fully automated vehicle. In a fully automated moving vehicle, the driver is not obliged to take over the vehicle control immediately.
  • the meaning of a sign refers to the semantics and includes what someone understands by the sign.
  • An environment detection sensor initially captures only one sign, without its semantic meaning. The meaning of a sign is learned.
  • the deployment evaluation device recognizes the meaning of a detected character by means of an appropriately trained artificial neural network and can react purposefully with a corresponding vehicle control command.
  • the deployment evaluation device advantageously signals to the road user that they have detected the sign of the road user and recognized its significance.
  • the deployment evaluation device is preferably designed to signal the road user to continue driving or stopping the vehicle as a function of a detected stop sign or onward journey sign. By means of this signaling, a communication flow from a driver of the vehicle to the road user is easily replaced.
  • the austician designed on a second output interface to output the vehicle control command for a vehicle control device.
  • a vehicle control device is a device with which a vehicle can be controlled.
  • a longitudinal and / or lateral control is a vehicle control.
  • the vehicle is operated automatically.
  • the driver assistance system comprises an environment detection sensor or a system of environment detection sensors for detecting a sign of a road user, an application evaluating device configured to feed an artificial neural network trained on a meaning of the sign with the detection of the sign and to obtain a vehicle control command corresponding to the sign , and a signal generator configured to signal the vehicle control command to the road user to recognize a meaning of the sign and to signal the road user to a vehicle response to a recognized meaning of that sign.
  • a signal generator is a device, an assembly or a circuit that generates and preferably transmits a signal, that is, information with a specific meaning.
  • the driver assistance system according to the invention can thus automatically react purposely to signs of road users and signal a corresponding reaction to the road user.
  • the use evaluation device is preferably an application evaluation device according to the invention.
  • the signal transmitter is designed to generate an electrical, optical and / or acoustic signal, wherein the signal transmitter is preferably in a front region and / or rear region of the vehicle, preferably on a bumper, can be arranged and preferably has a light bar.
  • An optical signal can be perceived by normal-looking road users simply by eye contact with the vehicle.
  • An acoustic signal for example a tone or a tone sequence with a certain frequency, can be perceived by weak-sighted, in particular blind, road users.
  • An electrical signal can also be perceived tactilely.
  • a light strip is a narrow, in particular long component, which has light-emitting components.
  • a light bar can be easily perceived optically.
  • the driver assistance system has an interface for outputting a signal of the signal transmitter to a device for increasing the traffic safety for the road user, wherein the portable device is executed, depending on the signal of the signal transmitter the road user by means of a vibration to alert the signaling of the vehicle control command.
  • Portable devices also called wearables, are widely used in the fitness or wellness field and are connected to a network for exchanging data with other devices such as computers or other portable devices or mobile terminals. Portable devices are worn on the body.
  • the vibration can be output via a loudspeaker as an acoustically perceptible signal.
  • the portable device may be a smartphone or a smartwatch. With such a portable device in particular pedestrians and cyclists are warned in advance of driving decisions in traffic. Such a portable device is an example of a car-to-X communication application.
  • a driver assistance system according to the invention is used in an automatically operable vehicle.
  • the method according to the invention for recognizing a meaning of a sign of a road user and for signaling a vehicle reaction to a recognized meaning of this sign comprises the following method steps:
  • the meaning of the character is automatically detected and a corresponding vehicle reaction simply signals the road user.
  • an application evaluation device according to the invention or a driver assistance system according to the invention is used to carry out the method according to the invention.
  • the computer program product according to the invention is designed to be loaded into a memory of a computer and has software code sections with which the steps of the method according to the invention for recognizing a meaning of a sign of a road user and for signaling a vehicle response to a recognized meaning of this sign are executed
  • Computer program product on the computer is running.
  • FIG. 1 shows an embodiment of a training evaluation device according to the invention
  • FIG. 2 shows an embodiment of a method according to the invention for training an artificial neural network
  • 5 shows an embodiment of a driver assistance system according to the invention
  • 6 shows exemplary embodiments for signal transmitters of a driver assistance system according to the invention
  • FIG. 7 shows an embodiment of a driver assistance system according to the invention with an exemplary embodiment of a portable device
  • FIG. 8 shows an embodiment of a method according to the invention for recognizing a meaning of a sign of a road user and for signaling a vehicle reaction to a recognized meaning of this sign and
  • FIG. 9 shows a further exemplary embodiment of a driver assistance system according to the invention.
  • the training evaluation device 10 shown in FIG. 1 receives a sign 2 of a road user 3 via a first input interface 11.
  • the sign 2 is a clear hand signal for requesting a driver of a vehicle 1 to continue traveling. This character is detected by means of an image sensor of a camera as an example of an environment detection sensor 5.
  • the training evaluation device 10 receives a driver control command 4 via a second input interface 12.
  • the driver control command 4 is accelerated.
  • the driver of the vehicle operates a gas pedal to execute the driver control command 4.
  • the pressure required for this purpose on the gas pedal can be converted into an electrical voltage, which is input by means of a vehicle data transmission system 6 via the second input interface 12 into the training evaluation device 10 and further processed there.
  • the training evaluation device 10 is, for example, a graphics card processor designed specifically for automotive applications and executing an artificial neural network 13.
  • the artificial neural network 13 is for example play a recurrent artificial neural network 13 in which neurons 16 of a layer are connected to neurons 16 of a preceding layer.
  • the inputs, ie the inputs, of the artificial neural network 13 are the detection of the character 2 and a driver control command 4 corresponding to the character 2.
  • the output, ie the output, of the artificial neural network 13 is a vehicle control command 14 calculated from the inputs. By adjusting weighting factors 15, the calculated vehicle control command 14 is optimized such that the vehicle control command 14 coincides with the driver control command 4.
  • training training device 10 learns a detected character 2 a corresponding vehicle control command 14 and thus the character 2 to assign a corresponding meaning.
  • the training evaluation device 10 which is arranged on the vehicle 1, detects a gesture of a road user 3 waiting at a crosswalk 9, and a corresponding driver control command 4; if there is a continue driving, gives a gas, braking in the case of a stop sign, learns the training evaluation device 10 to generate a corresponding situation-dependent vehicle control command 14. In a similar situation, the training evaluation device 10 may then purposely respond with a vehicle control command 14 without having detected a corresponding driver control command 4.
  • FIG. 2 shows the method according to the invention for training an artificial neural network 13.
  • the artificial neural network is thereby executed on the training evaluation device 10 shown in FIG. 1 for the vehicle 1.
  • the surroundings detection sensor 5 provides the training evaluation device 10 with the sign 2 of the traffic participant 3 detected by the vehicle 1 during travel with the vehicle 1 via the first input interface 11 and the driver control command 4 corresponding to the character 2 via the second input interface 12.
  • the training evaluation device 10 feeds the artificial neural network 13 with the character 2 and the driver control command 4.
  • the training evaluation device 10 simulates an error movement of the vehicle 1, for example a stop signal. Vehicle control command with a detected waving sign of the road user. This makes it possible to directly win error movements without additional sensors. With simulated error movements, the artificial neural network 13 learns to respond to errors. As the output of the artificial neural network 10, the corresponding vehicle control command 14 is obtained.
  • the weighting factors 15 are adjusted such that, for example, by feeding back the artificial neural network 13, the vehicle control command 14 coincides with the driver control command 4.
  • the artificial neural network 13 learns the semantic meaning of the character 2.
  • a computer program product 20 is shown in FIG.
  • the computer program product 20 is loaded into a memory 21 of a computer 22 and executes the steps of the method for training the artificial neural network 13 there.
  • FIG. 4 shows a deployment evaluator 30 that executes an artificial neural network 13 trained according to the method shown in FIG. Via an input interface 31, the service evaluation device 30 is provided with the sign 2 of the road user 3 detected by the surroundings detection sensor 5.
  • the artificial neural network 13 is optimized by the arrangement of its neurons 16 and carried out in a training phase adaptation of the weighting factors 15, depending on the detected character 2 to calculate the vehicle control command corresponding to this 14 character. If the deployment evaluation device 30 detects a clear sign 2 for driving on, the deployment evaluation device 30 uses the artificial neural network 13 to calculate the corresponding vehicle control command 14 to accelerate the gas.
  • the deployment evaluation device 30 outputs the vehicle control command for the road user 3 in order to signal to the road user 3 that the vehicle 1 has detected its sign 2 and will react with a corresponding driving behavior.
  • the vehicle control device 40 which is also shown in FIG. 9, controls the longitudinal and / or lateral control of the vehicle 1.
  • the driver assistance system 50 has a system of environment detection sensors comprising a centrally located front camera and two laterally arranged front radars.
  • the driver assistance system 50 is in particular designed to process the various detected sensor raw data, that is, for example, to generate images from the camera data and to merge them into an environment model.
  • a pedestrian is detected as a road user 3 at a crosswalk 9.
  • the road user can also be at another crossing facility, for example a traffic light crossing.
  • the surroundings detection sensors 5 also detect the sign 2 of the road user 3 for driving on the vehicle 1.
  • the deployment evaluation device 30 of the driver assistance system 50 uses the artificial neural network 13 to calculate the vehicle control command 14 corresponding to the character 2.
  • the driver assistance system 50 further has a signal generator 51 with which the vehicle control command 14 is signaled to the road user 3.
  • the signal generator 51 thus signals the road user 3 a vehicle reaction to the recognized meaning of the character 2.
  • the signal generator 51 generates and outputs a signal.
  • the signal is a visually perceptible signal, for example a light signal in a particular color.
  • the signal generator 51 may in particular be designed as a light strip 8, which has a plurality of lighting means, as shown in the middle embodiment of FIG.
  • the light bar 8 may be a strip of light emitting diodes.
  • the signal generator 51 is horizontal, that is parallel to one Road surface, aligned.
  • the signal generator 51 is vertical, that is perpendicular, arranged to the surface of the road.
  • the signal generator 51 is executed, the road user 3 shown in Fig. 5, a further travel of the vehicle 1, that is, for example, a gas give, with a light signal in a first color, preferably green, and a stop of the vehicle, that is, for example Brakes to signal with a light signal in a second color, preferably red.
  • the driver assistance 50 of FIG. 7 has an interface 52.
  • the interface 52 is a WLAN interface with which the signal of the signal generator 51 is output to a portable device 60, which is carried by the road user 3.
  • a complete networking of the vehicle 1 and the weaker road user 3 is realized.
  • Such networking can take place, in particular, in a cloud, in which preferably a corresponding algorithm is executed. This increases traffic safety. In particular, it is possible to warn against collisions.
  • the portable device 60 is also designed, in response to the signal of the signal generator 51 to make the road user 3 aware of the signaling of the vehicle control command 14 by means of a vibration.
  • the inventive method for recognizing a meaning of a character 2 of a road user 3 and for signaling a vehicle response to a recognized meaning of this character 2 is shown in Fig. 9.
  • the character 2 of the traffic participant 3 is detected, for example with an environment detection sensor 5.
  • an artificial neural network 13 trained on a meaning of the character 2 is supplied with this detection of the character 2.
  • a vehicle control command 14 is obtained. This vehicle control command 14 is output to the road user 3.
  • a computer program product 70 for carrying out the method according to the invention for recognizing a meaning of a character 2 of a road user 3 and for signaling a vehicle response to a recognized meaning of this character 2 is shown in FIG.
  • the driver assistance system 50 can also be used successfully in the following situation.
  • the driver assistance system 50 of the automated moving vehicle 1 recognizes the individual road user 3 and signals him by means of the signal generator 51 that it will stop.
  • the road user 3 is by a unique gesture, for example, by a hand movement, the vehicle 1 to recognize that the vehicle 1 should continue. This hand movement is recognized as a character 2 with the corresponding meaning and processed by the driver assistance system 50.
  • the vehicle 1 then changes the signal, and the signal generator 51 signals that the vehicle 1 will now continue.
  • the driver assistance system 50 estimates the gestures on the basis of size, age and / or facial features of the road user 3. This assessment is needed to sensitively analyze children and the elderly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Social Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Psychiatry (AREA)
  • Transportation (AREA)
  • Civil Engineering (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Structural Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Trainingsauswerteeinrichtung (10) für ein Fahrzeug (1) mit einer ersten Eingangsschnittstelle (11), um eine Erfassung eines Zeichens (2) eines Verkehrsteilnehmers (3) zu erhalten, einer zweiten Eingangsschnittstelle (12), um einen dem Zeichen (2) entsprechenden Fahrersteuerungsbefehl (4) zu erhalten, wobei die Trainingsauswerteeinrichtung (10) ausgeführt ist, ein künstliches neuronales Netzwerk (13) mit der Erfassung des Zeichens (2) und dem Fahrersteuerungsbefehl (4) zu speisen, um in der Speisung des künstlichen neuronalen Netzwerks (13) einen Fahrzeugsteuerungsbefehl (14) zu erhalten, und Gewichtungsfaktoren (15) derart anzupassen, dass der Fahrzeugsteuerungsbefehl (14) mit dem Fahrersteuerungsbefehl (4) übereinstimmt, zum maschinellen Lernen einer Bedeutung des Zeichens (2). Ferner betrifft die Erfindung ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks (13) und ein Computerprogrammprodukt (20) zu dessen Ausführung, eine Einsatzauswerteeinrichtung (30) für ein automatisiert betreibbares Fahrzeug (1), ein Fahrerassistenzsystem (50) und dessen Verwendung in einem automatisiert betreibbaren Fahrzeug (1) und ein Verfahren zum Erkennen einer Bedeutung eines Zeichens (2) eines Verkehrsteilnehmers (3) und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens (2) und ein Computerprogrammprodukt zu dessen Ausführung.

Description

Kommunikationsfluss von Verkehrsteilnehmer in Richtung
eines automatisiert fahrenden Fahrzeug
Die Erfindung betrifft eine Trainingsauswerteeinrichtung für ein Fahrzeug nach Anspruch 1 , ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks nach Anspruch 6 und ein Computerprogrammprodukt nach Anspruch 8 zu dessen Ausführung, eine Einsatzauswerteeinrichtung für ein automatisiert betreibbares Fahrzeug nach Anspruch 9, ein Fahrerassistenzsystem nach Anspruch 12, eine Verwendung eines Fahrerassistenzsystems nach Anspruch 16, ein Verfahren zum Erkennen einer Bedeutung eines Zeichens eines Verkehrsteilnehmers und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens nach Anspruch 17 und ein Computerprogrammprodukt nach Anspruch 19 zu dessen Ausführung.
In Zeiten der Digitalisierung und der Vernetzung werden immer mehr Fahrzeuge automatisiert fahren. Automatisiert fahrende Fahrzeuge verfolgen ihr Ziel, bis sie dieses erreicht haben. Auf diesem Weg stellen diverse Hindernisse dem automatisiert fahrenden Fahrzeug verschiedene Aufgaben. Diverse Hindernissen sind zum Beispiel andere Verkehrsteilnehmer. Gegenwärtig kommunizieren die Verkehrsteilnehmer, beispielsweise Fußgänger und/oder Fahrradfahrer, mit Fahrern von Fahrzeugen durch Blickkontakt, Gestik, oder durch das Einschätzen einer eindeutigen Fahrweise. Des Weiteren gibt es eine Verkehrsordnung, die den Verkehr regelt.
Falls in Zukunft immer mehr oder nur automatisiert fahrende Fahrzeuge am Straßenverkehr teilnehmen, wird es immer schwieriger für Fußgänger und/oder Fahrradfahrer oder sonstige Verkehrsteilnehmer, die Fahrweise und die programmierten Entscheidungen der automatisiert fahrenden Fahrzeuge einzuschätzen. Ein Mischverkehr, das heißt ein Verkehr, an dem automatisiert fahrende und nicht automatisiert fahrende Fahrzeuge teilnehmen, und die Interaktion zwischen automatisiert fahrenden Fahrzeugen und nicht automatisiert fahrenden Verkehrsteilnehmern, insbesondere nicht motorisierten Verkehrsteilnehmern, stellen eine besondere Herausforderung dar. Um die positiven Auswirkungen der Automatisierung nicht zu gefährden, ist es wichtig, dass automatisiert fahrende Fahrzeuge das Verhalten von anderen, nicht automatisiert fahrenden Verkehrsteilnehmern erkennen und darauf reagieren können.
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, einen Kommunikationsfluss von einem Verkehrsteilnehmer zu einem automatisiert fahrenden Fahrzeug zu realisieren, so dass der Verkehrsteilnehmer weiter Blickkontakt mit dem Fahrzeug hat, um dessen Verhalten eigenständig zu analysieren, einzuschätzen und somit weitere Fortbewegungen im Straßenverkehr beruhigt und sicher wahrnehmen zu können.
Diese Aufgabe wird gelöst durch eine Trainingsauswerteeinrichtung für ein Fahrzeug mit den Merkmalen des Anspruchs 1 , ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks mit den Merkmalen des Anspruchs 6 und ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 8 zu dessen Ausführung, eine Einsatzauswerteeinrichtung für ein automatisiert betreibbares Fahrzeug mit den Merkmalen des Anspruchs 9, ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 12, eine Verwendung eines Fahrerassistenzsystems mit den Merkmalen des Anspruchs 16, ein Verfahren zum Erkennen einer Bedeutung eines Zeichens eines Verkehrsteilnehmers und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens mit den Merkmalen des Anspruchs 17 und ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 19 zu dessen Ausführung.
Weiterbildungen und vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Die erfindungsgemäße Trainingsauswerteeinrichtung für ein Fahrzeug weist eine erste Eingangsschnittstelle, um eine Erfassung eines Zeichens eines Verkehrsteilnehmers zu erhalten, und eine zweite Eingangsschnittstelle auf, um einen dem Zeichen entsprechenden Fahrersteuerungsbefehl zu erhalten, wobei die Trainingsauswerteeinrichtung ausgeführt ist, ein künstliches neuronales Netzwerk mit der Erfassung des Zeichens und dem Fahrersteuerungsbefehl zu speisen, um in der Speisung des künstlichen neuronalen Netzwerks einen Fahrzeugsteuerungsbefehl zu erhalten, und Gewichtungsfaktoren derart anzupassen, dass der Fahrzeugsteuerungsbefehl mit dem Fahrersteuerungsbefehl übereinstimmt, zum maschinellen Lernen einer Bedeutung des Zeichens.
Eine Auswerteeinrichtung ist eine Vorrichtung, die eingehende Informationen verarbeitet und ein aus dieser Verarbeitung resultierendes Ergebnis ausgibt. Insbesondere ist eine elektronische Schaltung, wie zum Beispiel eine zentrale Prozessoreinheit oder ein Grafikprozessor, eine Auswerteinrichtung. Eine Trainingsauswerteeinrich- tung ist eine Auswerteeinrichtung, die sich in einer Trainingsphase oder Lernphase befindet zum maschinellen Lernen eines Verhaltens. Nach der Trainingsphase ist das Verhalten erlernt und die Auswerteeinrichtung kann als Einsatzauswerteeinrichtung eingesetzt werden, um zweckgerichtet auf neue Informationen zu reagieren.
Ein Fahrzeug ist ein Fahrzeug zu Land, zu Wasser oder in der Luft, insbesondere ein Straßenfahrzeug.
Eine Schnittstelle ist eine Einrichtung zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, zum Beispiel Daten, oder physikalischen Größen, zum Beispiel elektrischen Signalen, erfolgt, entweder nur unidirektio- nal oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen.
Ein Zeichen ist insbesondere ein Zeichen, mit dem ein Verkehrsteilnehmer einem anderen Verkehrsteilnehmer eine Verkehrsentscheidung signalisiert, beispielsweise ein Weiterwinken zur Aufforderung zum Weiterfahren.
Verkehrsteilnehmer sind insbesondere Fußgänger, motorisierte und nicht motorisierte Fahrradfahrer und/oder andere nicht motorisierte Verkehrsteilnehmer.
Ein Fahrersteuerungsbefehl ist ein Befehl eines Fahrers, mit dem der Fahrer das Fahrzeug, dessen Fahrer er ist, steuert. Zum Beispiel sind ein Tritt auf ein Gaspedal oder ein Bremspedal Fahrersteuerungsbefehle. Fahrersteuerungsbefehle können elektronisch weiterverarbeitet werden. Ein künstliches neuronales Netzwerk ist ein Algorithmus, der auf einer elektronischen Schaltung ausgeführt wird und am Vorbild des neuronalen Netzwerks des menschlichen Gehirns programmiert ist. Funktionseinheiten eines künstlichen neuronalen Netzwerks sind künstliche Neuronen, deren Output sich im Allgemeinen als Wert einer Aktivierungsfunktion ausgewertet über eine gewichtete Summe der Inputs plus einem systematischen Fehler, dem sogenannten Bias, ergibt. Durch Testen von mehreren Inputs mit verschiedenen Gewichtungsfaktoren und/oder Aktivierungsfunktionen werden künstliche neuronale Netzwerke, ähnlich dem menschlichen Gehirn, trainiert. Das Trainieren eines künstlichen neuronalen Netzwerks mit Hilfe von vorbestimmten Inputs wird maschinelles Lernen genannt. Speisen, insbesondere Vorwärtsspeisen, bedeutet eine Summenbildung und Ausgabe durch die Aktivierungsfunktion. Eine Teilmenge des maschinellen Lernens ist das tiefgehende Lernen, das sogenannte Deep Learning, bei dem eine Reihe hierarchischer Schichten von Neuronen, sogenannten Hidden Layers, genutzt wird, um den Prozess des maschinellen Lernens durchzuführen. Ein künstliches neuronales Netzwerk mit mehreren Hidden Layers ist ein Deep Neural Network. Dabei bezeichnet künstliche Intelligenz das zweckgerichtete Reagieren auf neue Informationen. Gewichtungsfaktoren werden beispielsweise durch eine Rückwärtsspeisung angepasst, das heißt ein bereits erhaltener Output wird als Input durch das künstliche neuronale Netzwerk prozessiert, um als errechneten Output den ursprünglichen Input zu erhalten.
Ein Fahrersteuerungsbefehl ist ein von dem künstlichen neuronalen Netzwerk errechneter Befehl zum Steuern des Fahrzeuges, zum Beispiel eine elektrische Spannung, mit der ein Bremsaktuator betätigt wird.
Durch die erfindungsgemäße Trainingsauswerteeinrichtung kann mit künstlicher Intelligenz einem Fahrzeug das Handeln von anderen Verkehrsteilnehmern antrainiert werden, insbesondere was die Merkmale einer Signalgebung sein könnten. Erkennt beispielsweise ein auf einen Zebrastreifen zufahrender Fahrer eines Fahrzeuges anhand eines eindeutigen Weiterwinkens eines an dem Zebrastreifen stehenden Fußgängers, dass der Fußgänger am Zebrastreifen anhalten und diesen nicht überqueren wird, so wird der Fahrer Gas geben und weiterfahren, anstatt, wie es die Ver- kehrsordnung vorsieht, am Zebrastreifen anzuhalten. Eindeutig bedeutet, dass keine Konversation zwischen Fahrzeug und weiterem Verkehrsteilnehmer entsteht, welche den Verkehr behindern würde. Das Weiterwinken wird von der Trainingsauswerteein- richtung durch die erste, das korrespondierende Gas Geben durch die zweite Eingangsschnittstelle erfasst. Anhand dieser Eingangsgrößen berechnet die Trainings- auswerteeinrichtung mittels des künstlichen neuronalen Netzwerks einen Fahrzeugsteuerungsbefehl und optimiert diesen durch Anpassung der Gewichtungsfaktoren. Erfasst die Trainingsauswerteeinrichtung nun eine ähnliche Situation, wird die Trai- ningsauswerteeinrichtung selbstständig einen entsprechenden Fahrzeugsteuerungsbefehl berechnen und diesen ausgeben. Anhand des Fahrersteuerungsbefehls hat die Trainingsauswerteeinrichtung gelernt, auf das Weiterwinken zweckgerichtet zu reagieren.
Ferner ist die Trainingsauswerteeinrichtung ausgeführt, eine Fehlerbewegung des Fahrzeuges zu simulieren, zum Beispiel ein Anhalte-Fahrzeugsteuerungsbefehl bei einem erfassten Weiterwinken Zeichen des Verkehrsteilnehmers. Damit lassen sich Fehlerbewegungen ohne zusätzliche Sensoren direkt gewinnen. Mit simulierten Fehlerbewegungen kann ein künstliches neuronales Netzwerk lernen, auf Fehler zu reagieren.
Vorzugsweise ist die erste Eingangsschnittstelle ausgeführt, ein visuelles, vorzugsweise eine Gestik, insbesondere eine Handbewegung, und/oder eine Mimik, und/oder ein akustisches Zeichen des Verkehrsteilnehmers zu erhalten. Handbewegungen, Gesichtsausdrücke und/oder akustische Laute sind die gängigen Zeichen, mit denen Verkehrsteilnehmer, insbesondere nicht motorisierte Verkehrsteilnehmer, mit Fahrern von Fahrzeugen kommunizieren.
In einer Weiterbildung der Erfindung ist die erste Eingangsschnittstelle ausgeführt, eine Erfassung einer Größe und/oder eines Gesichtszuges des Verkehrsteilnehmers zu erhalten, wobei das künstliche neuronale Netzwerk ausgeführt ist, anhand der Größe und/oder des Gesichtszuges ein Alter des Verkehrsteilnehmers zu erhalten, um den Fahrzeugsteuerungsbefehl in Abhängigkeit des Alters zu anzupassen. Diese Anpassung ist erforderlich, um schwache Verkehrsteilnehmer, beispielsweise Kinder oder alte Menschen, sensibel zu erfassen.
Gemäß einer bevorzugten Ausgestaltung der Erfindung ist die erste Eingangsschnittstelle eine Schnittstelle zu einem Umfelderfassungssensor und/oder einem System von Umfelderfassungssensoren, vorzugsweise einem Bildsensor einer Kamera, einem Radar, einem Lidar und/oder einem Schallsensor und/oder die zweite Eingangsschnittstelle eine Schnittstelle zu einem Fahrzeug-Datenübertragungssystem, vorzugsweise einem CAN-Bus. Mittels Umfelderfassungssensoren werden die von einem Verkehrsteilnehmer mittels Zeichen mitgeteilten Entscheidungen besonders einfach erfasst und verarbeitet. Mit einem Schallsensor kann insbesondere eine Spracherkennung bereitgestellt werden, wobei vorzugsweise entsprechende Filter vorgesehen sind, um ein Sprachzeichen eines Verkehrsteilnehmers von weiteren Umgebungsgeräuschen herauszufiltern. Der CAN-Bus ist der Controller Area Network Bus, der in einem Fahrzeug Steuergeräte verbindet und Signale überträgt. Damit kann ein Fahrersteuerungsbefehl einfach ausgewertet werden.
Vorteilhafterweise ist das künstliche neuronale Netzwerk ein mehrschichtiges, vorzugsweise ein konvolutionales oder ein rekurrentes, künstliches neuronales Netzwerk ist. Konvolutionale künstliche neuronale Netzwerke zeichnen sich durch eine zwei-oder dreidimensionale Anordnung von Neuronen und geteilte Gewichtungsfaktoren aus und werden insbesondere für Bilderkennung, bei der der Input ein Graubild oder ein Bild in einem dreidimensionalen Farbraum und damit eine zwei- oder dreidimensionale Matrix ist, eingesetzt. Ein rekurrentes, auch rückgekoppeltes, neuronales Netzwerk ist ein Netzwerk, das sich durch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnet. Unterschieden werden direkte Rückkopplung, d.h. der eigene Ausgang eines Neurons wird als weiterer Eingang genutzt, indirekte Rückkopplung, bei der ein Ausgang eines Neurons mit einem Neuron der vorhergehenden Schichten verbunden ist, und seitliche Rückkopplung, bei der der Ausgang eines Neurons mit einem anderen Neuron derselben Schicht verbunden ist. Praktische Anwendungen finden künstliche rekurrente neuronale Netzwerke allgemein bei Problemstellungen, die das Verarbeiten von Sequenzen erfordern. Beispiel dafür sind Schrifterkennung, Spracherkennung und Maschinenübersetzung.
Das erfindungsgemäße Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, wobei das künstliche neuronale Netzwerk auf einer Trainingsauswer- teeinrichtung für ein Fahrzeug ausgeführt wird, weist die folgenden Verfahrensschritten auf:
- Bereitstellen von einem während einer Fahrt erhaltenen Zeichen eines Verkehrsteilnehmers und einem dem Zeichen entsprechenden Fahrersteuerungsbefehl,
- Speisen des künstlichen neuronalen Netzwerks mit dem Zeichen und dem Fahrersteuerungsbefehl,
- Erhalten eines Fahrzeugsteuerungsbefehls in der Speisung des künstlichen neuronalen Netzwerks ,
und
- Anpassen von Gewichtungsfaktoren derart, dass der Fahrzeugsteuerungsbefehl mit dem Fahrersteuerungsbefehl übereinstimmt,
wobei das künstliche neuronale Netzwerk eine Bedeutung des Zeichens lernt. Anhand des Fahrersteuerungsbefehls wird mit dem erfindungsgemäßen Verfahren ein Fahrzeugsteuerungsbefehl erlernt, um zweckgerichtet auf Zeichen von Verkehrsteilnehmern zu reagieren.
Vorzugsweise wird zur Durchführung des Verfahrens eine erfindungsgemäße Trai- ningsauswerteeinrichtung verwendet.
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und weist Softwarecodeabschnitte auf, mit denen die Schritte des erfindungsgemäßen Verfahrens zum Trainieren eines künstlichen neuronalen Netzwerks ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
Ein Computer ist eine Einrichtung zum Verarbeiten von Daten, die mittels programmierbarer Rechenvorschriften Daten verarbeiten kann. Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen technischen Effekt hervor, nämlich das Erhalten eines Fahrzeugsteuerungsbefehls.
Ein Speicher ist ein Medium für die Sicherung von Daten.
Software ist ein Sammelbegriff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems.
Mit dem erfindungsgemäßen Computerprogrammprodukt wird ein künstliches neuronales Netzwerk besonders einfach trainiert, um auf Zeichen von Verkehrsteilnehmern mit einem entsprechenden Fahrzeugsteuerungsbefehl zu reagieren.
Die erfindungsgemäße Einsatzauswerteeinrichtung für ein automatisiert betreibbares Fahrzeug weist eine einer Eingangsschnittstelle auf, um eine Erfassung eines Zeichens eines Verkehrsteilnehmers zu erhalten, wobei die Einsatzauswerteeinrichtung ausgeführt ist, ein auf eine Bedeutung des Zeichens, vorzugsweise nach dem erfindungsgemäßen Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, trainiertes künstliches neuronales Netzwerk mit der Erfassung des Zeichens zu speisen und einen dem Zeichen entsprechenden Fahrzeugsteuerungsbefehl zu erhalten. Ferner weist die erfindungsgemäße Einsatzauswerteeinrichtung eine erste Ausgabeschnittstelle auf, um den Fahrzeugsteuerungsbefehl für den Verkehrsteilnehmer auszugeben, um die Bedeutung des Zeichens zu erkennen und dem Verkehrsteilnehmer eine Fahrzeugreaktion auf die erkannte Bedeutung dieses Zeichens zu signalisieren.
Ein automatisiert betreibbares Fahrzeug ist ein Fahrzeug, das über eine technische Ausrüstung verfügt, die zur Bewältigung einer Fahraufgabe, einschließlich Längsund Querführung, das jeweilige Fahrzeug nach Aktivierung einer entsprechenden automatisierten Fahrfunktion, insbesondere einer hoch- oder vollautomatisierten Fahrfunktion nach der Norm SAE J3016, mit einer Fahrzeugsteuerungseinrichtung steuern kann. Insbesondere ist diese technische Ausrüstung ausgeführt, während der automatisierten Fahrzeugsteuerung, das heißt während dem automatisierten Betrieb des Fahrzeuges, den an die Fahrzeugführung gerichteten Verkehrsvorschriften zu entsprechen. Die technische Ausrüstung kann insbesondere aus Sensoren, Steuereinheiten und Aktoren bestehen. Diese Ausrüstung kann des Weiteren vorzugsweise jederzeit durch den Fahrzeugführer manuell übersteuerbar oder deaktivierbar sein. Ferner kann die technische Ausrüstung ausgeführt sein, die Erforderlichkeit der eigenhändigen Fahrzeugsteuerung durch den Fahrzeugführer zu erkennen und dem Fahrzeugführer das Erfordernis der eigenhändigen Fahrzeugsteuerung mit ausreichender Zeitreserve vor der Abgabe der Fahrzeugsteuerung an den Fahrzeugführer optisch, akustisch, taktil oder sonst wahrnehmbar anzuzeigen und auf eine der Systembeschreibung zuwiderlaufende Verwendung hinzuweisen. Fahrzeugführer ist auch derjenige, der eine automatisierte Fahrfunktion aktiviert und zur Fahrzeugsteuerung verwendet, auch wenn er im Rahmen der bestimmungsgemäßen Verwendung dieser Funktion das Fahrzeug nicht eigenhändig steuert. Ein automatisiert betreibbares Fahrzeug, bei dem während dem Betrieb des Fahrzeuges, abgesehen vom Festlegen des Ziels, kein menschlicher Eingriff erforderlich ist, ist ein vollautomatisiert fahrendes Fahrzeug. Bei einem vollautomatisiert fahrenden Fahrzeug ist der Fahrzeugführer nicht verpflichtet, die Fahrzeugsteuerung unverzüglich zu übernehmen.
Die Bedeutung eines Zeichens bezieht sich auf die Semantik und beinhaltet das, was jemand aufgrund des Zeichens versteht. Ein Umfelderfassungssensor erfasst zunächst nur ein Zeichen, ohne dessen semantische Bedeutung. Die Bedeutung eines Zeichens wird erlernt.
Die erfindungsgemäße Einsatzauswerteeinrichtung erkennt mittels einem entsprechend trainierten künstlichen neuronalen Netzwerks die Bedeutung eines erfassten Zeichens und kann mit einem entsprechenden Fahrzeugsteuerungsbefehl zweckgerichtet reagieren. Insbesondere signalisiert vorteilhafterweise die erfindungsgemäße Einsatzauswerteeinrichtung dem Verkehrsteilnehmer, dass sie das Zeichen des Verkehrsteilnehmers erfasst und dessen Bedeutung erkannt hat. Bevorzugt ist die Einsatzauswerteeinrichtung ausgeführt, in Abhängigkeit eines er- fassten Anhaltezeichens oder Weiterfahrtzeichens dem Verkehrsteilnehmer eine Weiterfahrt oder ein Anhalten des Fahrzeuges zu signalisieren. Durch diese Signalisierung wird ein Kommunikationsfluss von einem Fahrer des Fahrzeuges zu dem Verkehrsteilnehmer auf einfache Art und Weise ersetzt.
In einer vorteilhaften Ausgestaltung der Erfindung weist die Einsatzauswerteeinrichtung eine zweite Ausgabeschnittstelle auf, um den Fahrzeugsteuerungsbefehl für eine Fahrzeugsteuerungseinrichtung auszugeben.
Eine Fahrzeugsteuerungseinrichtung ist eine Einrichtung, mit der ein Fahrzeug gesteuert werden kann. Eine Längs- und/oder Quersteuerung ist eine Fahrzeugsteuerung.
Durch die Fahrzeugsteuerungseinrichtung wird das Fahrzeug automatisiert betrieben.
Das erfindungsgemäße Fahrerassistenzsystem weist einen Umfelderfassungssensor oder ein System von Umfelderfassungssensoren zur Erfassung eines Zeichens eines Verkehrsteilnehmers, eine Einsatzauswerteeinrichtung, die ausgeführt ist, ein auf eine Bedeutung des Zeichens trainiertes künstliches neuronales Netzwerk mit der Erfassung des Zeichens zu speisen und einen dem Zeichen entsprechenden Fahrzeugsteuerungsbefehl zu erhalten, und einen Signalgeber auf, der ausgeführt ist, den Fahrzeugsteuerungsbefehl dem Verkehrsteilnehmer zu signalisieren, um eine Bedeutung des Zeichens zu erkennen und dem Verkehrsteilnehmer eine Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens zu signalisieren.
Fahrerassistenzsysteme, im Englischen als advanced driver assistance Systems bezeichnet, sind Zusatzeinrichtungen in Fahrzeugen zur Unterstützung des Fahrers Fahrsituationen. Ein Signalgeber ist ein Gerät, eine Baugruppe oder eine Schaltung, die ein Signal, das heißt eine Information mit einer bestimmten Bedeutung, erzeugt und vorzugsweise überträgt.
Das erfindungsgemäße Fahrerassistenzsystem kann damit automatisiert auf Zeichen von Verkehrsteilnehmern zweckgerichtet reagieren und eine entsprechende Reaktion dem Verkehrsteilnehmer signalisieren.
Vorzugsweise ist die Einsatzauswerteeinrichtung eine erfindungsgemäße Einsatzauswerteeinrichtung.
In einer Weiterbildung der Erfindung ist der Signalgeber ausgeführt, ein elektrisches, optisches und/oder akustisches Signal zu erzeugen, wobei der Signalgeber vorzugsweise in einem Frontbereich und/oder Heckbereich des Fahrzeuges, vorzugsweise an einer Stoßstange, anordenbar ist und vorzugsweise eine Lichtleiste aufweist.
Ein optisches Signal kann von normalsehenden Verkehrsteilnehmern einfach per Blickkontakt mit dem Fahrzeug wahrgenommen werden. Ein akustisches Signal, zum Beispiel ein Ton oder eine Tonfolge mit einer bestimmten Frequenz, können von sehschwachen, insbesondere von blinden, Verkehrsteilnehmern wahrgenommen werden. Ein elektrisches Signal kann auch taktil wahrgenommen werden.
Eine Lichtleiste ist ein schmales, insbesondere langes Bauteil, das lichtemittierende Bauelemente aufweist. Eine Lichtleiste kann besonders einfach optisch wahrgenommen werden.
Durch eine Anordnung in einem Frontbereich und/oder Heckbereich des Fahrzeuges, vorzugsweise an einer Stoßstange, kann das Signal des Signalgebers von einem Verkehrsteilnehmer in einem Umfeld des Fahrzeuges besonders einfach wahrgenommen werden. In einer bevorzugten Ausgestaltung der Erfindung weist das Fahrerassistenzsystem eine Schnittstelle auf, um ein Signal des Signalgebers an eine für den Verkehrsteilnehmer tragbare Vorrichtung zur Erhöhung der Verkehrssicherheit auszugeben, wobei die tragbare Vorrichtung ausgeführt ist, in Abhängigkeit des Signals des Signalgebers den Verkehrsteilnehmer mittels einer Vibration auf die Signalisierung des Fahrzeugsteuerungsbefehls aufmerksam zu machen.
Tragbare Vorrichtungen, die auch Wearables genannt werden, werden vielfältig eingesetzt im Fitness oder Wellnessbereich und sind mit einem Netzwerk verbunden, um Daten mit anderen Geräten, wie zum Beispiel Computern oder anderen tragbaren Vorrichtungen oder mobilen Endgeräten, austauschen zu können. Tragbare Vorrichtungen werden am Körper getragen.
Die Vibration kann insbesondere über einen Lautsprecher als akustisch wahrnehmbares Signal ausgegeben werden. Die tragbare Vorrichtung kann insbesondere ein Smartphone oder eine Smartwatch sein. Mit einer derartigen tragbaren Vorrichtung werden insbesondere Fußgänger und Fahrradfahrer frühzeitig vor Fahrentscheidungen im Straßenverkehr gewarnt. Eine derartige tragbare Vorrichtung ist ein Beispiel für eine Car-to-X Communication Anwendung.
Erfindungsgemäß wird ein erfindungsgemäßes Fahrerassistenzsystem in einem automatisiert betreibbaren Fahrzeug verwendet.
Das erfindungsgemäße Verfahren zum Erkennen einer Bedeutung eines Zeichens eines Verkehrsteilnehmers und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens weist die folgenden Verfahrensschritte auf:
- Erfassen des Zeichens,
- Speisen eines auf eine Bedeutung des Zeichens trainiertes künstliches neuronales Netzwerk mit der Erfassung des Zeichens,
- Erhalten eines Fahrzeugsteuerungsbefehl in der Speisung des künstlichen neuronalen Netzwerks,
und - Ausgeben des Fahrzeugsteuerungsbefehls für den Verkehrsteilnehmer. Mit dem erfindungsgemäßen Verfahren wird die Bedeutung des Zeichens automatisiert erkannt und eine entsprechende Fahrzeugreaktion dem Verkehrsteilnehmer einfach signalisiert.
Vorzugsweise wird zur Durchführung des erfindungsgemäßen Verfahrens eine erfindungsgemäße Einsatzauswerteeinrichtung oder ein erfindungsgemäßes Fahrerassistenzsystem verwendet.
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und weist Softwarecodeabschnitte auf, mit denen die Schritte des erfindungsgemäßen Verfahrens zum Erkennen einer Bedeutung eines Zeichens eines Verkehrsteilnehmers und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
Die Erfindung wird anhand der nachfolgenden Figuren ausführlich beschrieben. Es zeigen:
Fig. 1 : ein Ausführungsbeispiel einer erfindungsgemäßen Trainingsauswerteeinrich- tung,
Fig.2: ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Trainieren eines künstlichen neuronalen Netzwerks,
Fig. 3: ein Ausführungsbeispiel eines Computerprogrammprodukts,
Fig. 4: ein Ausführungsbeispiel einer erfindungsgemäßen Einsatzauswerteeinrichtung,
Fig. 5: ein Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems, Fig. 6: Ausführungsbeispiele für Signalgeber eines erfindungsgemäßen Fahrerassistenzsystems,
Fig. 7: ein Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems mit einem Ausführungsbeispiel einer tragbaren Vorrichtung,
Fig. 8: ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Erkennen einer Bedeutung eines Zeichens eines Verkehrsteilnehmers und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens und
Fig. 9: ein weiteres Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems.
In den Figuren bezeichnen gleiche Bezugsziffern gleiche oder funktionsähnliche Bezugsteile. In den jeweiligen Figuren werden lediglich die jeweils relevanten Bezugsteile mit Bezugsziffern gekennzeichnet.
Die in Fig. 1 dargestellte Trainingsauswerteeinnchtung 10 erhält über eine erste Eingangsschnittstelle 1 1 ein Zeichen 2 eines Verkehrsteilnehmers 3. Das Zeichen 2 ist ein eindeutiges Handzeichen zur Aufforderung an einen Fahrer eines Fahrzeuges 1 zum Weiterfahren. Dieses Zeichen wird mittels eines Bildsensors einer Kamera als Beispiel eines Umfelderfassungssensors 5 erfasst. Über eine zweite Eingangsschnittstelle 12 erhält die Trainingsauswerteeinnchtung 10 einen Fahrersteuerungsbefehl 4. Der Fahrersteuerungsbefehl 4 ist Gas geben. Der Fahrer des Fahrzeuges betätigt zur Ausführung des Fahrersteuerungsbefehls 4 ein Gas Pedal. Der hierzu erforderliche Druck auf das Gas Pedal kann in eine elektrische Spannung umgewandelt werden, die mittels einem Fahrzeug-Datenübertragungssystem 6 über die zweite Eingangsschnittstelle 12 in die Trainingsauswerteeinnchtung 10 eingegeben und dort weiterverarbeitet wird.
Die Trainingsauswerteeinnchtung 10 ist beispielsweise ein Graphikkartenprozessor, der speziell für automobile Anwendungen ausgelegt ist, und der ein künstliches neuronales Netzwerk 13 ausführt. Das künstliche neuronale Netzwerk 13 ist zum Bei- spiel ein rekurrentes künstliches neuronales Netzwerk 13, bei dem Neuronen 16 einer Schicht mit Neuronen 16 einer vorangehenden Schicht verbunden sind.
Die Eingänge, das heißt die Inputs, des künstlichen neuronalen Netzwerks 13 sind die Erfassung des Zeichens 2 und ein dem Zeichen 2 entsprechender Fahrersteuerungsbefehl 4. Der Ausgang, das heißt der Output, des künstlichen neuronalen Netzwerks 13 ist ein anhand der Eingänge berechneter Fahrzeugsteuerungsbefehl 14. Durch Anpassung von Gewichtungsfaktoren 15 wird der berechnete Fahrzeugsteuerungsbefehl 14 derart optimiert, dass der Fahrzeugsteuerungsbefehl 14 mit dem Fahrersteuerungsbefehl 4 übereinstimmt. Durch tatsächlich gefahrene Testfahrten und/oder simulierte Testfahrten lernt die Trainingsauswerteeinnchtung 10, einem erfassten Zeichen 2 einen entsprechenden Fahrzeugsteuerungsbefehl 14 und damit dem Zeichen 2 eine entsprechende Bedeutung zuzuordnen. Erfasst die Trainingsauswerteeinnchtung 10, die an dem Fahrzeug 1 angeordnet ist, ein Handzeichen eines an einem Zebrastreifen 9 wartenden Verkehrsteilnehmers 3, und einen entsprechenden Fahrersteuerungsbefehl 4, im Falle eines Weiterfahrt-Winkens ein Gas Geben, im Falle eines Anhaltezeichens ein Bremsen, lernt die Trainingsauswerteeinnchtung 10 einen entsprechend situationsabhängigen Fahrzeugsteuerungsbefehl 14 zu generieren. In einer dazu ähnlichen Situation kann dann die Trainingsauswerteeinnchtung 10 zweckgerichtet mit einem Fahrzeugsteuerungsbefehl 14 reagieren, ohne einen entsprechenden Fahrersteuerungsbefehl 4 erfasst zu haben.
Fig. 2 zeigt das erfindungsgemäße Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks 13. Das künstliche neuronale Netzwerk wird dabei auf der in Fig. 1 gezeigten Trainingsauswerteeinnchtung 10 für das Fahrzeug 1 ausgeführt wird.
Der Umfelderfassungssensor 5 stellt der Trainingsauswerteeinnchtung 10 das während einer Fahrt mit dem Fahrzeug 1 erfasste Zeichen 2 des Verkehrsteilnehmers 3 über die erste Eingangsschnittstelle 1 1 und den dem Zeichen 2 entsprechenden Fahrersteuerungsbefehl 4 über die zweite Eingangsschnittstelle 12 bereit. Die Trainingsauswerteeinnchtung 10 speist das künstliche neuronale Netzwerks 13 mit dem Zeichen 2 und dem Fahrersteuerungsbefehl 4. Zusätzlich simuliert die Trainingsauswerteeinnchtung 10 eine Fehlerbewegung des Fahrzeuges 1 , zum Beispiel ein Anhalte- Fahrzeugsteuerungsbefehl bei einem erfassten Weiterwinken Zeichen des Verkehrsteilnehmers. Damit lassen sich Fehlerbewegungen ohne zusätzliche Sensoren direkt gewinnen. Mit simulierten Fehlerbewegungen lernt das künstliche neuronale Netzwerk 13, auf Fehler zu reagieren. Als Output des künstlichen neuronalen Netzwerks 10 wird der entsprechende Fahrzeugsteuerungsbefehls 14 erhalten. Die Gewichtungsfaktoren 15 werden derart angepasst, beispielsweise durch Rückwärtsspeisen des künstlichen neuronalen Netzwerks 13, dass der Fahrzeugsteuerungsbefehl 14 mit dem Fahrersteuerungsbefehl 4 übereinstimmt. Damit lernt das künstliche neuronale Netzwerk 13 die semantische Bedeutung des Zeichens 2.
Ein Computerprogrammprodukt 20 ist in Fig. 3 dargestellt. Das Computerprogrammprodukt 20 wird in einen Speicher 21 eines Computers 22 geladen und führt dort die Schritte des Verfahrens zum Trainieren des künstlichen neuronalen Netzwerks 13 aus.
Fig. 4 zeigt eine Einsatzauswerteeinrichtung 30, die ein gemäß dem in Fig. 2 gezeigten Verfahren trainiertes künstliches neuronales Netzwerk 13 ausführt. Über eine Eingangsschnittstelle 31 wird der Einsatzauswerteeinrichtung 30 das mit dem Umfelderfassungssensor 5 erfasste Zeichen 2 des Verkehrsteilnehmers 3 bereitgestellt.
Das künstliche neuronale Netzwerk 13 ist durch die Anordnung seiner Neuronen 16 und die in einer Trainingsphase erfolgte Anpassung der Gewichtungsfaktoren 15 optimiert, in Abhängigkeit des erfassten Zeichens 2 den zu diesem Zeichen korrespondierenden Fahrzeugsteuerungsbefehl 14 zu berechnen. Erfasst die Einsatzauswerteeinrichtung 30 ein eindeutiges Zeichen 2 zum Weiterfahren, berechnet die Einsatzauswerteinrichtung 30 mit Hilfe des künstlichen neuronalen Netzwerks 13 den entsprechenden Fahrzeugsteuerungsbefehl 14 zum Gas geben.
Über eine erste Ausgabeschnittstelle 32 gibt die Einsatzauswerteeinrichtung 30 den Fahrzeugsteuerungsbefehl für den Verkehrsteilnehmer 3 aus, um dem Verkehrsteilnehmer 3 zu signalisieren, dass das Fahrzeug 1 dessen Zeichen 2 erfasst hat und mit einem entsprechenden Fahrverhalten reagieren wird. Über eine zweite Ausgabeschnittstelle 33 wird der Fahrzeugsteuerungsbefehl 14 für eine Fahrzeugsteuerungs- einrichtung 40 ausgegeben, um das Fahrzeug 1 dem Fahrzeugsteuerungsbefehl 14 entsprechend automatisiert zu steuern.
Die Fahrzeugsteuerungseinrichtung 40, die auch in Fig. 9 gezeigt ist, regelt die Längs- und/oder Quersteuerung des Fahrzeuges 1 .
Ein erfindungsgemäßes Fahrerassistenzsystem 50 ist in Fig. 5 gezeigt. Das Fahrerassistenzsystem 50 weist ein System aus Umfelderfassungssensoren auf aufweisend eine zentral angeordnete Frontkamera und zwei seitlich angeordnete Frontradare. Das Fahrerassistenzsystem 50 ist insbesondere ausgeführt, die verschiedenen erfassten Sensorrohdaten zu prozessieren, das heißt zum Beispiel aus den Kameradaten Bilder zu erzeugen, und zu einem Umgebungsmodell zu fusionieren.
Mit der Kamera und den Radargeräten wird ein Fußgänger als Verkehrsteilnehmer 3 an einem Zebrastreifen 9 erfasst. Der Verkehrsteilnehmer kann sich auch an einer anderen Überquerungsanlage, zum Beispiel einer Ampelüberquerung, befinden. Die Umfelderfassungssensoren 5 erfassen auch das Zeichen 2 des Verkehrsteilnehmers 3 zum Weiterfahren des Fahrzeuges 1 . Die Einsatzauswerteeinrichtung 30 des Fahrerassistenzsystems 50 berechnet mit Hilfe des künstlichen neuronalen Netzwerks 13 den zu dem Zeichen 2 entsprechenden Fahrzeugsteuerungsbefehl 14.
Das Fahrerassistenzsystem 50 weist des Weiteren einen Signalgeber 51 auf, mit dem der Fahrzeugsteuerungsbefehl 14 dem Verkehrsteilnehmer 3 signalisiert wird. Der Signalgeber 51 signalisiert damit dem Verkehrsteilnehmer 3 eine Fahrzeugreaktion auf die erkannte Bedeutung dessen Zeichens 2.
Der Signalgeber 51 erzeugt und gibt aus ein Signal. Das Signal ist ein visuell wahrnehmbares Signal, zum Beispiel ein Lichtsignal in einer bestimmten Farbe. Der Signalgeber 51 kann insbesondere als eine Lichtleiste 8 ausgeführt sein, die mehrere Leuchtmittel aufweist, wie im mittleren Ausführungsbeispiel der Fig. 6 gezeigt. Zum Beispiel kann die Lichtleiste 8 eine Leiste von Leuchtdioden sein. Im linken Ausführungsbeispiel der Fig. 6 ist der Signalgeber 51 horizontal, das heißt parallel zu einer Straßenoberfläche, ausgerichtet. Im rechten Ausführungsbeispiel der Fig. 6 ist der Signalgeber 51 vertikal, das heißt senkrecht, zur Oberfläche der Straße angeordnet.
Der Signalgeber 51 ist ausgeführt, dem in Fig. 5 gezeigten Verkehrsteilnehmer 3 eine Weiterfahrt des Fahrzeuges 1 , das heißt zum Beispiel ein Gas Geben, mit einem Lichtsignal in einer ersten Farbe, vorzugsweise grün, und ein Anhalten des Fahrzeuges, das heißt zum Beispiel ein Bremsen, mit einem Lichtsignal in einer zweiten Farbe, vorzugsweise rot, zu signalisieren.
Das Fahrerassistenz 50 der Fig. 7 weist eine Schnittstelle 52 auf. Die Schnittstelle 52 ist eine WLAN Schnittstelle, mit der das Signal des Signalgebers 51 an eine tragbare Vorrichtung 60, die von dem Verkehrsteilnehmer 3 getragen wird, ausgegeben wird. Durch die Schnittstelle 52 und die tragbare Vorrichtung 60 wird eine komplette Vernetzung von dem Fahrzeug 1 und dem schwächeren Verkehrsteilnehmer 3 realisiert. Eine derartige Vernetzung kann insbesondere in einer Cloud, in der vorzugsweise ein entsprechender Algorithmus ausgeführt wird, erfolgen. Dadurch wird die Verkehrssicherheit erhöht. Insbesondere kann vor Kollisionen gewarnt werden. Die tragbare Vorrichtung 60 ist außerdem ausgeführt, in Abhängigkeit des Signals des Signalgebers 51 den Verkehrsteilnehmer 3 mittels einer Vibration auf die Signalisierung des Fahrzeugsteuerungsbefehls 14 aufmerksam zu machen.
Das erfindungsgemäße Verfahren zum Erkennen einer Bedeutung eines Zeichens 2 eines Verkehrsteilnehmers 3 und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens 2 ist in Fig. 9 dargestellt. In einem ersten Verfahrensschritt wird das Zeichen 2 des Verkehrsteilnehmers 3 erfasst, zum Beispiel mit einem Umfelderfassungssensor 5. Anschließend wird ein auf eine Bedeutung des Zeichens 2 trainiertes künstliches neuronales Netzwerk 13 mit dieser Erfassung des Zeichens 2 gespeist. Als Output des künstlichen neuronalen Netzwerks 13 wird ein Fahrzeugsteuerungsbefehl 14 erhalten. Dieser Fahrzeugsteuerungsbefehl 14 wird für den Verkehrsteilnehmer 3 ausgegeben.
Ein Computerprogrammprodukt 70 zur Ausführung des erfindungsgemäßen Verfahrens zum Erkennen einer Bedeutung eines Zeichens 2 eines Verkehrsteilnehmers 3 und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens 2 ist in Fig. 3 gezeigt.
Das Fahrerassistenzsystem 50 kann auch in folgender Situation erfolgreich verwendet werden. Ein Verkehrsteilnehmer 3, zum Beispiel ein Fußgänger, steht an einem Zebrastreifen 9 und möchte noch auf einen anderen Verkehrsteilnehmer 3 warten. Das Fahrerassistenzsystem 50 des automatisiert fahrenden Fahrzeuges 1 erkennt den einzelnen Verkehrsteilnehmer 3 und signalisiert ihm mittels dem Signalgeber 51 , dass es anhalten wird. Der Verkehrsteilnehmer 3 gibt durch eine eindeutige Gestik, beispielsweise durch eine Handbewegung, dem Fahrzeug 1 zu erkennen, dass das Fahrzeug 1 weiterfahren soll. Diese Handbewegung wird als Zeichen 2 mit der entsprechenden Bedeutung erkannt und mittels des Fahrerassistenzsystems 50 verarbeitet. Das Fahrzeug 1 ändert daraufhin das Signal, und der Signalgeber 51 signalisiert, dass das Fahrzeug 1 nun weiterfahren wird. Das Fahrerassistenzsystem 50 schätzt die Gestik anhand Größe, Alter und/oder Gesichtszügen des Verkehrsteilnehmers 3 ein. Diese Einschätzung ist erforderlich, um Kinder und ältere Menschen sensibel zu analysieren.
Bezugszeichen Fahrzeug
Zeichen
Verkehrsteilnehmer
Fahrersteuerungsbefehl
Umfelderfassungssensor
Fahrzeug-Datenübertragungssystem Stoßstange
Lichtleiste
Zebrastreifen
Trainingsauswerteeinrichtung
erste Eingangsschnittstelle
zweite Eingangsschnittstelle
künstliches neuronales Netzwerk
Fahrzeugsteuerungsbefehl
Gewichtungsfaktor
Neuron
Computerprogrammprodukt
Speicher
Computer
Einsatzauswerteeinrichtung
Eingangsschnittstelle
erste Ausgabeschnittstelle
zweite Ausgabeschnittstelle
Fahrzeugsteuerungseinrichtung
Fahrerassistenzsystem
Signalgeber
Schnittstelle
tragbare Vorrichtung
Computerprogrammprodukt

Claims

Patentansprüche
1 . Trainingsauswerteeinrichtung (10) für ein Fahrzeug (1 ) mit
- einer ersten Eingangsschnittstelle (1 1 ), um eine Erfassung eines Zeichens (2) eines Verkehrsteilnehmers (3) zu erhalten,
- einer zweiten Eingangsschnittstelle (12), um einen dem Zeichen (2) entsprechenden Fahrersteuerungsbefehl (4) zu erhalten,
- wobei die Trainingsauswerteeinrichtung (10) ausgeführt ist, ein künstliches neuronales Netzwerk (13) mit der Erfassung des Zeichens (2) und dem Fahrersteuerungsbefehl (4) zu speisen,
• um in der Speisung des künstlichen neuronalen Netzwerks (13) einen Fahrzeugsteuerungsbefehl (14) zu erhalten,
und
• Gewichtungsfaktoren (15) derart anzupassen, dass der Fahrzeugsteuerungsbefehl (14) mit dem Fahrersteuerungsbefehl (4) übereinstimmt,
zum maschinellen Lernen einer Bedeutung des Zeichens (2).
2. Trainingsauswerteeinrichtung (10) nach Anspruch 1 , dadurch gekennzeichnet, dass die erste Eingangsschnittstelle (1 1 ) ausgeführt ist, ein visuelles, vorzugsweise eine Gestik, insbesondere eine Handbewegung, und/oder eine Mimik, und/oder ein akustisches Zeichen (2) des Verkehrsteilnehmers (3) zu erhalten.
3. Trainingsauswerteeinrichtung (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass
- die erste Eingangsschnittstelle (1 1 ) ausgeführt ist, eine Erfassung einer Größe und/oder eines Gesichtszuges des Verkehrsteilnehmers (3) zu erhalten,
- wobei das künstliche neuronale Netzwerk (13) ausgeführt ist, anhand der Größe und/oder des Gesichtszuges ein Alter des Verkehrsteilnehmers (3) zu erhalten, um den Fahrzeugsteuerungsbefehl (14) in Abhängigkeit des Alters zu anzupassen.
4. Trainingsauswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die erste Eingangsschnittstelle (1 1 ) eine Schnittstelle zu einem Umfelderfassungssensor (5) und/oder einem System von Umfelderfassungssensoren (5), vorzugsweise einem Bildsensor einer Kamera, einem Radar, einem Lidar und/oder einem Schallsensor ist und/oder die zweite Eingangsschnittstelle (12) eine Schnittstelle zu einem Fahrzeug-Datenübertragungssystem (6), vorzugsweise einem CAN-Bus, ist.
5. Trainingsauswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (13) ein mehrschichtiges, vorzugsweise ein konvolutionales oder ein rekurrentes, künstliches neuronales Netzwerk (13) ist.
6. Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks (13), wobei das künstliche neuronale Netzwerk (13) auf einer Trainingsauswerteeinrichtung (10) für ein Fahrzeug (1 ) ausgeführt wird, mit den folgenden Verfahrensschritten:
- Bereitstellen von einem während einer Fahrt erhaltenen Zeichen (2) eines Verkehrsteilnehmers (3) und einem dem Zeichen (2) entsprechenden Fahrersteuerungsbefehl (4),
- Speisen des künstlichen neuronalen Netzwerks (13) mit dem Zeichen (2) und dem Fahrersteuerungsbefehl (4),
- Erhalten eines Fahrzeugsteuerungsbefehls (14) in der Speisung des künstlichen neuronalen Netzwerks (13),
und
- Anpassen von Gewichtungsfaktoren (15) derart, dass der Fahrzeugsteuerungsbefehl (14) mit dem Fahrersteuerungsbefehl (4) übereinstimmt,
wobei das künstliche neuronale Netzwerk (13) eine Bedeutung des Zeichens (2) lernt.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zur Durchführung des Verfahrens eine Trainingsauswerteeinrichtung (10) nach einem der Ansprüche 1 bis 5 verwendet wird.
8. Computerprogrammprodukt (20), das ausgeführt ist, in einen Speicher (21 ) eines Computers (22) geladen zu werden und das Softwarecodeabschnitte aufweist, mit denen die Schritte des Verfahrens nach Anspruch 6 oder 7 ausgeführt werden, wenn das Computerprogrammprodukt (20) auf dem Computer (22) läuft.
9. Einsatzauswerteeinrichtung (30) für ein automatisiert betreibbares Fahrzeug (1 ) mit
- einer Eingangsschnittstelle (31 ), um eine Erfassung eines Zeichens (2) eines Verkehrsteilnehmers (3) zu erhalten,
- wobei die Einsatzauswerteeinrichtung (30) ausgeführt ist, ein auf eine Bedeutung des Zeichens (2), vorzugsweise nach einem Verfahren nach Anspruch 6 oder 7, trainiertes künstliches neuronales Netzwerk (13) mit der Erfassung des Zeichens (2) zu speisen und einen dem Zeichen (2) entsprechenden Fahrzeugsteuerungsbefehl (14) zu erhalten,
und
- einer ersten Ausgabeschnittstelle (32), um den Fahrzeugsteuerungsbefehl (14) für den Verkehrsteilnehmer (3) auszugeben,
um die Bedeutung des Zeichens (2) zu erkennen und dem Verkehrsteilnehmer (3) eine Fahrzeugreaktion auf die erkannte Bedeutung dieses Zeichens (2) zu signalisieren.
10. Einsatzauswerteeinrichtung (30) nach Anspruch 9, dadurch gekennzeichnet, dass die Einsatzauswerteeinrichtung (30) ausgeführt ist, in Abhängigkeit eines er- fassten Anhaltezeichens oder Weiterfahrtzeichens dem Verkehrsteilnehmer (3) eine Weiterfahrt oder ein Anhalten des Fahrzeuges (1 ) zu signalisieren.
1 1 . Einsatzauswerteeinrichtung (30) nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Einsatzauswerteeinrichtung (30) eine zweite Ausgabeschnittstelle (33) aufweist, um den Fahrzeugsteuerungsbefehl (14) für eine Fahrzeugsteuerungseinrichtung (40) auszugeben.
12. Fahrerassistenzsystem (50) mit
- einem Umfelderfassungssensor (5) oder einem System von Umfelderfassungssensoren (5) zur Erfassung eines Zeichens (2) eines Verkehrsteilnehmers (3), - einer Einsatzauswerteeinrichtung (30), die ausgeführt ist, ein auf eine Bedeutung des Zeichens (2) trainiertes künstliches neuronales Netzwerk (13) mit der Erfassung des Zeichens (2) zu speisen und einen dem Zeichen (2) entsprechenden Fahrzeugsteuerungsbefehl (14) zu erhalten,
und
- einem Signalgeber (51 ), der ausgeführt ist, den Fahrzeugsteuerungsbefehl (14) dem Verkehrsteilnehmer (3) zu signalisieren,
um eine Bedeutung des Zeichens (2) zu erkennen und dem Verkehrsteilnehmer (3) eine Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens (2) zu signalisieren.
13. Fahrerassistenzsystem (50) nach Anspruch 12, dadurch gekennzeichnet, dass die Einsatzauswerteeinrichtung (30) eine Einsatzauswerteeinrichtung (30) nach einem der Ansprüche 9 bis 1 1 ist.
14. Fahrerassistenzsystem (50) nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass der Signalgeber (51 ) ausgeführt ist, ein elektrisches, optisches und/oder akustisches Signal zu erzeugen, wobei der Signalgeber (51 ) vorzugsweise in einem Frontbereich und/oder Heckbereich des Fahrzeuges (1 ), vorzugsweise an einer Stoßstange (7), anordenbar ist und vorzugsweise eine Lichtleiste (8) aufweist.
15. Fahrerassistenzsystem (50) nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (50) eine Schnittstelle (52) aufweist, um ein Signal des Signalgebers (51 ) an eine für den Verkehrsteilnehmer (3) tragbare Vorrichtung (60) zur Erhöhung der Verkehrssicherheit auszugeben, wobei die tragbare Vorrichtung (60) ausgeführt ist, in Abhängigkeit des Signals des Signalgebers (51 ) den Verkehrsteilnehmer (3) mittels einer Vibration auf die Signalisierung des Fahrzeugsteuerungsbefehls (14) aufmerksam zu machen.
16. Verwendung eines Fahrerassistenzsystems (50) nach einem der Ansprüche 12 bis 15 in einem automatisiert betreibbaren Fahrzeug (1 ).
17. Verfahren zum Erkennen einer Bedeutung eines Zeichens (2) eines Verkehrsteilnehmers (3) und zum Signalisieren einer Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens (2) mit den folgenden Verfahrensschritten:
- Erfassen des Zeichens (2),
- Speisen eines auf eine Bedeutung des Zeichens (2) trainiertes künstliches neuronales Netzwerk (13) mit der Erfassung des Zeichens (2),
- Erhalten eines Fahrzeugsteuerungsbefehl (14) in der Speisung des künstlichen neuronalen Netzwerks (13),
und
- Ausgeben des Fahrzeugsteuerungsbefehls (14) für den Verkehrsteilnehmer (3).
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass zur Durchführung des Verfahrens eine Einsatzauswerteeinrichtung (30) nach einem der Ansprüche 9 bis 1 1 oder ein Fahrerassistenzsystem (50) nach einem der Ansprüche 12 bis 15 verwendet wird.
19. Computerprogrammprodukt (70), das ausgeführt ist, in einen Speicher (21 ) eines Computers (22) geladen zu werden und das Softwarecodeabschnitte aufweist, mit denen die Schritte des Verfahrens nach Anspruch 17 oder 18 ausgeführt werden, wenn das Computerprogrammprodukt (70) auf dem Computer (22) läuft.
EP18772739.1A 2017-09-28 2018-08-30 Kommunikationsfluss von verkehrsteilnehmer in richtung eines automatisiert fahrenden fahrzeug Withdrawn EP3688661A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017217256.8A DE102017217256A1 (de) 2017-09-28 2017-09-28 Kommunikationsfluss von Verkehrsteilnehmer in Richtung eines automatisiert fahrenden Fahrzeug
PCT/EP2018/073318 WO2019063237A1 (de) 2017-09-28 2018-08-30 Kommunikationsfluss von verkehrsteilnehmer in richtung eines automatisiert fahrenden fahrzeug

Publications (1)

Publication Number Publication Date
EP3688661A1 true EP3688661A1 (de) 2020-08-05

Family

ID=63637853

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18772739.1A Withdrawn EP3688661A1 (de) 2017-09-28 2018-08-30 Kommunikationsfluss von verkehrsteilnehmer in richtung eines automatisiert fahrenden fahrzeug

Country Status (5)

Country Link
US (1) US11126872B2 (de)
EP (1) EP3688661A1 (de)
CN (1) CN110663042B (de)
DE (1) DE102017217256A1 (de)
WO (1) WO2019063237A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017217256A1 (de) 2017-09-28 2019-03-28 Zf Friedrichshafen Ag Kommunikationsfluss von Verkehrsteilnehmer in Richtung eines automatisiert fahrenden Fahrzeug
US20230356728A1 (en) * 2018-03-26 2023-11-09 Nvidia Corporation Using gestures to control machines for autonomous systems and applications
US11347225B2 (en) * 2019-02-05 2022-05-31 Intel Corporation Mechanism for conflict resolution and avoidance of collisions for highly automated and autonomous vehicles
DE102019208735B4 (de) * 2019-06-14 2021-12-23 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
CN113393687B (zh) * 2020-03-12 2023-07-21 奥迪股份公司 驾驶辅助装置、驾驶辅助方法、车辆和介质
DE102020116054A1 (de) * 2020-06-18 2021-12-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Ermitteln eines neuronalen Netzes und zum Betreiben eines Fahrzeuges
DE102021208422A1 (de) 2021-08-04 2023-02-09 Zf Friedrichshafen Ag Verfahren, Computerprogramm, eingebettetes System und Fahrsystem zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern
DE102023209058A1 (de) * 2023-09-19 2025-03-20 Robert Bosch Gesellschaft mit beschränkter Haftung Hierarchische Systemarchitektur zur Steuerung eines automatisierten Fahrzeugs
DE102023132461A1 (de) * 2023-11-21 2025-05-22 Bayerische Motoren Werke Aktiengesellschaft Steuerung eines Kraftfahrzeugs

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE8205948U1 (de) * 1982-03-04 1984-03-08 Goebels, Hardo, 6800 Mannheim Kraftfahrzeug
DE4305186C2 (de) 1993-02-19 1996-02-01 Gerhaher Max Verfahren zur Reduzierung der Gefahr von Auffahrunfällen im Straßenverkehr durch eine Verzögerungswarnung und Verzögerungswarnanlage
US6421600B1 (en) * 1994-05-05 2002-07-16 H. R. Ross Industries, Inc. Roadway-powered electric vehicle system having automatic guidance and demand-based dispatch features
DE10200002A1 (de) * 2001-01-12 2002-08-22 Zoltan Pal E-Traffic Network e-Verkehr Netzwerk Verfahren Computergestützte über Präzision Position Information Navigation Telekommunikation Verkehrsüberwachungs-Koordinations-Operationssystem
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
KR101035805B1 (ko) * 2005-02-14 2011-05-20 삼성전자주식회사 이동체가 주행할 목적지까지 경로를 안내하는 방법
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US20120126996A1 (en) * 2010-11-19 2012-05-24 Mccarthy Tom C Hazardous vehicle alert system and method based on reaction time, distance and speed
DE102011111422A1 (de) * 2011-08-23 2013-02-28 Audi Ag Multifunktionsband für ein Kraftfahrzeug
DE102011112577A1 (de) * 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeg zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
DE102011114888A1 (de) * 2011-10-05 2013-04-11 Gm Global Technology Operations, Llc Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs und Fahrerassistenzsystem für ein Kraftfahrzeug
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
DE102012022207B3 (de) * 2012-11-13 2014-01-09 Audi Ag Verfahren zum Bereitstellen von Fahrstreckeninformationen mittels zumindest eines Kraftwagens
GB201305067D0 (en) * 2013-03-19 2013-05-01 Massive Analytic Ltd Apparatus for controlling a land vehicle which is self-driving or partially self-driving
KR101470140B1 (ko) * 2013-04-01 2014-12-05 현대자동차주식회사 주행모드 제어 시스템 및 방법
US20150109148A1 (en) * 2013-10-18 2015-04-23 Elwha Llc Pedestrian Warning System
US9014905B1 (en) 2014-01-28 2015-04-21 Google Inc. Cyclist hand signal detection by an autonomous vehicle
US10112528B1 (en) * 2015-07-28 2018-10-30 Apple Inc. Exterior lighting and warning system
US11077768B2 (en) * 2015-07-30 2021-08-03 Ford Global Technologies, Llc Personalized range protection strategy for electrified vehicles
US9864918B2 (en) 2015-11-04 2018-01-09 Ford Global Technologies, Llc Predicting vehicle movements based on driver body language
US20170190336A1 (en) * 2016-01-04 2017-07-06 Delphi Technologies, Inc. Automated Vehicle Operation Based On Gesture To Pedestrian
US9969326B2 (en) * 2016-02-22 2018-05-15 Uber Technologies, Inc. Intention signaling for an autonomous vehicle
US9913116B2 (en) * 2016-02-24 2018-03-06 Robert D. Pedersen Multicast expert system information dissemination system and method
CN205396082U (zh) * 2016-03-01 2016-07-27 西安工业大学 一种车辆防溜车的提醒装置
DE102016114353A1 (de) * 2016-08-03 2018-02-08 Daimler Ag Endkappe für eine beleuchtete Zierleistenanordnung sowie Zierleistenanordnung
US11001262B2 (en) * 2017-01-31 2021-05-11 Ford Global Technologies, Llc Vehicle systems and methods for avoiding unintentional electrified vehicle movement and for reducing electrified vehicle noise, vibration, and harshness
DE102017217256A1 (de) 2017-09-28 2019-03-28 Zf Friedrichshafen Ag Kommunikationsfluss von Verkehrsteilnehmer in Richtung eines automatisiert fahrenden Fahrzeug

Also Published As

Publication number Publication date
US11126872B2 (en) 2021-09-21
WO2019063237A1 (de) 2019-04-04
US20200005056A1 (en) 2020-01-02
DE102017217256A1 (de) 2019-03-28
CN110663042A (zh) 2020-01-07
CN110663042B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
EP3688661A1 (de) Kommunikationsfluss von verkehrsteilnehmer in richtung eines automatisiert fahrenden fahrzeug
DE102021110309A1 (de) Verfahren zum Modellieren eines menschlichen Fahrverhaltens zum Trainieren von Bewegungssteuerungen, die auf einem neuronalen Netzwerk basieren
DE102017208728B4 (de) Verfahren zur Ermittlung einer Fahranweisung
DE102015224555A1 (de) Verfahren zum Betreiben eines Fahrzeugs
DE102019135131B4 (de) Verfahren zur Verbesserung der Straßensicherheit
EP3828758A1 (de) Objektklassifizierungsverfahren, objektklassifizierungsschaltung, kraftfahrzeug
DE102021203520B3 (de) Verfahren zum Erzeugen eines Steuersignals für eine Querregeleinrichtung eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, sowie Assistenzsystem
DE102021206297A1 (de) Verfahren und System zum Betreiben eines wenigstens teilweise automatisierten Fahrzeugs
DE102021004191A1 (de) Verfahren zur Erkennung einer Überholabsicht und/oder Vorhersage von Einschermanövern von Fahrzeugen vor einem Ego-Fahrzeug
DE10309934A1 (de) Fahrsimulator und Verfahren zum Simulieren des Fahrzeugstands eines Fahrzeuges
DE102014201037A1 (de) Informationsübermittlung durch Oberflächenveränderung
WO2019211293A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines egofahrzeugs mit wenigstens einem umfeldsensor zum erfassen eines umfelds des egofahrzeugs, computer-lesbares medium, system, und fahrzeug
DE102021205037A1 (de) Verfahren zum Ermitteln einer Steueraktion für eine Robotervorrichtung
DE102018212266A1 (de) Anpassung eines auswertbaren Abtastbereichs von Sensoren und angepasste Auswertung von Sensordaten
DE102020212009A1 (de) Steuervorrichtung für ein Fahrzeug
DE102008038859A1 (de) System zur Erfassung der Wahrnehmung eines Menschen
WO2019115186A2 (de) Signalisieren einer fahrentscheidung eines automatisiert betreibbaren fahrzeuges für einen verkehrsteilnehmer
DE102020209987A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten
DE102018206745B4 (de) Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug
DE102020003692A1 (de) Assistenzsystem zur schallabhängigen Erkennung von Objekten im Straßenverkehr und einer Warnfunktion
DE102018219255A1 (de) Trainingssystem, Datensatz, Trainingsverfahren, Auswerteeinrichtung und Einsatzsystem für ein Straßenfahrzeug zum Erfassen und Klassifizieren von Verkehrsgeräuschen
DE102021004068A1 (de) Verfahren zum Betrieb eines Assistenzsystems zur geschwindigkeitsabhängigen Abstandsregelung eines Fahrzeugs
DE102022132377A1 (de) Verfahren zum Betreiben einer automatisierten Fahrfunktion, Verfahren zum Trainieren einer künstlichen Intelligenz und Verarbeitungseinrichtung
WO2023025613A1 (de) Validieren einer fahrsteuerungsfunktion für den automatischen betrieb eines fahrzeugs
DE102018219269A1 (de) Verfahren, Computerprogrammprodukt, Detektionssystem und Verwendung des Detektionssystems zur akustischen Erfassung und/oder Zielverfolgung von Elektrofahrzeugen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190711

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220301