EP4120892A1 - Verarbeitungseinheit, system, und computerimplementiertes verfahren für einen fahrzeuginnenraum zur wahrnehmung und reaktion auf gerüche eines fahrzeuginsassen - Google Patents

Verarbeitungseinheit, system, und computerimplementiertes verfahren für einen fahrzeuginnenraum zur wahrnehmung und reaktion auf gerüche eines fahrzeuginsassen

Info

Publication number
EP4120892A1
EP4120892A1 EP21712061.7A EP21712061A EP4120892A1 EP 4120892 A1 EP4120892 A1 EP 4120892A1 EP 21712061 A EP21712061 A EP 21712061A EP 4120892 A1 EP4120892 A1 EP 4120892A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
sensor
vehicle occupant
processing unit
odors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21712061.7A
Other languages
English (en)
French (fr)
Inventor
Rene Seidemann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP4120892A1 publication Critical patent/EP4120892A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1468—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using chemical or electrochemical methods, e.g. by polarographic means
    • A61B5/1477—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using chemical or electrochemical methods, e.g. by polarographic means non-invasive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A61B5/4011—Evaluating olfaction, i.e. sense of smell
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4845—Toxicology, e.g. by detection of alcohol, drug or toxic products
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B60R25/04—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens operating on the propulsion system, e.g. engine or drive motor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • Vehicle interior for the perception and reaction to odors of a vehicle occupant
  • the invention relates to a processing unit, a system and a computer-implemented method for a vehicle interior for the perception and reaction to odors of a vehicle occupant.
  • Odor sensors are known from the prior art, see for example US 2019/0227042 A1.
  • the known odor sensors are based on light absorption spectroscopy, surface adsorption processes or chemical reactions.
  • Alcolocks also called alcohol ignition locks, that is, immobilizers in a vehicle that block the vehicle driver from starting the vehicle above a certain level of breath alcohol, see, for example, press releases from the European Parliament.
  • the well-known alcolocks include a hand-held device within reach of the driver's seat that measures the alcohol concentration in the breath.
  • Handge devices and attached devices are uncomfortable.
  • the object of the invention was to improve the perception of odors in a vehicle by vehicle occupants, in particular vehicle drivers, and since improved immobilizers for vehicles can be provided with them.
  • the invention provides a processing unit for a vehicle interior for sensing and responding to odors of a vehicle occupant.
  • the processing unit comprises a first interface to a first sensor that detects odor molecules in the air and / or body odor of the vehicle occupant in a vehicle interior and converts them into first signals in order to receive the first signals.
  • the first signals result from a Licht Cartwir effect or include frequencies and / or amplitudes of vibrations.
  • the processing unit comprises a second interface to a second sensor which identifies the vehicle occupant in order to obtain an identification of the vehicle occupant.
  • the processing unit executes commands that cause the processing unit, depending on a position of the vehicle occupant in the vehicle interior, to assign odors of the vehicle occupant that indicate drugs and / or diseases to the identification of the vehicle occupant and, in the case of a positive allocation, a second Signal generated, the commands include a first machine learning algorithm that is trained, depending on the first signals alcohol, cocaine, amphetamines, cigarette smoke, cannabis, tetrahydrocannabinol, morphine, methadone, ammonia, acetone or a combination of these substances in the Identify smells of the vehicle occupant.
  • the processing unit comprises a third interface to at least one vehicle unit in order to provide the vehicle occupant and / or a vehicle controller with the second signal.
  • the first machine learning algorithm is trained on semantic image segmentation to identify the vehicle occupant.
  • the commands include a second machine learning algorithm that is trained on semantic image segmentation to identify the vehicle occupant.
  • the processing unit is a computing unit that processes input signals and provides output signals, for example as regulating and / or control signals.
  • the processing unit comprises an electronic circuit, for example integrated circuits.
  • the processing unit comprises programmable logic modules, for example field programmable gateway arrays, in which circuit structures can be programmed by means of hardware commands.
  • the processing unit comprises at least one central processor unit that executes software program commands, and / or at least one graphics processor unit for executing processes in parallel or at least one multi-core processor.
  • the processing unit comprises at least one memory module, for example RAM, DRAM, SDRAM or SRAM, for a signal and / or data exchange with processors.
  • the processing unit is a system-on-chip. That means all or at least a big one Some of the functions are integrated on a chip and can be expanded modularly.
  • the processing unit or the chip is integrated into an electronic control device, for example an electronic control device for vehicle control.
  • the processing unit executes an artificial neural network that models the mitral cells, apical and lateral dendrites of the Mitralzel cells, the respective soma of the mitral cells and granule cells of the olfactory bulb. That is, the artificial neural network is programmed or is executed on the processing unit in such a way that the olfactory system of mammals is modeled by the execution. For example, the odor molecules from the exhaled breath are made available to the apical dendrites of each mitral cell.
  • the mitral cells are neurons of the artificial neural network.
  • the apical dendrites correspond to weighted connections of the mitral cell neurons.
  • the mitral cell neurons are activated, for example, via activation functions of the artificial neural network and activate further neurons in a further layer of the artificial neural network.
  • the other neurons in the other layer correspond to the body cells of the olfactory bulb.
  • the processing unit comprises a neural circuit which simulates the olfactory system of mammals.
  • the neural circuit is a neuromorphic circuit.
  • the olfactory system of mammals is mapped in hardware through the neuromorphic circuit.
  • the neuromorphic circuit is manufactured using CMOS technology, for example, which means it is based on complementary metal-oxide semiconductors.
  • the neuromorphic circuit includes neuristors, which are components that include models of neurons and synapses.
  • the elements of the neuromorphic circuit model, for example, mitral cells, apical and lateral dendrites of the mitral cells, the respective soma of the mitral cells and granule cells of the olfactory bulb.
  • the elements of the neuromorphic circuit are connected in an artificial neural network.
  • the artificial neural network which modeled the olfactory system of mammals, executed on the neuromorphic circuit.
  • the processing unit executes an artificial neural network which models the mitral cells, apical and lateral dendrites of the mitral cells, the respective soma of the mitral cells and granule cells of the olfactory bulb. That is, the artificial neural network is programmed or executed on the neuromorphic circuit in such a way that the execution models the olfactory system of mammals. For example, the odor molecules from the exhaled breath are made available to the apical dendrites of each mitral cell.
  • the mitral cells are neurons of the artificial neural network.
  • the apical dendrites correspond to weighted connections of the mitral cell neurons.
  • the mitral cell neurons are activated, for example, via activation functions of the artificial neural network and activate further neurons in a further layer of the artificial neural network.
  • the other neurons in the other layer correspond to the granule cells of the olfactory bulb.
  • Vehicles include passenger vehicles, for example cars, minibuses, buses, light and heavy commercial vehicles, agricultural machinery, for example tractors or excavators, rail-bound vehicles, for example trains, ships and passenger drones.
  • the invention is therefore not restricted to cars, for example, but represents an advantageous application for several types of vehicles that are driven by a vehicle driver in terms of perception and reaction to odors on perception and reaction to odors is an advantageous application.
  • vehicles of fleet operators are equipped with the subject matter of the invention. In this way, fleet operators receive, for example, information about their drivers with regard to their ability to drive as a function of alcohol consumption or an illness recognized by the subject matter of the invention.
  • the recordings according to the invention are transmitted to the fleet operator, for example via electronic logbook entries and / or via radio communication.
  • Odors include breath odor and other odors from other body orifices of living beings, that is to say body odors, for example body vapors through the skin. If there are animals, for example dogs, in the vehicle interior, the first sensor also detects smells from the animals. Based on the functionalities of the first sensor, it is initially not possible to distinguish from which living beings, for example humans or animals, odors are detected. The living beings are differentiated by the functionality of the second sensor. That is, through the combination of the functionalities of the first sensor and the second sensor, odors can be assigned to the respective living beings.
  • Vehicle occupants include vehicle drivers, vehicle occupants who do not perform the task of driving a vehicle, for example co-drivers or passengers, and animals.
  • the functionalities of the first sensor detect odors from the driver, front passenger and animals in the vehicle interior.
  • odors are evaluated by vehicle drivers.
  • Light interaction includes light scattering, backscattering, reflection, transmission, diffraction and refraction.
  • the first signals result from light scattering.
  • Odor molecules are recorded, for example, by means of the signatures of the odor molecules.
  • the signatures include absorption lines in an absorption spectrum, scattered light specific for the respective molecules, for example Raman or Ra yleigh scattering, specific oscillation patterns based on molecular masses or characteristics in impedance spectroscopy.
  • the vibration patterns are recorded, for example, with acceleration sensors, for example micro-electro-mechanical systems.
  • the signatures for the respective molecule are specific scattered light, for example scattered light from backscattering.
  • An odor molecule is a molecule with a distinctive odor.
  • the odor molecule (R) - (+) - limonene characterizes the main odorous substance of the lemon.
  • the signals are, for example, electrical signals.
  • the electrical signals include oscillation frequencies.
  • the vehicle occupant is identified via face recognition, for example via three-dimensional face recognition, the second sensor being a 3D sensor or 2D sensor or comprising several 2D sensors.
  • three-dimensional face recognition comprises recognition, classification and / or localization of individual points on the face, for example cheekbones or distances between eyes.
  • the vehicle occupant is identified via skin texture analysis.
  • skin texture analysis includes arrangement of lines and pores.
  • the instructions that the processing unit executes are program instructions or hardware instructions.
  • the commands are available as software code or machine code, for example.
  • Machine learning is a technology that teaches computers and other data processing devices to perform tasks by learning from data, rather than being programmed to perform the tasks.
  • the machine learning algorithm learns the smells and / or the identification of the vehicle occupant from the data.
  • One advantage of determining odors that indicate drugs and / or diseases in the breath and / or from the body odor of the vehicle occupant using the first machine learning algorithm is that no chemical methods are used to determine the alcohol content in breath, for example on a blowpipe are required and are therefore uncomfortable, or surface contact processes, for example adsorption processes, or invasive processes, for example Blood alcohol determination, are to be used. Breathing air and other body odors are released continuously and are evaluated by the processing unit.
  • the first machine learning algorithm comprises a graph neural network, in the input layer of which a graph is entered, the nodes of which model atoms and the edges of which model molecular connections.
  • the odor molecules are modeled as graphs and the smells are determined with a graph neural network.
  • the graphene neural network has learned, for example, to determine the odors associated with the odor molecules from the structure of odor molecules. This type of odor determination is known as a quantitative structure odor relationship, see for example B. Sanchez-Lengeling et al., “Machine Learning for Scent: Learning Generalizable Perceptual Representations of Small Molecules”, arXiv: 1910.10685v2 [stat.ML]
  • Drugs and / or diseases have characteristic smells that can be detected in the air we breathe. Drugs that can be detected in the air or that are consumed include alcohol, cocaine, amphetamines, cigarette smoke, cannabis, tetrahydrocannabinol, morphine and methadone. For example, a smell of ammonia suggests kidney disease. A smell of acetone suggests diabetes.
  • the second signal comprises an electrical signal for a display device, for example a display in the form of an infotainment system or a head -Up displays or an acoustic device, for example a loudspeaker system in the vehicle interior, to inform the vehicle occupant visually or acoustically that they are not fit to drive because of their alcohol content.
  • the second signal also includes a regulating and / or control signal for the vehicle control in order to prevent the vehicle from moving off in this case.
  • a control unit for vehicle communication is another example of a vehicle unit.
  • Vehicle communication includes vehicle to everything and vehicle to vehicle communication.
  • a fleet operator for example, is operated via vehicle communication Company that owns the vehicle or a government agency informs that a driver of one of their vehicles is unfit to drive because of alcohol content.
  • the processing unit compares or matches the odors with the driver of the vehicle.
  • the dependency of a position of the vehicle occupant also evaluates whether the vehicle occupant to whom the smells were assigned is located in a vehicle driver's area, for example on the vehicle driver's seat, and in the detection area of the first and / or second sensor.
  • the driver's ability to drive is impaired by alcohol consumption.
  • a co-driver is fit to drive.
  • the front passenger could move into the area of the vehicle driver when starting the journey.
  • the processing unit would evaluate the passenger's smells, not detect any drugs, and provide a second signal to drive off via the third interface of the vehicle control system.
  • the impaired driver would then drive the vehicle.
  • the processing unit recognizes in this case that the detected smells are assigned to the passenger and not to the driver.
  • the invention provides a system for a vehicle interior for the perception and reaction to odors of a vehicle occupant be ready.
  • the system comprises at least one first sensor which detects odor molecules in the air and / or body odor of the vehicle occupant in the vehicle interior and converts them into first signals.
  • the system further comprises at least one second sensor that identifies the vehicle occupant.
  • the system comprises a processing unit according to the invention, which is connected to transmit signals to the first and second sensor via a first and second interface.
  • the system provides a second signal to the processing unit of an optical, acoustic and / or tactile information unit or a vehicle control unit via a third interface.
  • the invention provides a computer-implemented method for sensing and responding to odors of a vehicle occupant.
  • the method comprises the steps
  • the invention provides a computer program for perceiving and responding to odors of a vehicle occupant.
  • the computer program includes commands that cause an inventive Processing unit executes a method according to the invention when the computer program is executed on the processing unit.
  • the machine learning algorithm trained on semantic image segmentation first classifies the living being, that is, whether a person or an animal, for example a dog, has been recorded. Then a body of the living being is recognized and body parts are classified. A body model is thus obtained. Body parts that are classified include the face and limbs, such as hands. Features of the face or limbs, such as the hands, are then determined.
  • Semantic image segmentation enables face recognition, limb, for example hand recognition, and identification via face recognition and / or limb, for example hand recognition.
  • the first or second machine learning algorithm segments a face of a vehicle occupant from three-dimensional recordings of a vehicle interior and assigns the meaning of the face to this recording area, analogously for limbs, for example hands.
  • further elements are segmented and assigned their respective meanings, for example mouth, eyes, nose, ears, forehead, chin and / or facial muscles and their arrangement with one another.
  • the number of fingers, length and / or width of individual fingers, fingernail structure, palm size, vein pattern of the palm of the hand, the back of the hand or the finger veins are biometric features that identify the vehicle occupant.
  • the machine learning algorithm comprises an artificial neural network that is trained on semantic image segmentation.
  • the artificial neural network is, for example, a convolution network, for example a VGG Net, see K. Simonyan et al., “Very Deep Convolutional Networks For Large-Scale Image Recognition”, arXiv: 1409.1556v6 [cs.CV].
  • the artificial one is trained by means of monitored learning. This makes the learning process easier to understand than with unsupervised learning, which is advantageous for the validation and safeguarding of the processing unit.
  • the machine learning algorithm comprises a random forest classifier comprising uncorrelated decision trees which grow after a certain randomization during a learning process. For a classification, each tree in this forest can make a decision and the class with the most votes decides the final classification.
  • Advantages of the Random Forest are, in particular, that it trains relatively quickly due to the short training and / or construction times of a single decision tree, that evaluations can be parallelized due to several trees and that important classes, such as for face recognition or limb recognition, for example hand recognition, can be recognized.
  • the machine learning algorithm comprises a support vector machine classifier which subdivides a set of objects into classes in such a way that as broad an area as possible remains free of objects around class boundaries.
  • the Maschineniemalgorithmus for example the artificial neural network on the computer according to the invention, is trained on semantic image segmentation.
  • the computer includes a microarchitecture for the parallelized execution of processes in order to be able to train the artificial neural network with a large number of data in a time-efficient manner.
  • Graphics processors include such a microarchitecture.
  • the trained network is executed on the computer.
  • the processing unit is integrated in a vehicle or in an on-board network of a vehicle.
  • the first and the second sensor are integrated into the vehicle electrical system. This will make the Communication between the sensors, the processing unit and the vehicle control system is facilitated.
  • the vehicle electrical system is, for example, a CAN bus.
  • At least part of the communication between the sensors, the processing unit and the vehicle control takes place wirelessly according to one aspect of the invention, for example by means of Bluetooth Low Energy, ANT or ANT +, or another radio network standard, for example for the 868 MHz band for which it was recognized , which can transmit relatively high energy densities.
  • communication between the sensors and between the sensors and the processing unit takes place wirelessly.
  • the communication between the processing unit and the vehicle control is wired in order to increase operational safety and to be able to better ward off cyberattacks.
  • the first sensor is a vehicle lidar sensor.
  • the vehicle lidar sensor is designed to detect odor molecules as a function of light scattered back from the vehicle interior.
  • a vehicle lidar sensor is a lidar sensor that is suitable for use in the vehicle environment, for example in the vehicle interior.
  • vehicle lidar sensors emit laser pulses with wavelengths in the infrared range that are not harmful to humans.
  • the vehicle lidar sensor comprises a CCD or CMOS chip with integrated evaluation electronics for spectroscopy, for example Raman spectroscopy.
  • spectroscopy for example Raman spectroscopy.
  • light wavelengths of the backscattered light, including elastic backscattering by the odor molecules are determined from the signals of the pixels of the CCD or CMOS chip, on the basis of which the odor molecules are detected.
  • the vehicle lidar sensor is designed to emit several light pulses of different wavelengths and to detect the odor molecules from the backscattered light for each of the wavelengths.
  • the vehicle lidar sensor comprises control electronics in order to emit different wavelengths.
  • the vehicle lidar sensor is designed to emit two light pulses of different wavelengths.
  • a first wavelength is selected in such a way that it is absorbed by the substance whose concentration is to be determined.
  • the second wavelength is chosen such that it is not absorbed or absorbed as little as possible.
  • a concentration profile of the substance is thus calculated from the stepwise comparison of the backscatter signals at the first and the second wavelength using differential absorption. In this way, for example, a concentration of alcohol molecules in the breath or the body odor of the vehicle occupant is then advantageously determined in the vehicle interior.
  • the vehicle lidar sensor comprises a quality switch.
  • the Q-switch With the Q-switch, the light pulses become shorter. This enables high peak performances to be achieved even with comparatively low energies.
  • the low energies mean that the vehicle lidar sensor is harmless to the vehicle driver. High peak performance makes odor molecules dissolvable.
  • the Q-switch is, for example, an electro-optical modulator.
  • the vehicle lidar sensor is housed.
  • the second sensor is a 2D or 3D camera sensor, radar sensor or lidar sensor.
  • the system is designed to obtain the identification of the vehicle occupant from facial recognition of the vehicle occupant.
  • the 3D camera sensor is, for example, a time-of-flight sensor.
  • a three-dimensional geometry of the face is determined using a time-of-flight method based on which the second sensor works.
  • the three-dimensional geometry of the face is determined by means of structured light.
  • Structured Lightning is implemented, for example, with a 3D camera sensor or a lid sensor.
  • the system comprises a sensor that combines the functionalities of the first and second sensor, the sensor being a light transit time sensor, the first signals result from light from the sensor scattered back from the vehicle interior and the identification of the Vehicle occupants sen from light transit times of light pulses from the sensor to a body surface, for example the face surface of the vehicle occupant.
  • the sensor is, for example, a time-of-flight camera or a vehicle lidar sensor.
  • vehicle systems comprising an interior monitoring system for monitoring a state of alertness of a vehicle driver and for monitoring safety systems, for example fastened seat belts.
  • interior monitoring systems include a time-of-flight camera or a vehicle lidar sensor.
  • the invention proposes to configure these systems in such a way that smells that indicate drugs and / or diseases are perceived in the breath and / or body vapors of vehicle occupants by means of these systems in order to prevent the vehicle from moving off if necessary. This means that no additional systems are required, for example to provide an alcohol-sensitive immobilizer.
  • the second sensor detects individual limbs.
  • the system is designed to identify the vehicle occupant as a function of the detected limbs. For example, hands are recorded by a camera. The system then differentiates between the hands of the vehicle driver and the hands of a passenger. This further prevents misuse.
  • the first sensor is a finger alcohol measuring device on which a finger of a hand is placed, is illuminated and the blood alcohol concentration is determined based on reflections or other light interactions.
  • the first sensor when used in the vehicle interior, is on a vehicle steering wheel or in an area of a dashboard and the second sensor or the sensor is on the vehicle steering wheel, in an area of the dashboard, in an area of a windshield of the vehicle or arranged in an area of a vehicle headliner.
  • the first sensor is a vehicle lid sensor designed to detect odor molecules as a function of light scattered back from the vehicle interior
  • the second sensor is a CCD or CMOS sensor for spectroscopy of the backscattered light.
  • the second sensor is a time-of-flight sensor of an interior monitoring system.
  • the second signal is a control signal for an immobilizer of the vehicle and the third interface provides the second signal of the immobilizer or the second signal is a control signal and forwards a fail-safe or fail-operational state the vehicle.
  • the invention thus provides an alcohol-sensitive immobilizer or an improved alcolock.
  • Fail-safe means that, for example, the vehicle does not start up if the driver has detected odors that indicate drugs and / or illness.
  • Fail-operational means that, for example, the vehicle remains operational and continues to drive until it is safe to stop if the driver of the vehicle detects smells that indicate drugs and / or illness while driving.
  • the system comprises a memory and / or communication means to store identified odors of drugs and / or diseases and / or to provide information about the identified odors to a company that owns the vehicle or to a government agency. This allows the company or government agency to remotely stop one of their vehicles or switch them to a fail-operational state. It is also used to monitor vehicle drivers employed by the company or by government agencies with regard to their ability to drive.
  • Fig. 2 shows an embodiment of a system according to the invention in a vehicle interior
  • FIG. 3 shows an embodiment of a processing unit according to the invention
  • Fig. 6 is a schematic representation of an embodiment of a fiction, contemporary method.
  • the system 20 is inte grated in Fig. 2 in a vehicle interior. 4 shows the system 20 schematically.
  • the system 20 comprises, for example, a first sensor 21.
  • the first sensor 21 is integrated into a vehicle steering wheel and designed to detect odor molecules in the breathed air and / or from the body odor of the vehicle occupant F.
  • the system 20 further comprises second sensors 22 which identify a face of the vehicle driver by means of software-based face recognition.
  • One of the second sensors 22 is arranged, for example, in the area of a rearview mirror in the vehicle interior and is, for example, a time-of-flight camera.
  • the other of the second sensors 22 is integrated in the dashboard and includes, for example, a camera, lidar or radar sensor.
  • the system 20 comprises a processing unit 10 as shown in FIG. 3.
  • the processing unit 10 receives signals from the first sensor 21 via a first interface 11.
  • the processing unit 10 receives signals from the second sensor (s) 22 via a second interface 12.
  • the processing unit determines the breathing air and / or body odors of the vehicle occupant , which emits breathing air in the direction of the vehicle steering wheel, smells that, for example, indicate alcohol consumption.
  • the odors or the substances relevant to the odors are determined by means of machine learning processes.
  • the processing unit links the smells with the identity of the vehicle occupant in order to prevent fraud or misuse of the system 20. If it is recognized, for example, that the alcohol concentration in the driver's breath exceeds a legal limit value, the processing unit 10 generates a second signal.
  • the second signal is provided, for example, via a third interface 13 of the processing unit 10 to a vehicle control ECU.
  • the second signal causes the vehicle control system to prevent the vehicle from starting the engine and / or starting the transmission.
  • the vehicle control ECU is, for example, an electronic control unit.
  • Fig. 5 shows the system in the embodiment with only one sensor, for example a time-of-flight sensor or a lidar sensor.
  • One sensor takes over the functionalities of the first sensor 21 and the second sensor 22.
  • the method according to the invention is shown in FIG. 6.
  • first signals that describe odor molecules are obtained.
  • a procedural step V2 an identification of the vehicle occupant is obtained.
  • odors are identified that indicate drugs and / or diseases as a function of the first signals by means of a first machine learning algorithm that is trained, as a function of the first signals, odors including odors of alcohol, cocaine, amphetamines, cigarette smoke, cannabis To identify tetrahydro- cannabinol, morphine, methadone, ammonia, acetone or a combination of these substances.
  • the odors are assigned to the identification of the vehicle occupant as a function of a position of the vehicle occupant F in the vehicle interior.
  • a second signal is generated in the event of a positive assignment.
  • the second signal is provided to at least one vehicle unit.
  • the method is carried out with the processing unit 10 or the system 20.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Electromagnetism (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)

Abstract

Die Erfindung betrifft eine Verarbeitungseinheit (10), ein System (20) und ein computerimplementiertes Verfahren für einen Fahrzeuginnenraum zur Wahrnehmung und Reaktion auf Gerüche eines Fahrzeuginsassen (F).

Description

Verarbeitunqseinheit, System, und computerimplementiertes Verfahren für einen
Fahrzeuqinnenraum zur Wahrnehmung und Reaktion auf Gerüche eines Fahrzeuqinsassen
Die Erfindung betrifft eine Verarbeitungseinheit, ein System und ein computerimple mentiertes Verfahren für einen Fahrzeuginnenraum zur Wahrnehmung und Reaktion auf Gerüche eines Fahrzeuginsassen.
Geruchssensoren sind aus dem Stand der Technik bekannt, siehe beispielsweise US 2019/0227042 A1. Die bekannten Geruchssensoren basieren auf Lichtabsorpti onsspektroskopie, Oberflächenadsorptions-Verfahren oder chemischen Reaktionen.
Im Stand der Technik sind Alcolocks, auch Alkohol-Zündschlosssperre genannt, das heißt Wegfahrsperren in einem Fahrzeug, die ab einem bestimmten Wert an Atemal koholgehalt des Fahrzeugführers das Anfahren des Fahrzeugs blockieren, bekannt, siehe beispielsweise Pressemitteilungen des Europäischen Parlaments. Die bekann ten Alcolocks umfassen ein in Reichweite des Fahrzeugführer-Sitzes angebrachtes Handgerät, das die Alkoholkonzentration des eingeblasenen Atems misst. Bekannt sind auch in einem Bereich eines Armaturenbretts oder Lenkrads aufgesetzte Ge räte, die Alkoholkonzentration des eingeblasenen Atems messen. Derartige Handge räte und aufgesetzte Geräte sind unkomfortabel.
Aufgabe der Erfindung war es, wie in einem Fahrzeug Gerüche von Fahrzeuginsas sen, insbesondere von Fahrzeugführern, verbessert wahrgenommen werden und da mit verbesserte Wegfahrsperren für Fahrzeuge bereitgestellt werden können.
Gemäß einem Aspekt stellt die Erfindung eine Verarbeitungseinheit für einen Fahr zeuginnenraum zur Wahrnehmung und Reaktion auf Gerüche eines Fahrzeuginsas sen bereit. Die Verarbeitungseinheit umfasst eine erste Schnittstelle zu einem ersten Sensor, der in einem Fahrzeuginnenraum Geruchsmoleküle in Atemluft und/oder aus Körpergeruch des Fahrzeuginsassen erfasst und in erste Signale umformt, um die ersten Signale zu erhalten. Die ersten Signale resultieren aus einer Lichtwechselwir kung oder umfassen Frequenzen und/oder Amplituden von Schwingungen. Ferner umfasst die Verarbeitungseinheit eine zweite Schnittstelle zu einem zweiten Sensor, der den Fahrzeuginsassen identifiziert, um eine Identifikation des Fahrzeuginsassen zu erhalten. Die Verarbeitungseinheit führt Befehle aus, die bewirken, dass die Verar beitungseinheit in Abhängigkeit einer Position des Fahrzeuginsassen im Fahrzeugin nenraum Gerüche des Fahrzeuginsassen, die auf Drogen und/oder Krankheiten hin- weisen, der Identifikation des Fahrzeuginsassen zuordnet und bei einer positiven Zu ordnung ein zweites Signal erzeugt, wobei die Befehle einen ersten Maschinenlernal gorithmus umfassen, der trainiert ist, in Abhängigkeit der ersten Signale Alkohol, Ko kain, Amphetamine, Zigarettenrauch, Cannabis, Tetrahydrocannabinol, Morphin, Me- thadone, Ammoniak, Azeton oder eine Kombination dieser Substanzen in den Gerü chen des Fahrzeuginsassen zu identifizieren. Außerdem umfasst die Verarbeitungs einheit eine dritte Schnittstelle zu wenigstens einer Fahrzeugeinheit, um dem Fahr zeuginsassen und/oder einer Fahrzeugsteuerung das zweite Signal bereitzustellen. Der erste Maschinenlernalgorithmus ist auf semantische Bildsegmentierung trainiert zur Identifikation des Fahrzeuginsassen. Alternativ umfassen die Befehle einen zwei ten Maschinenlernalgorithmus, der auf semantische Bildsegmentierung trainiert ist zur Identifikation des Fahrzeuginsassen.
Die Verarbeitungseinheit ist eine Recheneinheit, die Eingangssignale verarbeitet und Ausgangssignale, beispielsweise als Regel- und/oder Steuersignale, bereitstellt.
Nach einem Aspekt der Erfindung umfasst die Verarbeitungseinheit eine elektroni sche Schaltung, beispielsweise integrierte Schaltkreise. Beispielsweise umfasst die Verarbeitungseinheit programmierbare Logikbausteine, beispielsweise field pro- grammable gateway arrays, bei denen Schaltungsstrukturen mittels Hardware-Befeh len programmierbar sind. Nach einem Aspekt der Erfindung umfasst die Verarbei tungseinheit wenigstens eine zentrale Prozessoreinheit, die Softwareprogramm -Be fehle ausführt, und/oder wenigstens eine Graphikprozessoreinheit zum parallelisier- ten Ausführen von Prozessen oder wenigstens einen Mehrkernprozessor. Nach ei nem weiteren Aspekt der Erfindung umfasst die Verarbeitungseinheit wenigstens ein Speichermodul, beispielsweise RAM, DRAM SDRAM oder SRAM, für einen Signal und/oder Datenaustausch mit Prozessoren. Nach einem Aspekt der Erfindung ist die Verarbeitungseinheit ein system-on-chip. Das heißt alle oder zumindest ein großer Teil der Funktionen sind auf einem Chip integriert und können modular erweitert wer den. Nach einem weiteren Aspekt der Erfindung ist die Verarbeitungseinheit oder der Chip in ein elektronisches Steuergerät, beispielsweise ein elektronisches Steuergerät für Fahrzeugsteuerung, integriert.
Nach einem Aspekt der Erfindung führt die Verarbeitungseinheit ein künstliches neu ronales Netzwerk aus, das Mitralzellen, apikale und laterale Dendriten der Mitralzel len, das jeweilige Soma der Mitralzellen und Körnerzellen des Riechkolbens model liert. Das heißt, das künstlich neuronale Netzwerk ist programmiert oder wird auf der Verarbeitungseinheit derart ausgeführt, dass durch die Ausführung das olfaktorische System von Säugern modelliert wird. Beispielsweise werden die Geruchsmoleküle aus der ausgeatmeten Atemluft den apikalen Dendriten jeder Mitralzelle bereitge stellt. Die Mitralzellen sind Neuronen des künstlichen neuronalen Netzwerks. Die api kalen Dendriten entsprechen gewichteten Verbindungen der Mitralzellen-Neuronen. Die Mitralzellen-Neuronen werden beispielsweise über Aktivierungsfunktionen des künstlichen neuronalen Netzwerks aktiviert und aktivieren weitere Neuronen in einer weiteren Schicht des künstlichen neuronalen Netzwerks. Die weiteren Neuronen in der weiteren Schicht entsprechen den Kömerzellen des Riechkolbens.
Nach einem weiteren Aspekt der Erfindung umfasst die Verarbeitungseinheit einen neuronalen Schaltkreis, der das olfaktorische System von Säugern nachbildet. Nach einem Aspekt der Erfindung ist der neuronale Schaltkreis ein neuromorpher Schalt kreis. Durch den neuromorphen Schaltkreis wird das olfaktorische System von Säu gern in Hardware abgebildet. Der neuromorphe Schaltkreis ist beispielsweise mittels CMOS-Technik gefertigt, das heißt er beruht auf complementary metal-oxide-semi- conductors. Der neuromorphe Schaltkreis umfasst Neuristoren, das sind Bauteile, die Neuronenmodelle und Synapsen umfassen. Die Elemente des neuromorphen Schaltkreises modellieren beispielsweise Mitralzellen, apikale und laterale Dendriten der Mitralzellen, das jeweilige Soma der Mitralzellen und Körnerzellen des Riechkol bens. Nach einem weiteren Aspekt der Erfindung sind die Elemente des neuromor phen Schaltkreises in einem künstlichen neuronalen Netzwerk verbunden. Nach ei nem weiteren Aspekt der Erfindung wird das künstliche neuronale Netzwerk, welches das olfaktorische System von Säugern modelliert, auf dem neuromorphen Schaltkreis ausgeführt.
Nach einem Aspekt der Erfindung führt die Verarbeitungseinheit ein künstliches neu ronales Netzwerk aus, das die Mitralzellen, apikale und laterale Dendriten der Mit ralzellen, das jeweilige Soma der Mitralzellen und Körnerzellen des Riechkolbens modelliert. Das heißt, das künstlich neuronale Netzwerk ist programmiert oder wird auf dem neuromorphen Schaltkreis derart ausgeführt, dass durch die Ausführung das olfaktorische System von Säugern modelliert wird. Beispielsweise werden die Geruchsmoleküle aus der ausgeatmeten Atemluft den apikalen Dendriten jeder Mit ralzelle bereitgestellt. Die Mitralzellen sind Neuronen des künstlichen neuronalen Netzwerks. Die apikalen Dendriten entsprechen gewichteten Verbindungen der Mit- ralzellen-Neuronen. Die Mitralzellen-Neuronen werden beispielsweise über Aktivie rung sfunktionen des künstlichen neuronalen Netzwerks aktiviert und aktivieren wei tere Neuronen in einerweiteren Schicht des künstlichen neuronalen Netzwerks. Die weiteren Neuronen in der weiteren Schicht entsprechen den Körnerzellen des Riech kolbens.
Fahrzeuge umfassen Passagierfahrzeuge, beispielsweise PKWs, Kleinbusse, Busse, leichte und schwere Nutzfahrzeuge, Landmaschinen, beispielsweise Traktoren oder Bagger, schienengebundene Fahrzeuge, beispielsweise Züge, Schiffe und Passa gierdrohnen. Damit ist die Erfindung beispielsweise nicht eingeschränkt auf PKWs, sondern stellt für mehrere Fahrzeugarten, die von einem Fahrzeugführer geführt wer den, eine in Bezug auf Wahrnehmung und Reaktion auf Gerüche eine vorteilhafte Anwendung dar. Nach einem weiteren Aspekt stellt die Erfindung für Flottenbetreiber eine in Bezug auf Wahrnehmung und Reaktion auf Gerüche eine vorteilhafte Anwen dung dar. Beispielsweise sind Fahrzeuge von Flottenbetreiber mit dem Gegenstand der Erfindung ausgerüstet. Damit erhalten Flottenbetreiber beispielsweise Informatio nen über ihre Fahrer hinsichtlich Fahrtüchtigkeit in Abhängigkeit eines durch den Ge genstand der Erfindung erkannten Alkoholkonsums oder einer Krankheit. Nach ei nem Aspekt der Erfindung werden die erfindungsgemäßen Erfassungen an den Flot tenbetreiber übermittelt, beispielsweise über elektronische Fahrtenbucheinträge und/oder über Funkkommunikation. Gerüche umfassen Atemgeruch und weitere Gerüche aus anderen Körperöffnungen von Lebewesen, das heißt Körpergerüche, beispielsweise Körperausdünstungen über die Haut. Falls sich in dem Fahrzeuginnenraum Tiere, beispielsweise Hunde, befinden, erfasst der erste Sensor auch Gerüche von den Tieren. Basierend auf den Funktionalitäten des ersten Sensors kann zunächst nicht unterscheiden, von wel chem Lebewesen, beispielsweise Mensch oder Tier, Gerüche erfasst werden. Durch die Funktionalität des zweiten Sensors werden die Lebewesen differenziert. Das heißt, durch die Kombination der Funktionalitäten des ersten Sensors und des zwei ten Sensors werden Gerüche den jeweiligen Lebewesen zuordenbar.
Fahrzeuginsasse umfassen Fahrzeugführer, Fahrzeuginsassen, die nicht die Auf gabe des Führens eines Fahrzeuges ausführen, beispielsweise Beifahrer oder Passagiere, und Tiere. Durch die Funktionalitäten des ersten Sensors werden in dem Fahrzeuginnenraum Gerüche von Fahrzeugführer, Beifahrer und Tieren erfasst.
Nach einem Aspekt der Erfindung werden Gerüche von Fahrzeugführern ausgewer tet.
Lichtwechselwirkung umfasst Lichtstreuung, Rückstreuung, Reflexion, Transmission, Beugung und Brechung. Nach einem Aspekt der Erfindung resultieren die ersten Sig nale aus einer Lichtstreuung.
Geruchsmoleküle werden beispielsweise mittels Signaturen der Geruchsmolekülen erfasst. Die Signaturen umfassen Absorptionslinien in einem Absorptionsspektrum, für die jeweiligen Moleküle spezifisches Streulicht, beispielsweise Raman- oder Ra yleigh-Streuung, spezifische Schwingungsmuster basierend auf Molekülmassen oder Kennlinien in Impedanzspektroskopie. Die Schwingungsmuster werden beispiels weise mit Beschleunigungssensoren, zum Beispiel micro-electro-mechanical-sys- tems, erfasst.
Nach einem Aspekt der Erfindung sind die Signaturen für das jeweilige Molekül spe zifisches Streulicht, beispielsweise Streulicht aus Rückstreuung. Ein Geruchsmolekül ist ein Molekül mit einem kennzeichnenden Geruch. Beispiels weise kennzeichnet das Geruchsmolekül (R)-(+)-Limonen den Hauptgeruchsstoff der Zitrone.
Die Signale sind beispielsweise elektrische Signale. Die elektrischen Signale umfas sen Schwingungsfrequenzen.
Der Fahrzeuginsasse wird nach einem Aspekt der Erfindung über Gesichtserken nung identifiziert, beispielsweise über dreidimensionale Gesichtserkennung, wobei der zweite Sensor ein 3D Sensor oder 2D Sensor ist oder mehrere 2D Sensoren um fasst. Dreidimensionale Gesichtserkennung umfasst nach einem Aspekt der Erfin dung Erkennung, Klassifikation und/oder Lokalisation von einzelnen Punkten des Ge sichts, beispielsweise Wangenknochen oder Abstände von Augen. Nach einem wei teren Aspekt der Erfindung wird der Fahrzeuginsasse über Haut-Textur-Analyse identifiziert. Beispielsweise wird das Gesicht eines Fahrzeuginsassen mittels Haut- Textur-Analyse identifiziert. Haut-Textur-Analyse umfasst Anordnung von Linien und Poren.
Die Befehle, die die Verarbeitungseinheit ausführt, sind Programm Instruktionen oder Hardwarebefehle. Die Befehle liegen beispielsweise als Softwarecode oder Maschi nencode vor.
Maschinelles Lernen ist eine Technologie, die Computern und anderen Datenverar beitungsvorrichtungen die Ausführung von Aufgaben durch Lernen aus Daten lehrt, anstatt für die Aufgaben programmiert zu werden. Der Maschinenlernalgorithmus lernt die Gerüche und/oder die Identifikation des Fahrzeuginsassen aus den Daten.
Ein Vorteil der Bestimmung von Gerüchen, die auf Drogen und/oder Krankheiten hin- weisen, in Atemluft und/oder aus Körpergeruch des Fahrzeuginsassen mittels des ersten Maschinenlernalgorithmus ist, dass keine chemischen Verfahren, die bei der Bestimmung des Alkoholgehalts in Atemluft beispielsweise auf ein Blasrohr angewie sen sind und damit unkomfortabel sind, oder Oberflächenkontaktverfahren, beispiels weise Adsorptionsverfahren, oder invasive Verfahren, beispielsweise Blutalkoholbestimmung, anzuwenden sind. Atemluft und andere Körpergerüche wer den kontinuierlich abgegeben und werden von der Verarbeitungseinheit ausgewertet.
Beispielsweise umfasst der erste Maschinenlernalgorithmus ein Graphen neuronales Netzwerk, in dessen Eingangsschicht ein Graph eingegeben wird, dessen Knoten Atome und dessen Kanten Molekülverbindungen modellieren. Damit werden die Ge ruchsmoleküle als Graphen modelliert und die Gerüche mit einem Graphen neurona len Netzwerk bestimmt. Das Graphen neuronale Netzwerk hat beispielsweise gelernt, aus der Struktur von Geruchsmolekülen die mit den Geruchsmolekülen verbundenen Gerüche zu bestimmen. Diese Art der Geruchsbestimmung ist als quantitative struc- ture odor relationship bekannt, siehe beispielsweise B. Sanchez-Lengeling et al., „Machine Learning for Scent: Learning Generalizable Perceptual Representations of Small Molecules“, arXiv:1910.10685v2 [stat.ML]
Drogen und/oder Krankheiten besitzen charakteristische Gerüche, die in der Atemluft nachweisbar sind. Drogen, die oder deren Konsum in der Atemluft nachweisbar sind, umfassen Alkohol, Kokain, Amphetamine, Zigarettenrauch, Cannabis, Tetrahydro- cannabinol, Morphin und Methadone. Beispielsweise deutet ein Ammoniak-Geruch auf eine Nierenerkrankung hin. Ein Azeton-Geruch deutet auf Diabetes hin.
Wird beispielsweise Alkohol in der Atemluft erkannt und zugeordnet, dass diese Atemluft von der Position des Fahrzeugführers von dem Fahrzeugführer ausgeatmet wurde, dann umfasst das zweite Signal ein elektrisches Signal für eine Anzeigevor richtung, beispielsweise einen Display in Form eines Infotainment-Systems oder ei nes Head-Up-Displays oder eine akustische Vorrichtung, beispielsweise ein Laut sprechersystem im Fahrzeuginnenraum, um dem Fahrzeuginsassen visuell oder akustisch zu informieren, dass er wegen Alkoholgehalt nicht fahrtüchtig ist. Das zweite Signal umfasst ferner ein Regel- und/oder Steuersignal für die Fahrzeugsteue rung, um in diesem Fall ein Losfahren des Fahrzeuges zu sperren. Neben Anzeige vorrichtung und akustischer Vorrichtung ist ein Steuergerät für Fahrzeugkommunika tion ein weiteres Beispiel für eine Fahrzeugeinheit. Fahrzeugkommunikation umfasst vehicle to everything und vehicle to vehicle Kommunikation. Über die Fahrzeugkom munikation wird beispielsweise ein Flotten betreiber, das ist beispielsweise ein Unternehmen, dem das Fahrzeug gehört oder einer Regierungsbehörde, informiert, dass ein Fahrzeugführer eines seiner Fahrzeuge wegen festgestelltem Alkoholgehalt fahruntüchtig ist.
Durch die Zuordnung der Gerüche zu der Identifikation des Fahrzeuginsassen in Ab hängigkeit einer Position des Fahrzeuginsassen im Fahrzeuginnenraum wird erreicht, dass hinsichtlich Fahrzeiten die Gerüche mit der Identifikation des Fahrzeuginsas sen, nach einem Aspekt des Fahrzeugführers, verknüpft werden. Damit stellt die Ver arbeitungseinheit einen Abgleich oder ein Matching der Gerüche mit dem Fahrzeug führer bereit. Durch die Abhängigkeit einer Position des Fahrzeuginsassen wird fer ner ausgewertet, ob der Fahrzeuginsasse, dem die Gerüche zugeordnet wurden, sich in einem Fahrzeugführer-Bereich befindet, beispielsweise auf dem Fahrzeugfüh rer-Sitz, und im Erfassungsbereich des ersten und/oder zweiten Sensors. Dadurch wird hinsichtlich der Wahrnehmung und Zuordnung der Gerüche zu dem Fahrzeugin sassen vorteilhafterweise ein Betrug oder Missbrauch durch den Fahrzeuginsassen verhindert oder vorgebeugt. Beispielsweise ist die Fahrtüchtigkeit des Fahrzeugfüh rers durch Alkoholkonsum beeinträchtigt. Ein Beifahrer ist fahrtüchtig. Ohne die Zu ordnung der Gerüche zu der Identifikation des Fahrzeuginsassen in Abhängigkeit ei ner Position des Fahrzeuginsassen im Fahrzeuginnenraum könnte bei Fahrtantritt der Beifahrer sich in den Bereich des Fahrzeugführers begeben. Die Verarbeitungs einheit würde die Gerüche des Beifahrers auswerten, dabei keine Drogen feststellen und über die dritte Schnittstelle der Fahrzeugsteuerung ein zweites Signal zum Los fahren bereitstellen. Der beeinträchtigte Fahrzeugführer würde dann das Fahrzeug führen. Mittels der Zuordnung der Gerüche zu der Identifikation des Fahrzeuginsas sen in Abhängigkeit einer Position im Fahrzeuginnenraum erkennt in diesem Fall die Verarbeitungseinheit, dass die erfassten Gerüche dem Beifahrer und nicht dem Fahr zeugführer zugeordnet sind. Das zweite Signal zum Losfahren wird erst bereitge stellt, wenn Gerüche des Fahrzeugführers erfasst wurden und in diesen keine Dro gen festgestellt wurden. Damit wird die Verkehrssicherheit erhöht, insbesondere auch für automatisierte Fahrsysteme, die auf einen Fahrzeugführer als Rückfallebene angewiesen sind. Gemäß einem weiteren Aspekt stellt die Erfindung ein System für einen Fahrzeugin nenraum zur Wahrnehmung und Reaktion auf Gerüche eines Fahrzeuginsassen be reit. Das System umfasst wenigstens einen ersten Sensor, der im Fahrzeuginnen raum Geruchsmoleküle in Atemluft und/oder aus Körpergeruch des Fahrzeuginsas sen erfasst und in erste Signale umformt. Ferner umfasst das System wenigstens ei nen zweiten Sensor, der den Fahrzeuginsassen identifiziert. Außerdem umfasst das System eine erfindungsgemäße Verarbeitungseinheit, die über eine erste und zweite Schnittstelle jeweils mit dem ersten und zweiten Sensor Signal übertragend verbun den ist. Das System stellt über eine dritte Schnittstelle ein zweites Signal der Verar beitungseinheit einer optischen, akustischen und/oder taktilen Informationseinheit oder einer Fahrzeugsteuerungseinheit bereit.
Gemäß einem weiteren Aspekt stellt die Erfindung ein computerimplementiertes Ver fahren bereit zur Wahrnehmung und Reaktion auf Gerüche eines Fahrzeuginsassen. Das Verfahren umfasst die Schritte
• Erhalten von ersten Signalen, die Geruchsmoleküle beschreiben,
• Erhalten einer Identifikation des Fahrzeuginsassen,
• Identifizieren von Gerüchen, die auf Drogen und/oder Krankheiten hinweisen, in Abhängigkeit der ersten Signale mittels eines ersten Maschinenlernalgorith mus, der trainiert ist, in Abhängigkeit der ersten Signale Gerüche umfassend Gerüche von Alkohol, Kokain, Amphetamine, Zigarettenrauch, Cannabis, Tet- rahydrocannabinol, Morphin, Methadone, Ammoniak, Azeton oder eine Kombi nation dieser Substanzen zu identifizieren,
• in Abhängigkeit einer Position des Fahrzeuginsassen im Fahrzeuginnenraum Zuordnen der Gerüche zu der Identifikation des Fahrzeuginsassen,
• Erzeugen eines zweiten Signals bei einer positiven Zuordnung, und
• Bereitstellen des zweiten Signales wenigstens einer Fahrzeugeinheit, wobei zur Durchführung des Verfahrens eine erfindungsgemäße Verarbeitungsein heit oder ein erfindungsgemäßes System verwendet wird.
Gemäß einem weiteren Aspekt stellt die Erfindung ein Computerprogramm zur Wahr nehmung und Reaktion auf Gerüche eines Fahrzeuginsassen bereit. Das Computer programm umfasst Befehle, die bewirken, dass eine erfindungsgemäße Verarbeitungseinheit ein erfindungsgemäßes Verfahren ausführt, wenn das Compu terprogramm auf der Verarbeitungseinheit ausgeführt wird.
Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
Der auf semantische Bildsegmentierung trainierte Maschinenlernalgorithmus klassifi ziert zunächst das Lebewesen, das heißt, ob ein Mensch oder ein Tier, beispiels weise ein Hund, erfasst wurde. Daran folgend wird ein Körper des Lebewesen er kannt und Körperteile klassifiziert. Damit wird ein Body-Modell erhalten. Körperteile, die klassifiziert werden, umfassen Gesicht und Gliedmaße, beispielsweise Hände. Anschließend werden Merkmale des Gesichts oder der Gliedmaßen, beispielsweise der Händen, bestimmt.
Semantische Bildsegmentierung ermöglicht die Gesichtserkennung, Gliedmaßen-, beispielsweise Händeerkennung und Identifikation über Gesichtserkennung und/oder Gliedmaßen-, beispielsweise Händeerkennung. Beispielsweise segmentiert der erste oder zweite Maschinenlernalgorithmus aus dreidimensionalen Aufnahmen eines Fahrzeuginnenraums ein Gesicht eines Fahrzeuginsassen und ordnet diesem Auf nahmebereich die Bedeutung des Gesichts zu, analog für Gliedmaßen, beispiels weise Hände. In dem Gesicht werden weitere Elemente segmentiert und ihren jewei ligen Bedeutungen zugeordnet, beispielsweise Mund, Augen, Nase, Ohren, Stirn, Kinn und/oder Gesichtsmuskel und deren Anordnung untereinander. Im Fall von Händen werden Anzahl Finger, Länge und/oder Breite einzelner Finger, Fingernagel struktur, Handflächengröße, Venenmuster von Handinnenfläche, des Handrückens oder die Fingervenen. Dies sind biometrische Merkmale, die den Fahrzeuginsassen identifizieren.
Nach einem Aspekt der Erfindung umfasst der Maschinenlernalgorithmus ein künstli ches neuronales Netzwerk, das auf semantische Bildsegmentierung trainiert ist. Das künstliche neuronale Netzwerk ist beispielsweise ein Faltungsnetzwerk, beispiels weise ein VGG Net, siehe K. Simonyan et al., „Very Deep Convolutional Networks For Large-Scale Image Recognition“, arXiv:1409.1556v6 [cs.CV]. Das künstliche neuronale Netzwerk wird nach einem Aspekt der Erfindung mittels überwachtem Ler nen trainiert. Damit ist der Lernprozess besser nachvollziehbar als beim unüberwach- ten Lernen, was vorteilhaft für die Validierung und Absicherung der Verarbeitungsein heit ist.
Nach einem weiteren Aspekt der Erfindung umfasst der Maschinenlernalgorithmus einen Random-Forest-Klassifikator umfassend unkorrelierte Entscheidungsbäume, die nach einer bestimmten Randomisierung während eines Lernprozesses wachsen. Für eine Klassifikation darf jeder Baum in diesem Wald eine Entscheidung treffen und die Klasse mit den meisten Stimmen entscheidet die endgültige Klassifikation. Vorteile des Random Forest sind insbesondere, dass er relativ schnell trainiert auf grund kurzen Trainings- und/oder Aufbauzeiten eines einzelnen Entscheidungs baums, dass Evaluierungen aufgrund mehrerer Bäume parallelisierbar sind und dass wichtige Klassen, wie zum Beispiel für Gesichtserkennung oder Gliedmaßen- bei spielsweise Handerkennung, erkannt werden können.
Nach einem weiteren Aspekt der Erfindung umfasst der Maschinenlernalgorithmus einen Support-Vector-Machine-Klassifikator, die eine Menge von Objekten derart in Klassen unterteilt, dass um Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt.
Nach einem weiteren Aspekt der Erfindung wird der Maschineniemalgorithmus, bei spielsweise das künstliches neuronales Netzwerk auf dem erfindungsgemäßen Com puter auf semantische Bildsegmentierung trainiert. Für das Training ist es vorteilhaft, dass der Computer eine Mikroarchitektur zum parallelisierten Ausführen von Prozes sen umfasst, um das künstliche neuronale Netzwerk mit einer großen Anzahl an Da ten zeiteffizient trainieren zu können. Graphikprozessoren umfassen eine derartige Mikroarchitektur. Das trainierte Netz wird nach einem Aspekt der Erfindung auf dem Computer ausgeführt.
Nach einem weiteren Aspekt der Erfindung ist die Verarbeitungseinheit in ein Fahr zeug oder in ein Bordnetz eines Fahrzeuges integriert. Nach einem Aspekt der Erfin dung sind der erste und der zweite Sensor in das Bordnetz integriert. Damit wird die Kommunikation zwischen den Sensoren, der Verarbeitungseinheit und der Fahrzeug steuerung erleichtert. Das Bordnetz ist beispielsweise ein CAN-Bus. Zumindest ein Teil der Kommunikation zwischen den Sensoren, der Verarbeitungseinheit und der Fahrzeugsteuerung erfolgt nach einem Aspekt der Erfindung kabellos, beispielsweise mittels Bluetooth Low Energy, ANT oder ANT+, oder einem anderen Funknetzstan dard, beispielsweise für das 868 MHz-Band, für das erkannt wurde, das relativ hohe Energiedichten übertragen werden können. Beispielsweise erfolgt die Kommunika tion zwischen den Sensoren und zwischen den Sensoren und der Verarbeitungsein heit kabellos. Nach einem Aspekt der Erfindung erfolgt die Kommunikation zwischen der Verarbeitungseinheit und der Fahrzeugsteuerung kabelgebunden, um die Be triebssicherheit und zu erhöhen und Cyberangriffe besser abwehren zu können.
In einer Ausgestaltung des Systems ist der erste Sensor ein Fahrzeug-Lidarsensor. Der Fahrzeug-Lidarsensor ist ausgeführt, Geruchsmoleküle in Abhängigkeit von aus dem Fahrzeuginnenraum zurückgestreutem Licht zu erfassen.
Ein Fahrzeug-Lidarsensor ist ein Lidarsensor, der für die Verwendung im Fahrzeug- Umfeld, beispielsweise im Fahrzeuginnenraum, geeignet ist. Beispielsweise senden Fahrzeug-Lidarsensoren Laserimpulse mit Wellenlängen im Infrarotbereich aus, die für einen Menschen nicht schädlich sind.
Beispielsweise umfasst der Fahrzeug-Lidarsensor einen CCD oder CMOS Chip mit integrierter Auswertungselektronik für Spektroskopie, beispielsweise Raman-Spektro- skopie. Beispielsweise werden aus den Signalen der Pixel des CCD oder CMOS Chips Lichtwellenlängen des zurückgestreuten Lichts, umfassend elastische Rück streuung durch die Geruchsmoleküle, bestimmt, anhand derer die Geruchsmoleküle erfasst werden.
In einer weiteren Ausgestaltung des Systems ist der Fahrzeug-Lidarsensor ausge führt, mehrere Lichtpulse unterschiedlicher Wellenlänge auszusenden und für jede der Wellenlängen die Geruchsmoleküle aus dem zurückgestreuten Licht zu erfassen. Der Fahrzeug-Lidarsensor umfasst nach einem Aspekt der Erfindung eine Ansteuer elektronik, um unterschiedliche Wellenlängen auszusenden. Beispielsweise ist der Fahrzeug-Lidarsensor ausgeführt, zwei Lichtpulse unterschied licher Wellenlänge auszusenden. Dabei wird nach einem Aspekt der Erfindung eine erste Wellenlänge derart gewählt, dass sie von der Substanz, deren Konzentration bestimmt werden soll, absorbiert wird. Die zweite Wellenlänge wird derart gewählt, dass sie nicht oder möglichst wenig absorbiert wird. Damit wird aus dem schrittwei sen Vergleich der Rückstreusignale bei der ersten und der zweiten Wellenlänge mit tels differentieller Absorption auf ein Konzentrationsprofil der Substanz berechnet. Damit wird dann vorteilhafterweise im Fahrzeuginnenraum beispielsweise auch eine Konzentration von Alkoholmolekülen in der Atemluft oder des Körpergeruchs des Fahrzeuginsassen bestimmt.
In einer weiteren Ausgestaltung des Systems umfasst der Fahrzeug-Lidarsensor ei nen Güteschalter. Mit dem Güteschalter, auch Q-Switch genannt, werden die Licht pulse kürzer. Damit werden auch bei vergleichsweise geringen Energien hohe Spit zenleistungen erreicht. Durch die geringen Energien wird erreicht, dass der Fahr zeug-Lidarsensor unschädlich für den Fahrzeugführer ist. Durch hohe Spitzenleistun gen werden Geruchsmoleküle auflösbar. Der Güteschalter ist beispielsweise ein elektrooptischer Modulator.
Nach einem weiteren Aspekt der Erfindung ist der Fahrzeug-Lidarsensor eingehaust.
In einer weiteren Ausgestaltung des Systems ist der zweite Sensor ein 2D oder 3D Kamerasensor, Radarsensor oder Lidarsensor. Das System ist ausgeführt, die Identi fikation des Fahrzeuginsassen aus einer Gesichtserkennung des Fahrzeuginsassen zu erhalten. Der 3D Kamerasensor ist beispielsweise ein time-of-flight Sensor.
Dabei wird beispielsweise eine dreidimensionale Geometrie des Gesichts über ein Lichtlaufzeitverfahren, basierend auf dem der zweite Sensor arbeitet, bestimmt.
Nach einem weiteren Aspekt der Erfindung wird die dreidimensionale Geometrie des Gesichts mittels strukturiertem Licht, im Englischen structured lightning, bestimmt. Structured Lightning wird beispielsweise mit einem 3D Kamerasensor oder einem Li- darsensor realisiert.
In einer weiteren Ausgestaltung des Systems umfasst das System einen Sensor, der Funktionalitäten des ersten und zweiten Sensors vereint, wobei der Sensor ein Licht- laufzeit-Sensor ist, die ersten Signale aus von aus dem Fahrzeuginnenraum zurück gestreutem Licht des Sensors resultieren und die Identifikation des Fahrzeuginsas sen aus Lichtlaufzeiten von Lichtimpulsen des Sensors zu einer Körperoberfläche, beispielsweise Gesichtsoberfläche, des Fahrzeuginsassen resultiert. Der Sensor ist beispielsweise eine time-of-flight Kamera oder ein Fahrzeug- Lidarsensor.
Es sind Fahrzeugsysteme bekannt umfassend ein Innenraumüberwachungssystem zur Überwachung eines Aufmerksamkeitszustandes eines Fahrzeugführers und zur Überwachung von Sicherheitssystemen, beispielsweise angelegten Sicherheitsgur ten. Derartige Innenraumüberwachungssysteme umfassen eine time-of-flight Kamera oder ein Fahrzeug- Lidarsensor. Die Erfindung schlägt vor, diese Systeme derart zu konfigurieren, dass Gerüche, die auf Drogen und/oder Krankheiten hinweisen, in Atemluft und/oder Körperausdünstungen von Fahrzeuginsassen mittels diesen Sys temen wahrgenommen werden, um gegebenenfalls ein Losfahren des Fahrzeuges zu verhindern. Damit sind keine Zusatzsysteme erforderlich, um beispielsweise eine alkoholempfindliche Wegfahrsperre bereitzustellen.
In einer weiteren Ausgestaltung des Systems erfasst der zweite Sensor einzelne Gliedmaßen. Das System ist ausgeführt, den Fahrzeuginsassen in Abhängigkeit der erfassten Gliedmaßen zu identifizieren. Beispielsweise werden von einer Kamera Hände erfasst. Das System unterscheidet dann zwischen den Händen des Fahrzeug führers und den Händen eines Beifahrers. Damit wird einem Missbrauch weiter vor gebeugt. Dies ist insbesondere dann von Vorteil, wenn der erste Sensor ein Finger- Alkohol-Messgerät ist, auf das ein Finger einer Hand aufgesetzt wird, angestrahlt wird und die Blutalkoholkonzentration basierend auf Reflexionen oder anderen Licht wechselwirkungen bestimmt wird. In einer weiteren Ausgestaltung des Systems ist bei Verwendung in dem Fahrzeugin nenraum der erste Sensor an einem Fahrzeuglenkrad oder in einem Bereich eines Armaturenbretts und der zweite Sensor oder der Sensor an dem Fahrzeuglenkrad, in einem Bereich des Armaturenbretts, in einem Bereich einer Windschutzscheibe des Fahrzeuges oder in einem Bereich eines Fahrzeughimmels angeordnet.
In einer weiteren Ausgestaltung des Systems ist der erste Sensor ein Fahrzeug-Li- darsensor, ausgeführt, Geruchsmoleküle in Abhängigkeit von aus dem Fahrzeugin nenraum zurückgestreutem Licht zu erfassen und der zweite Sensor ein CCD oder CMOS Sensor zur Spektroskopie des zurückgestreuten Lichts. Beispielsweise ist der zweite Sensor ein time-of-flight Sensor eines Innenraumüberwachungssystems.
In einer weiteren Ausgestaltung des Systems ist das zweite Signal ein Steuerungs signal für eine Wegfahrsperre des Fahrzeuges und die dritte Schnittstelle stellt das zweite Signal der Wegfahrsperre bereitstellt oder das zweite Signal ist ein Steue rungssignal ist und leitet einen Fail-Safe oder Fail-Operational Zustand für das Fahr zeug ein. Im Falle von erkanntem Alkohol in Atemluft und/oder Körpergeruch, oder bei Überschreiten eines Schwellenwertes, beispielsweise einem gesetzlichen Grenz wertes, stellt die Erfindung damit eine alkoholempfindliche Wegfahrsperre oder einen verbesserten Alcolock bereit. Fail-Safe bedeutet, dass beispielsweise ein Anfahren des Fahrzeuges nicht erfolgt, wenn Gerüche des Fahrzeugführers erkannt wurden, die auf Drogen und/oder Krankheit hinweisen. Fail-Operational bedeutet, dass bei spielsweise das Fahrzeug operativ bleibt und weiterfährt, bis sich eine sichere Anhal temöglichkeit ergibt, wenn während einer Fahrt Gerüche des Fahrzeugführers er kannt wurden, die auf Drogen und/oder Krankheit hinweisen.
In einer weiteren Ausgestaltung des Systems umfasst das System einen Speicher und/oder Kommunikationsmittel, um identifizierte Gerüche von Drogen und/oder Krankheiten zu speichern und/oder einem Unternehmen, dem das Fahrzeug gehört oder einer Regierungsbehörde eine Information über die identifizierten Gerüche be reitzustellen. Damit kann das Unternehmen oder die Regierungsbehörde eines ihrer Fahrzeuge remote anhalten oder in einen Fail-Operational Zustand überführen. Ferner werden damit Fahrzeugführer, die bei dem Unternehmen angestellt sind, oder von Regierungsbehörden hinsichtlich Fahrtüchtigkeit überwacht.
Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
Fig. 1 ein aus dem Stand bekannter Alkoholtester,
Fig. 2 ein Ausführungsbeispiel eines erfindungsgemäßen Systems in einem Fahr zeuginnenraum,
Fig. 3 ein Ausführungsbeispiel einer erfindungsgemäßen Verarbeitungseinheit,
Fig. 4 eine schematische Darstellung eines erfindungsgemäßen Systems,
Fig. 5 eine schematische Darstellung eines weiteren erfindungsgemäßen Systems und
Fig. 6 eine schematische Darstellung eines Ausführungsbeispiels eines erfindungs gemäßen Verfahrens.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils rele vanten Bezugsteile hervorgehoben.
Fig. 1 zeigt als Fahrzeuginsassen F einen Fahrzeugführer, der eine Atemprobe in ein Handgerät abgibt. Das Handgerät misst die Alkoholkonzentration des eingeblasenen Alkohols. Falls der gemessene Wert über einem Schwellenwert, beispielsweise ei nem gesetzlichen Grenzwert liegt, wird ein Anlasser des Fahrzeuges blockiert. Das Fahrzeug kann dann nicht anfahren. Das Handgerät ist relativ unkomfortabel. Ferner muss der Fahrzeugführer zusätzliche Handbewegungen und/oder Handgriffe ausfüh ren zur Bedienung des Handgeräts, bevor er losfahren kann. Das erfindungsgemäße System 20 ist in Fig. 2 in einen Fahrzeuginnenraum inte griert. Fig. 4 zeigt das System 20 schematisch. Das System 20 umfasst beispiels weise einen ersten Sensor 21 . Der erste Sensor 21 ist in ein Fahrzeuglenkrad inte griert und ausgeführt, Geruchsmoleküle in Atemluft und/oder aus Körpergeruch des Fahrzeuginsassen F zu detektieren. Ferner umfasst das System 20 zweite Sensoren 22, die ein Gesicht des Fahrzeugführers identifizieren mittels softwarebasierter Ge sichtserkennung. Einer der zweiten Sensoren 22 ist beispielsweise im Bereich eines Rückspiegels im Fahrzeuginnenraum angeordnet und ist beispielsweise eine time-of- flight Kamera. Der andere der zweiten Sensoren 22 ist im Armaturenbrett integriert und umfasst beispielsweise einen Kamera-, Lidar- oder Radar-Sensor. Das System 20 umfasst eine Verarbeitungseinheit 10 wie in Fig. 3 gezeigt.
Die Verarbeitungseinheit 10 erhält über eine erste Schnittstelle 11 Signale des ersten Sensors 21. Über eine zweite Schnittstelle 12 erhält die VerarbeitungseinheitIO Sig nale des oder der zweiten Sensoren 22. In Abhängigkeit der Signale bestimmt die Verarbeitungseinheit in der Atemluft und/oder in Körpergerüchen des Fahrzeuginsas sen, der Atemluft in Richtung des Fahrzeuglenkrads abgibt, Gerüche, die beispiels weise auf Alkoholkonsum hinweisen. Die Gerüche oder die für die Gerüche relevan ten Substanzen werden mittels Maschinenlernverfahren bestimmt. Ferner verknüpft die Verarbeitungseinheit die Gerüche mit der Identität des Fahrzeuginsassen, um ei nen Betrug oder Missbrauch des Systems 20 vorzubeugen. Wird dabei beispiels weise erkannt, dass die Alkoholkonzentration in der Atemluft des Fahrzeugführers ei nen gesetzlichen Grenzwert übersteigt, erzeugt die Verarbeitungseinheit 10 ein zwei tes Signal. Das zweite Signal wird beispielsweise über eine dritte Schnittstelle 13 der Verarbeitungseinheit 10 einer Fahrzeugsteuerung ECU bereitgestellt. Das zweite Signal veranlasst die Fahrzeugsteuerung, dass ein Motorstart und/oder Getriebestart des Fahrzeuges unterbleibt. Die Fahrzeugsteuerung ECU ist beispielsweise ein elektronisches Steuergerät.
Fig. 5 zeigt das System in der Ausführungsform mit nur einem Sensor, beispiels weise einem time-of-flight Sensor oder einem Lidarsensor. Der eine Sensor über nimmt dabei die Funktionalitäten des ersten Sensors 21 und des zweiten Sensors 22. Das erfindungsgemäße Verfahren ist in Fig. 6 gezeigt. In einem Verfahrensschritt V1 werden erste Signale, die Geruchsmoleküle beschreiben, erhalten. In einem Verfah rensschritt V2 wird eine Identifikation des Fahrzeug Insassen erhalten. In einem Ver fahrensschritt V3 werden Gerüchen identifiziert, die auf Drogen und/oder Krankheiten hinweisen in Abhängigkeit der ersten Signale mittels eines ersten Maschinenlernal gorithmus, der trainiert ist, in Abhängigkeit der ersten Signale Gerüche umfassend Gerüche von Alkohol, Kokain, Amphetamine, Zigarettenrauch, Cannabis, Tetrahydro- cannabinol, Morphin, Methadone, Ammoniak, Azeton odereine Kombination dieser Substanzen zu identifizieren. In einem Verfahrensschritt V4 werden in Abhängigkeit einer Position des Fahrzeuginsassen F im Fahrzeuginnenraum die Gerüche der Identifikation des Fahrzeuginsassen zugeordnet. In einem Verfahrensschritt V5 wird ein zweites Signal bei einer positiven Zuordnung erzeugt. In einem Verfahrensschritt V6 wird das zweite Signal wenigstens einer Fahrzeugeinheit bereitgestellt.
Das Verfahren wird mit der Verarbeitungseinheit 10 oder dem System 20 durchge führt.
Bezuqszeichen
F Fahrzeuginsasse
10 Verarbeitungseinheit
11 erste Schnittstelle
12 zweite Schnittstelle
13 dritte Schnittstelle
20 System
21 erster Sensor
22 zweiter Sensor ECU Fahrzeugsteuerung V1 -V6 Verfahrensschritte

Claims

Patentansprüche
1. Verarbeitungseinheit (10) für einen Fahrzeuginnenraum zur Wahrnehmung und Reaktion auf Gerüche eines Fahrzeuginsassen (F) umfassend
• eine erste Schnittstelle (11) zu einem ersten Sensor (21), der in einem Fahr zeuginnenraum Geruchsmoleküle in Atemluft und/oder aus Körpergeruch des Fahrzeug Insassen (F) erfasst und in erste Signale umformt, um die ersten Sig nale zu erhalten, wobei die ersten Signale aus einer Lichtwechselwirkung re sultieren oder Frequenzen und/oder Amplituden von Schwingungen umfassen,
• eine zweite Schnittstelle (12) zu einem zweiten Sensor (22), der den Fahrzeu ginsassen (F) identifiziert, um eine Identifikation des Fahrzeuginsassen (F) zu erhalten,
• wobei die Verarbeitungseinheit (10) Befehle ausführt, die bewirken, dass die Verarbeitungseinheit (10) in Abhängigkeit einer Position des Fahrzeuginsas sen (F) im Fahrzeuginnenraum Gerüche des Fahrzeuginsassen (F), die auf Drogen und/oder Krankheiten hinweisen, der Identifikation des Fahrzeuginsas sen (F) zuordnet und bei einer positiven Zuordnung ein zweites Signal er zeugt, wobei die Befehle einen ersten Maschinenlernalgorithmus umfassen, der trainiert ist, in Abhängigkeit der ersten Signale Alkohol, Kokain, Ampheta mine, Zigarettenrauch, Cannabis, Tetrahydrocannabinol, Morphin, Methadone, Ammoniak, Azeton oder eine Kombination dieser Substanzen in den Gerü chen des Fahrzeuginsassen (F) zu identifizieren, und
• eine dritte Schnittstelle (13) zu wenigstens einer Fahrzeugeinheit, um dem Fahrzeuginsassen (F) und/oder einer Fahrzeugsteuerung (ECU) das zweite Signal bereitzustellen, wobei der erste Maschinenlernalgorithmus auf semantische Bildsegmentierung trai niert ist zur Identifikation des Fahrzeuginsassen (F) oder die Befehle einen zweiten Maschinenlernalgorithmus umfassen, der auf semantische Bildsegmentierung trai niert ist zur Identifikation des Fahrzeuginsassen (F).
2. Verarbeitungseinheit (10) nach Anspruch 1, wobei der erste Maschinenlernalgo rithmus ein olfaktorisches System von Säugern modelliert und/oder die Verarbei tungseinheit als neuromorpher Schaltkreis ausgeführt ist.
3. Verarbeitungseinheit (10) nach Anspruch 1 oder 2, wobei die Verarbeitungseinheit (10) in ein Fahrzeug oder in ein Bordnetz eines Fahrzeuges integriert ist.
4. System (20) für einen Fahrzeuginnenraum zur Wahrnehmung und Reaktion auf Gerüche eines Fahrzeuginsassen (F) umfassend
• wenigstens einen ersten Sensor (21), der im Fahrzeuginnenraum Geruchsmo leküle in Atemluft und/oder aus Körpergeruch des Fahrzeuginsassen (F) er fasst und in erste Signale umformt,
• wenigstens einen zweiten Sensor (22), der den Fahrzeuginsassen (F) identifi ziert, und
• eine Verarbeitungseinheit (10) nach einem der Ansprüche 1 bis 3, die über eine erste (11) und zweite Schnittstelle (12) jeweils mit dem ersten (21) und zweiten Sensor (22) Signal übertragend verbunden ist, wobei
• das System (20) über eine dritte Schnittstelle (13) ein zweites Signal der Ver arbeitungseinheit (10) einer optischen, akustischen und/oder taktilen Informati onseinheit oder einer Fahrzeugsteuerungseinheit bereitstellt.
5. System (20) nach Anspruch 4, wobei der erste Sensor (21) ein Fahrzeug-Lidar- sensor ist, ausgeführt, Geruchsmoleküle in Abhängigkeit von aus dem Fahrzeugin nenraum zurückgestreutem Licht zu erfassen.
6. System (20) nach Anspruch 5, wobei der Fahrzeug-Lidarsensor ausgeführt ist, mehrere Lichtpulse unterschiedlicher Wellenlänge auszusenden und für jede der Wellenlängen die Geruchsmoleküle aus dem zurückgestreuten Licht zu erfassen.
7. System (20) nach Anspruch 4 oder 5, wobei der Fahrzeug-Lidarsensor einen Gü teschalter umfasst.
8. System (20) nach einem der Ansprüche 4 bis 7, wobei der zweite Sensor (22) ein 2D oder 3D Kamerasensor, Radarsensor oder Lidarsensor ist und das System aus geführt, die Identifikation des Fahrzeuginsassen (F) aus einer Gesichtserkennung des Fahrzeuginsassen zu erhalten.
9. System (20) nach einem der Ansprüche 4 bis 8, umfassend einen Sensor, der Funktionalitäten des ersten (21) und zweiten Sensors (22) vereint, wobei der Sensor ein Lichtlaufzeit-Sensor ist, die ersten Signale aus von aus dem Fahrzeuginnenraum zurückgestreutem Licht des Sensors resultieren und die Identifikation des Fahrzeu ginsassen (F) aus Lichtlaufzeiten von Lichtimpulsen des Sensors zu einer Körperteil oberfläche des Fahrzeuginsassen (F) resultiert.
10. System (20) nach Anspruch 8 oder 9, wobei der zweite Sensor einzelne Gliedma ßen erfasst und das System ausgeführt ist, den Fahrzeug Insassen in Abhängigkeit der erfassten Gliedmaßen zu identifizieren.
11 . System (20) nach einem der Ansprüche 4 bis 10, wobei bei Verwendung in dem Fahrzeuginnenraum der erste Sensor (21) an einem Fahrzeuglenkrad oder in einem Bereich eines Armaturenbretts und der zweite Sensor oder der Sensor an dem Fahr zeuglenkrad, in einem Bereich des Armaturenbretts, in einem Bereich einer Wind schutzscheibe des Fahrzeuges oder in einem Bereich eines Fahrzeughimmels ange ordnet ist.
12. System (20) nach einem der Ansprüche 4 bis 11 , wobei der erste Sensor (21 ) ein Fahrzeug-Lidarsensor ist, ausgeführt, Geruchsmoleküle in Abhängigkeit von aus dem Fahrzeuginnenraum zurückgestreutem Licht zu erfassen und der zweite Sensor (22) ein CCD oder CMOS Sensor zur Spektroskopie des zurückgestreuten Lichts ist.
13. System (20) nach einem der Ansprüche 4 bis 12, wobei das zweite Signal ein Steuerungssignal für eine Wegfahrsperre des Fahrzeuges ist und die dritte Schnitt stelle (13) das zweite Signal der Wegfahrsperre bereitstellt oder wobei das zweite Signal ein Steuerungssignal ist und einen Fail-Safe oder Fail-Operational Zustand für das Fahrzeug einleitet.
14. System (20) nach einem der Ansprüche 4 bis 13, umfassend einen Speicher und/oder Kommunikationsmittel, um identifizierte Gerüche von Drogen und/oder Krankheiten zu speichern und/oder einem Unternehmen, dem das Fahrzeug gehört oder einer Regierungsbehörde eine Information über die identifizierten Gerüche be reitzustellen.
15. Computerimplementiertes Verfahren zur Wahrnehmung und Reaktion auf Gerü che eines Fahrzeuginsassen (F) umfassend die Schritte
• Erhalten von ersten Signalen, die Geruchsmoleküle beschreiben (V1),
• Erhalten einer Identifikation des Fahrzeuginsassen (V2),
• Identifizieren von Gerüchen, die auf Drogen und/oder Krankheiten hinweisen, in Abhängigkeit der ersten Signale mittels eines ersten Maschinenlernalgorith mus, der trainiert ist, in Abhängigkeit der ersten Signale Gerüche umfassend Gerüche von Alkohol, Kokain, Amphetamine, Zigarettenrauch, Cannabis, Tet- rahydrocannabinol, Morphin, Methadone, Ammoniak, Azeton oder eine Kombi nation dieser Substanzen zu identifizieren (V3),
• in Abhängigkeit einer Position des Fahrzeuginsassen (F) im Fahrzeuginnen raum Zuordnen der Gerüche zu der Identifikation des Fahrzeuginsassen (F) (V4),
• Erzeugen eines zweiten Signals bei einer positiven Zuordnung (V5), und
• Bereitstellen des zweiten Signales wenigstens einer Fahrzeugeinheit (V6), wobei zur Durchführung des Verfahrens eine Verarbeitungseinheit (10) nach einem der Ansprüche 1 bis 3 oder ein System (20) nach einem der Ansprüche 4 bis 14 ver wendet wird.
EP21712061.7A 2020-03-20 2021-03-10 Verarbeitungseinheit, system, und computerimplementiertes verfahren für einen fahrzeuginnenraum zur wahrnehmung und reaktion auf gerüche eines fahrzeuginsassen Withdrawn EP4120892A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020203584.9A DE102020203584B4 (de) 2020-03-20 2020-03-20 Verarbeitungseinheit, System, und computerimplementiertes Verfahren für einen Fahrzeuginnenraum zur Wahrnehmung und Reaktion auf Gerüche eines Fahrzeuginsassen
PCT/EP2021/055990 WO2021185645A1 (de) 2020-03-20 2021-03-10 Verarbeitungseinheit, system, und computerimplementiertes verfahren für einen fahrzeuginnenraum zur wahrnehmung und reaktion auf gerüche eines fahrzeuginsassen

Publications (1)

Publication Number Publication Date
EP4120892A1 true EP4120892A1 (de) 2023-01-25

Family

ID=74874810

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21712061.7A Withdrawn EP4120892A1 (de) 2020-03-20 2021-03-10 Verarbeitungseinheit, system, und computerimplementiertes verfahren für einen fahrzeuginnenraum zur wahrnehmung und reaktion auf gerüche eines fahrzeuginsassen

Country Status (4)

Country Link
US (1) US20230127231A1 (de)
EP (1) EP4120892A1 (de)
DE (1) DE102020203584B4 (de)
WO (1) WO2021185645A1 (de)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022201704B4 (de) 2022-02-18 2025-12-18 Zf Friedrichshafen Ag Gasanalyse-System für Fahrzeuge und Anordnung mehrerer derartiger Gasanalyse-Systemen
DE102022201701A1 (de) * 2022-02-18 2023-08-24 Zf Friedrichshafen Ag Fahrzeugbedienelement zum Messen von Konzentrationen von Substanzen in Ausatemluft und/oder Körpergeruch von Fahrzeuginsassen
DE102022201915A1 (de) 2022-02-24 2023-08-24 Zf Friedrichshafen Ag Steuergerät, Bausatz, Verfahren und Computerprogramm für ein Transportsystem zum gezielten Regeln und/oder Steuern einer Zu- und/oder Abluft und Transportsystem
DE102022203044A1 (de) 2022-03-29 2023-10-05 Zf Friedrichshafen Ag Gasanalyse-System anordbar in einem Fahrzeuginnenraum und ausgelegt zum Bestimmen von Substanzen in Ausatemluft und/oder Körpergeruch von Fahrzeuginsassen
DE102022204281A1 (de) 2022-05-02 2023-11-02 Zf Friedrichshafen Ag Verfahren zur Analyse einer Menge eines innerhalb eines Fahrzeugs vorliegenden Gases, Verwendung von analytischen Daten und Verwendung einer Analyseeinrichtung sowie Analyseeinrichtung, Analysesystem und Fahrzeug
DE102022212997B3 (de) 2022-12-02 2024-06-06 Zf Friedrichshafen Ag Anordnung wenigstens eines Systems in einem Innenraum eines Fahrzeuges zum Überwachen eines Zustandes wenigstens eines Fahrzeuginsassen
DE102022212999B3 (de) 2022-12-02 2024-06-06 Zf Friedrichshafen Ag Lenkstockschalter zum Überwachen wenigstens eines Fahrzeuginsassen und Fahrzeug umfassend einen derartigen Lenkstockschalter
WO2024115622A1 (de) 2022-12-02 2024-06-06 Zf Friedrichshafen Ag Lenkstockschalter zum überwachen wenigstens eines fahrzeuginsassen und fahrzeug umfassend einen derartigen lenkstockschalter
DE102022212996A1 (de) 2022-12-02 2024-06-13 Zf Friedrichshafen Ag Fahrzeuginsassen- Überwachungssystem und Fahrzeug umfassend ein Fahrzeuginsassen-Überwachungssystem
MX2024005447A (es) * 2023-05-04 2024-12-06 Chancelor Winston HEMPHILL Sistema integrado de prevención de la conducción bajo los efectos del alcohol u otras drogas y métodos relacionados con este
USD1121517S1 (en) * 2023-06-19 2026-04-07 Aston Martin Lagonda Limited Air vent for automobile or replica thereof
USD1121522S1 (en) * 2023-06-19 2026-04-07 Aston Martin Lagonda Limited Dashboard for automobile or replica thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7823681B2 (en) 2007-10-10 2010-11-02 B.E.S.T. Labs, Inc. Breath alcohol ignition interlock device with biometric facial recognition with real-time verification of the user
US8686864B2 (en) 2011-01-18 2014-04-01 Marwan Hannon Apparatus, system, and method for detecting the presence of an intoxicated driver and controlling the operation of a vehicle
US20150379362A1 (en) 2013-02-21 2015-12-31 Iee International Electronics & Engineering S.A. Imaging device based occupant monitoring system supporting multiple functions
KR101637773B1 (ko) 2014-12-11 2016-07-07 현대자동차주식회사 냄새 감성 판정 장치 및 방법
US9988055B1 (en) 2015-09-02 2018-06-05 State Farm Mutual Automobile Insurance Company Vehicle occupant monitoring using infrared imaging
US9797881B2 (en) 2015-11-05 2017-10-24 GM Global Technology Operations LLC Method and system for controlling a passive driver impairment detection system in a vehicle
US10095229B2 (en) 2016-09-13 2018-10-09 Ford Global Technologies, Llc Passenger tracking systems and methods
CN109313112A (zh) 2016-09-27 2019-02-05 株式会社而摩比特 气味测量装置及气味数据管理装置
US20190197430A1 (en) * 2017-12-21 2019-06-27 Lyft, Inc. Personalized ride experience based on real-time signals

Also Published As

Publication number Publication date
DE102020203584B4 (de) 2024-12-12
DE102020203584A1 (de) 2021-09-23
US20230127231A1 (en) 2023-04-27
WO2021185645A1 (de) 2021-09-23

Similar Documents

Publication Publication Date Title
DE102020203584B4 (de) Verarbeitungseinheit, System, und computerimplementiertes Verfahren für einen Fahrzeuginnenraum zur Wahrnehmung und Reaktion auf Gerüche eines Fahrzeuginsassen
DE102018207069B4 (de) Verfahren und Steuereinheit zum Betreiben eines autonomen Fahrzeugs
DE112019001601T5 (de) Sicherheitsverbessertes computergestütztes-fahren-verfahren und -vorrichtung
Yang et al. Comparison among driving state prediction models for car-following condition based on EEG and driving features
EP3947086B1 (de) Verfahren und einrichtung zur überwachung eines fahrbetriebsbedingten gesundheitszustandes von insassen eines insbesondere autonomen fahrzeugs
DE102007046037B3 (de) Vorrichtung zur Erhöhung der Sicherheit im Straßenverkehr
EP2751788B1 (de) Vorrichtung zur einstellung wenigstens eines betriebsparameters wenigstens eines fahrzeugsystems eines kraftfahrzeugs
DE10321750A1 (de) Fahrzeugpersonalisierung durch biometrische Identifizierung
DE102019210929B4 (de) Computerimplementiertes Verfahren zum maschinellen Lernen von Husten- und/oder Niesgeräuschen von ein Beförderungsmittel nutzenden Fahrgästen, um bei erkannten Husten- und/oder Niesgeräuschen Maßnahmen zur Reinigung des Beförderungsmittels einzuleiten, und Steuergerät, Verfahren, Vorrichtung, Beförderungsmittel und Computerprogramm zum Einleiten der Maßnahmen
DE112018007454T5 (de) Insassenzustand-Bestimmungsvorrichtung, Warnausgabe-Steuervorrichtung und Insassenzustand-Bestimmungsverfahren
DE102024117270B4 (de) System und Verfahren zum Vorhersagen von Verletzungen von Fahrzeuginsassen nach einem Ereignis
DE102021128908A1 (de) Automatisiertes triageschwestersystem in einem fahrzeug
Tariq et al. Motor imagery based EEG features visualization for BCI applications
DE102008038855B4 (de) System zur Erkennung einer Gefahrensituation
DE112022001065T5 (de) Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
EP3968850B1 (de) System zum erfassen von biosignalen einer person, fortbewegungsmittel mit einem solchen system
DE102018132868A1 (de) Warnsystem und Warnverfahren für ein Fahrzeug
DE102019203080A1 (de) Verfahren und System zum Bestimmen eines Kinetosezustandes einer Person, wobei die Person ein Fahrzeuginsasse ist
DSouza et al. Brain-based indicators of passenger trust during open-road driving
Fu et al. Decoding passenger's EEG signals from encountering emergency road events
DE102019208979A1 (de) Steuergerät zum Einsatz in einem Kraftfahrzeug
DE102019208992A1 (de) Steuergerät zum Einsatz in einem Kraftfahrzeug
DE102019208970A1 (de) Steuergerät zum Einsatz in einem Kraftfahrzeug
Kolachalama et al. A Deep Learning Framework for Time Series Prediction of Passenger Motion Sickness Based on Vehicle Dynamics Data
DE102022204113A1 (de) Verfahren, System und Computerprogramm zur sicheren Erprobung eines automatisierten Fahrzeuges durch Erhöhen der Aufmerksamkeit eines Sicherheitsfahrers

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220906

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20250212

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250613