EP4547550A1 - Verfahren zur handdetektion, computerprogramm, und vorrichtung - Google Patents

Verfahren zur handdetektion, computerprogramm, und vorrichtung

Info

Publication number
EP4547550A1
EP4547550A1 EP23735600.1A EP23735600A EP4547550A1 EP 4547550 A1 EP4547550 A1 EP 4547550A1 EP 23735600 A EP23735600 A EP 23735600A EP 4547550 A1 EP4547550 A1 EP 4547550A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
hand detection
algorithm
parameter
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23735600.1A
Other languages
English (en)
French (fr)
Inventor
Jonas Kaste
Felix Stahl
Felix Kallmeyer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4547550A1 publication Critical patent/EP4547550A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation

Definitions

  • Embodiments of the present invention relate to a method for hand detection, a computer program, and an apparatus.
  • embodiments of the present invention relate to a method for improving recognition of a hand detection on a steering wheel of a vehicle.
  • Driver assistance systems are intended to support a vehicle driver depending on the situation, relieve the burden and make the driving task as comfortable and safe as possible.
  • the driver as an active part of the control strategy for longitudinal and lateral guidance, is crucial for monitoring the systems and the respective situation. Part of this active role is placing hands on the steering wheel to quickly ensure full control and driver-side stabilization of the system in critical situations.
  • DE 10 2016 005 013 A1 discloses a steer-by-wire steering system for motor vehicles with a steering actuator that acts on the steered wheels and is electronically controlled depending on a driver's steering request, with a feedback actuator that transmits the effects of the road to a control, and a control unit, which controls the feedback actuator and the steering actuator.
  • the control unit includes an estimator comprising an observer and a model of the feedback actuator. The estimator is set up to estimate a driver steering torque based on measured values from the feedback actuator and with the help of the model and the observer and to provide it as a result.
  • DE 10 2018 129 563 A1 discloses a method for determining the control mode of a steering wheel of a vehicle, wherein the control mode is a first control mode in which a driver controls the steering wheel, or wherein the control mode is a second control mode in which the driver does not control the steering wheel controls.
  • the method includes the steps of detecting at least one steering parameter and determining the control mode of the steering wheel using a machine learning technique.
  • EP 2 371 649 B1 discloses a method for determining information in a motor vehicle related to the line of sight of a driver and the position of the driver's hands with respect to the steering wheel.
  • Steering wheel angle, steering wheel angular speed or the vehicle reaction estimates the driver's holding of the steering wheel, i.e. carries out hand detection.
  • a neural network can be used for this purpose.
  • ASIL automotive safety integrity level
  • Another approach is to use classic model-based or mathematical/rule-based approaches.
  • driver-induced excitation on the steering wheel system-side excitation, which results, for example, from unevenness in the road, and system-side friction, these can only determine the desired identification of the hands on the steering wheel much more imprecisely.
  • Embodiments are based on the core idea that hand detection on a steering wheel of a vehicle can be improved by using a hybrid approach that, depending on the situation, at least one algorithm from a machine learning (ML) algorithm or a model-based algorithm (e.g. a classic, mathematical approach) used to detect hands on the steering wheel.
  • ML machine learning
  • a model-based algorithm e.g. a classic, mathematical approach
  • hand detection can be adapted to a situation using an algorithm.
  • hand detection can be determined using an algorithm that meets an ASIL requirement (e.g. a model-based algorithm).
  • Embodiments relate to a method for improving hand detection on a steering wheel of a vehicle.
  • the method includes determining a parameter for assessing a safety relevance of a situation and performing hand detection based on at least one of a machine learning algorithm and a model-based algorithm based on the parameter.
  • This allows an algorithm to be selected that is suitable for a respective situation, for example, for a non-safety-critical situation, an algorithm that does not meet the ASIL requirements can be selected (e.g. an ML algorithm). This can, for example, increase accuracy.
  • hand detection can be performed based on the model-based algorithm. This allows a simplified assignment to be made for various situations.
  • the limit value can be selected such that the parameter for a safety-critical situation, which must meet ASIL requirements, is above the limit value.
  • hand detection can be carried out based on the machine learning algorithm. This allows a simplified assignment to be made for various situations.
  • the limit value can be selected such that the parameter for a non-safety-critical situation that does not require ASIL requirements is below the limit value.
  • the method may further comprise obtaining environmental information of the vehicle and determining the parameter for evaluating the safety relevance based on the obtained environmental information.
  • detection of security relevance can be improved in particular. For example, a safety-critical situation can be recognized when a moving object (for example a person) falls below a minimum distance from the vehicle (for example in front of the vehicle).
  • the method may further comprise obtaining status information about a condition of the vehicle and determining the parameter for evaluating the safety relevance based on the obtained status information.
  • the speed of the vehicle can be used to evaluate a situation.
  • the method may further include obtaining interior information of the vehicle and using the interior information for hand detection.
  • the reliability of the hand detection can be improved by using a further input parameter for determination or checking.
  • Embodiments also provide a computer program for performing one of the methods described herein when the computer program runs on a computer, a processor, or a programmable hardware component.
  • a further exemplary embodiment is a device for improving recognition of a hand detection on a steering wheel of a vehicle.
  • the device includes one or more interfaces for communication (e.g. with the sensor for determining environmental information) and a data processing circuit that is designed to carry out at least one of the methods described herein.
  • Embodiments further provide a vehicle with a device as described herein.
  • FIG. 1 shows a schematic representation of an example of a method for improving hand detection on a steering wheel of a vehicle
  • FIG. 2 shows a block diagram of an exemplary embodiment of a device in a vehicle for improving hand detection on a steering wheel of a vehicle
  • Fig. 3 shows exemplary embodiments for integrating a virtual sensor.
  • FIG. 1 shows a schematic representation of an example of a method 100 for improving hand detection on a steering wheel of a vehicle.
  • the method 100 includes determining 110 a parameter for assessing a safety relevance of a situation and performing 120 hand detection based on at least one of a machine learning algorithm and a model-based algorithm based on the parameter.
  • a suitable algorithm can be selected, for example to fulfill an ASIL requirement.
  • hand detection can be improved so that a capacitive sensor can be saved, which can reduce costs. Error-prone hand detection can also be replaced/avoided or made more robust by observing the interior of the vehicle.
  • an algorithm can be adapted to a situation.
  • a first algorithm e.g. B.
  • the ML algorithm has an advantage in the accuracy of determining hand detection.
  • the ML algorithm can be sensitive to external disturbances such as road excitation, low torque from the driver, friction in the system. This allows for more robust performance in the event of disruptions. Furthermore, improved/more robust performance can be achieved in a wide range of different situations, especially without an approach that requires manual situation-dependent parameterization.
  • a second algorithm e.g. B.
  • the model-based algorithm has an advantage when determining according to ASIL requirements because it is ASIL compliant.
  • hand detection can be improved, for example hands off detection (HOD).
  • HOD hands off detection
  • the advantages of nonlinear pattern recognition from ML algorithms can be used.
  • mathematical/model-based methods can be used that can be secured in accordance with the ASIL requirements.
  • the assessment of whether a situation is safety-critical or not can be done in advance for each situation.
  • an assessment for a variety of situations can be stored in a database, for example a look-up table, a file system or in a data structure.
  • the database can, for example, be stored on a storage unit of a device (see FIG. 2) for carrying out a method according to the invention.
  • a situation can be assigned a value in a range of values, with a higher value indicating a higher criticality of the situation. This means that different situations can be assessed with different parameters for criticality.
  • a limit value a selection can then be made in particular as to which situation is classified as safety-critical or as not safety-critical. In particular, this selection can be changed by varying the limit values.
  • a high-performance, secure, virtual sensor can be realized that reduces the disadvantages of individual approaches and offers significant cost reductions compared to a real sensor (e.g. a capacitive sensor).
  • the selection based on the parameter for assessing security relevance can in particular make it possible to adapt the individual algorithms to the respective situations, e.g. B., by defining threshold values.
  • a purely software-based solution for hand detection can be provided that can be implemented in a vehicle independently of additional hardware.
  • a cost reduction, increased hedging ability, increased robustness and/or a performance gain can be achieved through operating point-dependent implementation.
  • hand detection can be performed based on the model-based algorithm.
  • This allows the model-based algorithm to be provided with an associated threshold value, for example for certain situations, in particular safety-critical situations.
  • a variety of model-based algorithms can be used that meet various ASIL requirements.
  • a selection of a model-based Algorithm from the majority of model-based algorithms can then be done, for example, based on the parameter.
  • the limit can be specific to one situation or a plurality of situations.
  • hand detection can be carried out based on the machine learning algorithm.
  • the ML algorithm can only be used for situations that are not safety-critical, i.e. that do not have to meet ASIL requirements. This allows increased accuracy of the ML algorithm to be exploited, particularly for non-safety-critical situations.
  • a variety of ML algorithms can be used, which have been trained for different situations. A selection of an ML algorithm from the majority of ML algorithms can then be made, for example, based on the parameter.
  • ML algorithm e.g. B., the ML algorithm
  • model-based algorithm can also be used.
  • an algorithm e.g. B., the ML algorithm
  • the ML algorithm can be used to check a result of the other algorithm, for example the model-based algorithm.
  • the method may further comprise obtaining environmental information of the vehicle and determining the parameter for evaluating the safety relevance based on the obtained environmental information. This can improve an assessment of a safety-critical situation.
  • the environmental information can be obtained by determining information about the environment using one or more sensors of the vehicle and / or by receiving information about the environment (for example through a cooperative awareness message).
  • the environmental information can be received by a vehicle, an infrastructure, a smartphone, a base station, etc.
  • the one or more sensors can, for example, belong to a variety of vehicle sensors, e.g. B. a radar sensor, a lidar sensor, an ultrasonic sensor or an imaging sensor such as a camera or infrared sensors.
  • the environmental information can be used to improve the determination of safety relevance.
  • the safety relevance may be lower than in an environment with more obstacles, movable objects, etc. This allows, in particular, an adaptive adjustment of the determination of the parameter for evaluating the safety relevance.
  • the method may further comprise obtaining status information about a condition of the vehicle and determining the parameter for evaluating the safety relevance based on the obtained status information. This allows, for example, a speed of the vehicle to be taken into account to determine the parameter. For example, a situation may be more critical for a stationary vehicle that is starting than for a vehicle traveling on a highway at a characteristic speed for the highway.
  • the method may further comprise obtaining status information about a condition of the vehicle and determining the parameter for evaluating the safety relevance based on the obtained status information. This allows, for example, the speed of the vehicle to be used to evaluate a situation.
  • the method may further include determining interior information of the vehicle and using the interior information for hand detection.
  • a determination can be made, for example, using a camera, an infrared camera, etc.
  • the interior information can then be used, for example, to verify a result determined by the algorithm.
  • a driver observation camera can be used to detect and/or estimate the driver's attention and/or the position of the hands.
  • it must be ensured that the information from the camera provides robust information despite potential overlap or visual interference.
  • FIG. 1 may include one or more optional additional features corresponding to one or more aspects mentioned in connection with the proposed concept or one or more embodiments described below (e.g., FIGS. 2-3).
  • . 2 shows a block diagram of an exemplary embodiment of a device in a vehicle 200 for improving hand detection on a steering wheel of a vehicle.
  • the device 30 includes one or more interfaces 32 for communication.
  • the device 30 further comprises a data processing circuit 34 which is designed to carry out at least one of the methods described herein, for example the method which is described with reference to FIG. 1.
  • Further exemplary embodiments are a vehicle with a device 30.
  • the one or more interfaces 32 may, for example, correspond to one or more inputs and/or one or more outputs for receiving and/or transmitting information, such as digital bit values, based on a code, within a module, between modules, or between modules of different types Entities.
  • the at least one or more interfaces 32 can, for example, be designed to communicate with other network components via a (radio) network or a local connection network.
  • the one or more interfaces 32 are coupled to the respective data processing circuit 34 of the device 30.
  • the device 30 may be implemented by one or more processing units, one or more processing devices, any means of processing such as a processor, a computer, or a programmable hardware component operable with appropriately customized software.
  • the described functions of the data processing circuit 34 can also be implemented in software, which is then executed on one or more programmable hardware components.
  • Such hardware components can be a general purpose processor, a digital signal processor (DSP), a microcontroller, etc.
  • the data processing circuit 34 may be capable of controlling the one or more interfaces 32 so that any data transmission occurring over the one or more interfaces 32 and/or any interaction in which the one or more interfaces 32 may be involved , can be controlled by the data processing circuit 34.
  • data processing circuit 34 may correspond to any controller or processor or programmable hardware component.
  • the data processing circuit 34 can also be implemented as software is programmed for a corresponding hardware component.
  • the data processing circuit 34 can be implemented as programmable hardware with appropriately adapted software. Any processors, such as digital signal processors (DSPs), can be used. Embodiments are not limited to a specific type of processor. Any processor or even multiple processors are conceivable for implementing the data processing circuit 34.
  • DSPs digital signal processors
  • the device 30 may include a memory and at least one data processing circuit 34 operably coupled to the memory and configured to perform the method described below.
  • the one or more interfaces 32 may correspond to any means for obtaining, receiving, transmitting or providing analog or digital signals or information, e.g. B. any terminal, contact, pin, register, input terminal, output terminal, conductor, trace, etc. that enables the provision or receipt of a signal or information.
  • the one or more interfaces 32 may be wireless or wired and may be configured to communicate with other internal or external components, e.g. B. can send or receive signals or information.
  • the vehicle may correspond, for example, to a land vehicle, a watercraft, an aircraft, a rail vehicle, a road vehicle, a car, a bus, a motorcycle, an off-road vehicle, a motor vehicle, or a truck.
  • the data processing circuit can, for example, be part of a control unit of the vehicle.
  • FIG. 2 may include one or more optional additional features corresponding to one or more aspects related to the proposed concept or one or more embodiments described above (e.g., FIG. 1) and/or below (e.g. Fig. 3) were mentioned.
  • Fig. 3 shows various examples of hands-off detection.
  • Fig. 3a shows various HOD concepts known from the prior art.
  • a virtual sensor that is cheap or an additional sensor, which is associated with higher costs.
  • the use of virtual sensors can be differentiated into model-based algorithms (ASIL compatible) and ML algorithms (increased performance through better consideration of environmental influences such as friction, road feedback, etc.).
  • model-based algorithms ASIL compatible
  • ML algorithms increased performance through better consideration of environmental influences such as friction, road feedback, etc.
  • capacitive sensors ASIL compatible
  • driver observation cameras can be used for a variety of purposes
  • Fig. 3b shows an exemplary embodiment of a hybrid approach that uses machine learning methods or classical, mathematical model-based approaches to HOD depending on the situation.
  • the combination of both algorithms/approaches based on a situation-dependent parameter can enable utilization of improved performance of the ML algorithm, as well as situation-dependent protection, for example according to ASIL, of the model-based algorithm.
  • Fig. 3c shows an exemplary embodiment of modeling for a virtual sensor.
  • Vehicle reactions or movement information e.g. speed, yaw rate, lateral acceleration
  • output from an assistance system e.g. desired curvature, assist torque, desired steering angle
  • steering wheel information e.g. steering angle, steering angular velocity, steering torque
  • data from vehicles with integrated, capacitive hardware sensors can serve as evaluation data (ground truth) for a result of the ML algorithm.
  • these integrated hardware sensors can be replaced by using a virtual sensor consisting of the combination of ML and model-based algorithm.
  • a model for the virtual sensor can be created.
  • hardware sensors for example from other vehicles
  • These hardware sensors can provide training data, especially ground truth data, on the basis of which a software-based solution can be developed and optionally tested.
  • a system for training the ML algorithm can be configured to provide information (training input data) about vehicle reactions or movement information (e.g. speed, yaw rate, lateral acceleration), an output from an assistance system (e.g. desired curvature, assist torque, desired steering angle). , which provides steering wheel information (e.g. steering angle, steering angular velocity, steering torque) as input to a machine learning model.
  • Machine learning refers to algorithms and statistical models that computer systems can use to perform a specific task without explicit instructions, relying instead on models and inference. For example, in machine learning, instead of a rule-based transformation of data, a transformation of data derived from an analysis of historical and/or training data may be used.
  • Machine learning models are trained using training data. Many different approaches can be used to train a machine learning model. For example, supervised learning, semi-supervised learning or unsupervised learning can be used. In supervised learning, the machine learning model is trained using a variety of training samples, where each sample may include a variety of input data values and a variety of desired output values, e.g. B. each training pattern is associated with a desired output value. By specifying both training patterns and desired output values, the machine learning model "learns" what output value to deliver based on an input pattern that is similar to the patterns provided during training. In addition to supervised learning, semi-supervised learning can also be used. In semi-supervised learning, some of the training samples lack a corresponding desired output value.
  • Supervised learning can be based on a supervised learning algorithm, e.g. B. a classification algorithm, a regression algorithm or a similarity learning algorithm.
  • a supervised learning algorithm e.g. B. a classification algorithm, a regression algorithm or a similarity learning algorithm.
  • unsupervised learning (only) input data can be provided and an unsupervised learning algorithm can be used to find structure in the input data, e.g. B. by grouping or clustering the input data to find commonalities in the data.
  • the machine learning model can be, for example, an artificial neural network (ANN).
  • ANN are systems that are based on biological neural networks, such as those found in the brain. ANNs consist of a multitude of interconnected nodes and a multitude of connections, called edges, between the nodes. Typically, there are three types of nodes: input nodes that receive input values, hidden nodes that are connected to other nodes, and output nodes that provide output values. Each node can represent an artificial neuron. Each edge can transfer information from one node to another.
  • the output of a node can be defined as a (non-linear) function of the sum of its inputs. The Inputs from a node can be used in the function based on a "weight" of the edge or node providing the input.
  • training an artificial neural network may include adjusting the weights of the nodes and/or edges of the artificial neural network, e.g. B. to achieve a desired output for a given input.
  • the machine learning model may be a deep neural network, e.g. B. a neural network with one or more layers of hidden nodes (e.g. hidden layers), preferably a plurality of layers of hidden nodes.
  • Training machine learning models requires significant effort, so reusing a machine learning model for different problem sizes can reduce overall training time.
  • the machine learning model may be applied to a different number of devices or vehicles.
  • the training input data can be obtained, for example, via an interface, for example an interface of the system.
  • the training input data may be obtained from a database, from a file system, or from a data structure stored in computer memory.
  • the training input data can include training information about vehicle reactions or movement information (e.g. speed, yaw rate, lateral acceleration), an output from an assistance system (e.g. desired curvature, support torque, desired steering angle), steering wheel information (e.g. steering angle, steering angular velocity, steering torque.
  • the term “training information " can only indicate that the respective data is suitable, for example designed, for training the machine learning model.
  • the training information can include information about vehicle reactions or movement information (e.g.
  • the machine learning model may provide information about hand detection based on the training information as described above, which may be provided at the input of the machine learning model.
  • the machine learning model can be provided with the training input data, which represents a variety of parameters for assessing hand detection, and with the task of improving hand detection.
  • the machine learning model can be trained, for example, by performing a group of training tasks (or method steps) repeatedly (e.g. at least twice, at least five times, at least ten times, at least 20 times, at least 50 times, at least 100 times, at least 1000 times).
  • the machine learning model may be trained by repeatedly inputting the training input data into the machine learning model, performing hand detection, evaluating the hand detection based on ground truth of a hardware sensor, and adjusting the machine learning model based on a result of the evaluation.
  • An epoch means that the entire set of training input data is passed forward and backward through the machine learning model once.
  • a variety of batches of training data can be input into the machine learning model to determine hand detection.
  • the training data can, for example, be divided into a large number of batches that can be provided separately to the machine learning model. Each batch from the plurality of batches can be input into the machine learning model separately.
  • information (a scenario, a driving situation, a driving task, a criticality, etc.) can be made available in 310 to determine a situation. This information can be used, for example, to determine the parameter for assessing the safety relevance of a situation.
  • An assistance system 320 can include a partial function 330 for HOD.
  • a hardware sensor can be present, which provides evaluation data for the ML algorithm. This can improve modeling of the ML algorithm based on evaluation data.
  • the assistance system 320 can then, for example, output information to a driver, for example a warning that they are using their hands should take the steering wheel and/or control the vehicle, for example braking, aborting a maneuver, etc. (for example if no hands were detected on the steering wheel in a critical situation).
  • the ML algorithm After the ML algorithm has been trained, it can be used in synergy with a model-based algorithm. As shown in FIGS. 3d and 3e, a respective algorithm can be used depending on an assessment of a situation 340d, 340e.
  • the provision 310 of the information leads to an assessment of the situation 340d as a non-safety-critical situation.
  • an ML approach i.e. an ML algorithm for HOD
  • This algorithm can provide improved performance.
  • the assessment of the criticality of a situation can be done in advance and then carried out by comparison with a database, a file system or from a data structure.
  • the provision 310 of the information leads to an assessment of the situation 340e as a safety-critical situation. Accordingly, a mathematical approach, i.e. a model-based algorithm for HOD, is used in the subfunction 330. This algorithm can particularly meet ASIL requirements.
  • the 1st path with the hardware sensor can be omitted. This eliminates the need for an expensive hardware sensor, which in particular can save costs.
  • FIG. 3 may include one or more optional additional features corresponding to one or more aspects mentioned in connection with the proposed concept or one or more embodiments described above (e.g., FIGS. 1-2). .
  • FIG. 1 For exemplary embodiments, are computer programs for carrying out one of the methods described herein when the computer program runs on a computer, a processor, or a programmable hardware component.
  • embodiments of the invention may be implemented in hardware or in software.
  • the implementation can be carried out using a digital storage medium, for example a floppy disk, a DVD, a Blu-Ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, a hard drive or another magnetic or optical memory on which electronically readable control signals are stored, which can interact with a programmable hardware component in such a way that the respective procedures are carried out.
  • a digital storage medium for example a floppy disk, a DVD, a Blu-Ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, a hard drive or another magnetic or optical memory on which electronically readable control signals are stored, which can interact with a
  • the digital storage medium can therefore be machine or computer readable.
  • Some embodiments therefore include a data carrier that has electronically readable control signals that are capable of interacting with a programmable computer system or a programmable hardware component such that one of the methods described herein is carried out.
  • An exemplary embodiment is therefore a data carrier (or a digital storage medium or a computer-readable medium) on which the program for carrying out one of the methods described herein is recorded.
  • embodiments of the present invention may be implemented as a program, firmware, computer program or computer program product with a program code or as data, the program code or data being effective to perform one of the methods when the program is on a processor or a programmable hardware component.
  • the program code or the data can also be stored, for example, on a machine-readable carrier or data carrier.
  • the program code or data may be in the form of, among other things, source code, machine code or byte code, as well as other intermediate code.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ausführungsbeispiele der vorliegenden Erfindung schaffen Verfahren (100) zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs. Das Verfahren (100) umfasst Bestimmen (110) eines Parameters zur Bewertung einer Sicherheitsrelevanz einer Situation und Durchführen (120) der Handdetektion basierend auf zumindest einem von einem maschinellen Lernen Algorithmus und einem modellbasierten Algorithmus basierend auf dem Parameter.

Description

Beschreibung
Verfahren zur Handdetektion, Computerprogramm, und Vorrichtung
Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein Verfahren zur Handdetektion, ein Computerprogramm, und eine Vorrichtung. Insbesondere aber nicht ausschließlich, beziehen sich Ausführungsbeispiele der vorliegenden Erfindung auf ein Verfahren zur Verbesserung einer Erkennung einer Handdetektion an einem Lenkrad eines Fahrzeugs.
Fahrerassistenzsysteme sollen einen Fahrzeugführer situativ unterstützen, entlasten und die Fahraufgabe so komfortabel und sicher wie möglich gestalten. Trotz eines sukzessiv gesteigerten Automatisierungsgrades ist der Fahrer als aktiver Teil der Regelstrategie für Längs- und Querführung sowohl für die Überwachung der Systeme, sowie der jeweiligen Situation ausschlaggebend. Ein Teil dieser aktiven Rolle ist das Anlegen der Hände am Lenkrad, um in kritischen Situationen schnell die volle Kontrolle und fahrerseitige Stabilisierung des Systems zu gewährleisten.
DE 10 2016 005 013 A1 offenbart ein Steer-by-Wire-Lenksystem für Kraftfahrzeuge mit einem auf die gelenkten Räder wirkenden, in Abhängigkeit eines Fahrerlenkwunsches elektronisch geregelten Lenksteller, mit einem Rückwirkungen der Straße auf ein Steuer übertragenden Feedback-Aktuator, und einer Steuereinheit, die den Feedback-Aktuator und den Lenksteller ansteuert. Die Steuereinheit umfasst einen Schätzer umfassend einen Beobachter und ein Modell des Feed-back-Aktuators. Der Schätzer ist dazu eingerichtet, basierend auf Messwerten des Feed back- Aktuators und mithilfe des Modells und des Beobachters ein Fahrerlenkmoment zu schätzen und als Ergebnis bereitzustellen.
DE 10 2018 129 563 A1 offenbart ein Verfahren zum Bestimmen des Steuermodus eines Lenkrads eines Fahrzeugs, wobei der Steuermodus ein erster Steuermodus ist, in dem ein Fahrer das Lenkrad steuert, oder wobei der Steuermodus ein zweiter Steuermodus ist, in dem der Fahrer das Lenkrad nicht steuert. Das Verfahren umfasst die Schritte Erfassen mindestens eines Lenkparameters und Bestimmen des Steuermodus des Lenkrads unter Verwendung einer maschinellen Lerntechnik. EP 2 371 649 B1 offenbart ein Verfahren zur Ermittlung von auf die Blickrichtung eines Fahrers und die Position der Hände des Fahrers bezüglich des Lenkrads bezogenen Informationen in einem Kraftfahrzeug.
Entsprechend ist die Detektion der Hände am Lenkrad für den Betrieb unterschiedlicher Assistenzfunktionen im Bereich der Längs- und Querführung notwendig. Die Integration eines kapazitiven Sensors im Lenkrad löst dieses Problem robust, verursacht jedoch erhebliche Mehrkosten. Eine Möglichkeit diese Kosten zu reduzieren ist die Umsetzung eines virtuellen Sensors, der aus verfügbaren Signalverläufen (z.B. messbare Größen am Lenkrad wie Lenkmoment,
Lenkradwinkel, Lenkradwinkelgeschwindigkeit oder der Fahrzeugreaktion) das Festhalten des Lenkrades durch den Fahrer schätzt, also eine Handdetektion durchführt.
Zu diesem Zweck kann beispielsweise ein neuronales Netzwerk eingesetzt werden. Aufgrund der bisher nicht zu gewährleistenden Absicherung maschineller Lernverfahren ist dieses Verfahren für Teilfunktionen mit automotive safety integrity level (ASIL) Anforderungen jedoch ungeeignet. Ein weiterer Ansatz ist die Verwendung von klassischen modellbasierten oder mathematisch/ regel basierten Ansätzen. Diese können jedoch aufgrund der komplexen Unterscheidung zwischen fahrerinduzierter Anregung am Lenkrad, systemseitiger Anregung, die beispielsweise aus Unebenheiten der Straße resultiert, sowie systemseitiger Reibung, die gewünschte Identifikation der Hände am Lenkrad nur wesentlich ungenauer bestimmen.
Es besteht daher ein Bedarf daran, eine verbesserte Handdetektion an einem Lenkrad, beispielsweise in bestimmten Fahrsituation, wie einem Anfahren, bereitzustellen. Diesem Bedarf tragen das Verfahren, die Vorrichtung und das Computerprogramm nach den unabhängigen Ansprüchen Rechnung.
Ausführungsbeispiele basieren auf dem Kerngedanken, dass eine Handdetektion an einem Lenkrad eines Fahrzeugs verbessert werden kann, indem ein hybrider Ansatz verwendet wird, der situationsabhängig zumindest einen Algorithmus von einem maschinellen Lernen (ML) Algorithmus oder einem modellbasierten Algorithmus (z. B. ein klassischer, mathematischer Ansatz) zur Detektion der Hände am Lenkrad verwendet. Dadurch kann beispielsweise eine Handdetektion mittels Algorithmus an eine Situation angepasst werden. Beispielsweise kann in einer sicherheitskritischen Situation die Handdetektion mittels eines Algorithmus bestimmt werden, der eine ASIL Anforderung erfüllt (beispielsweise ein modellbasierter Algorithmus). Ausführungsbeispiele betreffen ein Verfahren zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs. Das Verfahren umfasst Bestimmen eines Parameters zur Bewertung einer Sicherheitsrelevanz einer Situation und Durchführen der Handdetektion basierend auf zumindest einem von einem maschinellen Lernen Algorithmus und einem modellbasierten Algorithmus basierend auf dem Parameter. Dadurch kann ein Algorithmus ausgewählt werden, der für eine jeweilige Situation geeignet ist, beispielsweise kann für eine nicht sicherheitskritische Situation ein Algorithmus ausgewählt werden, der den ASIL Anforderungen nicht genügt (beispielsweise ein ML Algorithmus). Dadurch kann beispielsweise eine Genauigkeit erhöht werden.
In einem Ausführungsbeispiel kann, sofern der Parameter einen Grenzwert überschreitet, die Handdetektion basierend auf dem modellbasierten Algorithmus durchgeführt werden. Dadurch kann für verschiedene Situationen eine vereinfachte Zuordnung erfolgen. Beispielsweise kann der Grenzwert so gewählt sein, dass der Parameter für eine sicherheitskritische Situation, welche einer ASIL Anforderungen genügen muss, oberhalb des Grenzwerts liegt.
In einem Ausführungsbeispiel kann, sofern der Parameter einen Grenzwert unterschreitet, die Handdetektion basierend auf dem maschinellen Lernen Algorithmus durchgeführt werden. Dadurch kann für verschiedene Situationen eine vereinfachte Zuordnung erfolgen. Beispielsweise kann der Grenzwert so gewählt sein, dass der Parameter für eine nicht sicherheitskritische Situation, welche keiner ASIL Anforderungen erfordert, unterhalb des Grenzwerts liegt.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Umgebungsinformation des Fahrzeugs und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Umgebungsinformation. Dadurch kann insbesondere eine Erkennung der Sicherheitsrelevanz verbessert werden. Beispielsweise kann eine sicherheitskritische Situation erkannt werden, wenn ein bewegliches Objekt (beispielsweise ein Mensch) einen Mindestabstand zu dem Fahrzeug (beispielsweise vor dem Fahrzeug) unterschreitet.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Zustandsinformation über einen Zustand des Fahrzeugs und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Zustandsinformation. Dadurch kann beispielsweise eine Geschwindigkeit des Fahrzeugs zu Bewertung einer Situation verwendet werden.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Innenrauminformation des Fahrzeugs und Verwenden der Innenrauminformation zur Handdetektion. Dadurch kann eine Verlässlichkeit der Handdetektion durch einen weiteren Eingangsparameter zur Bestimmung oder zur Überprüfung verbessert werden.
Ausführungsbeispiele schaffen auch ein Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft.
Ein weiteres Ausführungsbeispiel ist eine Vorrichtung zur Verbesserung einer Erkennung einer Handdetektion an einem Lenkrad eines Fahrzeugs. Die Vorrichtung umfasst eine oder mehrere Schnittstellen zur Kommunikation (z. B. mit dem Sensor zum Bestimmen von Umgebungsinformationen) und eine Datenverarbeitungsschaltung, die zur Durchführung zumindest eines der hierin beschriebenen Verfahren ausgebildet ist. Ausführungsbeispiele schaffen darüber hinaus ein Fahrzeug mit einer Vorrichtung wie hierin beschrieben.
Ausführungsbeispiele werden nachfolgend bezugnehmend auf die beiliegenden Figuren näher erläutert:
Fig. 1 zeigt eine schematische Darstellung eines Beispiels eines Verfahrens zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs;
Fig. 2 zeigt ein Blockdiagramm eines Ausführungsbeispiels einer Vorrichtung in einem Fahrzeug zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs; und
Fig. 3 zeigt Ausführungsbeispiele zur Integration eines virtuellen Sensors.
Verschiedene Ausführungsbeispiele werden nun ausführlicher unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind. In den Figuren können die Dickenabmessungen von Linien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargestellt sein. Fig. 1 zeigt eine schematische Darstellung eines Beispiels eines Verfahrens 100 zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs. Das Verfahren 100 umfasst Bestimmen 110 eines Parameters zur Bewertung einer Sicherheitsrelevanz einer Situation und Durchführen 120 der Handdetektion basierend auf zumindest einem von einem maschinellen Lernen Algorithmus und einem modellbasierten Algorithmus basierend auf dem Parameter. Dadurch kann mittels des Parameters eine Auswahl eines zu verwendeten Algorithmus getroffen werden. Insbesondere kann durch die Verwendung des Parameters ein geeigneter Algorithmus ausgewählt werden, beispielsweise um eine ASIL Anforderung zu erfüllen. Durch die Kombination verschiedener Algorithmen kann eine Handdetektion verbessert werden, sodass ein kapazitiver Sensor eingespart werden kann, wodurch Kosten reduziert werden können. Auch kann eine fehleranfällige Handdetektion mittels Beobachtung des Innenraums des Fahrzeugs ersetzt/vermieden bzw. robuster gestaltet werden.
Durch die Verwendung einer Mehrzahl an Algorithmen kann ein Algorithmus an eine Situation angepasst werden. Beispielsweise kann ein erster Algorithmus, z. B., der ML Algorithmus, einen Vorteil bei einer Genauigkeit der Bestimmung der Handdetektion aufweisen. Der ML Algorithmus kann sensitiv gegenüber Störungen von außen durch z.B. Fahrbahnanregung, geringe Momente durch den Fahrer, Reibung im System sein. Dadurch kann eine robustere Performance bei Störungen erzielt werden. Ferner kann eine verbesserte/robustere Performance in einem breiten Spektrum unterschiedlicher Situationen erreicht werden, insbesondere ohne einen Ansatz, der einer händischen situationsabhängigen Parametrisierung bedarf.
Beispielsweise kann ein zweiter Algorithmus, z. B., der modellbasierte Algorithmus einen Vorteil bei einer Bestimmung nach ASIL Anforderungen aufweisen, weil dieser ASIL konform ist.
Durch die Auswahl eines oder die Synthese verschiedener Algorithmen aus ML Algorithmus und klassischen mathematischen/modellbasierten Algorithmus kann eine Handdetektion verbessert werden, beispielsweise eine Hands off Detection (HOD). Beispielsweise können in nicht sicherheitskritischen Situationen die Vorteile einer nichtlinearen Mustererkennung aus ML Algorithmen verwendet werden. In sicherheitskritischen Situationen und/oder beim Betrieb kritischer Teilfunktionen, die mit einer ASIL-Einstufung versehen sind, können mathematische/modellbasierte Verfahren eingesetzt werden, die entsprechend der ASIL Anforderungen abgesichert werden können. Durch die Beschränkung des Zustandsraumes auf eine Teilmenge (beispielsweise dadurch, dass der ML Algorithmus die andere Teilmenge abdeckt, abhängig vom Parameter zur Bewertung der Sicherheitsrelevanz) des Betriebsbereiches können diese Funktionen zusätzlich arbeitspunktabhängig optimiert werden, wodurch ein Performanzgewinn erreicht werden kann.
Die Beurteilung ob eine Situation sicherheitskritisch ist oder nicht, kann für jede Situation im Voraus erfolgen. Insbesondere kann eine Beurteilung für eine Vielzahl von Situationen in einer Datenbank, beispielsweise einer look-up-table, einem Dateisystem oder in einer Datenstruktur gespeichert sein. Die Datenbank kann beispielsweise auf einer Speichereinheit einer Vorrichtung (siehe Fig. 2) zur Durchführung eines erfindungsgemäßen Verfahrens gespeichert sein. Beispielsweise kann einer Situation ein Wert in einem Wertebereich zugewiesen werden, wobei ein höherer Wert für eine höhere Kritikalität der Situation steht. Dadurch können verschiedenen Situationen mit verschiedenen Parametern für eine Kritikalität bewertet werden. Durch Kombination mit einem Grenzwert kann dann insbesondere eine Auswahl getroffen werden, welche Situation als sicherheitskritisch oder als nicht sicherheitskritisch eingeordnet wird. Insbesondere kann diese Auswahl durch Variation der Grenzwerte verändert werden.
Durch die Auswahl/Kombination eines Algorithmus kann ein performanter, absicherbarer, virtueller Sensor, der die Nachteile einzelner Ansätze reduziert und im Vergleich zu einem realen Sensor (beispielsweise einem kapazitiven Sensor) erhebliche Kostenreduzierung bietet, realisiert werden. Die Auswahl basierend auf dem Parameter zur Bewertung der Sicherheitsrelevanz kann es insbesondere ermöglichen, die einzelnen Algorithmen auf die jeweiligen Situationen anzupassen, z. B., durch die Definition von Schwellwerten.
Ferner kann damit eine rein softwarebasierte Lösung zur Handdetektion bereitgestellt werden, die unabhängig von zusätzlicher Hardware in einem Fahrzeug implementiert werden kann. Dadurch kann beispielsweise eine Kostenreduktion, eine erhöhte Absicherbarkeit, eine erhöhte Robustheit und/oder ein Performanzgewinn durch arbeitspunktabhängige Umsetzung erzielt werden.
In einem Ausführungsbeispiel kann, sofern der Parameter einen Grenzwert überschreitet, die Handdetektion basierend auf dem modellbasierten Algorithmus durchgeführt werden. Dadurch kann der modellbasierte Algorithmus beispielsweise für bestimmte Situation, insbesondere sicherheitskritische Situationen, mit einem zugehörigen Schwellwert versehen werden. Insbesondere kann auch eine Mehrzahl an modellbasierten Algorithmen verwendet werden, welche verschiedene ASIL Anforderungen erfüllen. Eine Auswahl eines modellbasierten Algorithmus aus der Mehrzahl an modellbasierten Algorithmen kann dann beispielsweise basierend auf dem Parameter erfolgen. Der Grenzwert kann spezifisch für eine Situation oder eine Mehrzahl an Situationen sein.
In einem Ausführungsbeispiel kann, sofern der Parameter einen Grenzwert unterschreitet, die Handdetektion basierend auf dem maschinellen Lernen Algorithmus durchgeführt werden. Dadurch kann der ML Algorithmus insbesondere nur für Situationen verwendet werden, welche nicht sicherheitskritisch sind, also insbesondere keine ASIL Anforderungen erfüllen müssen. Hiermit kann insbesondere für nicht sicherheitskritische Situationen eine erhöhte Genauigkeit des ML Algorithmus ausgenutzt werden. Insbesondere kann auch eine Mehrzahl an ML Algorithmen verwendet werden, welche für verschiedenen Situationen trainiert wurden. Eine Auswahl eines ML Algorithmus aus der Mehrzahl an ML Algorithmen kann dann beispielsweise basierend auf dem Parameter erfolgen.
Alternativ oder optional kann auch eine Kombination aus ML Algorithmus und modellbasierten Algorithmus verwendet werden. Beispielsweise kann ein Algorithmus, z. B., der ML Algorithmus, verwendet werden um ein Ergebnis des anderen Algorithmus, beispielsweise des modellbasierten Algorithmus, zu überprüfen.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Umgebungsinformation des Fahrzeugs und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Umgebungsinformation. Dadurch kann eine Beurteilung einer sicherheitskritischen Situation verbessert werden.
Beispielsweise kann die Umgebungsinformation durch die Bestimmung von Informationen über die Umgebung mithilfe eines oder mehrerer Sensoren des Fahrzeugs und/oder durch den Empfang von Informationen über die Umgebung (beispielsweise durch eine cooperative awareness message) erhalten werden. Die Umgebungsinformation kann von einem Fahrzeug, einer Infrastruktur, einem Smartphone, einer Basisstation, etc. empfangen werden. Der eine oder die mehreren Sensoren können beispielsweise zu einer Vielzahl von Fahrzeug-Sensoren gehören, z. B. ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor oder ein bildgebender Sensor wie eine Kamera oder Infrarotsensoren.
Durch die Umgebungsinformation kann insbesondere eine Bestimmung der Sicherheitsrelevanz verbessert werden. Beispielsweise kann in einer Umgebung mit wenig Hindernissen, beweglichen Objekten, etc. die Sicherheitsrelevanz geringer sein als in einer Umgebung mit mehr Hindernissen, beweglichen Objekten, etc. Dadurch kann insbesondere eine adaptive Anpassung der Bestimmung des Parameters zur Bewertung der Sicherheitsrelevanz erfolgen.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Zustandsinformation über einen Zustand des Fahrzeugs und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Zustandsinformation. Dadurch kann beispielsweise eine Geschwindigkeit des Fahrzeugs zur Bestimmung des Parameters berücksichtigt werden. Beispielsweise kann für ein stehendes Fahrzeug, welches anfährt, eine Situation kritischer sein, als für ein sich auf einer Autobahn mit einer charakteristischen Geschwindigkeit für die Autobahn fahrendes Fahrzeug.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Zustandsinformation über einen Zustand des Fahrzeugs und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Zustandsinformation. Dadurch kann beispielsweise eine Geschwindigkeit des Fahrzeugs zu Bewertung einer Situation verwendet werden.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Bestimmen einer Innenrauminformation des Fahrzeugs und Verwenden der Innenrauminformation zur Handdetektion. Eine Bestimmung kann beispielsweise mittels einer Kamera, einer Infrarotkamera, etc. erfolgen. Durch die Innenrauminformation kann dann beispielsweise ein mittels des Algorithmus bestimmtes Ergebnis verifiziert werden.
Beispielsweise kann eine Fahrerbeobachtungskamera eingesetzt werden um die Aufmerksamkeit des Fahrers und/oder die Position der Hände zu detektieren und/oder zu schätzen. Neben der robusten Entwicklung entsprechender bildverarbeitender Algorithmen ist dabei jedoch sicherzustellen, dass die Informationen aus der Kamera trotz potenzieller Überdeckung oder visueller Störeinflüsse robuste Informationen liefern.
Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den unten beschriebenen Ausführungsbeispielen erwähnt. Das in Fig. 1 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren unten beschriebenen Ausführungsbeispielen (z. B. Fig. 2 - 3) erwähnt wurden. Fig. 2 zeigt ein Blockdiagramm eines Ausführungsbeispiels einer Vorrichtung in einem Fahrzeug 200 zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs. Die Vorrichtung 30 umfasst eine oder mehrere Schnittstellen 32 zur Kommunikation. Die Vorrichtung 30 umfasst ferner eine Datenverarbeitungsschaltung 34, die zur Durchführung zumindest eines der hierin beschriebenen Verfahren ausgebildet ist, beispielsweise des Verfahrens, welches mit Bezug zu Fig. 1 beschrieben ist. Weitere Ausführungsbeispiele sind ein Fahrzeug mit einer Vorrichtung 30.
Die eine oder mehreren Schnittstellen 32 können beispielsweise einem oder mehreren Eingängen und/oder einem oder mehreren Ausgängen zum Empfangen und/oder Übertragen von Informationen entsprechen, etwa in digitalen Bitwerten, basierend auf einem Code, innerhalb eines Moduls, zwischen Modulen, oder zwischen Modulen verschiedener Entitäten. Die zumindest eine oder mehreren Schnittstellen 32 kann beispielsweise ausgebildet sein, um über ein (Funk)-Netzwerk oder ein lokales Verbindungsnetzwerk mit anderen Netzwerkkomponenten zu kommunizieren.
Wie in Fig. 2 dargestellt, sind die eine oder mehreren Schnittstellen 32 mit der jeweiligen Datenverarbeitungsschaltung 34 der Vorrichtung 30 gekoppelt. In Beispielen kann die Vorrichtung 30 durch eine oder mehrere Verarbeitungseinheiten, ein oder mehrere Verarbeitungsgeräte, ein beliebiges Mittel zur Verarbeitung, wie z.B. einen Prozessor, einen Computer oder eine programmierbare Hardwarekomponente, die mit entsprechend angepasster Software betrieben werden kann, implementiert werden. Ebenso können die beschriebenen Funktionen der Datenverarbeitungsschaltung 34 auch in Software implementiert werden, die dann auf einer oder mehreren programmierbaren Hardwarekomponenten ausgeführt wird. Solche Hardwarekomponenten können ein Mehrzweckprozessor, ein digitaler Signalprozessor (DSP), ein Mikrocontroller usw. sein. Die Datenverarbeitungsschaltung 34 kann in der Lage sein, die eine oder mehrere Schnittstellen 32 zu steuern, so dass jede Datenübertragung, die über die eine oder mehrere Schnittstellen 32 erfolgt, und/oder jede Interaktion, an der die eine oder mehrere Schnittstellen 32 beteiligt sein können, von der Datenverarbeitungsschaltung 34 gesteuert werden kann.
In Ausführungsbeispielen kann die Datenverarbeitungsschaltung 34 einem beliebigen Controller oder Prozessor oder einer programmierbaren Hardwarekomponente entsprechen. Beispielsweise kann die Datenverarbeitungsschaltung 34 auch als Software realisiert sein, die für eine entsprechende Hardwarekomponente programmiert ist. Insofern kann die Datenverarbeitungsschaltung 34 als programmierbare Hardware mit entsprechend angepasster Software implementiert sein. Dabei können beliebige Prozessoren, wie Digitale Signalprozessoren (DSPs) zum Einsatz kommen. Ausführungsbeispiele sind dabei nicht auf einen bestimmten Typ von Prozessor eingeschränkt. Es sind beliebige Prozessoren oder auch mehrere Prozessoren zur Implementierung der Datenverarbeitungsschaltung 34 denkbar.
In einer Ausführungsform kann die Vorrichtung 30 einen Speicher und mindestens eine Datenverarbeitungsschaltung 34 umfassen, das funktionsfähig mit dem Speicher gekoppelt und so konfiguriert ist, dass sie das unten beschriebene Verfahren durchführt.
In Beispielen können die eine oder mehrere Schnittstellen 32 jedem Mittel zum Erhalten, Empfangen, Übertragen oder Bereitstellen von analogen oder digitalen Signalen oder Informationen entsprechen, z. B. jedem Anschluss, Kontakt, Stift, Register, Eingangsanschluss, Ausgangsanschluss, Leiter, Spur usw., der die Bereitstellung oder den Erhalt eines Signals oder einer Information ermöglicht. Die eine oder mehreren Schnittstellen 32 können drahtlos oder drahtgebunden sein und können so konfiguriert sein, dass sie mit weiteren internen oder externen Komponenten kommunizieren können, z. B. Signale oder Informationen senden oder empfangen können.
In zumindest manchen Ausführungsbeispielen kann das Fahrzeug beispielsweise einem Landfahrzeug, einem Wasserfahrzeug, einem Luftfahrzeug, einem Schienenfahrzeug, einem Straßenfahrzeug, einem Auto, einem Bus, einem Motorrad, einem Geländefahrzeug, einem Kraftfahrzeug, oder einem Lastkraftfahrzeug entsprechen. Die Datenverarbeitungsschaltung kann beispielsweise ein Teil eines Steuergeräts des Fahrzeugs sein.
Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den unten und/oder oben beschriebenen Ausführungsbeispielen erwähnt. Das in Fig. 2 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren oben (z. B. Fig. 1) und/oder unten beschriebenen Ausführungsbeispielen (z. B. Fig. 3) erwähnt wurden.
Fig. 3 zeigt verschieden Beispiele für ein Hands off Detection. Fig. 3a zeigt verschiedene aus dem Stand der Technik bekannte HOD-Konzepte. Beispielsweise kann ein virtueller Sensor, der günstig ist verwendet werden oder ein zusätzlicher Sensor, der mit höheren Kosten verbunden ist. Die Verwendung von virtuellen Sensoren kann in modellbasierte Algorithmen (ASIL kompatibel) und ML Algorithmen (erhöhte Performance durch bessere Berücksichtigung von Umwelteinflüssen wie z. B. Reibung, Straßenrückanregung, etc.) unterschieden werden. Bei zusätzlichen Sensoren können beispielsweise kapazitive Sensoren (ASIL kompatibel) oder Fahrerbeobachtungskameras (für ein Vielzahl an Zwecken einsetzbar) verwendet werden.
Fig. 3b zeigt ein Ausführungsbeispiel eines hybriden Ansatzes, der situationsabhängig maschinelle Lernverfahren oder klassische, mathematische modellbasierte Ansätze zur HOD verwendet. Die Kombination beider Algorithmen/Ansätze basierend auf einem situationsabhängigen Parameter kann eine Ausnutzung einer verbesserten Performanz des ML Algorithmus, sowie eine situationsabhängige Absicherung, beispielsweise nach ASIL, des modellbasierten Algorithmus ermöglichen.
Fig. 3c zeigt ein Ausführungsbeispiel einer Modellbildung für einen virtuellen Sensor. Als Trainingsdaten für den ML Algorithmus können Fahrzeugreaktionen, bzw. Bewegungsinformationen (z.B. Geschwindigkeit, Gierrate, Querbeschleunigung), eine Ausgabe aus einem Assistenzsystem (z.B. Wunsch-Krümmung, Unterstützungsmoment, Wunschlenkwinkel), eine Lenkradinformationen (z.B. Lenkwinkel, Lenkwinkelgeschwindigkeit, Lenkmoment) verwendet werden. Als Bewertungsdaten (Ground Truth) für ein Ergebnis des ML Algorithmus können Daten von Fahrzeugen mit integrierten, kapazitiven Hardwaresensoren dienen. Insbesondere können diese integrierten Hardwaresensoren durch den Einsatz eines virtuellen Sensors bestehend aus der Kombination von ML und modellbasierten Algorithmus ersetzt werden. In einem ersten Schritt kann eine Modellbildung für den virtuellen Sensor erfolgen. Hierzu können insbesondere Hardwaresensoren (beispielsweise von anderen Fahrzeugen) verwendet werden. Diese Hardwaresensoren können Trainingsdaten liefern, insbesondere Ground Truth Daten, auf deren Basis eine softwarebasierte Lösung entwickelt und optional getestet werden kann.
Ein System zum Trainieren des ML Algorithmus kann so konfiguriert werden, dass es Informationen (Trainings-Eingangsdaten) über Fahrzeugreaktionen, bzw. Bewegungsinformationen (z.B. Geschwindigkeit, Gierrate, Querbeschleunigung), eine Ausgabe aus einem Assistenzsystem (z.B. Wunsch-Krümmung, Unterstützungsmoment, Wunschlenkwinkel), eine Lenkradinformationen (z.B. Lenkwinkel, Lenkwinkelgeschwindigkeit, Lenkmoment) als Eingabe für ein maschinelles Lernmodell bereitstellt. Maschinelles Lernen bezieht sich auf Algorithmen und statistische Modelle, die Computersysteme verwenden können, um eine bestimmte Aufgabe ohne explizite Anweisungen auszuführen und sich stattdessen auf Modelle und Schlussfolgerungen zu stützen. Beispielsweise kann beim maschinellen Lernen anstelle einer regelbasierten Umwandlung von Daten eine Umwandlung von Daten verwendet werden, die aus einer Analyse von historischen und/oder Trainingsdaten abgeleitet wird.
Modelle des maschinellen Lernens werden anhand von Trainingsdaten trainiert. Zum Trainieren eines maschinellen Lernmodells können viele verschiedene Ansätze verwendet werden. So kann beispielsweise überwachtes Lernen, halbüberwachtes Lernen oder unüberwachtes Lernen eingesetzt werden. Beim überwachten Lernen wird das maschinelle Lernmodell unter Verwendung einer Vielzahl von Trainingsmustern trainiert, wobei jedes Muster eine Vielzahl von Eingabedatenwerten und eine Vielzahl von gewünschten Ausgabewerten umfassen kann, z. B. ist jedes Trainingsmuster mit einem gewünschten Ausgabewert verbunden. Durch die Angabe sowohl von Trainingsmustern als auch von gewünschten Ausgabewerten "lernt" das maschinelle Lernmodell, welchen Ausgabewert es auf der Grundlage eines Eingangsmusters liefern soll, das den während des Trainings gelieferten Mustern ähnlich ist. Neben dem überwachten Lernen kann auch das halbüberwachte Lernen eingesetzt werden. Beim halbüberwachten Lernen fehlt einigen der Trainingsmuster ein entsprechender gewünschter Ausgabewert. Überwachtes Lernen kann auf einem überwachten Lernalgorithmus beruhen, z. B. einem Klassifizierungsalgorithmus, einem Regressionsalgorithmus oder einem Ähnlichkeitslernalgorithmus. Beim unüberwachten Lernen können (nur) Eingabedaten geliefert werden, und ein unüberwachter Lernalgorithmus kann verwendet werden, um eine Struktur in den Eingabedaten zu finden, z. B. durch Gruppieren oder Clustern der Eingabedaten, um Gemeinsamkeiten in den Daten zu finden.
Das maschinelle Lernmodell kann zum Beispiel ein künstliches neuronales Netz (ANN) sein. ANN sind Systeme, die sich an biologischen neuronalen Netzen orientieren, wie sie beispielsweise im Gehirn zu finden sind. ANNs bestehen aus einer Vielzahl miteinander verbundener Knoten und einer Vielzahl von Verbindungen, sogenannten Kanten, zwischen den Knoten. In der Regel gibt es drei Arten von Knoten: Eingabeknoten, die Eingabewerte empfangen, versteckte Knoten, die mit anderen Knoten verbunden sind, und Ausgabeknoten, die Ausgabewerte liefern. Jeder Knoten kann ein künstliches Neuron darstellen. Jede Kante kann Informationen von einem Knoten zu einem anderen übertragen. Die Ausgabe eines Knotens kann als (nicht lineare) Funktion der Summe seiner Eingaben definiert werden. Die Eingaben eines Knotens können in der Funktion auf der Grundlage eines "Gewichts" der Kante oder des Knotens, der die Eingabe liefert, verwendet werden. Die Gewichtung von Knoten und/oder Kanten kann während des Lernprozesses angepasst werden. Mit anderen Worten, das Training eines künstlichen neuronalen Netzes kann die Anpassung der Gewichte der Knoten und/oder Kanten des künstlichen neuronalen Netzes umfassen, z. B., um eine gewünschte Ausgabe für eine gegebene Eingabe zu erreichen. In zumindest einigen Beispielen kann das maschinelle Lernmodell ein tiefes neuronales Netz sein, z. B. ein neuronales Netz mit einer oder mehreren Schichten verborgener Knoten (z. B. verborgene Schichten), vorzugsweise einer Vielzahl von Schichten verborgener Knoten.
Das Training von maschinellen Lernmodellen erfordert einen erheblichen Aufwand, so dass die Wiederverwendung eines maschinellen Lernmodells für verschiedene Problemgrößen die gesamte Trainingszeit reduzieren kann. In verschiedenen Beispielen der vorliegenden Offenbarung kann das maschinelle Lernmodell auf eine unterschiedliche Anzahl Vorrichtung bzw. Fahrzeugen angewendet werden.
Die Trainings-Eingangsdaten können beispielsweise über eine Schnittstelle, z.B. eine Schnittstelle des Systems, bezogen werden. Die Trainingseingangsdaten können aus einer Datenbank, aus einem Dateisystem oder aus einer Datenstruktur, die in einem Computerspeicher gespeichert ist, bezogen werden. Die Trainingseingangsdaten können Trainingsinformationen über Fahrzeugreaktionen, bzw. Bewegungsinformationen (z.B. Geschwindigkeit, Gierrate, Querbeschleunigung), eine Ausgabe aus einem Assistenzsystem (z.B. Wunsch-Krümmung, Unterstützungsmoment, Wunschlenkwinkel), eine Lenkradinformationen (z.B. Lenkwinkel, Lenkwinkelgeschwindigkeit, Lenkmoment umfassen. Der Begriff "Trainingsinformationen" kann lediglich darauf hinweisen, dass die jeweiligen Daten für das Training des maschinellen Lernmodells geeignet, z.B. ausgelegt sind. Beispielsweise können die Trainingsinformationen Informationen über Fahrzeugreaktionen, bzw. Bewegungsinformationen (z.B. Geschwindigkeit, Gierrate, Querbeschleunigung), eine Ausgabe aus einem Assistenzsystem (z.B. Wunsch-Krümmung, Unterstützungsmoment, Wunschlenkwinkel), eine Lenkradinformationen (z.B. Lenkwinkel, Lenkwinkelgeschwindigkeit, Lenkmoment umfassen, die repräsentativ für die jeweiligen Daten sind, die von dem maschinellen Lernmodell verarbeitet werden sollen, z.B. um ein maschinelles Lernmodell zu erhalten, das für die vorliegende Aufgabe geeignet ist, z.B. geeignet für eine Handdetektion an einem Lenkrad. Zum Beispiel kann das maschinelle Lernmodell eine Information über eine Handdetektion bereitstellen, die auf den Trainingsinformationen wie oben beschrieben basiert, die am Eingang des maschinellen Lernmodells bereitgestellt werden können. Mit anderen Worten, das maschinelle Lernmodell kann mit den Trainingseingangsdaten, die eine Vielzahl an Parameter zur Beurteilung einer Handdetektion darstellen, und mit der Aufgabe, eine Handdetektion zu verbessern, versehen werden.
Das maschinelle Lernmodell kann beispielsweise trainiert werden, indem eine Gruppe von Trainingsaufgaben (oder Verfahrensschritten) wiederholt (z. B. mindestens zweimal, mindestens fünfmal, mindestens zehnmal, mindestens 20mal, mindestens 50mal, mindestens 100mal, mindestens 1000mal) durchgeführt wird. Beispielsweise kann das maschinelle Lernmodell trainiert werden, indem die Trainings-Eingangsdaten wiederholt in das maschinelle Lernmodell eingegeben werden, eine Handdetektion durchgeführt wird, die Handdetektion auf Grundlage von Ground Truth eines Hardwaresensors bewertet wird und das maschinelle Lernmodell basierend auf einem Ergebnis der Bewertung angepasst wird.
Eine Wiederholung der oben genannten Aufgaben kann beim Reinforcement Learning als "Epoche" bezeichnet werden. Eine Epoche bedeutet, dass der gesamte Satz von Trainings- Eingabedaten einmal vorwärts und rückwärts durch das maschinelle Lernmodell geleitet wird. Innerhalb einer Epoche kann eine Vielzahl von Stapeln von Trainingsdaten in das maschinelle Lernmodell eingegeben werden, um eine Handdetektion zu bestimmen. Um die Problemgröße klein zu halten, können die Trainingsdaten beispielsweise in eine Vielzahl von Stapeln unterteilt werden, die dem maschinellen Lernmodell separat zur Verfügung gestellt werden können. Jeder Stapel aus der Vielzahl der Stapel kann separat in das maschinelle Lernmodell eingegeben werden.
Wie in Fig. 3c erkennbar ist, kann in 310 eine Information (ein Szenario, eine Fahrsituation, eine Fahraufgabe, eine Kritikalität, etc.) zur Bestimmung einer Situation zur Verfügung gestellt werden. Diese Information kann beispielsweise verwendet werden, um den Parameter zur Bewertung einer Sicherheitsrelevanz einer Situation zu bestimmen. Ein Assistenzsystem 320 kann eine Teilfunktion 330 zur HOD umfassen. Zum Anlernen des ML Algorithmus kann eine Hardwaresensor vorhanden sein, welcher Bewertungsdaten für den ML Algorithmus zur Verfügung stellt. Dadurch kann eine Modellbildung des ML Algorithmus auf Grundlage von Bewertungsdaten verbessert werden. Das Assistenzsystem 320 kann dann beispielsweise eine Information an einen Fahrer ausgeben, beispielsweise eine Warnung, dass dieser seine Hände an das Lenkrad nehmen soll und/oder eine Steuerung des Fahrzeugs durchführen, beispielsweise einen Bremsvorgang, Manöverabbruch, etc. (beispielsweise, wenn keine Hände am Lenkrad in einer kritischen Situation erkannt wurden).
Nach einem Anlernen des ML Algorithmus kann dieser in Synergie mit einem modellbasierten Algorithmus eingesetzt werden. Wie in Fig. 3d und 3e gezeigt kann abhängig von einer Bewertung einer Situation 340d, 340e ein jeweiliger Algorithmus verwendet werden. In Fig. 3d führt die Bereitstellung 310 der Information zu einer Bewertung der Situation 340d als nicht sicherheitskritische Situation. Dementsprechend wird in der Teilfunktion 330 ein ML Ansatz, also ein ML Algorithmus zur HOD verwendet. Dieser Algorithmus kann eine verbesserte Performance bieten. Wie bereits oben ausgeführt kann die Beurteilung einer Kritikalität einer Situation im Voraus erfolgen und dann durch Vergleich mit einer Datenbank, einem Dateisystem oder aus einer Datenstruktur erfolgen.
In Fig. 3e führt die Bereitstellung 310 der Information zu einer Bewertung der Situation 340e als sicherheitskritische Situation. Dementsprechend wird in der Teilfunktion 330 ein mathematischer Ansatz, also ein modellbasierter Algorithmus zur HOD verwendet. Dieser Algorithmus kann insbesondere ASIL Anforderungen genügen.
Durch den Einsatz des 2. Pfad mit dem virtuellen Sensor kann der 1. Pfad mit dem Hardwaresensor entfallen. Dadurch kann ein Bedarf eines teuren Hardwaresensors entfallen, wodurch insbesondere Kosten eingespart werden können.
Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den oben beschriebenen Ausführungsbeispielen erwähnt. Das in Fig. 3 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren oben (z. B. Fig. 1 - 2) beschriebenen Ausführungsbeispielen erwähnt wurden.
Weitere Ausführungsbeispiele sind Computerprogramme zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft. Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-Ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einer programmierbaren Hardwarekomponente derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird.
Eine programmierbare Hardwarekomponente kann durch einen Prozessor, einen Computerprozessor (CPU = Central Processing Unit), einen Grafikprozessor (GPU = Graphics Processing Unit), einen Computer, ein Computersystem, einen anwendungsspezifischen integrierten Schaltkreis (ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (IC = Integrated Circuit), ein Ein-Chip-System (SOC = System on Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (FPGA = Field Programmable Gate Array) gebildet sein.
Das digitale Speichermedium kann daher maschinen- oder computerlesbar sein. Manche Ausführungsbeispiele umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem oder einer programmierbare Hardwarekomponente derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Ein Ausführungsbeispiel ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Programm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Programm, Firmware, Computerprogramm oder Computerprogrammprodukt mit einem Programmcode oder als Daten implementiert sein, wobei der Programmcode oder die Daten dahin gehend wirksam ist bzw. sind, eines der Verfahren durchzuführen, wenn das Programm auf einem Prozessor oder einer programmierbaren Hardwarekomponente abläuft. Der Programmcode oder die Daten kann bzw. können beispielsweise auch auf einem maschinenlesbaren Träger oder Datenträger gespeichert sein. Der Programmcode oder die Daten können unter anderem als Quellcode, Maschinencode oder Bytecode sowie als anderer Zwischencode vorliegen.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
Bezugszeichenliste Vorrichtung Schnittstelle Datenverarbeitungseinheit Verfahren Verbesserung einer Handdetektion an einem Lenkrad Bestimmen eines Parameters zur Bewertung einer Sicherheitsrelevanz einer Situation Durchführen der Handdetektion Fahrzeug Information zur Bestimmung einer Situation Assistenzsystem Teilfunktion zur Handdetektion d, 340e Bewertung der Situation

Claims

Patentansprüche
1. Ein Verfahren (100) zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs, umfassend:
Bestimmen eines Parameters zur Bewertung einer Sicherheitsrelevanz einer Situation; und Durchführen der Handdetektion basierend auf zumindest einem von einem maschinellen
Lernen Algorithmus und einem modellbasierten Algorithmus basierend auf dem Parameter.
2. Das Verfahren (100) nach Anspruch 1, wobei sofern der Parameter einen Grenzwert überschreitet, die Handdetektion basierend auf dem modellbasierten Algorithmus durchgeführt wird.
3. Das Verfahren (100) nach Anspruch 1 oder 2, wobei sofern der Parameter einen Grenzwert unterschreitet, die Handdetektion basierend auf dem maschinellen Lernen Algorithmus durchgeführt wird.
4. Das Verfahren (100) nach einem der vorangegangenen Ansprüche, ferner umfassend Erhalten einer Umgebungsinformation des Fahrzeugs; und
Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Umgebungsinformation.
5. Das Verfahren (100) nach einem der vorangegangenen Ansprüche, ferner umfassend Erhalten einer Zustandsinformation über einen Zustand des Fahrzeugs; und
Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Zustandsinformation.
6. Das Verfahren (100) nach einem der vorangegangenen Ansprüche, ferner umfassend Bestimmen einer Innenrauminformation des Fahrzeugs; und
Verwenden der Innenrauminformation zur Handdetektion.
7. Das Verfahren (100) nach einem Anspruch 7, wobei sofern der Parameter einen Grenzwert überschreitet, die Handdetektion basierend auf der Innenrauminformation und dem maschinellen Lernen Algorithmus durchgeführt wird.
8. Ein Computerprogramm zur Durchführung eines der Verfahren (100) nach einem der vorangegangenen Ansprüche, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft.
9. Eine Vorrichtung zur Verbesserung einer Erkennung einer Handdetektion an einem Lenkrad eines Fahr-zeugs umfassend: eine oder mehrere Schnittstellen (32) zur Kommunikation; und eine Datenverarbeitungsschaltung (34), die eingerichtet ist, um die ein oder mehreren Schnittstellen (32) zu steuern und unter Verwendung der einen oder mehreren Schnitt-steilen (32) ein Verfahren (100) gemäß einem der Ansprüche 1 bis 7 auszuführen.
10. Fahrzeug (200) mit einer Vorrichtung (30) gemäß Anspruch 9.
EP23735600.1A 2022-06-29 2023-06-20 Verfahren zur handdetektion, computerprogramm, und vorrichtung Pending EP4547550A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022206603.0A DE102022206603A1 (de) 2022-06-29 2022-06-29 Verfahren zur Handdetektion, Computerprogramm, und Vorrichtung
PCT/EP2023/066563 WO2024002777A1 (de) 2022-06-29 2023-06-20 Verfahren zur handdetektion, computerprogramm, und vorrichtung

Publications (1)

Publication Number Publication Date
EP4547550A1 true EP4547550A1 (de) 2025-05-07

Family

ID=87060458

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23735600.1A Pending EP4547550A1 (de) 2022-06-29 2023-06-20 Verfahren zur handdetektion, computerprogramm, und vorrichtung

Country Status (3)

Country Link
EP (1) EP4547550A1 (de)
DE (1) DE102022206603A1 (de)
WO (1) WO2024002777A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024200940A1 (de) * 2024-02-01 2025-08-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen eines Hands-Off-Zustands an einem Lenkrad eines Fahrzeugs
DE102024201064B3 (de) * 2024-02-06 2024-11-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen eines Hands-Off-Zustands an einem Lenkrad eines Fahrzeugs
DE102024113971A1 (de) * 2024-05-17 2025-11-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Charakterisierung eines Bedienzustands eines Lenkrads für ein Steer-By-Wire-System eines Kraftfahrzeugs, Computerprogramm und/oder computerlesbares Medium, Datenverarbeitungsvorrichtung und Kraftfahrzeug

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010013243A1 (de) 2010-03-29 2011-09-29 Audi Ag Verfahren zur Ermittlung von auf die Blickrichtung eines Fahrers und die Position der Hände des Fahrers bezüglich des Lenkrads bezogenen Informationen in einem Kraftfahrzeug und Kraftfahrzeug
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
DE102011013023A1 (de) * 2011-03-04 2012-09-06 Audi Ag Situationsabhängiges Verfahren zur Erkennung eines Lenkradkontakts durch einen Fahrer
DE102016005013A1 (de) 2016-04-26 2017-10-26 Thyssenkrupp Ag Hands-On/-Off-Erkennung in einem Steer-by-Wire-System
DE102017210966A1 (de) * 2017-06-28 2019-01-03 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs mit einem Lenksystem für die Identifikation von Fahrereingriffen
DE102017216887A1 (de) * 2017-09-25 2019-03-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erkennung des Kontakts von Händen mit dem Lenkrad eines Fahrzeugs
GB2578910B (en) * 2018-11-13 2021-05-12 Jaguar Land Rover Ltd A controller for a vehicle
DE102018129563A1 (de) 2018-11-23 2020-05-28 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen des Steuermodus eines Lenkrads
KR20200115827A (ko) * 2019-03-27 2020-10-08 주식회사 만도 운전자 보조 시스템 및 그 제어 방법
DE102019211016B4 (de) * 2019-07-25 2025-08-21 Volkswagen Aktiengesellschaft Erkennung von Hands-off-Situationen durch maschinelles Lernen
DE102019211738B3 (de) * 2019-08-05 2020-11-12 Zf Friedrichshafen Ag Überprüfung einer Fahrerübernahme basierend auf Bilddaten
DE102019213880B3 (de) * 2019-09-11 2020-07-23 Volkswagen Aktiengesellschaft Erkennung von Hands-off-Situationen auf Basis von Schwarmdaten

Also Published As

Publication number Publication date
DE102022206603A1 (de) 2024-01-04
WO2024002777A1 (de) 2024-01-04

Similar Documents

Publication Publication Date Title
WO2024002777A1 (de) Verfahren zur handdetektion, computerprogramm, und vorrichtung
DE102021206880B4 (de) Verfahren und Vorrichtung zur optimalen Parametrisierung eines Fahrdynamikregelungssystems für Fahrzeuge
DE102019115665A1 (de) Optimierung tiefer neuronaler netze unter beibehaltung der richtigkeit
DE102022200536B3 (de) Fahrassistenzeinrichtung und Verfahren zum Durchführen einer wenigstens teilautomatischen Fahrzeugfunktion in Abhängigkeit von einer zu bewertenden Fahrstrecke
AT523834B1 (de) Verfahren und System zum Testen eines Fahrerassistenzsystems
DE112013001449T5 (de) Fahrzeug-Integritäts- und Qualitätskontrollmechanismus in mehreren Ebenen
DE102022132917A1 (de) Verfahren und System zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien für automatisierte Fahrfunktionen
DE102021116309A1 (de) Assistenz für beeinträchtigte fahrer
DE112020007538T5 (de) Fahrunterstützungsvorrichtung, Lernvorrichtung, Fahrunterstützungsverfahren, Fahrunterstützungsprogramm, Gelerntes-Modellerzeugungsverfahren und Datenträger mit Gelerntes-Modellerzeugungsprogramm
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
DE102017223621A1 (de) Verfahren und Steuereinheit zur Steuerung einer Funktion eines zumindest teilweise automatisiert fahrenden Fahrzeugs
DE102020127051A1 (de) Verfahren zur Bestimmung von sicherheitskritischen Ausgabewerten mittels einer Datenanalyseeinrichtung für eine technische Entität
DE102022119950A1 (de) Verbesserte objekterkennung
DE102022124848A1 (de) System und prozess unter verwendung homomorpher verschlüsselung, um parameter neuronaler netze für ein kraftfahrzeug zu sichern
DE102022120220A1 (de) Verbesserter fahrzeugbetrieb
DE102023124870B4 (de) Verfahren und System zur erweiterten automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
DE102020213198A1 (de) System und Verfahren zum Durchführen eines automatisierten Fahrmanövers mit einem ausgewählten Fahrstil, Fahrzeug, Computerprogrammprodukt und computerlesbares Speichermedium
DE102024200317A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Vorhersagen von Müdigkeit eines Fahrers eines Fahrzeugs
EP4396791A1 (de) Verfahren zum infrastrukturgestützten assistieren eines kraftfahrzeugs
WO2021191120A1 (de) VERFAHREN ZUR BESTIMMUNG EINES WERTES EINER REGLERGRÖßE
DE102023124866B4 (de) Verfahren und System zur Verbesserung der automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
DE102023124861B4 (de) Verfahren und System zur automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
DE102024129586A1 (de) System und Verfahren zur Reduzierung der Falsch-Positiv-Rate einer automatisierten Notbremsfunktion (AEB) eines Fahrerassistenzsystems
DE102024125105A1 (de) Verfahren zum betreiben eines fahrzeugs
DE102024211159A1 (de) Notbremsassistent

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250129

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)