EP4627430A1 - Verfahren zum betreiben einer fahrzeugfunktion eines kraftfahrzeugs mittels einer ultraschallbasierten gestensteuerung - Google Patents

Verfahren zum betreiben einer fahrzeugfunktion eines kraftfahrzeugs mittels einer ultraschallbasierten gestensteuerung

Info

Publication number
EP4627430A1
EP4627430A1 EP23814148.5A EP23814148A EP4627430A1 EP 4627430 A1 EP4627430 A1 EP 4627430A1 EP 23814148 A EP23814148 A EP 23814148A EP 4627430 A1 EP4627430 A1 EP 4627430A1
Authority
EP
European Patent Office
Prior art keywords
movement
information
ultrasound
motor vehicle
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23814148.5A
Other languages
English (en)
French (fr)
Inventor
Maximilian Poepperl
Niko Moritz Scholz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4627430A1 publication Critical patent/EP4627430A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2045—Means to switch the anti-theft system on or off by hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2054—Means to switch the anti-theft system on or off by foot gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/199—Information management for avoiding maloperation

Definitions

  • the invention relates to a method for operating a vehicle function of a motor vehicle by means of an ultrasound-based gesture control.
  • the invention also relates to a motor vehicle, a control device and a computer program product for carrying out such a method.
  • a motor vehicle can have a vehicle function that can be controlled by means of a detected gesture that is performed by a user.
  • a vehicle function can be provided, for example, for gesture-controlled opening or closing of a trunk of the motor vehicle.
  • the vehicle function operated by means of gesture control can be based on data from a capacitive system.
  • various types of moving objects in the vicinity of the ultrasound sensors are preferably taken into account, such as a pedestrian walking past the motor vehicle or stopping in front of it, an animal, a ball rolling past and/or another road user, such as a cyclist or another motor vehicle.
  • the feature recognition criterion is an algorithm and/or a rule, when applied, for example based on mathematical evaluation methods and/or machine learning methods, at least one feature can be read out and quantified from the raw data provided by the ultrasound sensor.
  • the feature of the echo signal can alternatively be referred to as a feature of the echo signal. This can simplify the object verification criterion in such a way that it no longer has to evaluate, for example, a curve that is provided as ultrasound information, but can access the features of the ultrasound information directly because the feature information is provided to it. This can, for example, reduce the computational effort required to apply the object verification criterion.
  • the feature information can describe a width of the respective maximum, a slope in the area of the respective maximum and/or a distribution of the local maxima, for example around the global and/or another local maximum and/or adjacent to it.
  • a shape of the respective maximum can be described as a feature.
  • the features mentioned can, for example, at least partially be used to determine what type of object is located in front of the ultrasonic sensor and in particular is moving in front of it.
  • a reflection strength of the object i.e. for example the amplitude, and/or characteristics of the reflection pattern, such as the width and/or the shape of the maximum, can be provided and taken into account. This information can be taken from the ultrasound information as its features.
  • the object verification criterion is only applied to the ultrasound information and the movement information, this information is also available, but must first be evaluated, for example as part of applying the object verification criterion. Ultimately, various features of the echo signal can be evaluated, provided they can be taken from the ultrasound information provided.
  • the determined movement information describes at least one of the following movement characteristics: An approach of the object to the at least one ultrasonic sensor, a first waiting time after the approach of the object, a movement of the approached object, a second waiting time after the movement of the approached object and/or a removal of the object after the movement and/or after the second waiting time.
  • the movement of the approached object is, for example, the execution of a certain gesture and thus a certain movement pattern by the object.
  • the movement of the approached object can, for example, be a kicking movement of the user's foot.
  • the movement can, for example, be a circular movement, a semi-circular movement, an angular movement, a raising and subsequent lowering and/or a different movement pattern.
  • the movement feature can also or alternatively be a change in the distance of the object during the approach. It can therefore be recorded, for example, which distance the object travels during the approach to the ultrasonic sensor. This can be used, for example, to determine whether a person is approaching the ultrasonic sensor, i.e., for example, walking towards it, or not. Alternatively or additionally, the movement feature can be a duration of the respective waiting time. If, for example, before or after the movement is carried out, the object waits in front of the ultrasonic sensor without further change in distance to the ultrasonic sensor, this can indicate that gesture control is desired, for which the user first prepares and/or after which he waits until the vehicle function has been carried out.
  • a maximum waiting time can be specified, with which the recorded duration of the respective waiting time is compared. If, for example, the maximum waiting time is not met, it can be concluded that the object is permanently in the vicinity of the ultrasonic sensor and, for example, no gesture control is taking place.
  • the movement feature can describe a duration of the movement of the approached object. For example, a maximum time period can be specified that the gesture control can last. If, for example, the movement lasts longer than the specified movement duration, it can be concluded that no specific gesture was made for gesture control, but that the object is being moved in the detection range of the ultrasonic sensor for another reason.
  • the maximum time period and/or the maximum waiting time can be stored in the object verification criterion, for example.
  • the movement feature can describe a position of the object at the beginning of the movement and/or at the end of the movement.
  • the position of the object at the beginning of the movement can be referred to as the start position and the position at the end of the movement as the end position, for example.
  • a change in position between the position at the beginning and the position at the end can be regarded as a movement feature, i.e. the change in position between the start position and the end position.
  • This can be used, for example, to determine whether the object is back at its starting point of the movement after the movement, which could lead to the conclusion that a movement intended for gesture control, such as a kicking movement, has actually taken place and not the object has simply changed its position, for example by walking past the motor vehicle.
  • it is necessary, for example, that the position of the object at the beginning of the movement and the position at the end of the movement are each stored so that the described change in position can be determined.
  • the movement feature can describe a direction of movement of the approaching object, i.e., for example, whether it continues to move toward the ultrasonic sensor or not.
  • data from several ultrasonic sensors are always compared with one another, as this makes it possible not only to determine the distance or the distance of the object from the respective ultrasonic sensor, but also to localize the object in the vicinity of the sensors.
  • a detailed analysis of the movement of the object in the detection range of the at least one ultrasonic sensor can be carried out, so that the object verification criterion has detailed information about the movement of the object. This can therefore reliably determine whether the moving object can actually be the body part intended for gesture control or not.
  • the ultrasonic information provided is always recorded by several spatially separated ultrasonic sensors. These are preferably located in the bumper in the rear area of the motor vehicle and thus in the area around the trunk. For example, two, four, six or eight individual ultrasonic sensors can be arranged in the rear area so that the entire rear area of the motor vehicle can be monitored using the ultrasonic sensors. Analogously, ultrasonic sensors can be provided in the bumper in the front area of the motor vehicle. Alternatively or additionally, at least one ultrasonic sensor can be arranged in a respective door of the motor vehicle. This ensures that the environment of the motor vehicle relevant to the respective function can be reliably monitored.
  • the object is a user's foot.
  • the method described is therefore specifically designed for, for example, a kick or other type of movement of the foot in the detection range of the ultrasonic sensors of a motor vehicle, for example for contactless opening or closing of a trunk.
  • the object can be the user's leg, arm and/or hand.
  • a different arrangement of the ultrasonic sensors can be provided so that they are located in a typical area in which the respective body part of the user is typically moved.
  • a movement gesture of the object is determined.
  • the vehicle function is operated according to the determined movement gesture.
  • the movement gesture is determined at least by evaluating the ultrasound information and/or the movement information.
  • the feature information is taken into account.
  • the movement gesture can be described, for example, by movement gesture information that is determined when evaluating the ultrasound information, the movement information and/or the feature information.
  • the determined movement gesture can describe a specific movement, for example of the user's foot as an object, such as the kicking movement or one of the other movement patterns described above.
  • the movement gesture is provided, for example, in the form of a determined movement trajectory of the object. It is therefore not only possible to record whether the body part intended for gesture control is being moved, but also to record and evaluate a specific movement gesture that is carried out by this body part.
  • the method steps are carried out in particular by means of the control device of the motor vehicle.
  • the ultrasonic information is provided to this device and it can operate the vehicle function by controlling a trunk opening device, for example.
  • a distance and a spacing between the object and the at least one ultrasonic sensor are synonymous.
  • the change in distance described above can therefore alternatively be referred to as a change in distance.
  • a further aspect of the invention relates to a motor vehicle.
  • the motor vehicle is designed to carry out the method described above.
  • the motor vehicle carries out the method.
  • the motor vehicle is thus designed to provide the ultrasound information, to determine the movement information by applying the movement determination criterion to the ultrasound information provided, to check whether the object is the body part intended for gesture control of the vehicle function by applying the object verification criterion to the ultrasound information provided and the determined movement information and, if the object is the body part intended for gesture control, to operate the vehicle function.
  • the motor vehicle is, for example, a passenger car, a truck, a bus and/or a motorcycle.
  • the motor vehicle comprises at least one ultrasonic sensor in a rear area of the motor vehicle.
  • the vehicle function is designed to automatically open and/or close a trunk of the motor vehicle using the ultrasound-based gesture control.
  • the vehicle function is designed for contactless opening or closing of the trunk of the motor vehicle.
  • the motor vehicle preferably has several ultrasonic sensors in the rear area, which are arranged there, for example, in the bumper. Preferably, at least six ultrasonic sensors are arranged spatially separated from one another.
  • a further aspect of the invention relates to a computer program product.
  • the computer program product is a computer program.
  • the computer program product comprises instructions which, when the program is executed by a computer, such as by the control device, cause the computer to carry out the steps of the method according to the invention.
  • Fig. 1 is a schematic representation of a motor vehicle with several ultrasonic sensors
  • Fig. 2 shows a schematic representation of a signal flow graph of a method for operating a vehicle function of a motor vehicle by means of an ultrasound-based gesture control
  • Fig. 4 shows a schematic representation of an echo signal waveform generated by a
  • the motor vehicle 1 has a control device 4 in which a vehicle function 5 is stored.
  • the vehicle function 5 can be carried out by the control device 4. It is designed, for example, to control a trunk 6 of the motor vehicle
  • the trunk 6 is automatically opened.
  • the evaluation of the measurement data of the individual ultrasonic sensors 2 as well as further steps for providing the vehicle function 5 are carried out by means of the control device 4 of the motor vehicle 1.
  • a user 7 who performs a gesture with a foot 8 in the detection range of the ultrasonic sensors 2 or at least some of the ultrasonic sensors 2 in the rear area 3.
  • This gesture can be, for example, a kicking movement of the foot 8 of the user 7.
  • ultrasonic sensors 2 are also outlined in a front area 9 of the motor vehicle 1.
  • Ultrasonic sensors 2 can also be arranged in doors of the motor vehicle 1 in order to monitor respective side areas of the motor vehicle 1. It can thus be possible to provide further vehicle functions 5 by means of ultrasound-based gesture control, such as an automatic opening or closing of at least one door of the motor vehicle 1.
  • Fig. 2 shows method steps of a method for operating the vehicle function 5 of the motor vehicle 1 by means of ultrasound-based gesture control.
  • ultrasound information 10 is provided which describes at least one object in the environment of at least one of the ultrasound sensors 2.
  • the ultrasound information 10 preferably describes the object that is located in the environment of the multiple ultrasound sensors 2 in the rear area 3 of the motor vehicle 1.
  • the object can be, for example, the user 7, in particular the foot 8 of the user 7.
  • the ultrasound information 10 can, before it is provided, be detected by means of at least one of the ultrasound sensors 2, preferably by means of several of the ultrasound sensors 2. It is then provided, for example, to the control device 4 of the motor vehicle 1.
  • a movement determination criterion 11 is applied to the provided ultrasound information 10 in order to determine movement information 12.
  • the movement information 12 describes a movement sequence of the at least one object, such as the user 7 and his foot 8.
  • a method step S4 it is checked whether the object is a body part intended for gesture control of the vehicle function 5. This is done by applying an object verification criterion 15 to the provided ultrasound information 10 and the determined movement information 12. It can be applied to the determined feature information 14 as an alternative to the ultrasound information 10 or in addition to it. By applying the object verification criterion 15, it can be determined whether the object is the foot 8 of the user 7, which is intended for gesture control of the vehicle function 5. The foot 8 is then the intended body part.
  • the object verification criterion 15 is based, for example, on machine learning methods, in particular on an artificial neural network and/or a support vector machine.
  • the object verification criterion 15 was previously trained to at least recognize whether the object is a specific body part intended for the vehicle function 5 or not. This means that the object verification criterion 15 can, for example, recognize that the object in the detection area is the user 7 who moves his foot 8 for gesture control.
  • a movement gesture 16 of the object is determined.
  • the movement gesture 16 is determined by evaluating the ultrasound information 10, the movement information 12 and/or the feature information 14.
  • the movement gesture 16 is then provided so that in the method step S6 the vehicle function 5 is operated according to the determined movement gesture 16.
  • the vehicle function 5 is operated.
  • method steps S1 and, if applicable, S2 and S3 can be repeated.
  • Fig. 3 shows the process steps for retraining the object verification criterion
  • the user 7 can select at least one Gesture control of the vehicle function 5 is used to carry out the movement 29 (see reference number 29 in Fig. 5) of the body part provided for by the gesture control of the vehicle function 5 and this is recorded by means of the at least one ultrasonic sensor 2.
  • a movement sequence of the user 7 is preferably recorded, which includes the movement 29 but also phases without movement of the body part. In this way, further ultrasonic information 17 is recorded and provided. This describes the execution of the movement 29 of the body part by the user 7, for example the foot 8.
  • the movement determination criterion 11 can be applied to the additional ultrasound information 17. This determines user movement information 18.
  • the user movement information 18 describes the movement 29 performed by the user 7 of the body part intended for gesture control of the vehicle function 5.
  • the object verification criterion 15 can then be retrained taking into account the determined user movement information 18.
  • the additional ultrasound information 17 can also be taken into account here.
  • an echo signal curve 19 is sketched in Fig. 4. This can be described by the ultrasound information 10.
  • an amplitude 20 for example as a voltage specification
  • a time 21 for example specified in seconds
  • the feature information 14 can describe individual features of the echo signal curve 19, such as the amplitude 20 of a global maximum 22 and/or at least one local maximum 23 of the echo signal curve 19.
  • the feature can describe a width 24 of a respective maximum, here sketched for the global maximum 22.
  • the feature information 14 can describe a slope in the region of the respective maximum 22, 23, a distribution of the local maxima 23, in particular around the global maximum 22 or another local maximum 23, and/or a shape of the respective maximum 22, 23.
  • the feature information 14 describes a concrete detail that can be taken from the echo signal curve 19.
  • An exemplary movement curve 25 for the object is outlined in Fig. 5.
  • the movement curve 25 can be described by the movement information 12.
  • a distance 26 between the object and the respective ultrasonic sensor 2 and the time 21 are plotted on the axes. It is clear that the movement curve 25 and thus the movement information 12 can describe different phases. These are an approach 27 of the object to the at least one ultrasonic sensor 2, a first waiting time 28 after the approach 27 of the object, a movement 29 of the approached object, for example a kicking movement, a second waiting time 30 after the movement 29 of the approached object and/or a distance 31 of the object away from the ultrasonic sensor 2 after the movement 29 and/or the second waiting time 30.
  • the typical distance changes in these individual phases are outlined.
  • the determined movement information 12 can describe one of these phases as a respective movement feature, that is to say the course of the approach 27, the first waiting time 28, the movement 29, the second waiting time 30 and/or the distance 31.
  • the movement information 12 can describe a change in distance and thus the change in distance of the object during the approach 27, a duration of the respective waiting time 28, 30, a duration of the movement 29 of the approached object, a position and/or a direction of the movement 29 of the approached object.
  • a position 32 of the object at the start of the movement 29 and/or a position 33 at the end of the movement can be taken into account as a movement feature.
  • a change in position between the position 32 at the start of the movement 29 and the position 33 at the end of the movement 29 is considered here.
  • the examples show feature-based foot recognition for ultrasonic sensor systems. It is important not only to recognize the foot 8 and determine a movement pattern purely based on the foot distance, but also to specifically extract various features from the ultrasound data, i.e. the ultrasound information 10. These features can be those from the movement pattern, for example, such as changes in distance during the foot movement or a movement time (duration of the movement 29). These movement features can be included in the movement information 12. In addition, features from the ultrasound signal itself can be taken into account. Typical features are then a reflection value of the foot (for example amplitude 20 of a main maximum) or a characteristic value of the reflection pattern (for example the width 24 of the echo and thus of the respective maximum 22, 23). This means that the ultrasound information 10 itself can be evaluated and taken into account. Furthermore, features can be calculated from several ultrasonic sensors 2, such as the direction of the foot movement or the position 32, 33 at the start and end time, for example as a projection in two dimensions. This information has previously been referred to as possible movement features.
  • the features mentioned can be evaluated using common machine learning methods, i.e. by applying the object verification criterion 15. Possible ways of doing this are flat neural networks or conventional approaches such as the support vector machine. Ultimately, a binary approach that determines whether the foot 8, i.e. the specified body part, is present or not, is sufficient. By evaluating features at different data levels and classifying the data using machine learning, the performance of foot detection can be significantly improved. The false positive rate, i.e. accidental opening of the trunk, is particularly important here. It is precisely the features at the raw data level, i.e. by taking into account the ultrasound information 10, that can significantly improve detection if the appropriate hardware is available and, ideally, even classify the object, i.e. object verification in process step S4 becomes possible.
  • the system can also be adapted to the user 7 himself using the machine learning approach described.
  • the detection thresholds can be fine-tuned again after a short training process. To do this, the end customer, i.e. user 7, only has to make a few foot movements. These can then recorded and retrained in an optimization step as described in process steps S7 to S9.
  • FIG. 5 An example of a typical process when opening a trunk with the foot 8 can be seen in Fig. 5.
  • This process shows at least four steps that can be referred to as approaching, waiting, kicking and waiting (see reference numbers 27 to 30).
  • Features from this sequence are, for example, the duration of the kick, i.e. the movement 29, but also the amplitude 20 and thus the change in distance of the kick, such as the change in position described.
  • there can be features such as waiting times, i.e. the duration of the respective waiting time 28, 30 or the maximum change in distance in a waiting process.
  • the features can be extracted from the ultrasound signal itself, i.e. the ultrasound information 10 can be taken into account.
  • a maximum 22, 23 can be clearly seen in Fig. 4, which could come from a foot reflection.
  • Various smaller echoes can be seen before and after the actual reflection.
  • the distribution of the echoes, but also the shape of the main reflection can be evaluated and taken into account as features.
  • the features from this data can be used to classify the foot movement using the support vector machine or a simple feedforward neural network with a few layers. For example, a hidden layer with several hidden neurons can be provided. Typically, numerous classifications are used, which means it makes sense to use several hidden neurons and, if necessary, to insert several hidden layers with complete connections. With the approach described, it is possible to significantly reduce the false positive rate. Using the method, it is therefore possible to use ultrasonic sensors 2 already included in the motor vehicle 1 for the contactless opening of the trunk 6.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Power-Operated Mechanisms For Wings (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Fahrzeugfunktion (5) eines Kraftfahrzeugs (1) mittels einer ultraschallbasierten Gestensteuerung. Das Verfahren umfasst: Bereitstellen (S1) einer Ultraschallinformation (10), die zumindest ein Objekt in einer Umgebung zumindest eines Ultraschallsensors (2) beschreibt; Ermitteln (S2) einer Bewegungsinformation (12), die einen Bewegungsablauf des zumindest einen Objekts beschreibt, durch Anwenden eines Bewegungsermittlungskriteriums (11) auf die bereitgestellte Ultraschallinformation (10); Überprüfen (S4), ob das Objekt ein zur Gestensteuerung der Fahrzeugfunktion (5) vorgesehener Körperteil ist, durch Anwenden eines Objektüberprüfungskriteriums (15) auf die bereitgestellte Ultraschallinformation (10) und die ermittelte Bewegungsinformation (12); und falls das Objekt der zur Gestensteuerung vorgesehene Körperteil ist, Betreiben (S6) der Fahrzeugfunktion (5).

Description

Verfahren zum Betreiben einer Fahrzeugfunktion eines Kraftfahrzeugs mittels einer ultraschallbasierten Gestensteuerung
Die Erfindung betrifft ein Verfahren zum Betreiben einer Fahrzeugfunktion eines Kraftfahrzeugs mittels einer ultraschallbasierten Gestensteuerung. Zudem betrifft die Erfindung ein Kraftfahrzeug, eine Steuervorrichtung sowie ein Computerprogrammprodukt zum Durchführen eines derartigen Verfahrens.
Ein Kraftfahrzeug kann eine Fahrzeugfunktion aufweisen, die mittels einer erfassten Geste, die von einem Benutzer ausgeführt wird, angesteuert werden kann. Eine derartige Fahrzeugfunktion kann zum Beispiel zum gestengesteuerten Öffnen oder Schließen eines Kofferraums des Kraftfahrzeugs vorgesehen sein. Die mittels Gestensteuerung betriebene Fahrzeugfunktion kann auf Daten eines kapazitiven Systems basieren. Alternativ dazu ist es möglich, dass die Erfassung der Geste mittels zumindest eines Ultraschallsensors des Kraftfahrzeugs erfolgt.
Hierfür weist das Kraftfahrzeug zumindest einen Ultraschallsensor auf, der dazu ausgebildet ist, zumindest ein Objekt in einer Umgebung des Kraftfahrzeugs zu erfassen. Durch Auswerten einer von dem Ultraschallsensor bereitgestellten Ultraschallinformation kann ein Abstand zwischen dem Ultraschallsensor und dem Objekt in der Umgebung ermittelt werden. Falls Ultraschallinformationen von mehreren Ultraschallsensoren bereitgestellt werden, kann außerdem das Objekt in der Umgebung lokalisiert werden. Typischerweise weist das Kraftfahrzeug mehrere Ultraschallsensoren auf, die beispielsweise in einem Heckbereich des Kraftfahrzeugs verbaut sind, wobei diese insbesondere dafür vorgesehen sind, dass ein Parkassistenzsystem für das Kraftfahrzeug bereitgestellt werden kann.
Die DE 10 2020 116 716 A1 zeigt ein Verfahren zum Aktivieren einer ultraschallbasierten Gestensteuerung bei einer Annäherung einer Person an ein Fahrzeug. Es wird ein Ultraschallsignal von einer Teilmenge aus Ultraschallsensoren ausgesendet und wenigstens ein Echosignal von einer Teilmenge der Ultraschallsensoren empfangen. Daraufhin wird eine Objektklassifizierung in dem Echosignal zur Detektion einer Person durchgeführt. Bei positiver Detektion der Person wird die ultraschallbasierte Gestensteuerung aktiviert.
Es sind ferner radarbasierte gestengesteuerte Fahrzeugfunktionen bekannt. Beispielsweise beschreibt in diesem Zusammenhang die US 2019/0302253 A1 ein Verfahren, bei dem Radardaten empfangen werden und eine Trajektorie einer Bewegung aus diesen Radardaten ermittelt wird. Es wird daraufhin festgestellt, ob die Trajektorie der Bewegung einer menschlichen Signatur entspricht, wobei die menschliche Signatur mit einer bestimmten Steuerung des Fahrzeugs assoziiert ist.
Im Zusammenhang mit der ultraschallbasierten Gestensteuerung ist es bekannt, dass diese eine im Vergleich zu beispielsweise radarbasierten Lösungen eine relativ hohe Fehlauslösungsrate aufweisen. Die Fehlauslösungsrate kann als False-Positive-Rate bezeichnet werden. Es ist zumindest die Aufgabe der Erfindung, eine Lösung bereitzustellen, mittels derer eine Fahrzeugfunktion für ein Kraftfahrzeug, die mittels ultraschallbasierter Gestensteuerung betrieben wird, mit einer geringen Fehlauslösungsrate bereitgestellt wird.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben einer Fahrzeugfunktion eines Kraftfahrzeugs mittels einer ultraschallbasierten Gestensteuerung. Die Fahrzeugfunktion ist beispielsweise zum berührungslosen und somit gestengesteuerten Öffnen oder Schließen eines Kofferraums des Kraftfahrzeugs ausgebildet. Alternativ oder zusätzlich dazu kann die Fahrzeugfunktion zum berührungslosen Öffnen oder Schließen einer Tür des Kraftfahrzeugs ausgebildet sein. Alternativ oder zusätzlich dazu kann die Funktion, die mittels ultraschallbasierter Gestensteuerung betrieben wird, in einem Innenraum des Kraftfahrzeugs verortet sein, das heißt sie kann mittels einer im Innenraum des Kraftfahrzeugs durchgeführten Geste angesteuert werden.
Das Verfahren umfasst ein Bereitstellen einer Ultraschallinformation. Die Ultraschallinformation beschreibt zumindest ein Objekt in einer Umgebung zumindest eines Ultraschallsensors. Der zumindest eine Ultraschallsensor ist bevorzugt im Kraftfahrzeug angeordnet, beispielsweise hinter und/oder in einer Stoßstange des Kraftfahrzeugs. Bevorzugt weist das Kraftfahrzeug mehrere Ultraschallsensoren auf, beispielsweise sechs Ultraschallsensoren in einem Heckbereich des Kraftfahrzeugs und/oder sechs Ultraschallsensoren in einem Frontbereich des Kraftfahrzeugs. Alternativ oder zusätzlich dazu kann der zumindest eine Ultraschallsensor im Innenraum des Kraftfahrzeugs angeordnet sein, beispielsweise in einem Dachbereich des Kraftfahrzeugs.
Die Ultraschallinformation kann beispielsweise bereitgestellt werden, indem zunächst der zumindest eine Ultraschallsensor ein Ultraschallsignal aussendet, das am Objekt in der Umgebung reflektiert wird, woraufhin der zumindest eine Ultraschallsensor das reflektierte Ultraschallsignal als Echo empfängt. Die bereitgestellte Ultraschallinformation beschreibt das Objekt in der Umgebung derart, dass sie zum Beispiel zumindest einen Abstand zu diesem beschreibt. Die Ultraschallinformation kann also mittels des zumindest einen Ultraschallsensors des Kraftfahrzeugs erfasst werden. Sie kann daraufhin zum Beispiel einer Steuervorrichtung des Kraftfahrzeugs bereitgestellt werden. Die Ultraschallinformation wird bevorzugt von Ultraschalldaten beschrieben beziehungsweise umfasst die Ultraschalldaten.
Das zumindest eine Objekt ist beispielsweise ein Benutzer der Fahrzeugfunktion. Das Objekt ist insbesondere ein Körperteil des Benutzers, wie beispielsweise ein Fuß, ein Bein, ein Arm und/oder eine Hand. Das Objekt kann somit die Geste ausführen, mittels derer die Funktion bedient werden soll. Alternativ oder zusätzlich dazu kann das Objekt ein sich in der Umgebung aufhaltender Fußgänger, ein Tier, ein Gegenstand und/oder ein anderer Verkehrsteilnehmer sein. Die Umgebung wird beispielsweise durch einen Erfassungsbereich des zumindest einen Ultraschallsensors räumlich begrenzt. Eine Reichweite des Ultraschallsensors kann beispielsweise auf 5 Meter beschränkt sein, sodass in diesem Beispiel eine Grenze des Erfassungsbereichs in 5 Meter Entfernung zum Ultraschallsensor verläuft. Das Verfahren umfasst ein Ermitteln einer Bewegungsinformation, die einen Bewegungsablauf, insbesondere eine Bewegung, des zumindest einen Objekts beschreibt. Das Ermitteln der Bewegungsinformation erfolgt durch Anwenden eines Bewegungsermittlungskriteriums auf die bereitgestellte Ultraschallinformation. Die Ultraschallinformation wird also derart ausgewertet, dass Informationen über den vom Objekt durchgeführten Bewegungsablauf vorliegen. Die Bewegungsinformation kann beispielsweise beschreiben, für welche Zeitdauer das Objekt bewegt wird, ob zumindest eine Wartezeit ohne Bewegung des Objekts erfolgt und/oder welchen Abstand das Objekt zum Ultraschallsensor während, vor und/oder nach der Bewegung aufweist. Der Bewegungsablauf kann ausschließlich aus der Bewegung des Objekts bestehen. Die Bewegungsinformation ist letztendlich eine ausgewertete Ultraschallinformation. Die Ultraschallinformation kann daher alternativ als Rohdaten und die Bewegungsinformation alternativ als verarbeitete Daten des jeweiligen Ultraschallsensors bezeichnet werden.
Das Bewegungsermittlungskriterium ist ein Algorithmus und/oder zumindest eine Vorschrift, bei dessen beziehungsweise deren Anwenden die bereitgestellte Ultraschallinformation derart ausgewertet wird, dass der Bewegungsablauf des Objekts ermittelt und beschrieben wird. Das Bewegungsermittlungskriterium basiert beispielsweise auf Methoden des maschinellen Lernens, wie beispielsweise einem künstlichen neuronalen Netzwerk. Das künstliche neuronale Netzwerk ist beispielsweise darauf trainiert worden, ausgehend von der Ultraschallinformation darauf schließen zu können, ob und wie sich das Objekt in der Umgebung des Ultraschallsensors aktuell bewegt. Es kann also beispielsweise zumindest zwischen einem Annähern, einem Warten und/oder einem Durchführen einer bestimmten Bewegung, wie beispielsweise einer vorgegebenen Geste, unterscheiden. Bevorzugt werden beim Trainieren des Objektüberprüfungskriteriums verschiedene Arten von bewegten Objekten in der Umgebung der Ultraschallsensoren berücksichtigt, wie beispielsweise ein am Kraftfahrzeug vorbeilaufender oder vor diesem stehen bleibender Fußgänger, ein Tier, ein vorbeirollender Ball und/oder ein anderer Verkehrsteilnehmer, wie ein Radfahrer oder ein anderes Kraftfahrzeug.
Das Verfahren umfasst ein Überprüfen, ob das zumindest eine Objekt ein zur Gestensteuerung der Fahrzeugfunktion vorgesehener Körperteil ist. Dies erfolgt durch Anwenden eines Objektüberprüfungskriteriums auf die bereitgestellte Ultraschallinformation und die ermittelte Bewegungsinformation. Das Objektüberprüfungskriterium ist ein Algorithmus und/oder zumindest eine Vorschrift, anhand dessen beziehungsweise derer zumindest festgestellt werden kann, ob das Objekt einem bestimmten Körperteil einer Person zuzuordnen ist oder nicht. Der vorgesehene Körperteil ist beispielsweise der Fuß, das Bein, der Arm und/oder die Hand des Benutzers. Es kann hierbei bereits ausreichend sein, dass beim Überprüfen festgestellt wird, dass das Objekt der Person zugeordnet ist und nicht beispielsweise dem Tier oder dem Gegenstand.
Falls das Objekt der zur Gestensteuerung vorgesehene Körperteil ist, erfolgt ein Betreiben der Fahrzeugfunktion. Es kann also beispielsweise daraufhin die Fahrzeugfunktion aktiviert oder deaktiviert werden. Wird beispielsweise festgestellt, dass ein für ein berührungsloses Öffnen des Kofferraums vorgesehenes Körperteil, wie beispielsweise der Fuß eines Benutzers, das Objekt ist, zu dem die Ultraschallinformation bereitgestellt sowie die Bewegungsinformation ermittelt wurde, kann beispielsweise automatisch das berührungslose Öffnen beziehungsweise Schließen des Kofferraums erfolgen. Letztendlich wird die Fahrzeugfunktion mittels ultraschallbasierter Gestensteuerung betrieben, falls zumindest festgestellt wurde, dass der für die Gestensteuerung vorgesehene Körperteil von dem zumindest einen Ultraschallsensor erfasst und eine Bewegung von diesem Körperteil im Erfassungsbereich des Ultraschallsensors durchgeführt wurde.
Zum Überprüfen, ob das Objekt der vorgesehene Körperteil ist, werden sowohl die Rohdaten, das heißt die bereitgestellte Ultraschallinformation, als auch die verarbeiteten Daten, das heißt die ermittelte Bewegungsinformation, ausgewertet. Hierdurch kann eine Fehauslösungsrate, das heißt eine False-Positive-Rate, klein gehalten werden, da das Objekt sowohl auf Basis der Rohdaten als auch auf Basis der verarbeiteten Daten überprüft wird. Es wird also eine Fahrzeugfunktion für ein Kraftfahrzeug, die mittels ultraschallbasierter Gestensteuerung betrieben wird, mit einer geringen Fehlauslösungsrate bereitgestellt.
Ein vorteilhaftes Ausführungsbeispiel sieht vor, dass das Objektüberprüfungskriterium auf Methoden des maschinellen Lernens basiert. Es basiert insbesondere auf einem künstlichen neuronalen Netzwerk und/oder einer Support Vector Machine. Es wird also auf Methoden der künstlichen Intelligenz zurückgegriffen. Das künstliche neuronale Netzwerk ist beispielsweise ein flaches neuronales Netzwerk, insbesondere ein vorwärts gerichtetes Netzwerk (Englisch: Feedforward Neural Network). Es ist möglich, dass das künstliche neuronale Netz mehrere verdeckte beziehungsweise versteckte Neuronen und/oder Schichten von solchen Neuronen aufweist. Die Support Vector Machine ist ein automatisches Verfahren zur Mustererkennung, das in Form einer Software bereitgestellt wird. Das Objektüberprüfungskriterium wurden zuvor zumindest darauf trainiert, ausgehend von einer Ultraschallinformation sowie einer Bewegungsinformation zu erkennen, dass sich in der Umgebung des Ultraschallsensors ein Objekt befindet und dass dieses Objekt ein bestimmter Körperteil einer Person ist. Letztendlich wird mittels des Objektüberprüfungskriteriums zuverlässig festgestellt, ob das erkannte Objekt einer vorgegebenen Objektklasse zuzuordnen ist, wobei diese Objektklasse den Körperteil beschreibt, der für die Gestensteuerung der Fahrzeugfunktion vorgesehen ist.
Ein zusätzliches Ausführungsbeispiel sieht vor, dass eine Benutzerbewegungsinformation ermittelt wird, die einen vom Benutzer durchgeführten Bewegungsablauf des vorgesehenen Körperteils, insbesondere eine vom Benutzer durchgeführte Bewegung des vorgesehenen Körperteils, beschreibt. Das Objektüberprüfungskriterium wird unter Berücksichtigung der ermittelten Benutzerbewegungsinformation nachtrainiert. Es ist also möglich, dass ein tatsächlicher Benutzer des Kraftfahrzeugs die Geste mit seinem Körperteil durchführt und dadurch Informationen dazu bereitstellt, mit welchem Körperteil welche Bewegung vorgesehen ist, um die Fahrzeugfunktion zu betreiben. Es kann daraufhin das bereits vortrainierte Objektüberprüfungskriterium, insbesondere das künstliche neuronale Netzwerk, mittels eines weiteren Anlernvorgangs darauf trainiert werden, die beispielsweise benutzerspezifische Geste mit dem gegebenenfalls benutzerspezifisch gewählten Körperteil zu erkennen. Dadurch, dass der Bewegungsablauf des Benutzers berücksichtigt wird, können beispielsweise für diesen Benutzer typische Annäherungen und Wartezeiten vor oder nach der Bewegung des Körperteils ebenfalls berücksichtigt werden. Es findet also eine Feineinstellung einer Detektionsschwelle des Objektüberprüfungskriteriums statt. Es wird hierbei angenommen, dass das Objektüberprüfungskriterium zuvor allgemein auf das Erkennen eines Körperteils als Objekt trainiert wurde und nun lediglich dahingehend verfeinert wird, dass mittels der Benutzerbewegungsinformation Details zu beispielsweise einem Bewegungsmuster des Körperteils des Benutzers vorliegen, die zum Nachtrainieren verwendet werden.
Dies ermöglicht, dass mittels des beschriebenen Optimierungsschritts das Objektüberprüfungskriterium an den Benutzer angepasst wird. Hierdurch kann erreicht werden, dass stets besonders zuverlässig erkannt wird, ob das Objekt das für die Fahrzeugfunktion vorgesehene Körperteil ist oder nicht, da das Objektüberprüfungskriterium spezifisch darauf trainiert wurde, das Körperteil des Benutzers der Fahrzeugfunktion zu erkennen. Hierdurch kann die Fehlauslöserate, wie beispielsweise eine Fehlöffnungsrate des Kofferraums, weiter verbessert werden.
Ferner sieht es ein Ausführungsbeispiel vor, dass die Benutzerbewegungsinformation durch Anwenden des Bewegungsermittlungskriteriums auf eine weitere Ultraschallinformation ermittelt wird. Die weitere Ultraschallinformation wird beim Durchführen des Bewegungsablaufs, insbesondere der Bewegung des Körperteils, durch den Benutzers erfasst. Hierfür wird beispielsweise der gleiche oder sogar der identische zumindest eine Ultraschallsensor verwendet, mittels dessen die Ultraschallinformation zum Betreiben der Fahrzeugfunktion bereitgestellt wird. Das Auswerten der weiteren Ultraschallinformation zum Ermitteln der Bewegungsinformation kann analog zum oben beschriebenen Vorgehen erfolgen, das heißt durch Anwenden des Bewegungsermittlungskriteriums auf die bereitgestellte weitere Ultraschallinformation. Letztendlich werden dem Objektüberprüfungskriterium analoge Daten bereitgestellt, die den Bewegungsablauf, insbesondere zumindest die Bewegung, des zumindest einen Objekts beschreiben, die für das Körperteil des Benutzers erfasst wurden, sodass tatsächliche Informationen über die Benutzerbewegung vorliegen. Hierdurch wird das beschriebene Nachtrainieren besonders sinnvoll.
Ferner kann es in dem einen Ausführungsbeispiel vorgesehen sein, dass beim Nachtrainieren zudem die weitere Ultraschallinformation berücksichtigt wird. Beim Nachtrainieren des Objektüberprüfungskriteriums kann diesem somit die ermittelte Benutzerbewegungsinformation sowie die weitere Ultraschallinformation, auf deren Basis die Benutzerbewegungsinformation ermittelt wurde, bereitgestellt werden. Das Nachtrainieren kann somit ebenfalls auf Basis der Rohdaten sowie der verarbeiteten Daten erfolgen. Durch Auswerten der weiteren Ultraschallinformation kann beispielsweise eine Form und/oder Größe des Körperteils des Benutzers ermittelt und berücksichtigt werden. Hierdurch wird erreicht, dass beim Nachtrainieren diverse mögliche Informationen, die beispielsweise den Echosignalen, die vom Ultraschallsensor erfasst werden, entnommen werden können, berücksichtigt werden.
Ein weiteres Ausführungsbeispiel sieht vor, dass eine Merkmalsinformation, die zumindest ein Merkmal des Echosignals beschreibt, das vom zumindest einen Ultraschallsensor empfangen wird, durch Anwenden eines Merkmalserkennungskriteriums auf die bereitgestellte Ultraschallinformation ermittelt wird. Das Objektüberprüfungskriterium wird daraufhin auf die ermittelte Merkmalsinformation angewendet. Es kann also vorgesehen sein, dass das Objektüberprüfungskriterium zusätzlich zur bereitgestellten Ultraschallinformation, insbesondere alternativ zu dieser, auf die Merkmalsinformation angewendet wird. Die Merkmalsinformation beschreibt bereits ausgewertete Merkmale, die der Ultraschallinformation entnommen werden können. Die Merkmalsinformation ist somit beispielsweise eine vorausgewertete Version der Rohdaten. Die Merkmalsinformation beschreibt beispielsweise eine Amplitude des Echosignals, insbesondere im Bereich eines Maximums des Echosignals, und/oder eine Breite des Maximums. Das Merkmalserkennungskriterium ist ein Algorithmus und/oder eine Vorschrift, bei dessen beziehungsweise deren Anwenden beispielsweise basierend auf mathematischen Auswertemethoden und/oder Methoden des maschinellen Lernens zumindest ein Merkmal aus den vom Ultraschallsensor bereitgestellten Rohdaten herausgelesen und beziffert werden kann. Das Merkmal des Echosignals kann alternativ als Feature des Echosignals bezeichnet werden. Hierdurch kann das Objektüberprüfungskriterium dahingehend vereinfacht werden, dass dieses nicht mehr beispielsweise einen Kurvenverlauf, der als Ultraschallinformation bereitgestellt wird, auswerten muss, sondern direkt auf die Merkmale der Ultraschallinformation zugreifen kann, da ihm die Merkmalsinformation bereitgestellt wird. Hierdurch kann beispielsweise ein Rechenaufwand für das Anwenden des Objektüberprüfungskriteriums reduziert werden.
Gemäß einem zusätzlichen Ausführungsbeispiel ist es vorgesehen, dass die Merkmalsinformation zumindest eines der folgenden Merkmale beschreibt: Eines der möglichen Merkmale ist eine Amplitude eines globalen Maximums und/oder zumindest eines lokalen Maximums. Die Amplitude ist beispielsweise in Form einer Spannung angegeben, die vom Ultraschallsensor erfasst wird. Die Amplitude kann alternativ als Maximalwert bezeichnet werden. Es wird hierbei angenommen, dass das Echosignal beispielsweise mehrere Maxima aufweist. Es können daher zum Beispiel ein Hauptmaximum sowie dieses umgebende Seitenmaxima unterschieden werden. Das Hauptmaximum kann das globale oder das lokale Maximum sein. Ferner oder alternativ dazu kann die Merkmalsinformation eine Breite des jeweiligen Maximums, eine Steigung im Bereich des jeweiligen Maximums und/oder eine Verteilung der lokalen Maxima, beispielsweise um das globale und/oder ein anderes lokales Maximum herum und/oder benachbart zu diesem, beschreiben. Alternativ oder zusätzlich dazu kann als Merkmal eine Form des jeweiligen Maximums beschrieben sein. Den genannten Merkmalen kann beispielsweise zumindest teilweise entnommen werden, um was für ein Objekt es sich handelt, das sich vor dem Ultraschallsensor befindet und insbesondere vor diesem bewegt wird. Mit anderen Worten können eine Reflexionsstärke des Objekts, das heißt beispielsweise die Amplitude, und/oder Kennwerte des Reflexionsmusters, wie beispielsweise die Breite und/oder die Form des Maximums, bereitgestellt und berücksichtigt werden. Diese Informationen können der Ultraschallinformation als deren Merkmale entnommen werden. Falls nicht die Merkmalsinformation bereitgestellt wird, sondern das Objektüberprüfungskriterium nur auf die Ultraschallinformation und die Bewegungsinformation angewendet wird, liegen diese Informationen ebenfalls vor, müssen jedoch zunächst, beispielsweise im Rahmen des Anwendens des Objektüberprüfungskriteriums, ausgewertet werden. Letztendlich können verschiedenartige Merkmale des Echosignals ausgewertet werden, sofern sie der bereitgestellten Ultraschallinformation entnehmbar sind.
Außerdem sieht es ein Ausführungsbeispiel vor, dass die ermittelte Bewegungsinformation zumindest eines von folgenden Bewegungsmerkmalen beschreibt: Eine Annäherung des Objekts an den zumindest einen Ultraschallsensor, eine erste Wartezeit nach dem Annähern des Objekts, eine Bewegung des angenäherten Objekts, eine zweite Wartezeit nach der Bewegung des angenäherten Objekts und/oder ein Entfernen des Objekts nach der Bewegung und/oder nach der zweiten Wartezeit. Es können also mehrere Phasen oder Etappen, die von der Bewegungsinformation beschrieben werden, unterschieden werden. Diese Phasen werden vom Bewegungsablauf umfasst. Die Bewegung des angenäherten Objekts ist beispielsweise das Durchführen einer bestimmten Geste und somit eines bestimmten Bewegungsmusters durch das Objekt. Die Bewegung des angenäherten Objekts kann beispielsweise eine Kickbewegung des Fußes des Benutzers sein. Alternativ oder zusätzlich kann die Bewegung beispielsweise eine Kreisbewegung, eine Halbkreisbewegung, eine eckige Bewegung, ein Anheben und anschließendes Absenken und/oder ein andersartiges Bewegungsmuster sein.
Das Bewegungsmerkmal kann ferner oder alternativ eine Abstandsänderung des Objekts während der Annäherung sein. Es kann also beispielsweise erfasst werden, welche Distanz vom Objekt während der Annäherung an den Ultraschallsensor zurückgelegt wird. Hierdurch kann beispielsweise darauf geschlossen werden, ob sich eine Person dem Ultraschallsensor annähert, das heißt beispielsweise auf diesen zuläuft, oder nicht. Alternativ oder zusätzlich dazu kann das Bewegungsmerkmal eine Dauer der jeweiligen Wartezeit sein. Falls beispielsweise vor oder nach der durchgeführten Bewegung das Objekt vor dem Ultraschallsensor ohne weitere Abstandsänderung zum Ultraschallsensor wartet, kann dies darauf hindeuten, dass die Gestensteuerung gewünscht ist, auf die sich beispielsweise der Benutzer zunächst vorbereitet und/oder nach der er abwartet, bis die Fahrzeugfunktion durchgeführt wurde. Es kann in diesem Zusammenhang eine maximale Wartezeitdauer vorgegeben sein, mit der die erfasste Dauer der jeweiligen Wartezeit verglichen wird. Wird beispielsweise die maximale Wartezeit unterschritten, kann darauf geschlossen werden, dass sich das Objekt dauerhaft in der Umgebung des Ultraschallsensors befindet und beispielsweise keine Gestensteuerung erfolgt. Alternativ oder zusätzlich dazu kann das Bewegungsmerkmal eine Dauer der Bewegung des angenäherten Objekts beschreiben. Es kann beispielsweise eine maximale Zeitdauer vorgesehen sein, die die Gestensteuerung dauern kann. Falls beispielsweise die Bewegung länger als die vorgegebene Bewegungsdauer anhält, kann darauf geschlossen werden, dass keine gezielte Geste zur Gestensteuerung erfolgt ist, sondern beispielsweise das Objekt aus einem anderen Grund im Erfassungsbereich des Ultraschallsensors bewegt wird. Die maximale Zeitdauer und/oder die maximale Wartezeit können im Objektüberprüfungskriterium hinterlegt, das heißt beispielsweise in diesem gespeichert sein.
Alternativ oder zusätzlich dazu kann das Bewegungsmerkmal eine Position des Objekts zu Beginn der Bewegung und/oder am Ende der Bewegung beschreiben. Die Position des Objekts zu Beginn der Bewegung kann beispielsweise als Startposition und die Position am Ende der Bewegung als Endposition bezeichnet werden. Insbesondere kann eine Positionsänderung zwischen der Position zu Beginn und der Position am Ende als Bewegungsmerkmal betrachtet werden, das heißt die Positionsänderung zwischen der Startposition und der Endposition. Es kann hierdurch beispielsweise festgestellt werden, ob sich das Objekt nach der Bewegung wieder an seinem Ausgangsort der Bewegung befindet, was darauf schließen lassen könnte, dass tatsächlich eine zur Gestensteuerung vorgesehene Bewegung, wie beispielsweise eine Kickbewegung, erfolgt ist und nicht lediglich das Objekt seine Position verändert hat, indem es beispielsweise am Kraftfahrzeug vorbeigelaufen ist. Hierfür ist es beispielsweise nötig, dass die Position des Objekts zu Beginn der Bewegung sowie die Position am Ende der Bewegung jeweils gespeichert werden, damit die beschriebene Positionsänderung ermittelbar ist.
Alternativ oder zusätzlich kann das Bewegungsmerkmal eine Richtung der Bewegung des angenäherten Objekts beschreiben, das heißt beispielsweise ob sich dieses weiter auf den Ultraschallsensor zubewegt oder nicht. Insbesondere ist für einzelne der beschriebenen Bewegungsmerkmale ein Auswerten von Daten mehrerer Ultraschallsensoren und somit das Auswerten von beispielsweise mehreren bereitgestellten Ultraschallinformationen nötig, wie beispielsweise zum Auswerten der Richtung der Bewegung sowie der Position des Objekts zu Beginn der Bewegung und/oder am Ende der Bewegung. Bevorzugt werden stets Daten von mehreren Ultraschallsensoren miteinander verglichen, da dies ermöglicht, nicht nur den Abstand beziehungsweise die Entfernung des Objekts zum jeweiligen Ultraschallsensor zu ermitteln, sondern auch eine Lokalisierung des Objekts in der Umgebung der Sensoren durchzuführen. Letztendlich kann eine ausführliche Analyse der Bewegung des Objekts im Erfassungsbereich des zumindest einen Ultraschallsensors erfolgen, sodass dem Objektüberprüfungskriterium detaillierte Informationen zur Bewegung des Objekts vorliegen. Dieses kann daher zuverlässig feststellen, ob das bewegte Objekt tatsächlich das zur Gestensteuerung vorgesehene Körperteil sein kann oder nicht.
Außerdem sieht es ein Ausführungsbeispiel vor, dass die bereitgestellte Ultraschallinformation stets von mehreren räumlich voneinander getrennten Ultraschallsensoren erfasst wird. Bevorzugt finden sich diese in der Stoßstange im Heckbereich des Kraftfahrzeugs und somit in der Umgebung des Kofferraums. Es können beispielsweise zwei, vier, sechs oder acht einzelne Ultraschallsensoren im Heckbereich angeordnet sein, sodass der gesamte Heckbereich des Kraftfahrzeugs mittels der Ultraschallsensoren überwacht werden kann. Analog dazu können Ultraschallsensoren in der Stoßstange im Frontbereich des Kraftfahrzeugs vorgesehen sein. Alternativ oder zusätzlich dazu kann zumindest ein Ultraschallsensor in einer jeweiligen Tür des Kraftfahrzeugs angeordnet sein. Hierdurch wird sichergestellt, dass zuverlässig die für die jeweilige Funktion relevante Umgebung des Kraftfahrzeugs überwacht werden kann.
Außerdem ist in einem Ausführungsbeispiel vorgesehen, dass das Objekt ein Fuß eines Benutzers ist. Das beschriebene Verfahren ist somit gezielt auf beispielsweise eine Kickoder eine andersartige Bewegung des Fußes im Erfassungsbereich der Ultraschallsensoren eines Kraftfahrzeugs, beispielsweise zum berührungslosen Öffnen oder Schließen eines Kofferraums, ausgebildet. Alternativ oder zusätzlich dazu kann das Objekt das Bein, der Arm und/oder die Hand des Benutzers sein. Je nach gewünschtem Objekt kann eine unterschiedliche Anordnung der Ultraschallsensoren vorgesehen sein, sodass sich diese in einem typischen Bereich befinden, in dem der jeweilige Körperteil des Benutzers typischerweise bewegt wird.
In einem weiteren Ausführungsbeispiel ist es vorgesehen, dass, falls das Objekt der zur Gestensteuerung vorgesehene Körperteil ist, eine Bewegungsgeste des Objekts ermittelt wird. Die Fahrzeugfunktion wird gemäß der ermittelten Bewegungsgeste betrieben. Die Bewegungsgeste wird zumindest durch Auswerten der Ultraschallinformation und/oder der Bewegungsinformation ermittelt. Bevorzugt wird beim Ermitteln der Bewegungsgeste zudem oder alternativ zur Ultraschallinformation die Merkmalsinformation berücksichtigt. Die Bewegungsgeste kann beispielsweise durch eine Bewegungsgesteninformation beschrieben werden, die beim Auswerten der Ultraschallinformation, der Bewegungsinformation und/oder der Merkmalsinformation ermittelt wird. Die ermittelte Bewegungsgeste kann eine konkrete Bewegung, beispielsweise des Fußes des Benutzers als Objekt, beschreiben, wie beispielsweise die Kickbewegung oder eines der anderen weiter oben beschriebenen Bewegungsmuster. Die Bewegungsgeste wird beispielsweise in Form einer ermittelten Bewegungstrajektorie des Objekts bereitgestellt. Es kann also nicht nur erfasst werden, ob das zur Gestensteuerung vorgesehene Körperteil bewegt wird, sondern zudem eine konkrete Bewegungsgeste, die von diesem Körperteil durchgeführt wird, erfasst und ausgewertet werden.
In diesem Zusammenhang kann beispielsweise erkannt werden, dass ein Teil eines vor dem Kraftfahrzeug angeordneten Objekts, wie beispielsweise das Bein oder der Fuß des Benutzers, relativ zu dessen restlichen Körper bewegt wird. Dies kann beispielsweise daran erkannt werden, dass sich ein Ort eines Maximums im Echosignal zeitlich betrachtet in Richtung kürzerer Entfernungen zum Ultraschallsensor verändert, wohingegen restliche Maxima als stationärer Anteil des Echosignals bei einer konstanten Entfernung verbleiben, sodass hierdurch darauf geschlossen werden kann, dass nur ein Teil des Objekts und somit der Körperteil gezielt auf das Kraftfahrzeug zubewegt wird. Letztendlich kann hierdurch zuverlässig das Betreiben der Fahrzeugfunktion erfolgen.
Die Verfahrensschritte des Verfahrens werden insbesondere mittels der Steuervorrichtung des Kraftfahrzeugs durchgeführt. Dieser werden die Ultraschallinformation bereitgestellt und diese kann die Fahrzeugfunktion betreiben, indem sie beispielsweise eine Öffnungseinrichtung des Kofferraums ansteuert.
Eine Entfernung und ein Abstand zwischen dem Objekt und dem zumindest einen Ultraschallsensor sind synonym zu verstehen. Die oben beschriebene Abstandsänderung kann daher alternativ als Entfernungsänderung bezeichnet werden.
Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug. Das Kraftfahrzeug ist dazu ausgebildet, das oben beschriebene Verfahren durchzuführen. Das Kraftfahrzeug führt das Verfahren durch. Das Kraftfahrzeug ist somit dazu ausgebildet, die Ultraschallinformation bereitzustellen, die Bewegungsinformation durch Anwenden des Bewegungsermittlungskriteriums auf die bereitgestellte Ultraschallinformation zu ermitteln, zu überprüfen, ob das Objekt das zur Gestensteuerung der Fahrzeugfunktion vorgesehene Körperteil ist, durch Anwenden des Objektüberprüfungskriteriums auf die bereitgestellte Ultraschallinformation und die ermittelte Bewegungsinformation sowie, falls das Objekt der zur Gestensteuerung vorgesehene Körperteil ist, die Fahrzeugfunktion zu betreiben. Das Kraftfahrzeug ist beispielsweise ein Personenkraftwagen, ein Lastkraftwagen, ein Bus und/oder ein Motorrad.
Ein vorteilhaftes Ausführungsbeispiel des erfindungsgemäßen Kraftfahrzeugs sieht vor, dass das Kraftfahrzeug zumindest einen Ultraschallsensor in einem Heckbereich des Kraftfahrzeugs umfasst. Die Fahrzeugfunktion ist dazu ausgebildet, mittels der ultraschallbasierten Gestensteuerung einen Kofferraum des Kraftfahrzeugs automatisch zu öffnen und/oder zu schließen. Mit anderen Worten ist die Fahrzeugfunktion für ein berührungsloses Öffnen oder Schließen des Kofferraums des Kraftfahrzeugs ausgebildet. Bevorzugt weist das Kraftfahrzeug mehrere Ultraschallsensoren im Heckbereich auf, die dort beispielsweise in der Stoßstange angeordnet sind. Bevorzugt sind dort mindestens sechs Ultraschallsensoren räumlich getrennt voneinander angeordnet.
Ein weiterer Aspekt der Erfindung betrifft eine Steuervorrichtung für ein Kraftfahrzeug. Die Steuervorrichtung ist dazu ausgebildet, das beschriebene Verfahren durchzuführen. Die Steuervorrichtung führt das beschriebene Verfahren, insbesondere ein Ausführungsbeispiel oder eine Kombination von Ausführungsbeispielen des Verfahrens, durch. Die Steuervorrichtung weist eine Prozessoreinrichtung auf. Die Prozessoreinrichtung kann zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der alternativ als Computerprogrammprodukt bezeichnet werden kann. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein. Das erfindungsgemäße Kraftfahrzeug kann die beschriebene Steuervorrichtung aufweisen.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt. Das Computerprogrammprodukt ist ein Computerprogramm. Das Computerprogrammprodukt umfasst Befehle, die bei der Ausführung des Programms durch einen Computer, wie beispielsweise durch die Steuervorrichtung, diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens durchzuführen.
Die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen Ausführungsbeispiele, jeweils einzeln sowie in Kombination miteinander, gelten entsprechend, soweit anwendbar, für das erfindungsgemäße Kraftfahrzeug, die erfindungsgemäße Steuervorrichtung sowie das erfindungsgemäße Computerprogrammprodukt. Die Erfindung umfasst Kombinationen der beschriebenen Ausführungsbeispiele.
Dabei zeigen:
Fig. 1 eine schematische Darstellung eines Kraftfahrzeugs mit mehreren Ultraschallsensoren;
Fig. 2 in schematischer Darstellung einen Signalflussgraphen eines Verfahrens zum Betreiben einer Fahrzeugfunktion eines Kraftfahrzeugs mittels einer ultraschallbasierten Gestensteuerung;
Fig. 3 in schematischer Darstellung einen Signalflussgraphen weiterer Verfahrensschritte für ein Verfahren gemäß Fig. 2;
Fig. 4 in schematischer Darstellung einen Echosignalverlauf, der von einem
Ultraschallsensor erfasst wird; und Fig. 5 eine schematische Darstellung einer Bewegungskurve eines Objekts in der Umgebung eines Ultraschallsensors.
Fig. 1 zeigt ein Kraftfahrzeug 1 , das mehrere Ultraschallsensoren 2 aufweist. Hier sind in einem Heckbereich 3 des Kraftfahrzeugs 1 exemplarisch sechs räumlich voneinander getrennt angeordnete Ultraschallsensoren 2 positioniert. Diese können eine Umgebung des Kraftfahrzeugs 1 im Heckbereich 3 überwachen. Die Umgebung des Kraftfahrzeugs 1 wird räumlich durch eine Grenze des jeweiligen Erfassungsbereichs des jeweiligen Ultraschallsensors 2 begrenzt, die beispielsweise jeweils eine Reichweite von bis zu 5 Meter aufweisen.
Das Kraftfahrzeug 1 weist eine Steuervorrichtung 4 auf, in der eine Fahrzeugfunktion 5 hinterlegt ist. Die Fahrzeugfunktion 5 kann von der Steuervorrichtung 4 durchgeführt werden. Sie ist beispielsweise dazu ausgerichtet, einen Kofferraum 6 des Kraftfahrzeugs
1 berührungslos zu öffnen oder zu schließen, das heißt automatisch den Kofferraum 6 zu öffnen und zu schließen. Diese Fahrzeugfunktion 5 kann mittels einer ultraschallbasierten Gestensteuerung betrieben werden. Es werden hierzu Messdaten der Ultraschallsensoren
2 im Heckbereich 3 ausgewertet, um eine Geste zu erkennen, aufgrund deren Erkennung beispielsweise automatisch der Kofferraum 6 geöffnet wird. Das Auswerten der Messdaten der einzelnen Ultraschallsensoren 2 sowie weiteren Schritte zum Bereitstellen der Fahrzeugfunktion 5 werden mittels der Steuervorrichtung 4 des Kraftfahrzeugs 1 durchgeführt.
In der Umgebung des Kraftfahrzeugs 1 befindet sich hier ein Benutzer 7, der mit einem Fuß 8 eine Geste im Erfassungsbereich der Ultraschallsensoren 2 beziehungsweise zumindest einzelner der Ultraschallsensoren 2 im Heckbereich 3 durchführt. Diese Geste kann beispielsweise eine Kickbewegung des Fußes 8 des Benutzers 7 sein.
In Fig. 1 sind außerdem Ultraschallsensoren 2 in einem Frontbereich 9 des Kraftfahrzeugs 1 skizziert. Es können ferner hier nicht skizzierte Ultraschallsensoren 2 in Türen des Kraftfahrzeugs 1 angeordnet sein, um jeweilige Seitenbereiche des Kraftfahrzeugs 1 zu überwachen. Es kann somit möglich sein, weitere Fahrzeugfunktionen 5 mittels ultraschallbasierter Gestensteuerung bereitzustellen, wie beispielsweise ein automatisches Öffnen oder Schließen zumindest einer Tür des Kraftfahrzeugs 1 .
Fig. 2 zeigt Verfahrensschritte eines Verfahrens zum Betreiben der Fahrzeugfunktion 5 des Kraftfahrzeugs 1 mittels der ultraschallbasierten Gestensteuerung. In einem Verfahrensschritt S1 erfolgt ein Bereitstellen einer Ultraschallinformation 10, die zumindest ein Objekt in der Umgebung zumindest eines der Ultraschallsensoren 2 beschreibt. Bevorzugt beschreibt die Ultraschallinformation 10 das Objekt, das sich in der Umgebung der mehreren Ultraschallsensoren 2 im Heckbereich 3 des Kraftfahrzeugs 1 befindet. Das Objekt kann beispielsweise der Benutzer 7, insbesondere der Fuß 8 des Benutzers 7, sein. Die Ultraschallinformation 10 kann, bevor sie bereitgestellt wird, mittels zumindest eines der Ultraschallsensoren 2, bevorzugt mittels mehrerer der Ultraschallsensoren 2, erfasst werden. Daraufhin wird sie beispielsweise der Steuervorrichtung 4 des Kraftfahrzeugs 1 bereitgestellt. In einem Verfahrensschritt S2 erfolgt ein Anwenden eines Bewegungsermittlungskriteriums 11 auf die bereitgestellte Ultraschallinformation 10 zum Ermitteln einer Bewegungsinformation 12. Die Bewegungsinformation 12 beschreibt einen Bewegungsablauf des zumindest einen Objekts, wie beispielsweise des Benutzers 7 und dessen Fußes 8.
Es kann ferner vorgesehen sein, dass in einem Verfahrensschritt S3 ein Merkmalerkennungskriterium 13 auf die bereitgestellte Ultraschallinformation 10 angewendet wird, um eine Merkmalsinformation 14 zu ermitteln. Die Merkmalsinformation 14 beschreibt zumindest ein Merkmal eines Echosignals, das vom zumindest einen Ultraschallsensor 2 empfangen wird. Es ist hierbei vorgesehen, dass der zumindest eine Ultraschallsensor 2 einen Ultraschallpuls aussendet, der am Objekt in der Umgebung reflektiert wird, wobei der reflektierte Ultraschallpuls als Echosignal vom Ultraschallsensor 2, insbesondere von mehreren der Ultraschallsensoren 2, empfangen wird.
In einem Verfahrensschritt S4 wird überprüft, ob das Objekt ein zur Gestensteuerung der Fahrzeugfunktion 5 vorgesehener Körperteil ist. Dies erfolgt durch Anwenden eines Objektüberprüfungskriteriums 15 auf die bereitgestellte Ultraschallinformation 10 und die ermittelte Bewegungsinformation 12. Es kann alternativ zur Ultraschallinformation 10 oder zusätzlich zu dieser auf die ermittelte Merkmalsinformation 14 angewendet werden. Es kann durch Anwenden des Objektüberprüfungskriteriums 15 festgestellt werden, ob das Objekt der Fuß 8 des Benutzers 7 ist, der zur Gestensteuerung der Fahrzeugfunktion 5 vorgesehen ist. Der Fuß 8 ist dann der vorgesehene Körperteil.
Das Objektüberprüfungskriterium 15 basiert beispielsweise auf Methoden des maschinellen Lernens, insbesondere auf einem künstlichen neuronalen Netzwerk und/oder einer Support Vector Machine. Das Objektüberprüfungskriterium 15 wurde zuvor darauf trainiert, zumindest zu erkennen, ob das Objekt ein bestimmter für die Fahrzeugfunktion 5 vorgesehener Körperteil ist oder nicht. Das heißt, das Objektüberprüfungskriterium 15 kann beispielsweise erkennen, dass das Objekt im Erfassungsbereich der Benutzer 7, der seinen Fuß 8 zur Gestensteuerung bewegt.
In einem Verfahrensschritt S5 kann es vorgesehen sein, dass, falls das Objekt der zur Gestensteuerung vorgesehene Körperteil ist, eine Bewegungsgeste 16 des Objekts ermittelt wird. Die Bewegungsgeste 16 wird durch Auswerten der Ultraschallinformation 10, der Bewegungsinformation 12 und/oder der Merkmalsinformation 14 ermittelt. Die Bewegungsgeste 16 wird daraufhin bereitgestellt, sodass in dem Verfahrensschritt S6 die Fahrzeugfunktion 5 gemäß der ermittelten Bewegungsgeste 16 betrieben wird. Unabhängig vom Ermitteln der Bewegungsgeste 16 ist es im Verfahrensschritt S5 vorgesehen, dass, falls das Objekt der zur Gestensteuerung vorgesehene Körperteil ist, die Fahrzeugfunktion 5 betrieben wird.
Falls im Verfahrensschritt S4 festgestellt wird, dass das Objekt nicht das zur Gestensteuerung der Fahrzeugfunktion 5 vorgesehene Körperteil ist, können die Verfahrensschritte S1 sowie gegebenenfalls S2 und S3 erneut erfolgen.
In Fig. 3 sind Verfahrensschritte für ein Nachtrainieren des Objektüberprüfungskriteriums
15 skizziert. In einem Verfahrensschritt S7 kann durch den Benutzer 7 zumindest eine zur Gestensteuerung der Fahrzeugfunktion 5 vorgesehene Bewegung 29 (siehe Bezugszeichen 29 in Fig. 5) seines Körperteils durchgeführt und dies mittels des zumindest einen Ultraschallsensors 2 erfasst werden. Es wird bevorzugt ein Bewegungsablauf des Benutzers 7 erfasst, der die Bewegung 29 aber auch Phasen ohne Bewegung des Körperteils umfasst. Hierdurch wird eine weitere Ultraschallinformation 17 erfasst und bereitgestellt. Diese beschreibt das Durchführen der Bewegung 29 des Körperteils durch den Benutzers 7, beispielsweise des Fußes 8.
In einem Verfahrensschritt S8 kann das Bewegungsermittlungskriterium 11 auf die weitere Ultraschallinformation 17 angewendet werden. Hierdurch wird eine Benutzerbewegungsinformation 18 ermittelt. Die Benutzerbewegungsinformation 18 beschreibt die vom Benutzer 7 durchgeführte Bewegung 29 des zur Gestensteuerung der Fahrzeugfunktion 5 vorgesehenen Körperteils.
In einem Verfahrensschritt S9 kann daraufhin das Objektüberprüfungskriterium 15 unter Berücksichtigung der ermittelten Benutzerbewegungsinformation 18 nachtrainiert werden. Hierbei kann zudem die weitere Ultraschallinformation 17 berücksichtigt werden.
In Fig. 4 ist ein Beispiel für einen Echosignalverlauf 19 skizziert. Dieser kann von der Ultraschallinformation 10 beschrieben werden. Auf den beiden skizzierten Achsen ist einerseits eine Amplitude 20, beispielsweise als eine Spannungsangabe, und andererseits eine Zeit 21 , beispielsweise angegeben in Sekunden, aufgetragen. Die Merkmalsinformation 14 kann einzelne Merkmale des Echosignalverlaufs 19 beschreiben, wie beispielsweise die Amplitude 20 eines globalen Maximums 22 und/oder zumindest eines lokalen Maximums 23 des Echosignalverlaufs 19. Ferner kann das Merkmal eine Breite 24 eines jeweiligen Maximums, hier skizziert für das globale Maximum 22, beschreiben. Alternativ oder zusätzlich dazu kann die Merkmalsinformation 14 eine Steigung im Bereich des jeweiligen Maximums 22, 23, eine Verteilung der lokalen Maxima 23, insbesondere um das globale Maximum 22 oder ein anderes lokales Maximum 23 herum und/oder eine Form des jeweiligen Maximums 22, 23 beschreiben. Letztendlich beschreibt die Merkmalsinformation 14 ein konkretes Detail, das dem Echosignalverlauf 19 entnommen werden kann.
In Fig. 5 ist eine exemplarische Bewegungskurve 25 für das Objekt skizziert. Die Bewegungskurve 25 kann von der Bewegungsinformation 12 beschrieben sein. Auf den Achsen ist eine Entfernung 26 zwischen dem Objekt und dem jeweiligen Ultraschallsensor 2 und die Zeit 21 aufgetragen. Es wird deutlich, dass die Bewegungskurve 25 und somit die Bewegungsinformation 12 verschiedene Phasen beschreiben kann. Diese sind eine Annäherung 27 des Objekts an den zumindest einen Ultraschallsensor 2, eine erste Wartezeit 28 nach der Annäherung 27 des Objekts, eine Bewegung 29 des angenäherten Objekts, beispielsweise eine Kickbewegung, eine zweite Wartezeit 30 nach der Bewegung 29 des angenäherten Objekts und/oder eine Entfernung 31 des Objekts vom Ultraschallsensor 2 weg nach der Bewegung 29 und/oder der zweiten Wartezeit 30. Es sind die typischen Entfernungsänderungen in diesen einzelnen Phasen skizziert. Die ermittelte Bewegungsinformation 12 kann eine dieser Phasen als jeweiliges Bewegungsmerkmal beschreiben, das heißt den Verlauf der Annäherung 27, der ersten Wartezeit 28, der Bewegung 29, der zweiten Wartezeit 30 und/oder der Entfernung 31 . Alternativ oder zusätzlich dazu kann die Bewegungsinformation 12 eine Abstandsänderung und somit die Entfernungsänderung des Objekts während der Annäherung 27, eine Dauer der jeweiligen Wartezeit 28, 30, eine Dauer der Bewegung 29 des angenäherten Objekts, eine Position und/oder eine Richtung der Bewegung 29 des angenäherten Objekts beschreiben. Alternativ oder zusätzlich dazu kann eine Position 32 des Objekts zu Beginn der Bewegung 29 und/oder eine Position 33 am Ende der Bewegung als Bewegungsmerkmal berücksichtigt werden. Hierbei wird insbesondere eine Positionsänderung zwischen der Position 32 zu Beginn der Bewegung 29 und der Position 33 am Ende der Bewegung 29 betrachtet.
Insgesamt zeigen die Beispiele eine Feature-basierte Fußerkennung für Ultraschallsensorsysteme. Es ist wichtig, den Fuß 8 nicht nur zu erkennen und ein Bewegungsmuster rein anhand des Fußabstands zu ermitteln, sondern gezielt verschiedene Features (Merkmale) aus den Ultraschalldaten, das heißt der Ultraschallinformation 10, zu extrahieren. Diese Merkmale können zum Beispiel solche aus dem Bewegungsmuster sein, wie beispielsweise Abstandsänderungen während der Fußbewegung oder eine Bewegungszeit (Dauer der Bewegung 29). Diese Bewegungsmerkmale können von der Bewegungsinformation 12 umfasst sein. Zusätzlich können Merkmale aus dem Ultraschallsignal selbst berücksichtigt werden. Typische Merkmale sind dann ein Reflexionswert des Fußes (beispielsweise Amplitude 20 eines Hauptmaximums) oder ein Kennwert des Reflexionsmusters (beispielsweise die Breite 24 des Echos und somit des jeweiligen Maximums 22, 23). Das heißt, es kann die Ultraschallinformation 10 selbst ausgewertet und berücksichtigt werden. Des Weiteren können Merkmale aus mehreren Ultraschallsensoren 2 berechnet werden, wie die Richtung der Fußbewegung oder die Position 32, 33 zur Start- und Endzeit, beispielsweise als Projektion in zwei Dimensionen. Diese Informationen wurden bisher als mögliche Bewegungsmerkmale bezeichnet.
Die genannten Merkmale können mithilfe gängiger Verfahren des maschinellen Lernens ausgewertet werden, das heißt durch Anwenden des Objektüberprüfungskriteriums 15. Möglichkeiten dazu sind flache neuronale Netzwerke oder konventionelle Ansätze wie zum Beispiel die Support Vector Machine. Letztendlich ist ein binärer Ansatz, bei dem ermittelt wird, ob der Fuß 8, das heißt das vorgegebener Körperteil, vorhanden ist oder nicht, ausreichend. Durch die Auswertung von Merkmalen auf verschiedenen Datenebenen und Klassifikation der Daten mittels maschinellem Lernen kann die Leistungsfähigkeit der Fußerkennung deutlich verbessert werden. Dabei ist insbesondere die False-Positive-Rate, also versehentliches Kofferraumöffnen, wichtig. Gerade durch die Features auf Rohdatenebene, das heißt durch Berücksichtigung der Ultraschallinformation 10, kann bei entsprechend vorhandener Hardware die Detektion deutlich verbessert werden und im Idealfall sogar eine Klassifikation des Objekts durchgeführt werden, das heißt es wird die Objektüberprüfung im Verfahrensschritt S4 möglich.
Ein weiterer Vorteil ist, dass über den beschriebenen Machine- Learning-Ansatz das System auch an den Benutzer 7 selbst angepasst werden kann. Bei einem vortrainierten Netzwerk kann daher nach einem kurzen Einlernvorgang noch einmal ein Feintuning der Detektionsschwellen durchgeführt werden. Dazu muss der Endkunde, das heißt der Benutzer 7, selbst nur wenige Fußbewegungen durchführen. Diese können dann aufgenommen und in einem Optimierungsschritt nachtrainiert werden, wie es im Rahmen der Verfahrensschritte S7 bis S9 beschrieben wurde.
Ein Beispiel für einen typischen Vorgang beim Kofferraumöffnen mit dem Fuß 8 ist in Fig. 5 zu erkennen. Dieser Vorgang zeigt mindestens vier Schritte, die als Approaching, Waiting, Kicking und Waiting bezeichnet werden können (siehe Bezugszeichen 27 bis 30). Merkmale aus dieser Sequenz sind zum Beispiel die Dauer des Kicks, das heißt der Bewegung 29, aber auch die Amplitude 20 und somit die Abstandsänderung des Kicks, wie beispielsweise die beschriebene Positionsänderung. Zusätzlich können Features wie zum Beispiel Wartezeiten, das heißt die Dauer der jeweiligen Wartezeit 28, 30 oder auch die maximale Abstandsänderung in einem Wartevorgang, sein. Zusätzlich können die Features aus dem Ultraschallsignal selbst extrahiert werden, das heißt die Ultraschallinformation 10 kann berücksichtigt werden. Hierfür ist in Fig. 4 deutlich ein Maximum 22, 23 erkennbar, das von einer Fußreflexion stammen könnte. Vor und nach der eigentlichen Reflexion sind verschiedene kleinere Echos zu sehen. Die Verteilung der Echos, aber auch die Form der Hauptreflexion können als Merkmale ausgewertet und berücksichtigt werden.
Die Features aus diesen Daten können mittels der Support Vector Machine oder einem einfachen Feedforward Neural Network mit wenigen Lagen zur Klassifikation der Fußbewegung genutzt werden. Es kann beispielsweise eine versteckte Lage vorgesehen sein mit mehreren versteckten Neuronen. Typischerweise werden zahlreiche Klassifikationen genutzt, das heißt es ist sinnvoll, mehrere versteckte Neuronen zu verwenden und gegebenenfalls mehrere versteckte Lagen mit vollständiger Verknüpfung einzufügen. Mit dem beschriebenen Ansatz ist es möglich, die False-Positive-Rate deutlich zu reduzieren. Mithilfe des Verfahrens ist es folglich möglich, vom Kraftfahrzeug 1 bereits umfasste Ultraschallsensoren 2 für das berührungslose Öffnen des Kofferraums 6 zu verwenden.

Claims

Patentansprüche Verfahren zum Betreiben einer Fahrzeugfunktion (5) eines Kraftfahrzeugs (1 ) mittels einer ultraschallbasierten Gestensteuerung, umfassend:
- Bereitstellen (S1 ) einer Ultraschallinformation (10), die zumindest ein Objekt in einer Umgebung zumindest eines Ultraschallsensors (2) beschreibt;
- Ermitteln (S2) einer Bewegungsinformation (12), die einen Bewegungsablauf des zumindest einen Objekts beschreibt, durch Anwenden eines Bewegungsermittlungskriteriums (11) auf die bereitgestellte Ultraschallinformation (10);
- Überprüfen (S4), ob das Objekt ein zur Gestensteuerung der Fahrzeugfunktion (5) vorgesehener Körperteil ist, durch Anwenden eines Objektüberprüfungskriteriums (15) auf die bereitgestellte Ultraschallinformation (10) und die ermittelte Bewegungsinformation (12); und
- falls das Objekt der zur Gestensteuerung vorgesehene Körperteil ist, Betreiben (S6) der Fahrzeugfunktion (5). Verfahren nach Anspruch 1 , wobei das Objektüberprüfungskriterium (15) auf Methoden des maschinellen Lernens basiert, insbesondere auf einem künstlichen neuronalen Netzwerk und/oder einer Support Vector Machine. Verfahren nach Anspruch 2, wobei eine Benutzerbewegungsinformation (18) ermittelt wird, die einen vom Benutzer (7) durchgeführten Bewegungsablauf des vorgesehenen Körperteils beschreibt, und das Objektüberprüfungskriterium (15) unter Berücksichtigung der ermittelten Benutzerbewegungsinformation (18) nachtrainiert wird (S9). Verfahren nach Anspruch 3, wobei die Benutzerbewegungsinformation (18) durch Anwenden des Bewegungsermittlungskriteriums (11) auf eine weitere Ultraschallinformation (17) ermittelt wird (S8), die beim Durchführen des Bewegungsablaufs durch den Benutzer (7) erfasst wird (S7). Verfahren nach Anspruch 4, wobei beim Nachtrainieren zudem die weitere Ultraschallinformation (17) berücksichtigt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Merkmalsinformation (14), die zumindest ein Merkmal eines Echosignals beschreibt, das vom zumindest einen Ultraschallsensor (2) empfangen wird, durch Anwenden eines Merkmalerkennungskriteriums (13) auf die bereitgestellte Ultraschallinformation (10) ermittelt (S3) und das Objektüberprüfungskriterium (15) auf die ermittelte Merkmalsinformation (14) angewendet wird. Verfahren nach Anspruch 6, wobei die Merkmalsinformation (14) zumindest eines der folgenden Merkmale beschreibt:
- eine Amplitude (20) eines globalen Maximums (22) und/oder zumindest eines lokalen Maximums (22);
- eine Breite (24) des jeweiligen Maximums (22, 23);
-eine Steigung im Bereich des jeweiligen Maximums (22, 23);
- eine Verteilung der lokalen Maxima (23), insbesondere um das globale Maximum (22) und/oder ein anderes lokales Maximum (23) herum; und/oder
- eine Form des jeweiligen Maximums (22, 23). Verfahren nach einem der vorhergehenden Ansprüche, wobei die ermittelte Bewegungsinformation (12) zumindest eines von folgenden Bewegungsmerkmalen beschreibt:
- eine Annäherung (27) des Objekts an den zumindest einen Ultraschallsensor (2);
- eine erste Wartezeit (28) nach dem Annähern des Objekts;
- eine Bewegung (29) des angenäherten Objekts;
- eine zweite Wartezeit (30) nach der Bewegung (29) des angenäherten Objekts;
- eine Entfernung (31) des Objekts nach der Bewegung (29) und/oder der zweiten Wartezeit (30);
- eine Abstandsänderung des Objekts während der Annäherung (27);
- eine Dauer der jeweiligen Wartezeit (28, 30);
- eine Dauer der Bewegung (29) des angenäherten Objekts;
- eine Position (32, 33) des Objekts zu Beginn der Bewegung (29) und/oder am Ende der Bewegung (29), insbesondere eine Positionsänderung zwischen der Position (32) zu Beginn und der Position (33) am Ende; und/oder
- eine Richtung der Bewegung (29) des angenäherten Objekts. Verfahren nach einem der vorhergehenden Ansprüche, wobei die bereitgestellte Ultraschallinformation (10) von mehreren räumlich voneinander getrennten Ultraschallsensoren (2) erfasst wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Objekt ein Fuß (8) eines Benutzers (7) ist. Verfahren nach einem der vorhergehenden Ansprüche, wobei falls das Objekt der zur Gestensteuerung vorgesehene Körperteil ist, eine Bewegungsgeste (16) des Objekts ermittelt (S5) und die Fahrzeugfunktion (5) gemäß der ermittelten Bewegungsgeste (16) betrieben wird, wobei die Bewegungsgeste (16) zumindest durch Auswerten der Ultraschallinformation (10) und/oder der Bewegungsinformation (12) ermittelt wird. Kraftfahrzeug (1), das dazu ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen. Kraftfahrzeug (1) nach Anspruch 12, wobei der zumindest eine Ultraschallsensor (2) in einem Heckbereich (3) des Kraftfahrzeugs (1) angeordnet und die Fahrzeugfunktion (5) dazu ausgebildet ist, mittels der ultraschallbasierten Gestensteuerung einen Kofferraum (6) des Kraftfahrzeugs (1 ) automatisch zu öffnen und/oder zu schließen. Steuervorrichtung (4) für ein Kraftfahrzeug (1 ), wobei die Steuervorrichtung (4) dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen. Computerprogrammprodukt umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.
EP23814148.5A 2022-11-29 2023-11-27 Verfahren zum betreiben einer fahrzeugfunktion eines kraftfahrzeugs mittels einer ultraschallbasierten gestensteuerung Pending EP4627430A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022131463.4A DE102022131463A1 (de) 2022-11-29 2022-11-29 Verfahren zum Betreiben einer Fahrzeugfunktion eines Kraftfahrzeugs mittels einer ultraschallbasierten Gestensteuerung
PCT/EP2023/083166 WO2024115386A1 (de) 2022-11-29 2023-11-27 Verfahren zum betreiben einer fahrzeugfunktion eines kraftfahrzeugs mittels einer ultraschallbasierten gestensteuerung

Publications (1)

Publication Number Publication Date
EP4627430A1 true EP4627430A1 (de) 2025-10-08

Family

ID=88978209

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23814148.5A Pending EP4627430A1 (de) 2022-11-29 2023-11-27 Verfahren zum betreiben einer fahrzeugfunktion eines kraftfahrzeugs mittels einer ultraschallbasierten gestensteuerung

Country Status (6)

Country Link
EP (1) EP4627430A1 (de)
JP (1) JP2025537938A (de)
KR (1) KR20250112890A (de)
CN (1) CN120283214A (de)
DE (1) DE102022131463A1 (de)
WO (1) WO2024115386A1 (de)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2281231B1 (de) * 2008-03-18 2013-10-30 Elliptic Laboratories AS Objekt- und bewegungsdetektion
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US20190122056A1 (en) 2017-10-24 2019-04-25 Magna Closures Inc. Ultrasonic object detection system for motor vehicles and method of operation thereof
US11630518B2 (en) * 2018-03-19 2023-04-18 King Abdullah University Of Science And Technology Ultrasound based air-writing system and method
US10775493B2 (en) 2018-03-28 2020-09-15 Infineon Technologies Ag System and method for controlling access to a trunk of a vehicle using a radar sensor
JP6938426B2 (ja) * 2018-05-22 2021-09-22 京セラ株式会社 電子機器
DE102018121962B3 (de) 2018-09-10 2020-02-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Fahrzeugs durch Bestimmung einer Doppler-Verschiebung mittels eines künstlichen neuronalen Netzes, Recheneinrichtung sowie Ultraschallsensorvorrichtung
US20200208460A1 (en) * 2018-12-27 2020-07-02 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Vehicle hands-free system
CN110749888A (zh) 2019-12-20 2020-02-04 广州赛特智能科技有限公司 一种基于超声波测距系统的测距方法
DE102020116716A1 (de) 2020-06-25 2021-12-30 Valeo Schalter Und Sensoren Gmbh Aktivierung einer ultraschallbasierten Gestensteuerung
US12071098B2 (en) * 2021-02-23 2024-08-27 Magna Mirrors Of America, Inc. Vehicle door handle with multi-function sensing system

Also Published As

Publication number Publication date
CN120283214A (zh) 2025-07-08
JP2025537938A (ja) 2025-11-20
DE102022131463A1 (de) 2024-05-29
KR20250112890A (ko) 2025-07-24
WO2024115386A1 (de) 2024-06-06

Similar Documents

Publication Publication Date Title
EP2437962B1 (de) Verfahren und vorrichtung zur betätigung eines schliesselements eines fahrzeugs
DE102011087347B4 (de) Verfahren zur Steuerung mindestens eines Aktors anhand von Signallaufzeitänderungen mindestens eines Ultraschallsensors
EP3187383B1 (de) Verfahren und vorrichtung zur externen betätigung eines aktors eines fahrzeugs
WO2023031084A1 (de) Verfahren zum betrieb einer motorischen klappenanordnung
EP3119647B1 (de) Verfahren und vorrichtung zum betätigen eines schliesselements für ein fahrzeug
EP3250943B1 (de) Verfahren zum erfassen eines objekts in einem umgebungsbereich eines kraftfahrzeugs durch überprüfen einer räumlichen abweichung von messpunkten, steuereinrichtung, fahrerassistenzsystem sowie kraftfahrzeug
WO2016180582A1 (de) BETÄTIGUNG EINES SCHLIEßELEMENTS EINES FAHRZEUGS MIT ULTRASCHALLSENSOR
EP4320327B1 (de) Verfahren zum verstellen einer fahrzeugtür und system zum verstellen einer fahrzeugtür
DE102014116014A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017215961A1 (de) Verstellvorrichtung und Verfahren zur Verstellung eines Fahrzeugteils
DE102016125371A1 (de) System zur Detektion einer Geste eines Benutzers bei einem Fahrzeug
DE102018213626A1 (de) Verfahren zur Identifikation einer Person in einer Umgebung um ein Kraftfahrzeug und Kraftfahrzeug
EP4308967B1 (de) Verfahren zum betreiben einer ultraschallsensorvorrichtung zum überwachen eines unterbodenbereichs eines kraftfahrzeugs, computerprogrammprodukt, computerlesbares speichermedium sowie ultraschallsensorvorrichtung
DE102014118035B4 (de) Verfahren zum Erkennen einer Abschattung einer Sensoreinrichtung eines Kraftfahrzeugs durch ein Objekt, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2005082681A1 (de) Verfahren und anordnung zum steuern eines sicherungsmittels in einem fahrzeug
WO2024115386A1 (de) Verfahren zum betreiben einer fahrzeugfunktion eines kraftfahrzeugs mittels einer ultraschallbasierten gestensteuerung
WO2021185722A1 (de) Verfahren zum überwachen eines schwenkbereichs einer tür während eines schwenkvorgangs, computerprogrammprodukt, computerlesbares speichermedium sowie schwenkbereichsüberwachungssystem
WO2022128612A1 (de) Verfahren zum erfassen einer umgebung eines fahrzeugs mithilfe eines radarsensors anhand von drittradarsignalen weiterer verkehrsteilnehmer sowie radarsensorsystem
DE102022129020A1 (de) Gestengesteuertes Öffnen eines durch ein bewegliches Bauelement verschlossenen Bereichs eines Fahrzeugs
EP4555181A1 (de) Verfahren zum betrieb einer motorischen klappenanordnung eines kraftfahrzeugs
DE102023112041A1 (de) Verfahren zum bestimmen von hindernissen in einem schwenkbereich einer tür eines kraftfahrzeugs
WO2026041378A1 (de) Verfahren zum automatisierten bewegen eines verschlusselements, fahrzeugsteuerung hierfür sowie kraftfahrzeug
DE102022205675A1 (de) Erkennen der Position eines Sensors an einem Fahrzeug
DE102023121587A1 (de) Verfahren zum Betrieb einer Klappenanordnung eines Kraftfahrzeugs
DE102022132728A1 (de) Verfahren und Sensoranordnung zum Erfassen einer Betätigungshandlung eines Benutzers

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250512

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)