EP4630841A1 - Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung - Google Patents

Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung

Info

Publication number
EP4630841A1
EP4630841A1 EP23818467.5A EP23818467A EP4630841A1 EP 4630841 A1 EP4630841 A1 EP 4630841A1 EP 23818467 A EP23818467 A EP 23818467A EP 4630841 A1 EP4630841 A1 EP 4630841A1
Authority
EP
European Patent Office
Prior art keywords
seat
arrangement
radar
metric
occupancy state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23818467.5A
Other languages
English (en)
French (fr)
Inventor
Joel Ewig
Lena Werner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gestigon GmbH
Original Assignee
Gestigon GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gestigon GmbH filed Critical Gestigon GmbH
Publication of EP4630841A1 publication Critical patent/EP4630841A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the present invention relates to a method for creating an evaluation model, in particular a machine learning model, for use in a method for detecting a seat occupancy state of a seating arrangement with at least one seat.
  • the invention also relates to a method for training the evaluation model and a method, a computer program and a system configured to carry out the method, each for detecting a seat occupancy state using such a trained evaluation model.
  • a situation can occur in particular in vehicles, for example in motor vehicles, where a configuration of the vehicle or an activation, deactivation and/or control of one or more vehicle functions is to take place depending on a current seat occupancy status.
  • vehicles for example in motor vehicles, where a configuration of the vehicle or an activation, deactivation and/or control of one or more vehicle functions is to take place depending on a current seat occupancy status.
  • motor vehicles it is known to issue an acoustic or visual indication to the vehicle occupants to fasten seat belts or to control the activation or deactivation of airbags depending on a detected seat occupancy status.
  • Methods are known for automatically detecting a current seat occupancy status, in particular an arrangement of vehicle seats in a vehicle, in which the interior of a vehicle is monitored.
  • methods which use radar technology for automatically detecting a current seat occupancy status.
  • radar technology By means of radar scanning of the vehicle interior by radar sensors, measurement data is generated in the form of radar point clouds.
  • the measured radar point cloud can be used to determine the current seat occupancy.
  • a corresponding evaluation model is used, which can be a machine learning (ML) model, whereby the known methods can also be able to recognize the type of seat occupancy using the machine learning model, for example whether a seat is occupied by an adult or a child.
  • Methods are also known which are able to carry out an even more differentiated evaluation of the seat occupancy status, in particular with regard to the height and weight of an adult. or age of a child. For example, it may be necessary to distinguish between a six-year-old child and a four-year-old child in order to take into account the different heights of the children.
  • hyperparameters of the model are set using optimization methods.
  • a metric for the recognition accuracy of an evaluation result for known parameters can be used, which is based on the distance between the correct result (e.g. the actual seat occupancy state) and a result of the evaluation model.
  • the choice of a metric can lead to evaluation results for the overrepresented class, which may already be of very good quality, being further improved, since these compensate for poorer evaluation results (of the underrepresented class), which then, conversely, are not further improved.
  • a seat belt warning system it can therefore happen that the already good recognition of average adults is continually improved, whereas the possibly inadequate recognition of children is not improved.
  • an improved solution for generating an evaluation model and for the automated detection of a seat occupancy state of a seating arrangement is to be provided, which offers a more balanced detection accuracy across different classes.
  • a first aspect of the solution presented here relates to a method, in particular a computer-implemented method, for creating an evaluation model for automated detection of a seat occupancy state of a seat arrangement with at least one seat.
  • parameters that are assigned to at least one of several predefined possible seat occupancy states of the seat arrangement, as well as hyperparameters for the evaluation model are provided, wherein the hyperparameters are configured to be set on the basis of a metric to be.
  • a recognition accuracy is determined, wherein the recognition accuracy indicates a distance between the seat occupancy state assigned to the parameters and an evaluation result delivered by the evaluation model with the provided hyperparameters.
  • a metric is provided and evaluated, wherein the metric takes into account a difference between the recognition accuracy and a predetermined target value in order to output a value for the determined recognition accuracy, wherein the target value indicates a recognition accuracy at which the metric reaches an optimum.
  • the hyperparameters of the evaluation model are then set accordingly, wherein the metric is optimized using an optimization method.
  • the evaluation model is created with the set hyperparameters for further use for training with training data for a method for automated determination of a seat occupancy state of a seating arrangement with at least one seat.
  • an evaluation model in particular a machine learning model, can be created with which a more balanced detection accuracy can be achieved for different seat occupancy states.
  • a predetermined target value it can be achieved in particular that a further improvement in detection accuracy beyond the target value is slowed down, while detection accuracies for areas below the target value are further improved.
  • an improvement beyond the target value is penalized by the metric, whereas known metrics usually work without such a target value in order to optimize detection accuracy up to a maximum.
  • the method is particularly advantageous for the machine learning of a radar-based system for detecting seat occupancy.
  • the detection of certain seat occupancy states which are detected less well when using conventional metrics and optimization methods, can be improved.
  • the detection of certain seat occupancy states which are detected better when using conventional metrics and optimization methods, can be slightly worsened.
  • these are detected with sufficient reliability anyway and the detection remains above a value that is also considered sufficient, this does not result in a disadvantage in practice. Rather, a more uniform detection accuracy that is sufficient for a larger number of different seat occupancy states can be achieved.
  • seat occupancy state of a seating arrangement with at least one seat is to be understood in particular as information that indicates whether or to what extent the seating arrangement or at least one of its seats is occupied by an object, in particular an item or a person.
  • the seat occupancy state can only indicate the presence or absence of an object, or in a more advanced example, in the case of the presence of at least one object on the seating arrangement or one or more of its seats, it can provide information about the type or another property, such as a spatial extent, of the object.
  • evaluation model as used herein is to be understood as a model, in particular a mathematical one, which uses a radar point cloud or one or more parameters characterizing it as input variable(s) in order to provide an evaluation result depending on this, in this case one of several predefined possible seat occupancy states of the seat arrangement.
  • the evaluation model can in particular be a mathematical estimation function, whereby the radar point cloud represents empirical data as a sample and the evaluation result represents an estimated value determined depending on this.
  • the evaluation model can in particular be a "machine learning model” (or equivalently “machine learning model”), which here is to be understood as a mathematical, in particular statistical, model for making predictions or decisions created by means of at least one machine learning algorithm on the basis of example data, which are referred to as training data, without the algorithm(s) being explicitly programmed to make such predictions or decisions.
  • machine learning model or equivalently “machine learning model”
  • decision tree-based machine learning models are machine learning models.
  • metric as used herein is to be understood in particular as a mathematical mapping which assigns a numerical value to one or more recognition accuracies.
  • the metric is used in particular for hyperparameter optimization by feeding its value to an optimization process in order to then adjust the hyperparameters accordingly.
  • weights in the evaluation model can be adjusted accordingly in order to achieve a certain behavior of the evaluation model.
  • the term “parameter” as used herein refers in particular to a value relating to the seat occupancy status, as it also occurs in actual operation of the evaluation model in a method for detecting a seat occupancy state.
  • the parameters can indicate in particular whether a seat is occupied or not, how a seat is occupied (e.g. adult or child) and possibly other circumstances such as a state of the vehicle (e.g. whether it is moving or stationary).
  • hyperparameter refers in particular - in contrast to the parameters explained above - to a parameter of the evaluation model which is determined when the evaluation model is created in order to control the model during training. The hyperparameters are thus determined and set before the actual training of the model.
  • radar point cloud as used herein is to be understood in particular as a set of points of a vector space obtained by means of radar scanning of at least one object surface, which has a typically unorganized spatial structure ("cloud").
  • clouds typically unorganized spatial structure
  • radar points the points of the radar point cloud can be referred to as "radar points”.
  • a (radar) point cloud can be described in particular by the (radar) points it contains.
  • the radar points in turn can each be described in particular by their spatial coordinates, whereby these indicate for each radar point a location of the reflection of an emitted radar signal on an object surface measured during radar scanning.
  • attributes such as measured Doppler speed or a signal-to-noise ratio (SNR) can also be recorded.
  • SNR signal-to-noise ratio
  • the terms “configured” or “set up” to perform a specific function (and respective variations thereof) used here are to be understood in the sense of the invention as meaning that the corresponding device is already in a design or setting in which it can perform the function or it is at least adjustable - i.e. configurable - so that it can perform the function after the corresponding setting.
  • the configuration can be carried out, for example, by setting parameters of a process sequence or switches or the like to activate or deactivate functionalities or settings.
  • the device can have several predetermined configurations or operating modes, so that configuration can be carried out by selecting one of these configurations or operating modes.
  • the target value is smaller than a maximum detection accuracy, so that the value of the metric for the target value is maximum.
  • the detection accuracy can be determined with a value in the interval [0; 1] and the target value can be set to a value less than 1.
  • the metric reaches a maximum value for values less than 1 , e.g. 0.9 or 0.95. Evaluation results that are far from the target value are penalized, i.e. not only low values as usual (i.e. values with a large distance to the "optimal" value 1 ), but also values greater than the target value.
  • providing the parameters includes providing a set of parameters associated with multiple seat occupancy states, and determining the recognition accuracy for each combination of parameters in the set of parameters, wherein the metric is defined as an average value formed for the set of parameters and the respective recognition accuracy.
  • the average value can be, for example, the geometric mean.
  • a set of parameters can, for example, contain combinations of parameters for which a value is specified, e.g. a specific seat in the seating arrangement or whether the engine is running or not.
  • a combination of driver size, seat, and vehicle state can, for example, be: a small woman (AF05) is sitting in the driver's seat while the vehicle is stationary.
  • the recognition accuracy can then be determined (calculated) for all possible combinations of the selected parameters. For each calculated recognition accuracy, the difference to the target value can then be calculated.
  • the metric includes the natural exponential function, which includes as an argument the magnitude of a difference between the detection accuracy and the target value.
  • “accuracy” is the recognition accuracy
  • target is the target value.
  • the optimization method is Bayesian optimization.
  • the above-mentioned normalized value of the metric can be minimized using Bayesian optimization.
  • the optimization process is performed with a predetermined number of iterations.
  • Bayesian optimization theoretically allows any number of iterations, it may be advantageous to limit the number of iterations and to To adjust hyperparameters so that they form the most promising hyperparameters for the evaluation model.
  • the seating arrangement has a plurality of seats, wherein the seat occupancy state is an individual or cumulative seat occupancy state of the seats.
  • a seat occupancy state can include one or more seats of the vehicle and their respective occupancy (see also the explanations on cluster formation of a radar point cloud below).
  • the seat occupancy state includes at least one type of seat occupancy for at least one seat of the seating arrangement.
  • determining the seat occupancy state can include determining a type of seat occupancy.
  • the type of seat occupancy can include at least one of an unoccupied (i.e. free) seat, a seat occupied by an adult, a seat occupied by a child, a seat occupied by a child seat with a toddler, and a seat occupied by a baby seat with a baby.
  • it can be provided to detect whether a seat is occupied by an object or a doll, for example.
  • a person can be simulated, for example, using the established THUMS human model.
  • the values AM95, AM50 and AF05 stand for different adults (tall/heavy man, medium/medium-weight man, or small/light woman). Children can be identified by their age, e.g. 4YO or 6YO for a four-year-old or six-year-old child, respectively.
  • a seat belt warning system or airbag system By determining not only whether a seat is occupied, but also how, and outputting the corresponding information, more differentiated control of, for example, a seat belt warning system or airbag system can be achieved.
  • certain airbags can only be activated when an adult is sitting in a seat, while an airbag can (or must) be deactivated if a seat is occupied but not by an adult but, for example, by a baby seat that is facing the rearward direction.
  • an airbag can (or must) be deactivated if a seat is occupied but not by an adult but, for example, by a baby seat that is facing the rearward direction.
  • Isofix special attachment
  • the parameters further include a state of the vehicle.
  • the state of the vehicle can include in particular whether the vehicle is stationary or moving and/or whether the engine is running or not. Taking the vehicle state into account can have a positive effect on the evaluation model, as this can influence the result of the radar measurement, since different vibrations of the vehicle can influence the result of the radar monitoring of the vehicle interior.
  • a second aspect of the solution presented here relates to a method, in particular a computer-implemented method, for training an evaluation model created according to a method according to a first aspect for automated recognition of a seat occupancy state of a seating arrangement with at least one seat.
  • measurement data are recorded that represent an associated radar point cloud, wherein the radar point cloud was or is obtained on the basis of a radar scan of a spatial area that at least partially surrounds the seating arrangement and is associated with one of several predefined possible seat occupancy states of the seating arrangement.
  • Training data is then generated from the measurement data, wherein the training data is made available to the evaluation model as input data in order to obtain an evaluation result as its output that is associated with the seat occupancy state of the seating arrangement.
  • a third aspect of the solution presented here relates to a method, in particular a computer-implemented method, for the automated detection of a seat occupancy state, in particular seat-related, of a seating arrangement with at least one seat (or equivalently: seat), in particular a seat in or for a vehicle, such as an automobile (e.g. truck, car or bus).
  • the method comprises: (i) capturing, in particular receiving or generating, measurement data that represent an associated radar point cloud.
  • Each radar point cloud is or was obtained on the basis of a radar scan of a spatial area that at least partially surrounds the seating arrangement; (ii) determining, in particular estimating, a seat occupancy state of the seating arrangement using an evaluation model that, depending on the radar point cloud, provides one of several predefined possible seat occupancy states of the seating arrangement as an evaluation result; and (iii) outputting information defined depending on the evaluation result.
  • the method according to the third aspect uses an evaluation model, in particular a machine learning model, which was trained using the method according to the second aspect.
  • an evaluation result characterizing the seat occupancy status of the seat arrangement can be obtained on the basis of a radar point cloud obtained by means of a radar scan of a spatial area surrounding the seat arrangement.
  • radar-based solutions can be implemented, particularly in the vehicle context (particularly for automobiles), which can reliably detect a seat occupancy status (particularly exclusively) based on radar and, on the basis of this, can activate, deactivate or control/regulate certain functionalities or systems, such as a seat belt warning system or an airbag system, either entirely or selectively.
  • the information to be output can in particular represent the evaluation result itself. It can also be a detectable signal, in particular one that can be perceived by the human senses, such as a warning, or a control signal for controlling a signal source or a data signal carrying the information.
  • the seating arrangement has a plurality of seats for which a seat occupancy state is to be determined individually or cumulatively within the scope of the method.
  • the set of its radar points is divided into several clusters, each containing a subset of the radar points, by means of cluster formation depending on the respective spatial position of the radar points in relation to the seats, in order to individually assign to each of the seats one of the clusters that is spatially closest to it.
  • the seat occupancy state of the seating arrangement is determined for each of the seats depending on the radar point cloud determined for the respective associated cluster in order to obtain an evaluation result, in particular a classification result, that characterizes a seat occupancy state of the respective seat.
  • the information to be output is then defined depending on the respective individual evaluation results for the various seats.
  • each radar point cloud is segmented into several clusters by assigning a subset of the radar points of the respective radar point cloud to each of the seats as a cluster depending on their respective position in such a way that the radar points of the cluster are located in a defined closed spatial area, in particular a cuboid, in the vicinity of the seat.
  • This enables particularly simple and less computationally intensive cluster formation and thus seat-related seat occupancy detection, wherein the location (position and orientation) and the shape of the spatial area is or can be defined in such a way that it strongly overlaps the spatial area usually occupied by a typical object to be detected, in particular a person, on a seat of the seating arrangement.
  • seat-related i.e. individual
  • seat occupancy detection is thus made possible, which is particularly advantageous or even necessary if a seat-related response to the detected seat occupancy is to be made, for example by activating or deactivating or otherwise controlling a certain functionality or a certain system, such as a seat-related airbag system, a seat-related seat belt warning or a seat-related seat heating, for a certain seat depending on its detected seat occupancy.
  • cluster formation can in particular take place in such a way that the clusters are disjoint, so that no radar point is assigned to two different clusters.
  • the or each individual radar point cloud is segmented into several clusters by assigning a subset of the radar points to each of the seats as a cluster depending on their respective position, in particular uniquely for each radar point, so that the radar points of the cluster are located in a defined closed, in particular cuboid-shaped, spatial area in the vicinity of the seat.
  • the assignment can in particular be made in such a way that each radar point is assigned to the cluster of the seat closest to it.
  • the radar point cloud can thus be divided into clusters, i.e. subsets of the radar point cloud located in the vicinity of the respective seats, so that seat-specific seat occupancy states can be determined in a targeted manner and therefore with high reliability on the basis of the cluster assigned to the respective seat.
  • outputting the information includes controlling a signal source in response to the information to cause the signal source to output a defined signal in response to the control.
  • the signal source can be, in particular, an audio source, an optical signal source, in particular a display device for images or text, and/or a haptic actuator or a combination of at least two of the aforementioned signal sources.
  • the detected seat occupancy status can thus be communicated to a user based on the signaling or used to control another technical system, such as an airbag system.
  • the signal source is controlled as a function of the information in such a way that it outputs a signal, in particular defined by the control, when the information results from an evaluation result according to which at least one seat of the seat arrangement is occupied and/or a selected predetermined seat occupancy state exists.
  • the method further comprises: (i) detecting a seat belt fastening state of at least one seat of the seat arrangement or receiving seat belt information characterizing this seat belt fastening state; (ii) wherein the signal source is controlled as a function of the seat belt information and the information from the evaluation result such that it outputs a seat belt fastening indication signal if, according to the information, at least one seat of the seat arrangement is occupied and/or a selected predetermined seat occupancy state exists and seat belt information indicates that the associated seat belt of the seat is not fastened.
  • a radar-based seat belt fastening checking and warning system can be achieved, in particular with regard to detection exclusively.
  • the individual radar points of the radar point cloud are each represented by a position of the respective radar point in three-dimensional space and by at least one of the following parameters: (i) a Doppler shift value of the radar signal for the respective radar point; (iii) a signal-to-noise ratio value of the radar signal for the respective radar point. These parameters can be used in particular for pre-filtering the radar point cloud as part of a pre-processing preceding the feature determination.
  • a fourth aspect of the present solution relates to a system, in particular a data processing device, for the automated detection of a, in particular respective, seat occupancy state of a seat arrangement with at least one seat, in particular with at least one vehicle seat in or for a vehicle.
  • the system comprises a data processing device which is configured, in particular by means of a corresponding computer program, to carry out the method according to the third aspect for detecting the seat occupancy state.
  • a fifth aspect of the present solution relates to a computer program or computer program product comprising instructions which, when executed on the data processing device of the system according to the fourth aspect, cause the system to carry out the method according to the third aspect.
  • the computer program can in particular be stored on a non-volatile data carrier.
  • This is preferably a data carrier in the form of an optical data carrier or a flash memory module.
  • the computer program can be present as a file on a data processing unit, in particular on a server, and can be downloaded via a data connection, for example the Internet or a dedicated data connection, such as a proprietary or local network.
  • the computer program can have a plurality of interacting individual program modules.
  • the modules can in particular be configured or at least be usable in such a way that they are executed in the sense of distributed computing on different devices (computers or processor units) that are geographically spaced from one another and connected to one another via a data network.
  • the system according to the fourth aspect can accordingly have a program memory in which the computer program is stored.
  • the system can also be set up to access an external computer program, for example on one or more servers or other data processing units, via a communication connection, in particular to exchange data with it that are used during the execution of the method or computer program or represent outputs of the computer program.
  • a sixth aspect of the present solution relates to a vehicle comprising: (i) a seat arrangement with at least one seat; (ii) a radar sensor for radar scanning of the seat arrangement at least in sections; and (iii) a system according to the fourth aspect for the automated detection of a, in particular respective, Seat occupancy state of the seat arrangement as a function of an at least section-wise radar scan of the seat arrangement carried out by the radar sensor, in particular according to a method according to the third aspect.
  • Fig. 1 schematically shows an exemplary embodiment of a vehicle equipped with a system for the automated detection of a seat occupancy state of a seat arrangement in the vehicle;
  • Fig. 2 shows schematically the vehicle from Fig. 1, with the passenger seat occupied;
  • Fig. 3A is an exemplary two-dimensional representation of a radar point cloud recorded by a radar sensor of the vehicle from Fig. 2;
  • Fig. 3B is an exemplary representation of a clustering of the radar point cloud from Fig. 3A according to the positions of the individual seats of the seating arrangement;
  • Fig. 4 is a flow chart illustrating an exemplary embodiment of a method for automatically detecting a seat occupancy state of a seat arrangement
  • Fig. 5 is a flow chart illustrating an exemplary embodiment of a method for creating an evaluation model for the automated detection of a seat occupancy state of a seat arrangement.
  • the exemplary embodiment of a vehicle 100 shown schematically in Fig. 1 has a seat arrangement 105 with five individual seats or seats 105a to 105e. Each of the seats 105a to 105e is suitable for accommodating a person as a passenger of the vehicle 100.
  • the vehicle 100 also has a radar sensor 110 which is mounted on the ceiling inside the vehicle cabin and is configured such that it can scan the seat arrangement 105, at least substantially, using radar beams. Accordingly, the seats 105a to 105e, in particular their seat surfaces, are at least predominantly located within an observation field 110a which can be scanned by the radar sensor 110.
  • the vehicle 100 has a system 115 for automatically detecting a seat occupancy state of the seat arrangement 105 as a function of a radar scan of the seat arrangement 105 carried out by the radar sensor 110, at least in sections with respect to the observation field 110a.
  • the system 115 has in particular a data processing unit 115a with at least one microprocessor and a memory 115b connected to the latter by signals, in which a computer program configured to carry out the method described below with reference to Fig. 4 for the automated detection of a seat occupancy state of the seat arrangement 105 is stored. Furthermore, the sensor data generated by the radar sensor 110 during radar scanning or information already obtained therefrom through further processing can be or will be stored in the memory 115b.
  • Fig. 2 corresponds to the vehicle from Fig. 1, but here the passenger seat 105b is occupied by a person P.
  • Figs. 3A and 3B reference is made to the constellation from Fig. 2.
  • Figs. 3A and 3B each of which represents a radar point cloud, wherein, for the purpose of representation, the respective, essentially three-dimensional radar point cloud has been reduced to two dimensions by projecting the positions of the radar points of the radar point cloud onto a plane spanned by two of its dimensions.
  • Fig. 3A illustrates an exemplary radar point cloud 305 as it was recorded as a result of a radar scan of the seat arrangement 105 by the radar sensor 110 during a defined time interval (measurement period).
  • the position of the individual radar points within the radar point cloud 305 can be represented by spatial coordinates, for example, Cartesian coordinates X and Y can be assigned to the drawing plane and correspondingly to each individual point. In reality, if the dimension reduction due to the drawing is ignored, a third coordinate Z is also assigned for the third spatial dimension.
  • the individual radar points can be classified depending on the amount of this Doppler shift, in particular divided into two different classes. The latter can be done, for example, by comparing the Doppler shift with a predefined shift threshold that corresponds to a certain shift speed. Depending on the result of the comparison, those radar points 310 that, according to the value of their associated Doppler shift, have no speed or a speed of the object surface at the reflection point that is below the shift wave, can be classified as "static" radar points (shown in Figs. 3A and 3B with a filled black circle). Conversely, those radar points 315 that exhibit a Doppler shift above the shift threshold can be classified as “dynamic” radar points 315 (shown with a black ring in Figs. 3A and 3B, respectively).
  • the classification of the radar points 310 and 315 according to their Doppler shift is not absolutely necessary, but it can be used to process the radar point cloud 305, in particular as part of a pre-processing that takes place before its evaluation, in particular to filter it depending on the classification. For example, such filtering could be carried out in such a way that that only dynamic radar points 315 are taken into account for the evaluation in order to detect only moving objects.
  • Fig. 3B shows the same radar point cloud 305 as in Fig. 3A.
  • selected spatial areas 325a to 325e are shown here, which are spatially assigned to the respective location of the individual seats 105a to 105e.
  • the definition of these spatial areas 325a to 325e can now be used to cluster the radar point cloud 305, with each radar point 310 or 315 being assigned, as far as possible, to the spatial area 325a to 325e in which it is located. All radar points not located in one of the spatial areas 325a to 325e can be disregarded in the following.
  • points located outside can also be assigned to the next spatial area, provided they do not exceed a previously defined distance from the spatial area center.
  • the areas 320 with a particularly high radar point density are located in the area of the passenger seat 105b, on which the person P is located according to Fig. 2.
  • Fig. 4 shows a flow chart to illustrate an exemplary embodiment 400 of a method for automatically detecting a seat occupancy state of a seat arrangement.
  • the method can be designed in particular as a computer-implemented method. For this purpose, it can be stored in particular in the memory 115b of the system 115 as a computer program and can be executed on the data processing unit 115a.
  • a radar point cloud 305 is acquired by receiving radar measurement data, in the present example from the radar sensor 110 of the vehicle 100, in a step 410 and further processing them to form one or more radar point clouds.
  • the radar point cloud 305 that is now present can then be clustered in a further process 420 by checking for each of its radar points whether it lies within one of the defined spatial areas 325a to 325e (see Fig. 3B) and, if so, in which one. Each of the points can thus be assigned either to one of the spatial areas 325a to 325e or to the other observation field. All radar points that lie within the same spatial area 325a to 325e are combined into a respective cluster. As a result, each of the seats 105a to 105e is assigned a corresponding cluster of the radar point cloud 305. This forms the basis for an individual evaluation to be carried out for each seat 105a to 105e as to whether the respective seat 105a to 105e is or was occupied while the radar point cloud 305 was being formed or not.
  • a corresponding parameter K or a plurality of parameters K with preferably different properties can be determined for each of the clusters in a process 430, wherein this parameter K can be defined in particular as the number of radar points in the cluster. If no filtering according to the Doppler shift value has taken place, this can be a joint count of both the static and the dynamic radar points 310 and 315. However, if the static radar points 310 were previously filtered out, this is only a count of the dynamic radar points 315.
  • the evaluation of the parameter K for the cluster for seat 105b can be carried out (the same can be done analogously for the respective clusters for the other seats).
  • the parameter K (or a temporal progression of the parameter K) is made available as an input variable to an evaluation model.
  • This can in particular be a model based on machine learning, such as an artificial neural network or a decision tree-based model (“decision tree(s)”).
  • the training and, if applicable, validation data used for the preceding training can be structured in such a way that they contain an assigned correct class of a classification of possible seat occupancy states for a large number of different radar point clouds or clusters thereof, as well as for each progression of K.
  • the model can thus be trained and validated in the sense of supervised learning.
  • seat occupancy states indicate whether the seat is occupied or not.
  • the respective class also indicates what type of object it is, for example a moving or a stationary one, and in the case of a moving object in particular whether it is a person (basically recognizable in particular by a breathing pattern in the course of the parameter K).
  • a seat occupancy state for the seat arrangement 105 was determined based on the evaluation model, in particular for one or more of its seats 105a to 105e individually, this result can be used as a corresponding Information can be output in process 445, for example at a user interface of the vehicle or in the form of data for further processing by one or more other systems, in particular systems of the vehicle.
  • this information is to be used in particular to check whether or not to issue a belt warning signal depending on the seat occupancy state of a respective seat 105a to 105e and the result of a check as to whether or not a corresponding seat belt has been fastened for this seat.
  • process 450 it can be checked whether the seat belt is fastened to the relevant seat (here, for example, to seat 105b) and in step 455 a functionality of the vehicle 100 can be controlled depending on the information on the seat occupancy state output in process 445 and the status of the seat belt determined in process 450. In particular, this can be done in such a way that in process 455 a signal source is controlled to output a belt status signal, in particular an optical and/or acoustic one, in order to signal one or more other occupants of the vehicle that a seat is occupied but the seat belt is not fastened there. The method then branches back to step 410 to start another loop run.
  • a signal source is controlled to output a belt status signal, in particular an optical and/or acoustic one
  • the evaluation model is created before the actual application in the method 400 and before training. In particular, a corresponding optimization of the hyperparameters takes place, as explained below.
  • a flow chart to illustrate an exemplary embodiment of a method 500 for creating the evaluation model is shown in Fig. 5.
  • a data set with various seat occupancy states is first provided. This is processed in the evaluation model. In particular, this serves to optimize the hyperparameters before the evaluation model created is finally trained with the training data (step 560).
  • a metric is used for hyperparameter optimization, which is optimized using an optimization method 501 (here Bayesian optimization).
  • the dataset contains various seat occupancy states with people, objects and empty seats, where a decision is to be made for each seat whether a seat belt reminder (ie a seat belt warning signal) must be issued, as explained above.
  • the decision is based on the presence of a human and their size (for children, age is used as it is strongly correlated with size).
  • the dataset is very unbalanced in terms of age and size of the passengers. Therefore, the different types of passengers (or seat occupancy states) are weighted to achieve an optimal overall classification without an underrepresented group of passengers (eg AM95, AF05) having poor recognition accuracy (while recognition accuracy for common groups, eg medium-sized adults (such as AM50), should be relatively good anyway).
  • These weights are optimized using Bayesian optimization to obtain a more balanced overall result.
  • the metric described below is therefore specifically designed to penalize overconfidence by setting an upper limit for the metric, i.e. a target value for the recognition accuracy (or accuracy for short).
  • the optimization of the metric does not aim to achieve 100% recognition accuracy (value 1 ), but for example 95% (value 0.95) in order to obtain the desired more balanced overall result.
  • the target value is set for the accuracy for each possible combination, as described below.
  • a set of parameters is selected, i.e. different seat occupancy states for which a balance is to be established, e.g. whether the engine is running or not or the seat occupancy of a particular seat 105a to 105e.
  • a combination would be, for example: AF05 (small woman) in the driver's seat while the vehicle is stationary. This is a combination of the size (of the person), the seat and the condition of the vehicle.
  • the accuracy is calculated for all possible combinations of the chosen parameters. From each of these calculated accuracies, the amount of the difference between the set target value and the calculated accuracy for each combination of parameters is calculated. These amounts are then used as exponents in the natural exponential function. In this way, classes that are further away from the desired target are penalized more than classes that are already close to it. The geometric mean of each of these values is then calculated. This ultimately ensures that all values are maximized and not just one of them. Finally, the value obtained is normalized so that it is in the range from 0 to 1. Smaller values are better, so we call this the direct input to Bayesian optimization, which then tries to minimize this value.
  • the normalized value "normalized” therefore takes on values between 0 and 1 (ie in the interval [0; 1 ]).
  • the recognition accuracy (precision) is referred to as “accuracy", the target value as "target”.
  • Bayesian optimization 501 For Bayesian optimization 501, a fixed number of iterations (m) is set before starting. Bayesian optimization optimizes the metric described above to set the hyperparameters (“hyperparameter optimization”). Bayesian optimization 501 treats the above-mentioned function that defines the metric as a random function that it tries to estimate. The number of iterations is fixed because, due to the implementation, Bayesian optimization theoretically has no limit.
  • the hyperparameters are provided, with a range of input values specified for each hyperparameter and Bayesian optimization 501 selecting random values for the first few iterations (here: 10) (step 520). After iterating 10 times, in which the evaluation model is trained with the parameters from the dataset and the metric is evaluated (step 530), Bayesian optimization 501 selects the most promising hyperparameters (step 540).
  • the most promising hyperparameters are those from the range of input values that offer the greatest potential for minimizing the metric.
  • the result of the process i.e., Bayesian optimization 501 is the set of hyperparameters that was evaluated and leads to the lowest measured value.
  • the evaluation model is finally trained with the selected hyperparameters and stored. It is shown that a better balance for the different groups can be achieved in the evaluation result.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Seats For Vehicles (AREA)

Abstract

Bei einem Verfahren zum Erstellen eines Auswertungsmodells, insbesondere eines Machine-Learning-Modells, für ein automatisiertes Erkennen eines Sitzbelegungs- zustands einer Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e) werden Parameter, die zumindest einem von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung (105) zugeordnet sind, sowie Hyperparameter für das Auswertungsmodell bereitgestellt, wobei die Hyperparameter konfiguriert sind, auf der Grundlage einer Metrik eingestellt zu werden. Es wird eine Erkennungsgenauigkeit, wobei die Erkennungsgenauigkeit einen Abstand zwischen dem den Parametern zugeordneten Sitzbelegungszustand und einem durch das Auswertungsmodell mit den bereitgestellten Hyperparametern gelieferten Auswertungsergebnis angibt. Eine Metrik wird bereitgestellt und ausgewertet, wobei die Metrik eine Differenz zwischen der Erkennungsgenauigkeit und einem vorgegebenen Zielwert berücksichtigt, um für die bestimmte Erkennungsgenauigkeit einen Wert auszugeben, wobei der Zielwert als eine Erkennungsgenauigkeit definiert ist, bei welchem die Metrik ein Maximum erreicht. Es werden dann entsprechend die Hyperparameter des Auswertungsmodells eingestellt, wobei die Metrik mittels eines Optimierungsverfahrens optimiert wird, um ein Optimum für den ausgegebenen Wert zu erhalten und die Hyperparameter derart einzustellen, für welche die Metrik das Optimum erreicht. Das Auswertungsmodells wird mit den eingestellten Hyperparametern erstellt zur weiteren Verwendung für ein Training mit Trainingsdaten für ein Verfahren zum automatisierten eines Sitzbelegungszustands einer Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e).

Description

VERFAHREN ZUM ERSTELLEN EINES AUSWERTUNGSMODELLS ZUM ERKENNEN EINES SITZBELEGUNGSZUSTANDS EINER SITZANORDNUNG
Die vorliegende Erfindung betrifft ein Verfahren zum Erstellen eines Auswertungsmodells, insbesondere eines Machine-Learning-Modells, zur Verwendung in einem Verfahren zum Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz. Die Erfindung betrifft auch ein Verfahren zum Trainieren des Auswertungsmodells sowie ein Verfahren, ein Computerprogramm und ein zur Ausführung des Verfahrens konfiguriertes System, jeweils zum Erkennen eines Sitzbelegungszustands unter Verwendung eines solchen trainierten Auswertungsmodells.
In verschiedenen Situationen kann es erforderlich sein, automatisiert einen aktuellen Sitzbelegungszustand einer Sitzanordnung mit zumindest einem Sitzplatz festzustellen. Eine solche Situation kann insbesondere in Fahrzeugen auftreten, beispielsweise in Kraftfahrzeugen, wo eine Konfiguration des Fahrzeugs oder ein Aktivieren, Deaktivieren und/oder Steuern einer oder mehrere Fahrzeugfunktionalitäten in Abhängigkeit von einem aktuellen Sitzbelegungszustand erfolgen sollen. Beispielsweise ist es bei Kraftfahrzeugen bekannt, in Abhängigkeit von einem erkannten Sitzbelegungszustand einen akustischen oder optischen Hinweis an die Fahrzeuginsassen zum Anlegen von Sitzgurten auszugeben oder ein Aktivieren bzw. Deaktivieren von Airbags zu steuern.
Zum automatisierten Detektieren eines aktuellen Sitzbelegungszustands, insbesondere einer Anordnung von Fahrzeugsitzen in einem Fahrzeug, sind Verfahren bekannt, bei denen der Innenraum eines Fahrzeugs überwacht wird. Es sind insbesondere Verfahren bekannt, welche zum automatisierten Erkennen eines aktuellen Sitzplatzbelegungszustands Radartechnologie einsetzen. Mittels einer Radarabtastung des Fahrzeuginnenraums durch Radarsensoren werden Messdaten in Form von Radarpunktwolken erzeugt. Anhand der gemessenen Radarpunktwolke kann auf eine aktuelle Sitzplatzbelegung geschlossen werden.
Zur Auswertung der Radarpunktwolken wird ein entsprechendes Auswertungsmodell herangezogen, welches ein Machine-Learning-(ML)-Modell sein kann, wobei die bekannten Verfahren mittels des Machine-Learning-Modells in der Lage sein können, auch die Art der Sitzplatzbelegung zu erkennen, beispielsweise ob ein Sitzplatz durch eine erwachsene Person oder ein Kind belegt ist. Auch sind Verfahren bekannt, welche in der Lage sind, eine noch differenzierte Auswertung des Sitzbelegungszustands vorzunehmen, insbesondere hinsichtlich Körpergröße und -gewicht eines Erwachsenen oder Alter eines Kindes. Es kann beispielsweise erforderlich sein, zwischen einem sechsjährigen Kind und einem vierjährigen Kind zu unterscheiden, um die unterschiedlichen Körpergrößen der Kinder berücksichtigen zu können.
Bei der Erstellung des ML-Modells werden mit Hilfe von Optimierungsverfahren Hyperparameter des Modells eingestellt. Es kann dazu eine Metrik für eine Erkennungsgenauigkeit eines Auswertungsergebnis für bekannte Parameter verwendet werden, welche auf dem Abstand zwischen dem korrekten Ergebnis (z.B. dem tatsächlichen Sitzbelegungszustand) und einem Ergebnis des Auswertungsmodells basiert. Bei unausgewogenen Datensätzen, also Datensätzen, in denen z.B. eine Klasse überrepräsentiert und eine andere unterrepräsentiert ist, kann die Wahl einer Metrik dazu führen, dass Auswertungsergebnisse für die überrepräsentierte Klasse, die ohnehin von sehr guter Qualität sein können, noch weiter verbessert werden, da diese im Schnitt schlechtere Auswertungsergebnisse (der unterrepräsentierten Klasse) ausgleichen, welche dann im Umkehrschluss nicht weiter verbessert werden. Im Kontext eines Gurtwarnsystems kann es daher vorkommen, dass die ohnehin gute Erkennung von durchschnittlichen erwachsenen Personen immer weiter verbessert wird, wohingegen eine gegebenenfalls unzureichende Erkennung von Kindern nicht verbessert wird.
Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Lösung zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz anzugeben. Insbesondere soll eine verbesserte Lösung zum Erzeugen eines Auswertungsmodells und für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung angegeben werden, welche eine ausgeglichenere Erkennungsgenauigkeit über verschiedene Klassen hinweg bietet.
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erster Aspekt der hier vorgestellten Lösung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Erstellen eines Auswertungsmodells für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz. Bei dem Verfahren werden Parameter, die zumindest einem von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung zugeordnet sind, sowie Hyperparameter für das Auswertungsmodell bereitgestellt, wobei die Hyperparameter konfiguriert sind, auf der Grundlage einer Metrik eingestellt zu werden. Es wird eine Erkennungsgenauigkeit bestimmt, wobei die Erkennungsgenauigkeit einen Abstand zwischen dem den Parametern zugeordneten Sitzbelegungszustand und einem durch das Auswertungsmodell mit den bereitgestellten Hyperparametern gelieferten Auswertungsergebnis angibt. Eine Metrik wird bereitgestellt und ausgewertet, wobei die Metrik eine Differenz zwischen der Erkennungsgenauigkeit und einem vorgegebenen Zielwert berücksichtigt, um für die bestimmte Erkennungsgenauigkeit einen Wert auszugeben, wobei der Zielwert eine Erkennungsgenauigkeit angibt, bei welchem die Metrik ein Optimum erreicht. Es werden dann entsprechend die Hyperparameter des Auswertungsmodells eingestellt, wobei dazu die Metrik mittels eines Optimierungsverfahrens optimiert wird. Das Auswertungsmodells wird mit den eingestellten Hyperparametern erstellt zur weiteren Verwendung für ein Training mit Trainingsdaten für ein Verfahren zum automatisierten eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz.
Mithilfe des Verfahrens nach dem ersten Aspekt lässt sich ein Auswertungsmodell, insbesondere ein Machine-Learning-Modell erstellen, mit welchem eine ausgeglichenere Erkennungsgenauigkeit für verschiedene Sitzbelegungszustände erreicht werden kann. Durch Verwendung eines vorgegebenen Zielwerts kann insbesondere erreicht werden, dass eine weitere Verbesserung einer Erkennungsgenauigkeit über den Zielwert hinaus gebremst wird, während Erkennungsgenauigkeiten für Bereiche unterhalb des Zielwerts weiter verbessert werden. Mit anderen Worten, es wird eine Verbesserung über den Zielwert hinaus durch die Metrik bestraft, wohingegen bekannte Metriken üblicherweise ohne einen derartigen Zielwert arbeiten, um eine Erkennungsgenauigkeit bis zu einem Maximum zu optimieren.
Das Verfahren ist insbesondere für das maschinelle Lernen eines radargestützten Systems zur Erkennung einer Sitzplatzbelegung vorteilhaft. Insbesondere kann die Erkennung von bestimmten Sitzbelegungszuständen, welche bei Verwendung herkömmlicher Metriken und Optimierungsverfahren im Vergleich schlechter erkannt werden, verbessert werden. Die Erkennung von bestimmten Sitzbelegungszuständen, welche bei Verwendung herkömmlicher Metriken und Optimierungsverfahren im Vergleich besser erkannt werden, kann dabei leicht verschlechtert werden. Da diese aber ohnehin mit ausreichender Zuverlässigkeit erkannt werden und die Erkennung über einem Wert bleibt, der als auch ausreichend angesehen wird, entsteht dadurch in der Praxis kein Nachteil. Vielmehr kann eine gleichmäßigere und für eine höhere Anzahl an verschiedenen Sitzbelegungszuständen ausreichende Erkennungsgenauigkeit erreicht werden. Unter dem Begriff „Sitzbelegungszustand“ einer Sitzanordnung mit zumindest einem Sitz, wie hierin verwendet, ist insbesondere eine Information zu verstehen, die angibt, ob oder inwieweit die Sitzanordnung bzw. zumindest einer ihrer Sitze mit einem Objekt, insbesondere einer Sache oder einer Person belegt bzw. besetzt ist. Der Sitzbelegungszustand kann in einem einfachen Beispiel nur das Vorhandensein bzw. die Abwesenheit eines Objekts angeben, oder aber in einem weiterentwickelten Beispiel für den Fall des Vorhandenseins zumindest eines Objekts auf der Sitzanordnung bzw. einem oder mehreren ihrer Sitze, eine Aussage zur Art oder einer anderen Eigenschaft, wie etwa einer räumlichen Ausdehnung, des Objekts angeben.
Unter dem Begriff „Auswertungsmodell“, wie hierin verwendet, ist ein, insbesondere mathematisches, Modell zu verstehen, das eine Radarpunktwolke oder eine oder mehrere sie charakterisierende Kenngrößen als Eingangsgröße(n) nutzt, um in Abhängigkeit davon ein Auswertungsergebnis zu liefern, vorliegend einen von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung. Das Auswertungsmodell kann insbesondere eine mathematische Schätzfunktion sein, wobei die Radarpunktwolke empirische Daten als Stichprobe darstellt und das Auswertungsergebnis einen in Abhängigkeit davon bestimmten Schätzwert darstellt. Das Auswertungsmodell kann insbesondere ein „Maschinenlern-Modell“ (bzw. gleichbedeutend „Machine-Learning-Modell“) sein, worunter hier insbesondere ein mittels zumindest eines Algorithmus des maschinellen Lernens auf der Grundlage von Beispieldaten, die als Trainingsdaten bezeichnet werden, erstelltes mathematisches, insbesondere statistisches, Modell zum Treffen von Vorhersagen oder Entscheidungen zu verstehen ist, ohne dass der bzw. die Algorithmen explizit für das Treffen solcher Vorhersagen oder Entscheidungen programmiert werden. Insbesondere sind Entscheidungsbaum-basierte Modelle zum maschinellen Lernen (engl. „decision trees“) Machine-Learning-Modelle.
Unter dem Begriff „Metrik“, wie hierin verwendet, ist insbesondere eine mathematische Abbildung zu verstehen, welche einer oder mehreren Erkennungsgenauigkeiten einen numerischen Wert zuordnet. Die Metrik wird insbesondere zur Hyperparameteroptimierung verwendet, indem ihr Wert einem Optimierungsverfahren zugeführt wird, um sodann die Hyperparameter entsprechend einzustellen. Insbesondere können Gewichte in dem Auswertungsmodell entsprechend eingestellt werden, um ein bestimmtes Verhalten des Auswertungsmodells zu erzielen.
Unter dem Begriff „Parameter“, wie hierin verwendet, ist insbesondere ein Wert bezüglich des Sitzbelegungszustands zu verstehen, wie er auch im eigentlichen Betrieb des Auswertungsmodells bei einem Verfahren zum Erkennen eines Sitzbelegungszustands auftreten kann. Die Parameter können dabei insbesondere angeben, ob ein Sitzplatz belegt ist oder nicht, wie ein Sitzplatz gegebenenfalls belegt ist (z.B. erwachsene Person oder Kind) und gegebenenfalls weitere Umstände, wie ein Zustand des Fahrzeugs (z.B. ob es fährt oder steht).
Unter dem Begriff „Hyperparameter“, wie hierin verwendet, ist insbesondere - im Gegensatz zu den zuvor erläuterten Parametern - ein Parameter des Auswertungsmodells zu verstehen, welcher bei der Erstellung des Auswertungsmodells bestimmt wird, um das Modell beim Training zu steuern. Die Hyperparameter werden somit vor dem eigentlichen Training des Modells bestimmt und festgelegt.
Unter dem Begriff „Radarpunktwolke“, wie hierin verwendet, ist insbesondere eine mittels Radar- Abtastung zumindest einer Objektoberfläche gewonnenen Menge von Punkten eines Vektorraums zu verstehen, die eine, typischerweise unorganisierte, räumliche Struktur („Wolke“) aufweist. Im Falle einer Radarpunktwolke können die Punkte der Radarpunktwolke als „Radarpunkte“ bezeichnet werden. Eine (Radar-)- Punktwolke kann insbesondere durch die in ihr enthaltenen (Radar-)Punkte beschrieben werden. Die Radarpunkte wiederum können jeweils insbesondere durch ihre Raumkoordinaten beschrieben werden, wobei diese je Radarpunkt einen bei der Radarabtastung gemessenen Ort der Reflexion eines ausgestrahlten Radarsignals an einer Objektoberfläche angeben. Zu den Radarpunkten können zusätzlich Attribute, wie z. B. gemessene Dopplergeschwindigkeit oder ein Signal-zu-Rausch-Verhältnis (SNR) erfasst sein.
Die hierein gegebenenfalls verwendeten Begriffe „umfasst“, „beinhaltet“, „schließt ein“, „weist auf“, „hat“, „mit“, oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.
Ferner bezieht sich „oder“, sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden). Die Begriffe „ein“ oder „eine“, wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe "ein anderer" und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.
Der Begriff „Mehrzahl“ oder „mehrere“, wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.
Unter dem hierein gegebenenfalls verwendeten Begriffen „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.
Nachfolgend werden verschiedene beispielhafte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der vorliegenden Lösung kombiniert werden können.
Bei einigen Ausführungsformen ist der Zielwert kleiner als eine maximale Erkennungsgenauigkeit, sodass der Wert der Metrik für den Zielwert maximal ist. Auf diese Weise wird erreicht, dass Hyperparameter bevorzugt werden, bei welchen eine Erkennungsgenauigkeit nicht um jeden Preis maximiert wird (was, wie oben erläutert, zu einem Ungleichgewicht zwischen ohnehin starken Ergebnissen und schwachen Ergebnissen führen kann). Insbesondere kann die Erkennungsgenauigkeit mit einem Wert im Intervall [0; 1] bestimmt und der Zielwert auf einen Wert kleiner als 1 festgelegt werden. Die Metrik erreicht bei Werten kleiner als 1 , z.B. 0,9 oder 0,95 einen maximalen Wert. Es werden Auswertungsergebnisse bestraft, die einen Abstand zum Zielwert aufweisen, so also nicht wie üblich nur niedrige Werte (d.h. Werte mit einem großen Abstand zum „optimalen“ Wert 1 ), sondern auch Werte größer als der Zielwert. Bei einigen Ausführungsformen umfasst das Bereitstellen der Parameter das Bereitstellen eines Satzes von Parametern, die mehreren Sitzbelegungszuständen zugeordnet sind und die Erkennungsgenauigkeit jeweils für Kombinationen aus Parametern des Satzes von Parametern bestimmt wird, wobei die Metrik als ein Mittelwert definiert ist, welcher für den Satz von Parametern und die jeweilige Erkennungsgenauigkeit gebildet wird. Der Mittelwert kann beispielsweise das geometrische Mittel sein. Ein Satz von Parametern kann beispielsweise Kombinationen von Parametern enthalten, bei denen ein Wert vorgegeben ist, z.B. ein bestimmter Sitz der Sitzanordnung oder ob der Motor läuft oder nicht. Eine Kombination aus Fahrergröße, Sitz und Fahrzeugzustand kann beispielsweise sein: eine kleine Frau (AF05) sitzt auf dem Fahrersitz bei stehendem Fahrzeug. Die Erkennungsgenauigkeit kann dann für alle möglichen Kombinationen der gewählten Parameter bestimmt (berechnet) werden. Für jede berechnete Erkennungsgenauigkeit kann dann wiederum jeweils die Differenz zum Zielwert berechnet werden.
Bei einigen Ausführungsformen enthält die Metrik die natürliche Exponentialfunktion, welche als Argument den Betrag einer Differenz zwischen der Erkennungsgenauigkeit und dem Zielwert umfasst. Eine Metrik kann wie folgt aussehen (einschließlich Normierung, um einen Wert zwischen 0 und 1 zu erhalten („normalized“): raw normalized = wobei n die Anzahl von Kombinationen der gewählten Parameter ist (z.B. n=3: Kind in einem fahrenden Fahrzeug, , kein Kind im fahrenden Auto, Kind im stehenden Auto, kein Kind im stehenden Auto). Hierbei ist „accuracy“ die Erkennungsgenauigkeit und „target“ der Zielwert.
Bei einigen Ausführungsformen ist das Optimierungsverfahren eine Bayes’sche Optimierung. Insbesondere kann der oben genannte normalisierte Wert der Metrik mittels der Bayes’schen Optimierung minimiert werden.
Bei einigen Ausführungsformen wird das Optimierungsverfahren mit einer vorgegebenen Anzahl von Iterationen durchgeführt. Während beispielsweise die Bayes’sche Optimierung theoretisch eine beliebige Anzahl von Iterationen zulässt, kann es vorteilhaft sein, die Anzahl der Iterationen zu begrenzen und nach dieser Anzahl die Hyperparameter derart einzustellen, dass sie die vielversprechendsten Hyperparameter für das Auswertungsmodell bilden.
Bei einigen Ausführungsformen weist die Sitzanordnung eine Mehrzahl von Sitzplätzen auf, wobei der Sitzbelegungszustand ein individueller oder kumulativer Sitzbelegungszustand der Sitzplätze ist. Mit anderen Worten, ein Sitzbelegungszustand kann einen oder mehrere Sitzplätze des Fahrzeugs und deren jeweilige Belegung umfassen (vgl. hierzu auch die Ausführungen zur Cluster-Bildungen einer Radarpunktwolke weiter unten).
Bei einigen Ausführungsformen umfasst der Sitzbelegungszustand zumindest eine Art der Sitzbelegung für zumindest einen Sitz der Sitzanordnung. Insbesondere kann das Bestimmen des Sitzbelegungszustands ein Bestimmen einer Art einer Sitzbelegung umfassen. Die Art der Sitzbelegung kann zumindest eines aus einem nicht belegten (d.h. freien) Sitz, einem durch eine erwachsene Person belegten Sitz, einem durch ein Kind belegten Sitz, einem durch einen Kindersitz mit einem Kleinkind belegten Sitz und einem durch eine Babyschale mit einem Baby belegten Sitz umfassen. Zusätzlich kann vorgesehen sein, zu erkennen, ob ein Sitzplatz z.B. mit einem Objekt oder einer Puppe belegt ist. Eine Person kann beispielsweise mit Hilfe des etablierten THUMS Menschmodells simuliert werden. Dabei stehen beispielsweise die Werte AM95, AM50 und AF05 für unterschiedliche erwachsene Personen (großer/schwerer Mann, mittelgroßer/m ittelschwerer Mann bzw. kleine/leichte Frau). Kinder können anhand ihres Alters gekennzeichnet werden, z.B. 4YO oder 6YO für ein vierjähriges bzw. sechsjähriges Kind.
Indem nicht nur bestimmt wird, ob ein Sitzplatz belegt ist, sondern auch wie, und eine Ausgabe der entsprechenden Information kann eine differenziertere Steuerung beispielsweise eines Gurtwarnsystems oder Airbagsystems erfolgen. Beispielsweise können bestimmte Airbags nur aktiviert werden, wenn eine erwachsene Person einen Sitzplatz einnimmt, während ein Airbag deaktiviert werden kann (bzw. muss), wenn ein Sitz zwar belegt ist, aber nicht durch eine erwachsene Person, sondern z.B. eine Babyschale, die entgegen der Fahrtrichtung platziert ist. Bei Verwendung eines Kindersitzes oder einer Babyschale, welche üblicherweise nicht mit einem Sitzgurt, sondern z.B. mittels einer speziellen Befestigung („Isofix“) befestigt werden, ist es außerdem vorteilhaft, wenn eine Sitzgurtwarnung nicht ausgegeben wird, sodass unnötige Warnmeldungen vermieden werden können, die nicht hilfreich sind und ein Benutzer als störend empfinden kann. Bei einigen Ausführungsformen umfassen die Parameter des Weiteren einen Zustand des Fahrzeugs. Der Zustand des Fahrzeugs kann dabei insbesondere umfassen, ob das Fahrzeug steht oder fährt und/oder ob der Motor läuft oder nicht. Die Berücksichtigung des Fahrzeugzustands kann sich positiv auf das Auswertungsmodell auswirken, da dies einen Einfluss auf das Ergebnis der Radarmessung haben kann, da unterschiedliche Erschütterungen des Fahrzeugs das Ergebnis der Radarüberwachung des Fahrzeuginnenraums beeinflussen können.
Ein zweiter Aspekt der hier vorgestellten Lösung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Trainieren eines gemäß einem Verfahren nach einem ersten Aspekt erstellten Auswertungsmodells für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz. Bei dem Verfahren werden Messdaten erfasst, die eine zugeordnete Radarpunktwolke repräsentieren, wobei die Radarpunktwolke auf Basis einer Radarabtastung eines die Sitzanordnung zumindest abschnittsweise umgebenden Raumbereichs gewonnen wurde bzw. wird und einem von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung zugeordnet ist. Es werden dann Trainingsdaten aus den Messdaten erzeugt, wobei die Trainingsdaten als Eingangsdaten dem Auswertungsmodell zu Verfügung gestellt werden, um als dessen Ausgabe ein Auswertungsergebnis zu erhalten, welches dem Sitzbelegungszustand der Sitzanordnung zugeordnet ist.
Ein dritter Aspekt der hier vorgestellten Lösung betrifft ein, insbesondere computerimplementiertes, Verfahren zum automatisierten Erkennen eines, insbesondere sitzplatzbezogenen, Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz (bzw. gleichbedeutend: Sitz), insbesondere Sitzplatz in oder für ein Fahrzeug, wie etwa ein Automobil (z.B. LKW, PKW oder Bus). Das Verfahren weist auf: (i) Erfassen, insbesondere Empfangen oder Erzeugen, von Messdaten, die eine zugeordnete Radarpunktwolke repräsentieren. Jede Radarpunktwolke wird oder wurde auf Basis einer Radarabtastung eines die Sitzanordnung zumindest abschnittsweise umgebenden Raumbereichs gewonnen; (ii) Bestimmen, insbesondere Schätzen, eines Sitzbelegungszustands der Sitzanordnung anhand eines Auswertungsmodells, das in Abhängigkeit von der Radarpunktwolke einen von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung als Auswertungsergebnis liefert; und (iii) Ausgeben einer in Abhängigkeit von dem Auswertungsergebnis definierten Information. Das Verfahren gemäß dem dritten Aspekt nutzt ein Auswertungsmodell, insbesondere ein Machine-Learning-Modell, welches mit Hilfe des Verfahrens gemäß dem zweiten Aspekt trainiert wurde. Mithilfe des Verfahrens nach dem dritten Aspekt lässt sich auf Basis einer Radarpunktwolke, die mittels einer Radarabtastung eines die Sitzanordnung umgebenden Raumbereichs gewonnenen wird, ein Sitzbelegungszustand der Sitzanordnung kennzeichnendes Auswertungsergebnis (insbesondere im Sinne einer Voraussage oder Klassifikation) erhalten. So lassen sich, insbesondere im Fahrzeugkontext (insbesondere für Automobile), radarbasierte Lösungen implementieren, die einen Sitzbelegungszustand (insbesondere ausschließlich) radarbasiert zuverlässig erkennen können und auf Basis davon bestimmte Funktionalitäten oder System, wie etwa einen Gurtwarner oder ein Airbag-System, insgesamt oder selektiv aktivieren, deaktivieren oder steuern/regeln können.
Die auszugebende Information kann insbesondere das Auswertungsergebnis selbst repräsentieren. Sie kann auch ein, insbesondere mit einem menschlichen Sinn erfassbares, detektierbares Signal sein, wie etwa ein Warnhinweis, oder ein Steuersignal zur Ansteuerung einer Signalquelle oder ein die Information tragendes Datensignal.
Nachfolgend werden verschiedene beispielhafte Ausführungsformen des Verfahrens gemäß dem dritten Aspekt beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der vorliegenden Lösung kombiniert werden können.
Bei einigen Ausführungsformen weist die Sitzanordnung eine Mehrzahl von Sitzplätzen auf, für die individuell oder kumulativ ein Sitzbelegungszustand im Rahmen des Verfahrens zu bestimmen ist. Für jede (einzelne) Radarpunktwolke wird die Menge ihrer Radarpunkte mittels Cluster-Bildung in Abhängigkeit von der jeweiligen räumlichen Lage der Radarpunkte in Bezug auf die Sitzplätze in mehrere jeweils eine Untermenge der Radarpunkte enthaltende Cluster unterteilt, um jedem der Sitzplätze einen ihm räumlich nächstliegenden der Cluster individuell zuzuordnen. Das Bestimmen des Sitzbelegungszustands der Sitzanordnung, erfolgt für jeden der Sitzplätze in Abhängigkeit von der für den jeweils zugehörigen Cluster bestimmten Radarpunktwolke, um ein einen Sitzbelegungszustand des jeweiligen Sitzplatzes kennzeichnendes Auswertungsergebnis, insbesondere Klassifikationsergebnis, zu erhalten. Die auszugebende Information wird dann in Abhängigkeit von den jeweiligen individuellen Auswertungsergebnissen zu den verschiedenen Sitzplätzen definiert. Bei einigen zugehörigen Ausführungsformen wird jede Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte der jeweiligen Radarpunktwolke in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, dass die Radarpunkte des Clusters in einem definierten geschlossenen Raumbereich, insbesondere einem Quader, im Umfeld des Sitzplatzes liegen. Dies ermöglicht eine besonders einfache und wenig rechenintensive Clusterbildung und somit sitzplatzbezogene Sitzbelegungserkennung, wobei die Lage (Position und Orientierung) und die Form des Raumbereichs so definiert ist oder werden kann, dass sie den von einem typischen zu erkennenden Objekt, insbesondere einer Person, auf einem Sitz der Sitzanordnung in der Regel eingenommenen Raumbereich stark überlappt.
Es wird somit im Falle einer mehrsitzigen Sitzanordnung eine sitzplatzbezogene, d.h. je Sitz individuelle, Sitzplatzbelegungserkennung ermöglicht, was insbesondere dann vorteilhaft oder gar erforderlich ist, wenn sitzplatzbezogen auf die erkannte Sitzplatzbelegung reagiert werden soll, etwa indem für einen bestimmten Sitz in Abhängigkeit von dessen erkannter Sitzplatzbelegung eine bestimmte Funktionalität oder ein bestimmtes System, wie etwa ein sitzplatzbezogenes Airbag-System, eine sitzplatzbezogene Gurtanlegewarnung oder eine sitzplatzbezogene Sitzheizung aktiviert bzw. deaktiviert oder anderweitig gesteuert werden soll. Die Clusterbildung kann bei einigen Ausführungsformen insbesondere so erfolgen, dass die Cluster disjunkt sind, so dass kein Radarpunkt zwei verschiedenen Clustern zugeordnet ist.
Bei einigen Ausführungsformen wird die bzw. jede einzelne Radarpunktwolke in mehrere Cluster segmentiert, indem jedem der Sitzplätze als Cluster eine Teilmenge der Radarpunkte in Abhängigkeit von deren jeweiliger Position so zugeordnet wird, insbesondere je Radarpunkt eindeutig, dass die Radarpunkte des Clusters in einem definierten geschlossenen, insbesondere quaderförmigen, Raumbereich im Umfeld des Sitzplatzes liegen. Die Zuordnung kann insbesondere so erfolgen, dass jeder Radarpunkt dem Cluster des ihm nächstliegenden Sitzplatzes zugeordnet wird. So lässt sich die Radarpunktwolke in Cluster, d.h. im Umfeld der jeweiligen Sitze lokalisierten, Teilmengen der Radarpunktwolke aufteilen, so dass das Bestimmen von sitzspezifischen Sitzbelegungszuständen gezielt und daher mit hoher Zuverlässigkeit auf Basis des dem jeweiligen Sitz zugeordneten Clusters erfolgen kann.
Bei einigen Ausführungsformen umfasst das Ausgeben der Information ein Ansteuern einer Signalquelle in Abhängigkeit von der Information, um die Signalquelle zu veranlassen, in Abhängigkeit von der Ansteuerung ein definiertes Signal auszugeben. Die Signalquelle kann insbesondere eine Audioquelle, eine optische Signalquelle, insbesondere Anzeigevorrichtung für Bild oder Text, und/oder ein Haptik-Aktuator oder eine Kombination aus zumindest zwei der vorgenannten Signalquellen sein. So kann anhand der Signalisierung der erkannte Sitzbelegungszustand einem Benutzer mitgeteilt oder zur Steuerung eines anderen technischen Systems, wie etwa eines Airbagsystems, genutzt werden.
Bei einigen dieser Ausführungsformen wird die Signalquelle so in Abhängigkeit von der Information angesteuert, dass sie ein, insbesondere durch die Ansteuerung definiertes, Signal ausgibt, wenn die Information aus einem Auswertungsergebnis resultiert, demgemäß zumindest ein Sitz der Sitzanordnung belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: (i) Detektieren eines Sitzgurtanlegezustands zumindest eines Sitzes der Sitzanordnung oder Empfangen einer diesen Sitzgurtanlegezustand kennzeichnenden Sitzgurtinformation; (ii) wobei die Signalquelle so in Abhängigkeit von der Sitzgurtinformation und der Information aus dem Auswertungsergebnis angesteuert wird, dass sie ein Gurtanlegehinweissignal ausgibt, wenn gemäß der Information zumindest ein Sitz der Sitzanordnung belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt und Sitzgurtinformation angibt, dass der zugehörige Sitzgurt des Sitzes nicht angelegt ist. So lässt sich ein, insbesondere im Hinblick auf die Detektion ausschließlich, radarbasiertes Sitzgurtanlegeprüf- und -warnsystem erreichen.
Bei einigen Ausführungsformen werden die einzelnen Radarpunkte der Radarpunktwolke jeweils durch eine Position des jeweiligen Radarpunkts im dreidimensionalen Raum sowie durch zumindest einen der folgenden Parameter repräsentiert: (i) einen Doppler-Verschiebungswert des Radarsignals zum jeweiligen Radarpunkt; (iii) einen Signal-zu-Rausch-Abstands-Wert des Radarsignals zum jeweiligen Radarpunkt. Diese Parameter können insbesondere zur Vorfilterung der Radarpunktwolke im Rahmen einer der Merkmalsbestimmung vorangehenden Vorprozessierung genutzt werden.
Ein vierter Aspekt der vorliegenden Lösung betrifft ein System, insbesondere eine Datenverarbeitungsvorrichtung, zum automatisierten Erkennen eines, insbesondere jeweiligen, Sitzbelegungszustands einer Sitzanordnung mit zumindest einem Sitzplatz, insbesondere mit zumindest einem Fahrzeugsitz in einem bzw. für ein Fahrzeug. Dabei weist das System eine Datenverarbeitungsvorrichtung auf, die konfiguriert ist, insbesondere mittels eines entsprechenden Computerprogramms, zum Erkennen des Sitzbelegungszustands das Verfahren nach dem dritten Aspekt auszuführen.
Ein fünfter Aspekt der vorliegenden Lösung betrifft ein Computerprogramm oder Computerprogrammprodukt, aufweisend Anweisungen, die bei ihrer Ausführung auf der Datenverarbeitungsvorrichtung des Systems nach dem vierten Aspekt, das System veranlassen, das Verfahren nach dem dritten Aspekt auszuführen.
Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen. Die Module können insbesondere dazu konfiguriert sein oder jedenfalls so einsetzbar sein, dass sie im Sinne von verteiltem Rechnen (engl. „Distributed computing“ auf verschiedenen Geräten (Computern bzw. Prozessoreinheiten ausgeführt werden, die geografisch voneinander beabstandet und über ein Datennetzwerk miteinander verbunden sind.
Das System nach dem vierten Aspekt kann entsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm abgelegt ist. Alternativ kann das System auch eingerichtet sein, über eine Kommunikationsverbindung auf ein extern, beispielsweise auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten verfügbares Computerprogramm zuzugreifen, insbesondere um mit diesem Daten auszutauschen, die während des Ablaufs des Verfahrens bzw. Computerprogramms Verwendung finden oder Ausgaben des Computerprogramms darstellen.
Ein sechster Aspekt der vorliegenden Lösung betrifft ein Fahrzeug, aufweisend:(i) eine Sitzanordnung mit zumindest einem Sitzplatz; (ii) einen Radarsensor zur zumindest abschnittsweisen Radarabtastung der Sitzanordnung; und (iii) ein System nach dem vierten Aspekt zum automatisierten Erkennen eines, insbesondere jeweiligen, Sitzbelegungszustands der Sitzanordnung in Abhängigkeit von einer durch den Radarsensor ausgeführten, zumindest abschnittsweisen Radarabtastung der Sitzanordnung, insbesondere gemäß einem Verfahren nach dem dritten Aspekt.
Die in Bezug auf einen der Aspekte der vorliegenden Lösung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Lösung.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Lösung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Zeichnungen.
Dabei zeigt:
Fig. 1 schematisch eine beispielhafte Ausführungsform eines Fahrzeugs, das mit einem System zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung im Fahrzeug ausgerüstet ist;
Fig. 2 schematisch das Fahrzeug aus Fig. 1 , wobei hier der Beifahrersitz belegt ist;
Fig. 3A eine beispielhafte zweidimensionale Darstellung einer durch einen Radarsensor des Fahrzeugs aus Fig. 2 aufgenommenen Radarpunktwolke;
Fig. 3B eine beispielhafte Darstellung einer Clusterung der Radarpunktwolke aus Fig. 3A gemäß den Positionen der einzelnen Sitzplätze der Sitzanordnung;
Fig. 4 ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform eines Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung; und
Fig. 5 ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform eines Verfahrens zum Erstellen eines Auswertungsmodells für das automatisierte Erkennen eines Sitzbelegungszustands einer Sitzanordnung.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche, ähnliche oder einander entsprechende Elemente. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich werden. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können, soweit nicht ausdrücklich anders angegeben, auch als indirekte Verbindung oder Kopplung implementiert werden. Funktionale Einheiten können insbesondere als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
Zunächst wird mit Bezug auf Fig. 1 bis 4 die Erkennung einer Sitzplatzbelegung eines Fahrzeugs mittels eines Radarsystems beschrieben, da das Verfahren gemäß der vorliegenden Erfindung in diesem Kontext vorteilhaft anwendbar ist. Die vorliegende Erfindung wird dann insbesondere mit Bezug auf Fig. 5 erläutert.
Die in Fig. 1 schematisch dargestellte beispielhafte Ausführungsform eines Fahrzeugs 100 weist eine Sitzanordnung 105 mit fünf einzelnen Sitzen bzw. Sitzplätzen 105a bis 105e auf. Jeder der Sitzplätze 105a bis 105e ist geeignet, eine Person als Passagier des Fahrzeugs 100 aufzunehmen. Das Fahrzeug 100 weist des Weiteren einen Radarsensor 110 auf, der innerhalb der Fahrzeugkabine an deren Decke montiert und so konfiguriert ist, dass er die Sitzanordnung 105, zumindest im Wesentlichen, mithilfe von Radarstrahlen abtasten kann. Dementsprechend liegen die Sitzplätze 105a bis 105e, insbesondere deren Sitzflächen, zumindest jeweils überwiegend, innerhalb eines durch den Radarsensor 110 abtastbaren Beobachtungsfelds 1 10a. Darüber hinaus weist das Fahrzeug 100 ein System 1 15 zum automatisierten Erkennen eines Sitzbelegungszustands der Sitzanordnung 105 in Abhängigkeit von einer durch den Radarsensor 1 10 ausgeführten, zumindest abschnittsweise bezüglich des Beobachtungsfelds 110a ausgeführten Radarabtastung der Sitzanordnung 105 auf.
Das System 1 15 weist insbesondere eine Datenverarbeitungseinheit 115a mit zumindest einen Mikroprozessor sowie einen damit signalverbundenen Speicher 115b auf, in dem ein zur Durchführung des im Weiteren unter Bezugnahme auf Fig. 4 beschriebenen Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands der Sitzanordnung 105 konfiguriertes Computerprogramm gespeichert ist. Des Weiteren können in dem Speicher 1 15b die vom Radarsensor 1 10 bei der Radarabtastung erzeugten Sensordaten oder daraus bereits durch Weiterverarbeitung gewonnene Informationen abgelegt sein oder werden.
Das in Fig. 2 dargestellte Fahrzeug 100 entspricht dem Fahrzeug aus Fig. 1 , wobei hier jedoch der Beifahrersitz 105b durch eine Person P belegt ist. Bei der weiteren folgenden Diskussion der Fig. 3A und 3B wird auf die Konstellation aus Fig. 2 Bezug genommen. Nachfolgend wird nun auf die Fig. 3A und 3B Bezug genommen, die jeweils eine Radarpunktwolke darstellen, wobei zum Zwecke der Darstellbarkeit die jeweilige, an sich dreidimensionale Radarpunktwolke durch Projektion der Positionen der Radarpunkte der Radarpunktwolke auf eine durch zwei ihrer Dimensionen aufgespannte Ebene auf zwei Dimensionen reduziert wurde.
In Fig. 3A ist eine beispielhafte Radarpunktwolke 305 illustriert, wie sie als Ergebnis einer Radarabtastung der Sitzanordnung 105 durch den Radarsensor 110 während eines festgelegten Zeitintervalls (Messzeitraum) erfasst wurde. Die Lage der einzelnen Radarpunkte innerhalb der Radarpunktwolke 305 kann durch Raumkoordinaten dargestellt werden, beispielsweise kann man der Zeichenebene und entsprechend jedem einzelnen Punkte kartesische Koordinaten X und Y zuordnen. Tatsächlich kommt in Wirklichkeit, wenn die Dimensionsreduzierung aufgrund der Zeichnung außer Acht gelassen wird, noch eine dritte Koordinate Z für die dritte Raumdimension zu.
Wenn bei der Radarabtastung nicht nur die räumlichen Positionen der Stellen, an denen der Radarstrahl von den abgetasteten Objekten reflektiert wird, als Koordinaten erfasst werden, sondern auch eine jeweilige Dopplerverschiebung gemessen wird, dann können die einzelnen Radarpunkte in Abhängigkeit vom Betrag dieser Dopplerverschiebung klassifiziert, insbesondere in zwei verschiedene Klassen eingeteilt werden. Letzteres kann etwa dadurch erfolgen, dass die Dopplerverschiebung mit einer vordefinierten Verschiebungsschwelle, die zu einer bestimmten Verschiebungsgeschwindigkeit korrespondiert, verglichen werden. In Abhängigkeit vom Ergebnis des Vergleichs können diejenigen Radarpunkte 310, die gemäß dem Wert ihrer zugeordneten Dopplerverschiebung keine Geschwindigkeit oder eine Geschwindigkeit der Objektoberfläche am Reflexionspunkt aufweisen, die unterhalb der Verschiebungswelle liegt, als „statische“ Radarpunkte klassifiziert werden (in den Fig. 3A und 3B jeweils mit einem gefüllten schwarzen Kreis dargestellt). Umgekehrt können diejenigen Radarpunkte 315, die eine Dopplerverschiebung oberhalb der Verschiebungsschwelle aufweisen, als „dynamische“ Radarpunkte 315 klassifiziert werden (in den Fig. 3A und 3B jeweils mit einem schwarzen Ring dargestellt).
Die Klassifizierung der Radarpunkte 310 und 315 entsprechend ihrer Dopplerverschiebung ist nicht zwingend erforderlich, sie kann jedoch genutzt werden, um die Radarpunktwolke 305, insbesondere im Rahmen einer vor ihrer Auswertung erfolgenden Vorprozessierung zu verarbeiten, insbesondere in Abhängigkeit von der Klassifizierung zu filtern. Beispielsweise könnte eine solche Filterung derart erfolgen, dass nur dynamische Radarpunkte 315 für die Auswertung berücksichtigt werden, um etwa nur bewegte Objekte zu erkennen.
In Fig. 3B ist dieselbe Radarpunktwolke 305 wie in Fig. 3A dargestellt. Zusätzlich sind hier jedoch quaderförmige (3D-Fall) bzw. in der vorliegenden 2D-Darstellung rechteckige, ausgewählte Raumbereiche 325a bis 325e eingezeichnet, die räumlich der jeweiligen Lage der einzelnen Sitzplätze 105a bis 105e zugeordnet sind. Die Definition dieser Raumbereiche 325a bis 325e kann nun herangezogen werden, um die Radarpunktwolke 305 zu Clustern, wobei jeder Radarpunkt 310 bzw. 315, soweit möglich, demjenigen Raumbereich 325a bis 325e zugeordnet wird, in dem er liegt. Alle nicht in einem der Raumbereiche 325a bis 325e liegenden Radarpunkte können im Weiteren unberücksichtigt bleiben. Alternativ oder zusätzlich können auch außerhalb liegende Punkte dem nächsten Raumbereich zugeordnet werden, sofern diese einen vorher definierten Abstand zum Raumbereichs-Mittelpunkt nicht überschreiten. Man sieht insbesondere, dass die Bereiche 320 mit besonders hoher Radarpunktdichte im Bereich des Beifahrersitzes 105b liegen, auf dem sich gemäß Fig. 2 die Person P befindet.
Fig. 4 zeigt ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform 400 eines Verfahrens zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung. Das Verfahren kann insbesondere als computerimplementiertes Verfahren ausgebildet sein. Dazu kann es insbesondere im Speicher 115b des Systems 115 als Computerprogramm abgelegt sein und auf der Datenverarbeitungseinheit 115a ablauffähig sein.
Bei dem Verfahren 400 wird eine Radarpunktwolke 305 erfasst, indem in einem Schritt 410 Radarmessdaten, im vorliegenden Beispiel vom Radarsensor 1 10 des Fahrzeugs 100, empfangen werden und weiterverarbeitet werden, um eine oder mehrere Radarpunktwolken zu bilden.
Die nun vorliegende Radarpunktwolke 305 kann sodann in einem weiteren Prozess 420 geclustert werden, indem für jeden ihrer Radarpunkte geprüft wird, ob er innerhalb von einem der definierten Raumbereiche 325a bis 325e (vgl. Fig. 3B) liegt und gegebenenfalls in welchem. Somit kann jeder der aller Punkte entweder einen der Raumbereiche 325a bis 325e oder dem sonstigen Beobachtungsfeld zugeordnet werden. Alle Radarpunkte, die innerhalb desselben Raumbereichs 325a bis 325e liegen, werden zu einem jeweiligen Cluster zusammengefasst. Im Ergebnis ist somit jedem der Sitzplätze 105a bis 105e ein entsprechendes Cluster der Radarpunktwolke 305 zugeordnet. Dies bildet die Basis dafür, dass im Weiteren je Sitzplatz 105a bis 105e individuell eine Auswertung dahingehend erfolgen kann, ob der jeweilige Sitzplatz 105a bis 105e während die Radarpunktwolke 305 gebildet wurde, belegt ist bzw. war oder nicht.
Um die nachfolgende Auswertung der geclusterten Radarpunktwolke 305 zu erleichtern, kann für jeden der Cluster in einem Prozess 430 eine entsprechende Kenngröße K oder eine Vielzahl von Kenngrößen K mit vorzugsweise verschiedenen Eigenschaften bestimmt werden, wobei diese Kenngröße K insbesondere als die Anzahl der Radarpunkte in dem Cluster definiert sein kann. Soweit keine Filterung gemäß Dopplerverschiebungswert stattgefunden hat, kann es sich dabei um eine gemeinsame Zählung sowohl der statischen als auch der dynamischen Radarpunkte 310 bzw. 315 handeln. Falls jedoch die statischen Radarpunkte 310 zuvor ausgefiltert wurden, handelt es sich nur noch um eine Zählung der dynamischen Radarpunkte 315.
Nun kann die Auswertung der Kenngröße K für den Cluster zum Sitz 105b erfolgen (gleiches kann analog für die jeweiligen Cluster zu den anderen Sitzplätzen erfolgen). Dazu wird im Prozess 440 die Kenngröße K (bzw. ein zeitlicher Verlauf der Kenngröße K als Eingangsgröße einem Auswertungsmodell zur Verfügung gestellt. Dies kann insbesondere ein auf maschinellem Lernen beruhendes Modell sein, wie etwa ein künstliches neuronales Netz oder ein Entscheidungsbaum-basiertes Modell (engl. „Decision tree(s)“). Die für das vorausgehende Training benutzten Trainings- und gegebenenfalls Validierungsdaten können dabei so strukturiert sein, dass sie jeweils der Art nach der Kenngröße K für eine Vielzahl verschiedener Radarpunktwolken bzw. Cluster davon sowie je Verlauf von K eine zugeordnete korrekte Klasse einer Klassifizierung möglicher Sitzbelegungszustände enthalten. So kann das Modell im Sinne eines überwachten Lernens (Supervised learning) trainiert und validiert werden. Im einfachsten Fall geben dabei Sitzbelegungszustände an, ob der Sitz belegt ist oder nicht. Es sind jedoch auch weiter entwickelte Klassifikationen denkbar, bei denen im Falle der Anwesenheit eines Objekts zusätzlich durch die jeweilige Klasse angegeben wird, welche Art von Objekt es sich handelt, beispielsweise um ein bewegtes oder um ein unbewegtes, und im Fall eines bewegten Objekts insbesondere, ob es sich um eine Person handelt (grundsätzlich insbesondere anhand eines Atemmusters im Verlauf der Kenngröße K erkennbar).
Wenn im Prozess 440 anhand des Auswertungsmodells ein Sitzbelegungszustand für die Sitzanordnung 105 bestimmt wurde, insbesondere für einen oder mehrere ihrer Sitzplätze 105a bis 105e individuell, kann dieses Ergebnis als entsprechende Information im Prozess 445 ausgegeben werden, beispielsweise an einer Benutzerschnittstelle des Fahrzeugs oder in Form von Daten zur Weiterverarbeitung durch ein oder mehrere andere Systeme, insbesondere Systeme des Fahrzeugs.
Im vorliegenden Beispiel soll diese Information insbesondere dazu verwendet werden, zu prüfen, ob in Abhängigkeit vom Sitzbelegungszustand eines jeweiligen Sitzes 105a bis 105e und dem Ergebnis einer Prüfung dahingehend, ob ein entsprechender Sicherheitsgurt für diesen Sitz angelegt wurde oder nicht, ein Gurtwarnsignal auszugeben oder nicht.
Dazu kann im Prozess 450 geprüft werden, ob der Sicherheitsgurt zum betreffenden Sitz (hier beispielsweise zum Sitz 105b) angelegt ist und im Schritt 455 eine Funktionalität des Fahrzeugs 100 in Abhängigkeit vom der im Prozess 445 ausgegebenen Information zum Sitzbelegungszustand und dem im Prozess 450 bestimmten Status des Sicherheitsgurts gesteuert werden. Insbesondere kann dies so erfolgen, dass im Prozess 455 eine Signalquelle zur Ausgabe eines insbesondere optischen und/oder akustischen Gurtstatussignals angesteuert wird, um einem oder mehreren anderen Insassen des Fahrzeugs gegebenenfalls zu signalisieren, dass ein Sitz zwar belegt aber dort der Sicherheitsgurt nicht angelegt ist. Danach verzweigt das Verfahren zurück zum Schritt 410, um einen weiteren Schleifendurchlauf zu starten.
Das Auswertungsmodell wird vor der eigentlichen Anwendung im Verfahren 400 und vor dem Training erstellt. Insbesondere erfolgt eine entsprechende Optimierung der Hyperparameter, wie nachfolgend erläutert. Ein Flussdiagramm zur Veranschaulichung einer beispielhaften Ausführungsform eines Verfahrens 500 zum Erstellen des Auswertungsmodells ist in Fig. 5 dargestellt.
In einem Schritt 510 wird zunächst ein Datensatz mit verschiedenen Sitzbelegungszuständen (Parametern) bereitgestellt. Dieser wird in dem Auswertungsmodell verarbeitet. Insbesondere dient dies zur Optimierung der Hyperparameter, bevor das erstellte Auswertungsmodell schließlich mit den Trainingsdaten trainiert wird (Schritt 560). Zur Hyperparameteroptimierung wird eine Metrik angewandt, welche mit einem Optimierungsverfahren 501 (hier Bayes’sche Optimierung) optimiert wird.
Der Datensatz enthält insbesondere verschiedene Sitzbelegungszustände mit Menschen, Objekten und leeren Sitzen, bei denen für jeden Sitz entschieden werden soll, ob eine Anschnall-Erinnerung (d.h. ein Gurtwarnsignal) ausgegeben werden muss, wie oben erläutert. Die Entscheidung hierzu basiert auf dem Vorhandensein eines Menschen und seiner Größe (bei Kindern wird das Alter herangezogen, da es stark mit der Größe korreliert). Der Datensatz ist in Bezug auf Alter bzw. Größe der Passagiere sehr unausgewogen. Daher werden die verschiedenen Arten von Passagieren (bzw. Sitzbelegungszuständen) gewichtet, um eine optimale Gesamtklassifizierung zu erreichen, ohne dass eine unterrepräsentierte Gruppe von Passagieren (z.B. AM95, AF05) eine schlechte Erkennungsgenauigkeit aufweist (während die Erkennungsgenauigkeit bei häufig vorkommenden Gruppen, z.B. mittelgroße Erwachsene (wie AM50), ohnehin relativ gut ausfallen dürfte). Diese Gewichte werden mit Hilfe der Bayes'schen Optimierung optimiert, um ein ausgeglicheneres Gesamtergebnis zu erhalten.
Ein wichtiger Baustein ist die Auswahl der Metrik. Die im Folgenden beschriebene Metrik ist daher insbesondere so konzipiert, dass sie Übervertrauen bestraft, indem sie eine Obergrenze für die Metrik festlegt, d.h. einen Zielwert für die Erkennungsgenauigkeit (oder kurz: Genauigkeit). So zielt die Optimierung der Metrik nicht auf das Erreichen einer 100%-igen Erkennungsgenauigkeit (Wert 1 ) ab, sondern beispielsweise auf 95% (Wert 0,95), um das angestrebte ausgeglichenere Gesamtergebnis zu erhalten. Der Zielwert wird für die Genauigkeit für jede mögliche Kombination, wie unten beschrieben, festgelegt.
Zunächst wird eine Reihe von Parametern ausgewählt, d.h. verschiedene Sitzbelegungszustände, für die ein Gleichgewicht hergestellt werden soll, z.B. ob der Motor läuft oder nicht oder die Sitzbelegung eines bestimmten Sitzplatzes 105a bis 105e. Eine Kombination wäre zum Beispiel: AF05 (kleine Frau) auf dem Fahrersitz, während das Fahrzeug steht. Dies ist eine Kombination aus der Größe (der Person), dem Sitz und dem Zustand des Fahrzeugs.
Für alle möglichen Kombinationen der gewählten Parameter wird die Genauigkeit berechnet. Von jeder dieser berechneten Genauigkeiten wird der Betrag der Differenz zwischen dem festgelegten Zielwert und der berechneten Genauigkeit für jede Kombination von Parameter berechnet. Diese Beträge werden dann als Exponenten in der natürlichen Exponentialfunktion eingesetzt. Auf diese Weise wird erreicht, dass Klassen, die weiter vom gewünschten Ziel entfernt sind, stärker bestraft werden als Klassen, die bereits nahe dran sind. Anschließend wird das geometrische Mittel jedes dieser Werte berechnet. Dadurch wird schließlich erreicht, dass alle Werte maximiert werden und nicht nur einen davon. Schließlich wird der erhaltene Wert noch normalisiert, so dass er im Bereich von 0 bis 1 liegt. Kleinere Werte sind besser, so dass wir dies als direkten Input für die Bayes'sche Optimierung verwenden können, die dann versucht, diesen Wert zu minimieren.
Die Metrik kann demnach als folgende Funktion konkret implementiert werden: wobei n die Anzahl von Kombinationen der gewählten Parameter ist (z.B. n=3: Kind in einem fahrenden Fahrzeug , kein Kind im fahrenden Auto, Kind im stehenden Auto, kein Kind im stehenden Auto). Der normalisierte Wert „normalized“ nimmt demnach Werte zwischen 0 und 1 an (d.h. im Intervall [0; 1 ]). Die Erkennungsgenauigkeit (Genauigkeit) ist als „accuracy“ bezeichnet, der Zielwert als „target“.
Für die Bayes'sche Optimierung 501 wird vor dem Start eine feste Anzahl von Iterationen (m) festgelegt. Die Bayes'sche Optimierung optimiert die oben beschriebene Metrik, um die Hyperparameter einzustellen („Hyperparameteroptimierung“). Die Bayes'sche Optimierung 501 behandelt die oben genannte Funktion, welche die Metrik definiert, als eine Zufallsfunktion, die sie zu schätzen versucht. Die Anzahl der Iterationen wird festgelegt, da diese bei der Bayes'sche Optimierung aufgrund der Implementierung theoretisch keine Begrenzung hat. Es werden die Hyperparameter bereitgestellt, wobei für jeden Hyperparameter ein Bereich von Eingabewerten angegeben wird und die Bayes'sche Optimierung 501 zufällige Werte für die ersten paar Iterationen (hier: 10) auswählt (Schritt 520). Nach 10-maliger Iteration, wobei das Auswertungsmodell jeweils mit den Parametern aus dem Datensatz trainiert wird, und die Metrik ausgewertet wird (Schritt 530) wählt die Bayes'sche Optimierung 501 die vielversprechendsten Hyperparameter aus (Schritt 540).
In den nächsten (m-1 ) Iterationen, wobei das Auswertungsmodell jeweils mit den Parametern aus dem Datensatz weiter oder neu trainiert wird, und die Metrik entsprechend ausgewertet wird (Schritt 550) werden ebenso immer die vielversprechendsten Hyperparameter ausgewählt. Insbesondere sind die jeweils nächsten gewählten Hyperparameter diejenigen aus dem Bereich der Eingabewerte, die das größte Potential zur Minimierung der Metrik bieten. Nachdem die gewählte Anzahl von Iterationen durchlaufen wurde (hier also insgesamt m), ist das Ergebnis des Prozesses (d.h. der Bayes’schen Optimierung 501 ) derjenige Satz von Hyperparametern, der ausgewertet wurde und zum niedrigsten Messwert führt. Wie oben bereits erwähnt, wird in einem Schritt 560 das Auswertungsmodell schließlich mit den ausgewählten Hyperparametern trainiert und gespeichert. Es zeigt sich, dass im Auswertungsergebnis ein besseres Gleichgewicht für die verschiedenen Gruppen erreicht werden kann. Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
BEZUGSZEICHENLISTE
P Person auf dem Beifahrersitz
100 Fahrzeug
105 Sitzanordnung
105a-e Sitze bzw. Sitzplätze
110 Radarsensor
110a Beobachtungsfeld des Radarsensors 110
115 System zum automatisierten Erkennen eine Sitzbelegungszustands
115a Datenverarbeitungseinheit
115b Speicher
305 Radarpunktwolke
310 statische Radarpunkte
315 dynamische Radarpunkte
320 Bereiche der Radarpunktwolke 305 mit hoher Radarpunktdichte
325a-e Raumbereiche zur Clusterdefinition
400 Verfahren zum automatisierten Erkennen eines Sitzbelegungszustands
410-455 einzelne Prozesse oder Verfahrensschritte im Rahmen des Verfahrens 400
500 Verfahren zum Erstellen eines Auswertungsmodells
501 Optimierungsverfahren
510-560 einzelne Prozesse oder Verfahrensschritte im Rahmen des Verfahrens 500

Claims

ANSPRÜCHE Verfahren zum Erstellen eines Auswertungsmodells für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e), wobei das Verfahren aufweist:
Bereitstellen von Parametern, die zumindest einem von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung (105) zugeordnet sind; und
Bereitstellen von Hyperparametern für das Auswertungsmodell, wobei die Hyperparameter konfiguriert sind, auf der Grundlage einer Metrik eingestellt zu werden;
Bestimmen einer Erkennungsgenauigkeit, wobei die Erkennungsgenauigkeit einen Abstand zwischen dem den Parametern zugeordneten Sitzbelegungszustand und einem durch das Auswertungsmodell mit den bereitgestellten Hyperparametern gelieferten Auswertungsergebnis angibt;
Bereitstellen einer Metrik und Auswerten der Metrik, wobei die Metrik eine Differenz zwischen der Erkennungsgenauigkeit und einem vorgegebenen Zielwert berücksichtigt, um für die bestimmte Erkennungsgenauigkeit einen Wert auszugeben, wobei der Zielwert eine Erkennungsgenauigkeit angibt, bei welchem die Metrik ein Optimum erreicht;
Einstellen der Hyperparameter, wobei dazu die Metrik mittels eines Optimierungsverfahrens optimiert wird; und
Erstellen des Auswertungsmodells mit den eingestellten Hyperparametern für ein Training mit Trainingsdaten für ein Verfahren zum automatisierten eines Sitzbelegungszustands einer Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e). Verfahren nach Anspruch 1 , wobei der Zielwert kleiner als eine maximale Erkennungsgenauigkeit ist, sodass der Wert der Metrik für den Zielwert maximal ist. Verfahren nach Anspruch 1 oder 2, wobei das Bereitstellen der Parameter das Bereitstellen eines Satzes von Parametern umfasst, die mehreren Sitzbelegungszuständen zugeordnet sind und die Erkennungsgenauigkeit jeweils für Kombinationen aus Parametern des Satzes von Parametern bestimmt wird, wobei die Metrik als ein Mittelwert definiert ist, welcher für den Satz von Parametern und die jeweilige Erkennungsgenauigkeit gebildet wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Metrik die natürliche Exponentialfunktion enthält, welche als Argument den Betrag einer Differenz zwischen der Erkennungsgenauigkeit und dem Zielwert umfasst. Verfahren nach einem der vorhergehenden Ansprüche, wobei das
Optimierungsverfahren eine Bayes’sche Optimierung ist. Verfahren nach einem der vorhergehenden Ansprüche, wobei das
Optimierungsverfahren mit einer vorgegebenen Anzahl von Iterationen durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sitzanordnung (105) eine Mehrzahl von Sitzplätzen (105a-e) aufweist, wobei der Sitzbelegungszustand ein individueller oder kumulativer Sitzbelegungszustand der Sitzplätze (105a-e) ist. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Sitzbelegungszustand zumindest eine Art der Sitzbelegung für zumindest einen Sitz der Sitzanordnung umfasst. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Parameter des Weiteren einen Zustand des Fahrzeugs umfassen. Verfahren zum Trainieren eines gemäß einem Verfahren nach einem der vorhergehenden Ansprüche erstellten Auswertungsmodells für ein automatisiertes Erkennen eines Sitzbelegungszustands einer Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e), wobei das Verfahren aufweist: Erfassen von Messdaten, die eine zugeordnete Radarpunktwolke (305) repräsentieren, wobei die Radarpunktwolke (305) auf Basis einer Radarabtastung eines die Sitzanordnung (105) zumindest abschnittsweise umgebenden Raumbereichs gewonnen wurde bzw. wird und einem von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung (105) zugeordnet ist; und
Erzeugen von Trainingsdaten aus den Messdaten, wobei die Trainingsdaten als Eingangsdaten dem Auswertungsmodell zu Verfügung gestellt werden, um als dessen Ausgabe ein Auswertungsergebnis zu erhalten, welches dem Sitzbelegungszustand der Sitzanordnung (105) zugeordnet ist.
11. Verfahren zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e), wobei das Verfahren aufweist:
Erfassen von Messdaten, die eine zugeordnete Radarpunktwolke (305) repräsentieren, wobei jede Radarpunktwolke (305) auf Basis einer Radarabtastung eines die Sitzanordnung (105) zumindest abschnittsweise umgebenden Raumbereichs gewonnen wurde bzw. wird;
Bestimmen eines Sitzbelegungszustands der Sitzanordnung (105) anhand eines Auswertungsmodells, das gemäß einem Verfahren nach Anspruch 10 trainiert wurde und in Abhängigkeit von der Radarpunktwolke einen von mehreren vordefinierten möglichen Sitzbelegungszuständen der Sitzanordnung (105) als Auswertungsergebnis liefert; und
Ausgeben einer in Abhängigkeit von dem Auswertungsergebnis definierten Information.
12. Verfahren nach Anspruch 1 1 , wobei das Ausgeben der Information ein Ansteuern einer Signalquelle in Abhängigkeit von der Information umfasst, um die Signalquelle zu veranlassen, in Abhängigkeit von der Ansteuerung ein definiertes Signal auszugeben, wobei die Signalquelle so in Abhängigkeit von der Information angesteuert wird, dass sie ein Signal ausgibt, wenn die Information aus einem Auswertungsergebnis resultiert, demgemäß zumindest ein Sitz der Sitzanordnung (105) belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt.
13. Verfahren nach Anspruch 12, des Weiteren aufweisend:
Detektieren eines Sitzgurtanlegezustands zumindest eines Sitzes der Sitzanordnung (105) oder Empfangen einer diesen Sitzgurtanlegezustand kennzeichnenden Sitzgurtinformation; wobei die Signalquelle so in Abhängigkeit von der Sitzgurtinformation und der Information aus dem Auswertungsergebnis angesteuert wird, dass sie ein Gurtanlegehinweissignal ausgibt, wenn gemäß der Information zumindest ein Sitz der Sitzanordnung (105) belegt ist und/oder ein ausgewählter vorbestimmter Sitzbelegungszustand vorliegt und Sitzgurtinformation angibt, dass der zugehörige Sitzgurt des Sitzes nicht angelegt ist.
14. System (115) zum automatisierten Erkennen eines Sitzbelegungszustands einer Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e), wobei das System (115) eine Datenverarbeitungsvorrichtung aufweist, die konfiguriert ist, zum Erkennen des Sitzbelegungszustands das Verfahren nach einem der Ansprüche 11 bis 13 auszuführen. Computerprogramm oder Computerprogrammprodukt, aufweisend Anweisungen, die bei ihrer Ausführung auf der Datenverarbeitungsvorrichtung des Systems (115) nach Anspruch 14, das System (1 15) veranlassen, das
Verfahren nach einem der Ansprüche 1 1 bis 13 auszuführen. Fahrzeug (100), aufweisend: eine Sitzanordnung (105) mit zumindest einem Sitzplatz (105a-e); einen Radarsensor (110) zur zumindest abschnittsweisen Radarabtastung der Sitzanordnung (105); und ein System (115) nach Anspruch 14 zum automatisierten Erkennen eines Sitzbelegungszustands der Sitzanordnung (105) in Abhängigkeit von einer durch den Radarsensor (110) ausgeführten, zumindest abschnittsweisen Radarabtastung der Sitzanordnung (105).
EP23818467.5A 2022-12-09 2023-12-06 Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung Pending EP4630841A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022132747.7A DE102022132747A1 (de) 2022-12-09 2022-12-09 Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung
PCT/EP2023/084504 WO2024121221A1 (de) 2022-12-09 2023-12-06 Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung

Publications (1)

Publication Number Publication Date
EP4630841A1 true EP4630841A1 (de) 2025-10-15

Family

ID=89121602

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23818467.5A Pending EP4630841A1 (de) 2022-12-09 2023-12-06 Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung

Country Status (3)

Country Link
EP (1) EP4630841A1 (de)
DE (1) DE102022132747A1 (de)
WO (1) WO2024121221A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024125779A1 (de) * 2024-09-09 2026-03-12 Gestigon Gmbh Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung
DE102024129660A1 (de) * 2024-10-14 2026-04-16 Gestigon Gmbh Verfahren zum erkennen eines sitzbelegungszustands einer sitzanordnung

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10133759C2 (de) * 2001-07-11 2003-07-24 Daimler Chrysler Ag Gurtführungserkennung mit Bildverarbeitungssystem im Kfz
DE10239761B4 (de) * 2002-08-29 2007-10-25 Sartorius Ag Verfahren und Vorrichtung zur Identifikation der Art der Belegung einer Auflagefläche
DE102019212412A1 (de) * 2019-08-20 2021-02-25 Zf Friedrichshafen Ag Überwachungsvorrichtung und Verfahren zur Überwachung eines Lebewesens im Innenraum eines Fahrzeugs und Computerprogramm
US12554796B2 (en) * 2021-05-28 2026-02-17 Nvidia Corporation Optimizing parameter estimation for training neural networks

Also Published As

Publication number Publication date
WO2024121221A1 (de) 2024-06-13
DE102022132747A1 (de) 2024-06-20

Similar Documents

Publication Publication Date Title
DE102019134141B4 (de) Sicherheitsgurt-Zustandsbestimmungsverfahren
DE102022123465B4 (de) Verfahren und system zum trainieren eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken
DE102022103818A1 (de) Verfahren und system zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken
WO2023156318A1 (de) Verfahren und vorrichtungen zum radargestützten erkennen eines sitzbelegungszustands einer sitzplatzanordnung
DE102006024979B4 (de) Verfahren und Vorrichtung zum Detektieren der Anwesenheit eines Insassen innerhalb eines Fahrzeugs
EP4289661B1 (de) Verfahren und system zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken
EP4630841A1 (de) Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung
WO2019179946A1 (de) Erzeugung synthetischer radarsignale
DE102021112630B4 (de) Vision-basierte Airbag-Freigabe
DE112020006871T5 (de) Fahrgastzelleinnenraumerkennungsvorrichtung und Fahrgastzelleinnenraumerkennungsverfahren
DE102020215729A1 (de) System und verfahren zum detektieren von abnormalem passagierverhalten in autonomen fahrzeugen
DE102021133672B4 (de) Verfahren zum Kalibrieren eines Radarsensors innerhalb eines Fahrzeugs
DE102018128583A1 (de) Fahrzeugradarsteuerung
WO2022129266A1 (de) Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems
DE102022122753B4 (de) Verfahren und systeme zur überwachung von fahrgastzellenkindersitzen
WO2023198463A1 (de) Vorrichtung und verfahren zum ermitteln einer masse eines insassen eines fahrzeugs
DE102022128883A1 (de) Detektion von physischem zustand eines fahrzeuginsassen
DE102023116164B4 (de) Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung
DE102018129323A1 (de) Verfahren und Vorrichtung zur verbesserten Radarzielverfolgung mit Leistungsinformationen
DE102024125779A1 (de) Verfahren zum erstellen eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung
WO2024115346A1 (de) Verfahren und system zum erkennen eines sitzpelegungszustands in einem fahrzeug
DE102024104829A1 (de) Verfahren zum trainieren eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung
DE102023130932A1 (de) Verfahren zum erkennen eines sitzbelegungszustands einer sitzanordnung
DE102023112604A1 (de) Verfahren und system zum erkennen eines sitzbelegungszustands in einem fahrzeug
WO2025087654A1 (de) Verfahren zum erkennen eines sitzbelegungszustands einer sitzanordnung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250521

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)