EP4193298A1 - Verfahren und vorrichtung zum automatischen schätzen eines körpergewichts einer person - Google Patents

Verfahren und vorrichtung zum automatischen schätzen eines körpergewichts einer person

Info

Publication number
EP4193298A1
EP4193298A1 EP21751557.6A EP21751557A EP4193298A1 EP 4193298 A1 EP4193298 A1 EP 4193298A1 EP 21751557 A EP21751557 A EP 21751557A EP 4193298 A1 EP4193298 A1 EP 4193298A1
Authority
EP
European Patent Office
Prior art keywords
person
determined
image
body weight
reference points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21751557.6A
Other languages
English (en)
French (fr)
Inventor
Christian Strauss
Thomas Klaehn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gestigon GmbH
Original Assignee
Gestigon GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gestigon GmbH filed Critical Gestigon GmbH
Publication of EP4193298A1 publication Critical patent/EP4193298A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present invention relates to a method and a device for automatically estimating a person's body weight and a vehicle, in particular a land vehicle, equipped with such a device.
  • scales of the most varied types have always been used, which are based on determining the body weight on the basis of a weight force exerted by the person's body on the scale.
  • the body weight is estimated on the basis of an image sensor recording of the person.
  • the height of the person is estimated from the image obtained by image sensors and an estimated value for the person's body weight is determined using the comparison table, which compares the height to a typical body weight.
  • a method for recognizing poses and for the automatic, software-aided classification of different parts of a person's body based on a 3D image of the person is described in the article Jamie Shotto et al., "Real-Time Human Pose Recognition in Parts from Single Depth Images”; Microsoft Research Cambridge & Xbox Incubation, Feb. 2016 described on the Internet at https://www. microsoft, com/en-us/research/wp-content/uploads/2017/02/BodyPartRecocinition.pdf.
  • the object of the present invention is to further improve the achievable reliability and/or accuracy of a body weight determination for a person on the basis of at least one image of the person captured by an image sensor.
  • a first aspect of the invention relates to a method, in particular a computer-implemented method, for automatically estimating a person's body weight.
  • the method comprises the following method steps: (i) Generating or receiving Image data representing an image of at least a partial area of a person's body captured by image sensors by means of image points; (ii) Classifying at least a subset of the pixels based on a classification in which different classes each correspond to a different body area, in particular body part, the pixels to be classified each being assigned to a specific body area of the person and confidence values being determined for these class assignments; (iii) for each of at least two of the classes occupied with assigned pixels, calculating a position of at least one reference point determined according to a specification, which can in particular be a specific pixel, for the body region corresponding to this class on the basis of the pixels assigned to this class; (iv) determining a respective distance between at least two of the selected reference points; (v) determining at least one estimated value for the person's body
  • Exclusive selection here means that the pixels that were not selected based on the confidence criterion based on their respective confidence value are not used to determine the reference points. The same applies accordingly to the "exclusive” selections discussed below with regard to the sizes available or to be determined there.
  • the relation for determining the estimated value from the relevant distance or distances can be given in particular in the form of a reference table or a database or a calculation formula, in particular a mathematical function.
  • the use of confidence values in the context of the aforementioned method and the exclusive selection of certain pixels, in particular those associated with high confidence, can improve the reliability (in particular in terms of reliability or robustness of the method) and accuracy of the at least one estimated value ultimately determined and output for the person's body weight can be used. If more than one estimated value for the body weight is determined and output, this can be done in particular in such a way that these determined estimated values together define an estimated value range. For example, the estimation in this way could yield as a result that the estimated body weight is in the range of 70 kg to 71 kg, with the value 70 kg being a first estimate (lower limit) and the value 71 kg being a second estimate (upper limit) in this example limit value). It is also conceivable to determine and output further estimated values, in particular a mean value (for example 70.5 kg here) as an additional estimated value.
  • a mean value for example 70.5 kg here
  • the output can be in a data or signal format that is suitable for further machine processing or use or on a human-machine interface.
  • the terms “comprises,” “includes,” “includes,” “has,” “has,” “having,” or any other variant thereof, as appropriate, are intended to cover non-exclusive inclusion.
  • a method or apparatus that includes or has a list of elements is not necessarily limited to those elements, but may include other elements that are not expressly listed or that are inherent in such method or apparatus.
  • a condition A or B is satisfied by one of the following conditions: A is true (or present) and B is false (or absent), A is false (or absent) and B is true (or present), and both A and B are true (or present).
  • respective confidence values for these positions are determined and an exclusive selection of those positions that are used to determine the distances, based on the respective confidence values of these positions application of a second confidence criterion.
  • respective confidence values for these distances can be determined and an exclusive selection of those of these distances that are used to determine the at least one estimated value for the body weight, based on the respective confidence values of these distances using a third confidence criterion.
  • the aforementioned embodiments can each be used in particular to increase the reliability and accuracy of the body weight estimation that can be carried out using the method.
  • the first, the second and the third confidence criterion can in particular be the same in pairs or as a whole (advantage of simple implementation) or can be selected differently (advantage of individual adjustability and optimization of the individual steps).
  • one or more of the confidence criteria can be defined by means of a respective confidence threshold, which defines a respective minimum confidence value for the use of the associated quantity (image point, reference point position, distance or estimated value for the body weight) within the scope of the exclusive selection applicable thereto for the implementation of the each following process step is required.
  • a respective confidence value is determined
  • the position of at least one further reference point which is used to determine a distance and which is not represented by the image data, is estimated by extrapolation or interpolation on the basis of other reference points represented by the image data or derived therefrom. In this way it is possible, even in cases where the image data does not represent a body region relevant for determining the estimated value for the body weight of the person or at least a reference point thereof relevant for this determination of the estimated value, for example because the reference point is outside the recorded one image area or is hidden in the image itself, to still be able to estimate the person's body weight.
  • Such a case can occur in particular if the person assumes a body position that is unfavorable for the purposes of the method during the image sensor capture of the image data and at least one of the body regions of the person required for the method-based determination of the estimated value is outside the spatial region covered by the captured image comes.
  • a body weight determination for a driver or passenger of a vehicle this can be the case if the driver or passenger leans forward or to the side in his seat, his posture thus deviating significantly from a normal upright posture on which the image acquisition is based.
  • the extrapolation or interpolation takes place on the basis of at least two of the determined reference points located within the image using a body symmetry related to these reference points and the further reference point to be determined (by extrapolation or interpolation).
  • another (third) reference point corresponding to a position on one of the person's two shoulders can be extrapolated or interpolation using the known symmetry property that mutually corresponding points (e.g. their outer end points) on the two shoulders of a person typically have an approximately equal distance to the central body axis, based on knowledge of the positions of the corresponding first reference point on the other shoulder and a second reference point located on the body axis can be determined.
  • a particularly reliable determination of the respective position of further reference points can be carried out on the basis of the utilization of symmetry.
  • the method also includes checking the plausibility of the position of the further reference point determined by the extrapolation or interpolation using a plausibility criterion.
  • the plausibility criterion relates to a respective distance between this further reference point and at least one of the calculated reference points that is not involved in the extrapolation or interpolation. For example, a distance between the further reference point determined by means of extrapolation or interpolation and another reference point contained in the image can be calculated and compared with an associated value or value range, which corresponds to plausible values for such a distance, in order to determine the plausibility of the position of the further reference point to be checked.
  • the reference point is used for the further method, whether it is redetermined in an alternative way or whether it is discarded in favor of another available reference point.
  • the reliability and/or accuracy of the method can be further increased and, in particular, sufficient reliability and accuracy can be achieved in many cases even when the person has assumed a body position that is disadvantageous for the method during image acquisition.
  • the method also includes correcting the calculated positions of the reference points by adjusting the calculated positions as a function of a distance or a perspective from which the image was captured by image sensors.
  • the distances are determined on the basis of the positions of the reference points corrected in this way.
  • distance-dependent and/or perspective-dependent influences on the captured image can be at least partially compensated, in particular in the sense of normalization to a predefined standard view with a predefined distance and predefined perspective, so that the further determination of the estimated value for the body weight of the person is less dependent, ideally independent , from the distance or the perspective when capturing the image. In this way, the reliability and/or accuracy of the method can be further increased.
  • the method also includes pre-processing of the image data as part of image processing preceding the classification in order to improve the image quality.
  • This image processing can in particular include noise suppression (regarding image noise), removal of the image background or parts thereof or removal of other image components that are irrelevant for the further method steps.
  • the further method steps can be carried out on the basis of image data optimized as part of the image processing, and the influence of disruptive or irrelevant image content can be reduced or even eliminated, which in turn can be used to increase the achievable reliability and/or accuracy of the method.
  • At least one of the selected reference points for a specific class is determined as or depending on the position of a calculated centroid of the pixels associated with the body region corresponding to the class.
  • the center of gravity can be defined in particular as a geometric center of gravity.
  • the calculated position of the center of gravity can, in particular, correspond to the position of a pixel represented by the image data, although this is not absolutely necessary. If the reference point is determined as a function of the position of a calculated focus, this can be done in particular by averaging the positions of several other reference points, which in turn can be the focus of an associated body region in the image represented by the image data.
  • a reference point to which the image is to correspond to a point on the person's body axis, can be calculated by averaging the positions of two centroids that relate to the corresponding body regions on the left and right half of the body, respectively (e.g. centroids of the left torso region and the person's right torso area).
  • An advantage of using focal points of defined image areas is that these can be calculated efficiently and with high accuracy using known methods, which in turn can have a positive effect on the efficiency of the method and its accuracy and reliability.
  • At least one of the selected reference points for a particular class becomes the class as or depending on a pixel's position on a contour of that represented by the associated pixels corresponding body area determined.
  • the image point on the contour can in particular correspond to an extreme point of the contour.
  • the pixel may be the top of the head, or the outer ends of the shoulders, or the bottom (ie, near) end of the person's torso, respectively in the image of the person.
  • the range of available reference points can be expanded and, in particular, also combined with the above-mentioned focal points, in order to have reference points available for selection for a broader range of possible body positions (poses) of the person, each with regard to the reliability and accuracy of the method to have.
  • the at least one selected reference point is defined as a point corresponding to one of the following points on the person's body in the image of the person represented by the image data: (i) a vertex of the head; (ii) a point on each shoulder at the highest or furthest point from the axis of the person's body; (iii) a point on the torso nearest the base of the leg; (iv) a lap point determined on the basis of the left and right points of the body torso closest to the base of the leg on the respective side with respect to the body axis; (v) a reference point on the body torso determined on the basis of the center of gravity of the area of the torso lying on the corresponding half of the body to the left or right with respect to the body axis or a reference point determined on the basis of several such centers of gravity; (vi) a point at the location of an eye or on a straight line joining the eyes. What all of these reference points have in common is that they are typically recognized as
  • a seat height of the person is determined as a distance used to determine the estimated value. For this purpose, the following individual distances between each two associated reference points are calculated and these calculated distances are added to determine a value for the seat height: (i) Distance between a point closest to the base of the leg or the lap point and a, in particular geometric, center of gravity of the below lower body torso located at the lowest costal margin of the person; (ii) distance between the center of gravity of the lower body torso and a center of gravity of the upper body torso located above the lowest rib cage of the person; (iii) Distance between the center of gravity of the upper body torso and a point on the connecting line between the two on the two shoulders at the highest points or points farthest from the axis of the person's body; (iv) Distance from the point on the joining straight line between the two shoulders and the top of the head.
  • One advantage of these embodiments is that a reliable and relatively accurate determination of the seat height of the person is also possible if the person was in a body position other than a straight upright sitting posture, in particular in a bent body position, during the image acquisition.
  • these embodiments can also be used to further increase the achievable accuracy and reliability of the method overall.
  • a seat height of the person and a shoulder width of the person are used as two of the distances used to determine the estimated value.
  • These embodiments can be used advantageously in particular in applications in which it is to be expected that the person is seated during the image acquisition, as is typically the case with a driver or passenger in a vehicle, in particular in a motor vehicle.
  • a plurality of preliminary body weight values are determined based on various ones of the determined distances, and the at least one estimated body weight value is calculated by mathematically averaging the preliminary values.
  • the mathematical averaging can in particular be an arithmetic, a geometric or a quadratic averaging, in each case with or without weighting, or a median formation or include a respective such (the same also applies below if an averaging or mean formation is mentioned) , the use of such a mathematical averaging based on a plurality of provisionally estimated values for the body weight of the person can be used to increase the mathematical robustness of the weight estimation method and thus in turn its reliability and accuracy.
  • the relative influence of different input variables of the respective averaging on the result of the averaging can be set and optimized in a targeted manner. For example, when averaging to determine an estimated value for the body weight, a determined on the basis of a Seat height certain provisional value for the body weight are weighted higher or lower than a provisional value for the body weight determined on the basis of a determined shoulder width.
  • the reference data used to determine the body weight estimate is selected from multiple available sets of reference data based on one or more previously recorded characteristics of the individual.
  • these characteristics can relate to an ethnic group or region of origin, an age or a gender of the person. Since such properties in many cases clearly correlate with the properties of a frequency distribution for body weight, the reliability and accuracy of the method can also be further increased in this way. If, for example, the person is already elderly and thus comes from an age cohort with a birth year that is significantly earlier than today, it can be assumed from today's perspective that the body weight distribution, similar to the body height distribution for this age cohort, will decrease significantly compared to the corresponding values younger age cohort, because in recent decades, at least in most industrialized countries, people have become taller and heavier on average.
  • the comparison is based on the at least one specific distance with the reference data using a regression method, which can in particular be a quadratic or exponential regression method, since the latter have proven to be particularly suitable methods for this comparison.
  • a regression method which can in particular be a quadratic or exponential regression method, since the latter have proven to be particularly suitable methods for this comparison.
  • linear regression methods can also be used, although the aforementioned quadratic and exponential regression methods are often even more suitable for the comparison mentioned.
  • the image data represents the image sensory recording in three spatial dimensions. This can be achieved in particular by using the image data recorded by a 3D image sensor (3D camera).
  • the 3D image sensor can in particular be what is known as a time-of-flight (TOF) camera.
  • TOF time-of-flight
  • the use of such three-dimensional image data has the particular advantage over the use of 2D image data that the positions of the reference points and their distances can be determined directly on the basis of the image data in three-dimensional space and there is no loss of accuracy due to the use of only two-dimensional image data must be accepted or effort must be made to combine several 2D images recorded from different perspectives.
  • the method further includes outputting a respective value for at least one of the determined distances or for a respective position of at least one of the determined reference points.
  • the anthropometric information mentioned can also be made available, in particular for machine or automatic further processing.
  • the method further includes controlling (in particular activating, deactivating, controlling or regulating or adjusting) at least one component of a vehicle or another system, in particular a medical system or a body measurement system, depending on the output estimate for the body weight of the person.
  • the control in the case of a vehicle application, can be carried out with regard to one or more of the following vehicle components: seat (in particular with regard to seat height, seat position, backrest adjustment, seat heating), steering device, safety belt, airbag (in particular with regard to airbag filling/target pressure), interior or exterior mirrors, air conditioning, communication device, infotainment system, navigation system.
  • vehicle components seat (in particular with regard to seat height, seat position, backrest adjustment, seat heating), steering device, safety belt, airbag (in particular with regard to airbag filling/target pressure), interior or exterior mirrors, air conditioning, communication device, infotainment system, navigation system.
  • the respective control can in particular take place fully or semi-automatically, so that the at least one determined estimated value for the body weight is used alone or in conjunction with one or more other variables or parameters for the automatic control of one or more vehicle or system components.
  • a respective empty selection can also be made.
  • the occurrence of such an empty selection can then be used in particular as an abort criterion for aborting or repeating or pausing the method.
  • a second aspect of the invention relates to a device for automatically estimating a body weight of a person, the device being configured to carry out the method according to the first aspect of the invention.
  • a third aspect of the invention relates to a vehicle having a device according to the second aspect of the invention.
  • the vehicle can be set up to execute the method according to the first aspect in the form of one of the embodiments mentioned above with reference to the control of vehicle components as a function of the at least one determined estimated value for the body weight.
  • a fourth aspect of the invention relates to a computer program which comprises instructions which, when the program is executed by a data processing device, cause the latter to carry out the method according to one of the preceding claims.
  • the data processing device can in particular be provided by the device according to the second aspect of the invention or form part of it.
  • the computer program can in particular be stored on a non-volatile data medium.
  • a non-volatile data medium This is preferably a data carrier in the form of an optical data carrier or a flash memory module.
  • the computer program can be present as a file on a data processing unit, in particular on a server, and can be downloaded via a data connection, for example the Internet or a dedicated data connection, such as a proprietary or local network.
  • the computer program can have a plurality of interacting individual program modules.
  • the device according to the second aspect or the vehicle according to the third aspect can accordingly have a program memory in which the computer program is stored.
  • the device or the vehicle can also be set up to access a computer program available externally, for example on one or more servers or other data processing units, via a communication connection, in particular to exchange data with it that is used during the course of the method or computer program or represent outputs of the computer program.
  • FIG. 1 schematically shows a vehicle according to an embodiment of the invention with a device for automatically estimating a body weight of a person, in particular a driver of the vehicle;
  • FIG. 3 shows a schematic overview of exemplary anthropometric measures, in particular distances, for measuring a person's body, which can be used as distances within the scope of the method;
  • FIG. 5 shows schematically a set of reference points determined with reference to FIG. 3 and associated distances between them as parameters for a weight estimation on the basis of a seat height calculated from the distances according to an embodiment of the method according to the invention
  • 6A/6B schematically an illustration for determining a reference point lying outside of the image area covered by the image data according to an embodiment of the method according to the invention.
  • the device 150 can in particular be a data processing device (computer), for example in a control unit of the vehicle 100 . It contains a processor unit 150a and a memory 150b, in which in particular a computer program can be stored which is configured to execute a method according to the invention, for example according to the embodiment illustrated in FIG.
  • a person P who is in particular a driver of vehicle 100 in the example shown, is located on a seat 140 in vehicle 100 .
  • one or more image sensors are provided at one or more locations 110, 120 or 130 in or on the vehicle 100.
  • One or more of these image sensors can in particular be 3D cameras, in particular of the time-of-flight (TOF) type, which are able to capture the person P in three spatial dimensions using image sensors and to deliver corresponding image data, which in particular corresponding depth image of the person P represent.
  • TOF time-of-flight
  • FIGS. 2A and 2B which are connected via a connector A, illustrate an exemplary method 200 according to an embodiment of the invention, which can be carried out in particular by means of the device 150 from FIG.
  • the method begins, as illustrated in FIG. 2A, with a step 202 in which 3D image data representing an image of a person P to be measured with regard to his body weight by means of a number N of 3D pixels (voxels) Vi from a corresponding Image sensor or received from a memory in which such image data are temporarily stored. If the device for carrying out the method itself has one or more such image sensors, it can also generate the 3D image data itself.
  • An example of such an image is shown schematically in FIG. 6B, but as a 2D image, i. H. without the additional depth information present in a 3D image.
  • the 3D image data can be pre-processed, in particular filtered, to improve the image quality.
  • filtering can in particular be used to reduce or remove image noise or image components that are not required for further processing, such as e.g. B, image backgrounds or other irrelevant image components or artifacts.
  • a running index i can also be set in step 206 .
  • Step 208 now follows, in which the preprocessed image data is subjected to a classification method in which each pixel Vi is classified with respect to a predetermined body region classification 400, in which different body regions each form a class, ie is assigned to one of these classes.
  • An exemplary classification is illustrated in FIG. 4, which is dealt with below.
  • an associated confidence value Ci is also determined for each of the associations of a respective pixel Vi to an associated class, which represents a measure of how statistically reliable the respective association is.
  • This confidence value of a respective pixel can depend in particular on the confidence that was ascertained when determining the position of this pixel in the three-dimensional image.
  • TOF cameras typically supply such confidence values in addition to the actual image data, in particular for a respective depth image.
  • a confidence threshold CT Only if a confidence value Ci is above this confidence threshold CT is the associated pixel Vi selected in a step 212 for use in the further method, but otherwise discarded (step 216).
  • a further index j is initialized for a number of M classes relevant below.
  • a differentiation into relevant and non-relevant classes makes sense in particular when the classification method according to step 208 is carried out using a classification that makes more classes available than are specifically required for determining an estimated value for the weight. This can occur above all when the classes that are not required in this respect are required in the context of another application that uses the same classification.
  • Step 220 may also coincide with step 206.
  • a reference point Rj is calculated according to a corresponding specification and exclusively on the basis of the pixels previously selected in step 212 assigned to this class j.
  • the specification can specify in particular that the reference point is to be calculated as the center of gravity, in particular volume center or geometric center of gravity, of the set of pixels or pixel positions assigned to class j in the image.
  • the specification can also stipulate in particular that a specific image point is on the contour of the volume area defined by this set of image points (point cloud). (Area in the case of a 2-D image) is to be selected as the reference point RJ.
  • this can be a pixel on the contour which, with regard to at least one of its image coordinates with regard to a coordinate system applied to the image, which does not necessarily have to correspond to the image grid with which the image was recorded, has an extreme value among all the pixels lying on the contour.
  • Various reference points are drawn in FIG. 5, which is dealt with in detail below, with the uppermost shoulder points 502R and 502L and the lower torso points 508R and 508L in particular being defined in this way by forming extreme values.
  • a confidence Dj for the calculated position of Rj is also calculated, which can be done in particular on the basis of an averaging or minimum value formation of the confidences Ci of the selected pixels Vi used to calculate this position.
  • the method can also be configured in such a way that if the confidence value Dj of an absolutely necessary reference point does not meet the second confidence criterion, the method is aborted and run through again at a later point in time on the basis of new image data. In particular, this can also be the case when no pixels or reference points with their respective confidence values meet the first or second confidence criterion.
  • a correction step 236 follows, in which the determined positions of the selected reference points are corrected depending on the average or minimum image distance to the person P that occurred during the image sensory capture of the image and the selected perspective of the person P corresponding distance or perspective-related corrections are calculated and applied to the reference points Rj. so can distance or perspective-dependent influences on the position determination are compensated.
  • corresponding distances between the associated reference point positions are determined on the basis of the corrected reference point positions for predetermined pairs of reference points. In particular, this can be done by calculating one or more distances that individually or cumulatively represent a measure of the seat height or the shoulder width of the person. FIG. 5, discussed below, illustrates an example for the determination of these two dimensions from different distances.
  • these distances are used in a step 240 as input variables for a regression analysis or another comparison with data from a database, the data of which shows a relation between different values for the certain dimensions (in the present example specifically seat height or shoulder width) on the one hand and various corresponding body weight values on the other hand.
  • a database the data of which shows a relation between different values for the certain dimensions (in the present example specifically seat height or shoulder width) on the one hand and various corresponding body weight values on the other hand.
  • anthropometric databases exist in large numbers, in particular for the respective populations of different countries or regions. For example, the Federal Institute for Occupational Safety and Health for Germany provides such a database, especially on the Internet.
  • a corresponding, in particular provisional, value for the estimated body weight G of the person can be determined for each of these variables.
  • These various provisional values can then be combined to form an overall estimated value for the body weight G, in particular by averaging.
  • the determined overall estimated value G can be output, in particular at a human-machine interface, or, as illustrated in the present example, to a vehicle component of vehicle 100 in order to control this component using the output value.
  • the vehicle component can in particular be an adjustable exterior mirror, an airbag that can be configured or deactivated in different ways, or an adjustable passenger seat. In this way it is possible to control such controls, which in the past could not take place at all or using dedicated sensors provided for this purpose, in particular scales, on the basis of image data which in many cases are already recorded for other applications, so that a dual-use or multi-use use is made possible with at least a proportionate saving of application-specific effort or components.
  • FIG. 3 schematically shows an overview of various exemplary anthropometric measures that can basically be used as distances for measuring the body of the person P as part of the body weight estimation according to the method.
  • 3 (a) illustrates a seat height 310, FIG. 3 (b) an eye height 320, FIG. 3 (c) a shoulder height 330, FIG. 3 (d) a forearm length 340, FIG. 3 (e) an upper arm length 350, Fig. 3 (f) a shoulder width 360, and Fig. 3 (g) a torso width 370.
  • An exemplary classification 400 is illustrated schematically in FIG. 4 , in which different body regions of a person P each represent a class 401 to 411R.
  • the letter “R” stands for "right” and the letter “L” for "left”.
  • Computer-aided methods for automatically classifying individual pixels of an image of a person represented by corresponding image data into such body region classifications are known and are described, for example, in the article by Jamie Shotto et al. described.
  • each is defined as a class (with mutually corresponding right and left body regions each individually forming a class: the head 401, the neck 402, the shoulders 403, the upper arms 404, the forearms 405, the Hands 406, the upper torso areas 407, the lower torso areas 408, the thighs 409, the lower legs 410 and the feet 41 1.
  • the distances used within the framework of the method 200 are determined as distances between specific reference points Rj.
  • a specific example of this is illustrated in FIG. 5 , in which the seat height 310 and the shoulder distance 360 are to be determined as distances.
  • reference points Rj (i) a vertex 501 of the head, (ii) the uppermost points 502R/L of the left and right shoulders 403R/L in terms of height and the geometric averaging determined therefrom shoulder center of gravity 503, (iii) the respective centers of gravity 504R/L of the upper right and left torso areas 407R/L and the upper torso center of gravity 505 determined therefrom by geometric averaging, (iv) the respective centers of gravity 506R/L of the upper right and left torso areas 408R/L and the upper torso center of gravity 507 determined by geometric averaging therefrom, and (v) the respective lowermost points 508R/L of the lower right and left torso regions 408R/L and the lap point 509 determined by geometric averaging therefrom.
  • the shoulder width 360 can now be determined in a simple manner by calculating the distance between the two reference points 502R and 502L.
  • the calculation of the seat height is cumulative here, i. H. by individually determining several distances and summing them up.
  • a first of these distances is the distance 510 between the top of the head 501 and the shoulder center of gravity 503.
  • a second of these distances is the distance 520 between the shoulder center of gravity 503 and the upper torso center of gravity 505.
  • a third of these distances is the distance 530 between the upper torso center of gravity 505 and the lower torso center of gravity 507.
  • a fourth and last of these distances is the distance 540 between the lower torso center of gravity 505 and the lap point 509.
  • the desired seat height results from the sum of these four distances.
  • This division of the seat height determination on the basis of several individual distances has the advantage that it provides more accurate and more reliable results than a seat height determination based on a direct determination of the distance between the reference points 501 and 509 by means of subtraction.
  • the image data does not completely represent or map the body regions of the person P that are relevant for determining the distances. This can occur in particular when the person assumes a body position that deviates from a normal body position or pose to which the image acquisition is adjusted (e.g. straight, upright sitting posture).
  • FIG. 6A shows a scenario 600 in which, with regard to the determination of the shoulder width 360, both the reference point 502R for the right shoulder 403R and the reference point 502L for the left shoulder 403L are represented by the image data.
  • the shoulder center of gravity 503 can be determined by geometrically averaging the positions of these two reference points, so that the respective distances between these Reference points from the shoulder center of gravity 503 are the same size and each have the distance value d.
  • the center of gravity of the shoulder 503 is therefore at least a good approximation on the body axis of the person P.
  • Fig. 6B shows a scenario 650 in which, with regard to the determination of the shoulder width 360, only the reference point 502L for the left shoulder 403L is represented by the image data, while the mirror-inverted area of the right shoulder 403R is outside the through the image data covered image area came to rest.
  • the position of the right shoulder reference point 502R per extrapolation are calculated.
  • the position of the shoulder center of gravity 503 is estimated on the basis of a position of the body axis which is also estimated on the basis of the image data and taking into account the image perspective.
  • the position of the right shoulder reference point 502R along the connecting line through the points 502L and 503 is then estimated by adding twice the connecting vector between the points 502L and 503 to the position of the point 502L on this line.
  • the sought-after shoulder width 360 is thus obtained, expressed more simply, in that the distance value d is calculated using the determined positions of the points 502L and 503 and this is doubled.
  • a plausibility check can also be carried out in which the position of the shoulder center of gravity 503 or the right shoulder reference point 502R is checked using a further reference point. For this purpose, in particular, a distance from this reference point can be determined and compared with an associated reference distance for the purpose of a check. Distance ratios can also serve as a basis for a plausibility check in a similar way, in addition to or instead of pure distance values.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren zum automatischen Schätzen eines Körpergewichts einer Person umfasst: Erzeugen oder Empfangen von Bilddaten, die eine bildsensorisch erfasstes Abbild zumindest eines Teilbereichs des Körpers einer Person mittels Bildpunkten repräsentieren; Klassifizieren zumindest einer Untermenge der Bildpunkte anhand einer Klassifikation, bei der verschiedene Klassen jeweils zu einem anderen Körperbereich korrespondieren, wobei die zu klassifizierenden Bildpunkte jeweils einem bestimmten Körperbereich der Person zugeordnet und jeweils Konfidenzwerte für diese Klassenzuordnungen bestimmt werden; für jede von zumindest zwei der mit zugeordneten Bildpunkten besetzten Klassen, Berechnen einer Position von zumindest einem gemäß einer Vorgabe bestimmten Referenzpunkt für den zu dieser Klasse korrespondierenden Körperbereich auf Basis der dieser Klasse zugeordneten Bildpunkte; Bestimmen eines jeweiligen Abstands zwischen zumindest zwei der ausgewählten Referenzpunkte; Bestimmen zumindest eines Schätzwerts für das Körpergewicht der Person anhand einer vorbestimmten Relation, die einen Zusammenhang zwischen verschiedenen mögliche Abstandswerten und diesen jeweils zugeordneten Körpergewichtswerten definiert; und Ausgeben des zumindest einen Schätzwerts für das Körpergewicht der Person. Dabei wird eine ausschließliche Auswahl derjenigen Bildpunkte, die zur Bestimmung der Referenzpunkte herangezogen werden, auf Basis der jeweiligen Konfidenzwerte ihrer Klassenzuordnungen unter Anwendung eines Konfidenzkriteriums getroffen.

Description

VERFAHREN UND VORRICHTUNG ZUM AUTOMATISCHEN SCHÄTZEN EINES KÖRPERGEWICHTS EINER PERSON
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum automatischen Schätzen eines Körpergewichts eine Person, sowie ein mit einer solchen Vorrichtung ausgerüstetes Fahrzeug, insbesondere Landfahrzeug.
Wenn es darum geht, das Körpergewicht einer Person zu bestimmen, werden seit jeher Waagen verschiedenster Bauart eingesetzt, die darauf beruhen, das Körpergewicht auf Basis einer von dem Körper der Person auf die Waage ausgeübten Gewichtskraft zu bestimmen.
Neben diesen klassischen Methoden zur Körpergewichtsbestimmung sind inzwischen auch neuere Methoden bekannt, bei denen auf Basis einer von der Person gemachten bildsensorischen Aufnahme eine Abschätzung des Körpergewichts erfolgt. In einer besonders einfachen Ausführungsform wird dazu beispielsweise die Körpergröße der Person aus dem bildsensorisch gewonnenen Bild abgeschätzt und mittels der Vergleichstabelle, welche die Körpergröße ins Verhältnis zu einem dafür typischen Körpergewicht setzt, ein Schätzwert für das Körpergewicht der Person bestimmt.
Ein Verfahren zur Erkennung von Posen und zur automatischen, softwaregestützten Klassifizierung verschiedener Körperbereiche einer Person auf Basis eines 3D-Bilds der Person ist in dem Artikel Jamie Shotto et al., „Real-Time Human Pose Recognition in Parts from Single Depth Images“; Microsoft Research Cambridge & Xbox Incubation, Feb. 2016 beschrieben der im Internet unter https ://www. microsoft, com/ en-us/research/wp-content/uploads/2016/02/ BodyPartRecocinition.pdf verfügbar ist.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die erreichbare Zuverlässigkeit und/oder Genauigkeit einer Körpergewichtsbestimmung für eine Person auf Basis zumindest einer bildsensorisch erfassten Abbildung der Person weiter zu verbessern.
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erster Aspekt der Erfindung betrifft ein, insbesondere computerimplementiertes, Verfahren zum automatischen Schätzen eines Körpergewichts einer Person. Das Verfahren weist die folgenden Verfahrensschritte auf: (i) Erzeugen oder Empfangen von Bilddaten, die eine bildsensorisch erfasstes Abbild zumindest eines Teilbereichs des Körpers einer Person mittels Bildpunkten repräsentieren; (ii) Klassifizieren zumindest einer Untermenge der Bildpunkte anhand einer Klassifikation, bei der verschiedene Klassen jeweils zu einem anderen Körperbereich, insbesondere Körperteil, korrespondieren, wobei die zu klassifizierenden Bildpunkte jeweils einem bestimmten Körperbereich der Person zugeordnet und jeweils Konfidenzwerte für diese Klassenzuordnungen bestimmt werden; (iii) für jede von zumindest zwei der mit zugeordneten Bildpunkten besetzten Klassen, Berechnen einer Position von zumindest einem gemäß einer Vorgabe bestimmten Referenzpunkt, der insbesondere ein bestimmter Bildpunkt sein kann, für den zu dieser Klasse korrespondierenden Körperbereich auf Basis der dieser Klasse zugeordneten Bildpunkte; (iv) Bestimmen eines jeweiligen Abstands zwischen zumindest zwei der ausgewählten Referenzpunkte; (v) Bestimmen zumindest eines Schätzwerts für das Körpergewicht der Person anhand einer vorbestimmten Relation, insbesondere mathematischen Funktion, die einen Zusammenhang zwischen verschiedenen mögliche Abstandswerten und diesen jeweils zugeordneten Körpergewichtswerten definiert; und (vi) Ausgeben des zumindest einen Schätzwerts für das Körpergewicht der Person und optional des bzw. der bestimmten Abstände oder Positionen der Referenzpunkte. Bei dem Verfahren wird zudem eine ausschließliche Auswahl derjenigen Bildpunkte, die zur Bestimmung der Referenzpunkte herangezogen werden, auf Basis der jeweiligen Konfidenzwerte ihrer Klassenzuordnungen unter Anwendung eines ersten Konfidenzkriteriums getroffen.
„Ausschließliche Auswahl“ bedeutet hier, dass die aufgrund ihres jeweiligen Konfidenzwerts anhand des Konfidenzkriteriums nicht ausgewählten Bildpunkte nicht für die Bestimmung der Referenzpunkte herangezogen werden. Dasselbe gilt entsprechend für die im weiteren behandelten „ausschließlichen“ Auswahlen in Bezug auf die dort zur Auswahl stehenden bzw. zu bestimmenden Größen.
Die Relation zur Bestimmung des Schätzwerts aus dem bzw. den relevanten Abständen kann insbesondere in Form einer Referenztabelle oder einer Datenbank oder einer Berechnungsformel, insbesondere einer mathematischen Funktion, gegeben sein.
Die Verwendung von Konfidenzwerten im Rahmen des vorgenannten Verfahrens und der darauf beruhenden ausschließlichen Auswahl bestimmter, insbesondere mit hoher Konfidenz behafteter Bildpunkte kann zur Verbesserung der Zuverlässigkeit (insbesondere im Sinne einer Reliabilität oder Robustheit des Verfahrens) und Genauigkeit des letztlich bestimmten und ausgegebenen zumindest einen Schätzwerts für das Körpergewicht der Person genutzt werden. Falls mehr als ein Schätzwert für das Körpergewicht bestimmt und ausgegeben wird, kann dies insbesondere so erfolgen, das diese bestimmten Schätzwerte zusammen einen Schätzwertbereich definieren. Beispielsweise könnte die Schätzung auf diese Weise als Ergebnis liefern, dass das geschätzte Körpergewicht im Bereich von 70 kg bis 71 kg liegt, wobei in diesem Beispiel der Wert 70 kg einen ersten Schätzwert (unterer Grenzwert) und der Wert 71 kg einen zweiten Schätzwert (oberer Grenzwert) darstellt. Es ist auch denkbar noch weitere Schätzwerte, insbesondere einen Mittelwert (z.B. hier 70,5 kg), als weiteren Schätzwert zu ermitteln und auszugeben.
Die Ausgabe kann insbesondere in einem Daten- oder Signalformat erfolgen, das zur weiteren maschinellen Verarbeitung oder Nutzung oder auf einer Mensch-Maschine- Schnittstelle geeignet ist.
Die hierin gegebenenfalls verwendeten Begriffe "umfasst", "beinhaltet", "schließt ein", "weist auf", "hat", "mit", oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.
Ferner bezieht sich "oder", sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).
Die Begriffe "ein" oder "eine", wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe "ein anderer" und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.
Der Begriff "Mehrzahl", wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.
Nachfolgend werden einige bevorzugte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können. Bei einigen Ausführungsformen werden auf Basis der Konfidenzwerte der jeweiligen Bildpunktzuordnungen der zur Berechnung der Positionen der Referenzpunkte herangezogenen Bildpunkte jeweilige Konfidenzwerte für diese Positionen ermittelt und eine ausschließliche Auswahl derjenigen dieser Positionen, die zur Bestimmung der Abstände herangezogen werden, auf Basis der jeweiligen Konfidenzwerte dieser Positionen unter Anwendung eines zweiten Konfidenzkriteriums getroffen.
Des Weiteren können darüber hinaus bei einigen dieser Ausführungsformen auf Basis der Konfidenzwerte der jeweiligen Positionen der zur Berechnung der Abstände herangezogenen Referenzpunkte jeweilige Konfidenzwerte für diese Abstände ermittelt und eine ausschließliche Auswahl derjenigen dieser Abstände, die zur Bestimmung des zumindest einen Schätzwerts für das Körpergewicht herangezogen werden, auf Basis der jeweiligen Konfidenzwerte dieser Abstände unter Anwendung eines dritten Konfidenzkriteriums getroffen werden.
Die vorgenannten Ausführungsformen können jeweils insbesondere dazu eingesetzt werden, die Zuverlässigkeit und Genauigkeit der mit dem Verfahren durchführbaren Körpergewichtsschätzung zu erhöhen.
Das erste, das zweite und das dritte Konfidenzkriterium können insbesondere paarweise oder insgesamt gleich sein (Vorteil einfacher Implementierung) oder aber unterschiedlich gewählt werden (Vorteil individueller Einsteilbarkeit und Optimierung der einzelnen Schritte). Beispielsweise können ein oder mehrere der Konfidenzkriterien mittels einer jeweiligen Konfidenzschwelle definiert sein, die einen jeweiligen Mindestkonfidenzwert festlegt, der für das Heranziehen der zugehörigen Größe (Bildpunkt, Referenzpunktposition, Abstand oder Schätzwert für das Körpergewicht) im Rahmen der darauf anwendbaren ausschließlichen Auswahl für die Durchführung des jeweils folgenden Verfahrensschritts erforderlich ist.
Bei einigen Ausführungsformen erfolgt die Ermittlung eines jeweiligen Konfidenzwerts
(i) für die Position zumindest eines der Referenzpunkte aus den als Eingangsgrößen hierzu dienenden Konfidenzwerten für die Klassenzuordnungen der zur Bestimmung dieser Position herangezogenen Bildpunkte,
(ii) für zumindest einen der Abstände aus den als Eingangsgrößen hierzu dienenden Konfidenzwerten für die zur Bestimmung dieses Abstands herangezogenen Positionen von Referenzpunkten, und/oder (iii) für zumindest einen der Schätzwerte für das Körpergewicht aus den als Eingangsgrößen hierzu dienenden Konfidenzwerten für die zur Bestimmung dieses Schätzwerts herangezogenen Abständen von Referenzpunkten auf Basis einer Ermittlung eines mathematischen Mittelwerts oder Extremwerts, insbesondere Minimalwerts, der jeweiligen hierzu als Eingangsgrößen eingesetzten Konfidenzwerte. So lassen sich auf einfache Weise aussagekräftige und in ihrer Konfidenzaussage durchgängig konsistente Ketten von Konfidenzwerten aus den einzelnen Konfidenzwerten aus den jeweiligen Verfahrensschritten bestimmen, die insgesamt brauchbare Konfidenzaussagen für den letztendlich bestimmten zumindest einen Schätzwert für das Körpergewicht liefern.
Bei einigen Ausführungsformen wird die Position von zumindest einem weiteren Referenzpunkt, der zur Bestimmung eines Abstands herangezogen wird und der nicht durch die Bilddaten repräsentiert wird, durch Extrapolation oder Interpolation auf Basis von durch die Bilddaten repräsentierten oder daraus abgeleiteten anderen Referenzpunkten geschätzt. Auf diese Weise ist es möglich, auch in solchen Fällen, in denen die Bilddaten einen für die Bestimmung des Schätzwert für das Körpergewicht der Person relevanten Körperbereich oder zumindest einen für diese Bestimmung des Schätzwerts relevanten Referenzpunkt davon nicht repräsentieren, etwa weil der Referenzpunkt außerhalb des erfassten Bildbereichs liegt oder im Bild selbst verdeckt ist, trotzdem den Schätzwert für das Körpergewicht der Person zu bestimmen. Ein solcher Fall kann insbesondere dann auftreten, wenn die Person während der bildsensorischen Erfassung der Bilddaten eine für die Zwecke des Verfahrens unvorteilhafte Körperstellung einnimmt und dabei zumindest einer der zur verfahrensgemäßen Bestimmung des Schätzwerts benötigten Körperbereiche der Person außerhalb des von dem erfassten Abbild abgedeckten Raumbereich zu liegen kommt. Konkret im Anwendungsfall einer Körpergewichtsbestimmung für einen Fahrer oder Passagier eines Fahrzeugs kann dies der Fall sein, wenn sich der Fahrer bzw. Passagier in seinem Sitz nach vorne oder zur Seite beugt somit seine Körperhaltung von einer der Bilderfassung zugrunde liegenden normalen aufrechtsitzenden Körperhaltung deutlich abweicht.
Bei einigen dieser Ausführungsformen erfolgt die Extrapolation bzw. Interpolation auf Basis von zumindest zwei innerhalb des Abbilds gelegenen der bestimmten Referenzpunkte unter Ausnutzung einer auf diese Referenzpunkte sowie den (per Extrapolation bzw. Interpolation) zu bestimmenden weiteren Referenzpunkt bezogenen Körpersymmetrie. Beispielsweise kann ein weiterer (dritter) Referenzpunkt, der zu einer Position auf einer der beiden Schultern der Person korrespondiert mittels Extrapolation bzw. Interpolation unter Ausnutzung der bekannten Symmetrieeigenschaft, dass zueinander korrespondierende Punkte (z.B. deren äußere Endpunkte) der beiden Schultern einer Person typischerweise einen etwa gleich großen Abstand zur zentral verlaufenden Körperachse aufweisen, auf Basis einer Kenntnis der Positionen des korrespondierenden ersten Referenzpunkts auf der anderen Schulter und eines auf der Körperachse gelegenen zweiten Referenzpunkt bestimmt werden. Auf diese Weise lässt sich auf Basis der Symmetrieausnutzung eine besonders zuverlässige Bestimmung der jeweiligen Position weiterer Referenzpunkte durchführen.
Bei einigen der vorgenannten Ausführungsformen weist das Verfahren des Weiteren ein Überprüfen der Plausibilität der Position des durch die Extrapolation bzw. Interpolation bestimmten weiteren Referenzpunkts anhand eines Plausibilitätskriteriums auf. Dabei bezieht sich Plausibilitätskriterium auf einen jeweiligen Abstand zwischen diesem weiteren Referenzpunkt und zumindest einen nicht an der Extrapolation bzw. Interpolation Beteiligten der berechneten Referenzpunkte. Beispielsweise kann dazu ein Abstand zwischen dem mittels Extrapolation bzw. Interpolation bestimmten weiteren Referenzpunkt und einem anderen in dem Abbild enthaltenen Referenzpunkt berechnet und mit einem zugehörigen Wert oder Wertebereich, der zu plausiblen Werten für einen solchen Abstand korrespondiert, verglichen werden, um die Plausibilität die Position des weiteren Referenzpunkts zu prüfen. Insbesondere kann dann auf Basis dieses Prüfergebnisses entschieden werden, ob der Referenzpunkt für das weitere Verfahren herangezogen, er auf alternative Weise neu bestimmt oder er zugunsten eines anderen verfügbaren Referenzpunkts verworfen wird. So lässt sich die Zuverlässigkeit und/oder Genauigkeit des Verfahrens weiter steigern und insbesondere eine ausreichende Zuverlässigkeit und Genauigkeit in vielen Fällen auch dann erreichen, wenn die Person eine für das Verfahren während der Bilderfassung eine unvorteilhafte Körperstellung eingenommen hat.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren ein Korrigieren der berechneten Positionen der Referenzpunkte mittels Anpassung der berechneten Positionen in Abhängigkeit eines Abstands oder einer Perspektive, von dem bzw. der aus die bildsensorische Erfassung des Abbilds stattfand, auf. Dabei werden die Abstände auf Basis der so korrigierten Positionen der Referenzpunkte bestimmt. So können abstandsabhängige und/oder perspektivenabhängige Einflüsse auf das erfasste Abbild zumindest teilweise kompensiert werden, insbesondere im Sinne einer Normierung auf eine vordefinierte Standardansicht mit vordefiniertem Abstand und vordefinierter Perspektive, sodass die weitere Bestimmung des Schätzwertes für das Körpergewicht der Person in geringerer Abhängigkeit, idealerweise unabhängig, von dem Abstand bzw. der Perspektive bei der Bilderfassung erfolgen kann. Auf diese Weise lässt sich die Zuverlässigkeit und/oder Genauigkeit des Verfahrens weiter steigern.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren ein Vorverarbeiten der Bilddaten im Rahmen einer dem Klassifizieren vorgelagerten Bildverarbeitung zur Verbesserung der Bildqualität auf. Diese Bildverarbeitung kann insbesondere eine Rauschunterdrückung (bzgl. Bildrauschen), ein Entfernen des Bildhintergrunds oder von Anteilen davon oder ein Entfernen von anderen, für die weiteren Verfahrensschritte unerheblichen, Bildbestandteilen umfassen. So können die weiteren Verfahrensschritte auf Basis von im Rahmen der Bildverarbeitung optimierten Bilddaten erfolgen, und Einflüsse von störenden oder irrelevanten Bildinhalten reduziert oder gar beseitigt werden, was wiederum zu einer Steigerung der erreichbaren Zuverlässigkeit und/oder Genauigkeit des Verfahrens genutzt werden kann.
Bei einigen Ausführungsformen wird zumindest einer der ausgewählten Referenzpunkte für eine bestimmte Klasse als oder in Abhängigkeit von der Position eines berechneten Schwerpunkts der dem zu der Klasse korrespondierenden Körperbereich zugeordneten Bildpunkte bestimmt. Der Schwerpunkt kann dabei insbesondere als geometrischer Schwerpunkt definiert sein. Die berechnete Position des Schwerpunkts kann insbesondere, ohne dass dies jedoch zwingend erforderlich wäre, der Position eines durch die Bilddaten repräsentierten Bildpunkts entsprechen. Wenn der Referenzpunkt in Abhängigkeit von der Position eines berechneten Schwerpunkts bestimmt wird, kann dies insbesondere anhand einer Mittelung der Positionen von mehreren anderen Referenzpunkten, die ihrerseits insbesondere jeweils Schwerpunkte eines zugehörigen Körperbereichs im durch die Bilddaten repräsentierten Abbild sein können, erfolgen. Beispielsweise kann ein Referenzpunkt, dem Abbild einem Punkt auf der Körperachse der Person entsprechen soll, durch Mittelung der Positionen zweier Schwerpunkte berechnet werden, die sich auf jeweils sondern der korrespondierende Körperbereiche auf der linken bzw. der rechten Körperhälfte beziehen (zum Beispiel Schwerpunkte des linken Torsobereichs und des rechten Torsobereichs der Person). Ein Vorteil der Verwendung von Schwerpunkten von definierten Bildbereichen liegt darin, dass diese mit bekannten Verfahren auf effiziente Weise und mit hoher Genauigkeit berechenbar sind, was sich wiederum auf die Effizienz des Verfahrens und seine Genauigkeit und Zuverlässigkeit positiv auswirken können.
Bei einigen Ausführungsformen wird zumindest einer der ausgewählten Referenzpunkte für eine bestimmte Klasse als oder in Abhängigkeit von Position eines Bildpunkts auf einer Kontur des durch die zugeordneten Bildpunkte repräsentierten zu der Klasse korrespondierenden Körperbereichs bestimmt. Der Bildpunkt auf der Kontur kann insbesondere einem Extrempunkt der Kontur entsprechen. Beispielsweise kann es sich bei dem Bildpunkt, jeweils im Abbild der Person, um den Scheitelpunkt des Kopfes oder die äußeren Enden der Schultern oder um das untere (d.h. beinnahe) Ende des Torsos der Person handeln. Auf diese Weise lässt sich das Spektrum der verfügbaren Referenzpunkte erweitern und insbesondere auch mit den vorgenannten Schwerpunkten kombinieren, um so für einen breiteren Bereich möglicher Körperstellungen (Posen) der Person jeweils im Hinblick auf die Zuverlässigkeit und Genauigkeit des Verfahrens optimierte Referenzpunkte zur Auswahl zur Verfügung zu haben.
Bei einigen Ausführungsformen wird der zumindest eine ausgewählte Referenzpunkt als Punkt festgelegt, der in dem durch die Bilddaten repräsentierten Abbild der Person einem der folgenden Punkte am Körper der Person entspricht: (i) ein Scheitelpunkt des Kopfes; (ii) ein jeweils auf einer Schulter am höchsten oder von der Körperachse der Person am entferntesten liegenden Punkt; (iii) ein dem Beinansatz am nächsten liegender Punkt des Körpertorsos; (iv) ein auf Basis der bezüglich der Körperachse links und rechts liegenden dem Beinansatz auf der jeweiligen Seite am nächsten liegenden Punkte des Körpertorsos bestimmter Schosspunkt; (v) ein auf Basis der bezüglich der Körperachse links oder rechts liegender Schwerpunkt des auf der entsprechenden Körperhälfte liegenden Bereichs des Körpertorsos oder ein auf Basis mehrere solcher Schwerpunkte Ermittelter Bezugspunkt auf dem Körpertorso; (vi) ein Punkt an der Stelle eines Auges oder auf einer die Augen verbindenden Gerade. All diesen Referenzpunkten ist gemein, dass sie als markante Punkte innerhalb eines bildsensorischen Abbilds typischerweise mit hoher Zuverlässigkeit erkannt und ihre Positionen entsprechend genau bestimmt werden können.
Bei einigen dieser Ausführungsformen wird als ein zur Bestimmung des Schätzwerts herangezogener Abstand eine Sitzhöhe der Person bestimmt. Dafür werden jeweils die folgenden einzelnen Abstände zwischen je zwei zugehörigen Referenzpunkten berechnet und diese berechneten Abstände zur Bestimmung eines Werts für die Sitzhöhe addiert: (i) Abstand zwischen einem dem Beinansatz am nächsten liegenden Punkt oder dem Schosspunkt und einem, insbesondere geometrischen, Schwerpunkt des unterhalb des untersten Rippenbogens der Person gelegenen unteren Körpertorsos; (ii) Abstand zwischen dem Schwerpunkt des unteren Körpertorsos und einem Schwerpunkt des oberhalb des untersten Rippenbogens der Person gelegenen oberen Körpertorsos; (iii) Abstand des zwischen dem Schwerpunkt des oberen Körpertorsos und einem Punkt auf der Verbindunggerade zwischen den beiden auf den beiden Schultern jeweils am höchsten oder von der Körperachse der Person am entferntesten liegenden Punkte; (iv) Abstand von dem Punkt auf der Verbindunggerade zwischen den beiden Schultern und dem Kopfscheitelpunkt. Ein Vorteil dieser Ausführungsformen besteht darin, dass eine zuverlässige und relativ genaue Bestimmung der Sitzhöhe der Person auch dann möglich ist, wenn sich die Person während der Bilderfassung in einer von einer geraden aufrechten Sitzhaltung abweichenden Körperstellung, insbesondere in einer gebeugten Körperstellung befunden hat. Somit können auch diese Ausführungsformen dazu genutzt werden, die erreichbare Genauigkeit und Zuverlässigkeit des Verfahrens insgesamt weiter zu steigern.
Bei einigen Ausführungsformen werden als zwei der zur Bestimmung des Schätzwerts herangezogenen Abstände eine Sitzhöhe der Person und eine Schulterbreite der Person herangezogen. Diese Ausführungsformen sind insbesondere bei Anwendungsfällen vorteilhaft einsetzbar, bei denen zu erwarten ist, dass die Person während der Bilderfassung sitzt, wie dies etwa bei einem Fahrer oder Passagier in einem Fahrzeug, insbesondere in einem Kraftwagen, typischerweise der Fall ist. Unter anderem ist es möglich, dass genau zwei der Abstände, insbesondere ausschließlich die Sitzhöhe und die Schulterbreite der Person, als Abstände zur Bestimmung des Schätzwerts für das Gewicht der Person herangezogen werden. Es hat sich herausgestellt, dass gerade die Heranziehung dieser beiden speziellen Abstände im Rahmen des Verfahrens regelmäßig, d.h. für viele verschiedene Körperstellungen der Person, zu einer besonders zuverlässigen und genauen Schätzung des Gewichts der Person führen.
Bei einigen Ausführungsformen wird auf Basis verschiedener der bestimmten Abstände eine Mehrzahl von vorläufigen Werten für das Körpergewicht bestimmt und der zumindest eine Schätzwert für das Körpergewicht wird durch mathematische Mittelung der vorläufigen Werte berechnet. Die mathematische Mittelung kann dabei insbesondere eine arithmetische, eine geometrische oder eine quadratische Mittelung, jeweils mit oder ohne Gewichtung, oder eine Medianbildung sein bzw. eine jeweilige solche umfassen (Dasselbe gilt auch jeweils im Weiteren, wenn von einer Mittelung oder Mittelwertbildung die Rede ist), die Verwendung einer solchen mathematischen Mittelung auf Basis einer Mehrzahl von vorläufig geschätzten Werten für das Körpergewicht der Person kann dazu genutzt werden, die mathematische Robustheit des Verfahrens zur Gewichtsschätzung und somit wiederum dessen Zuverlässigkeit und Genauigkeit zu erhöhen. Im Rahmen einer optionalen Gewichtung kann insbesondere der relative Einfluss verschiedener Eingangsgrößen der jeweiligen Mittelung auf das Ergebnis der Mittelung gezielt eingestellt und optimiert werden. So kann beispielsweise bei der Mittelung zur Bestimmung eines Schätzwerts für das Körpergewicht ein auf Basis einer ermittelten Sitzhöhe bestimmter vorläufiger Wert für das Körpergewicht höher oder niedriger gewichtet werden als ein auf Basis einer ermittelten Schulterbreite bestimmter vorläufiger Wert für das Körpergewicht.
Bei einigen Ausführungsformen werden die zur Bestimmung des Schätzwerts für das Körpergewicht herangezogenen Referenzdaten aus mehreren verfügbaren Sätzen von Referenzdaten in Abhängigkeit von einer oder mehreren zuvor erfassten Eigenschaften der Person ausgewählt. Diese Eigenschaften können insbesondere eine Ethnie oder Herkunftsregion, ein Alter oder ein Geschlecht der Person betreffen. Da solche Eigenschaften in vielen Fällen mit den Eigenschaften einer Häufigkeitsverteilung für Körpergewicht deutlich korrelieren, kann auf diese Art und Weise ebenfalls die Zuverlässigkeit und Genauigkeit des Verfahrens weiter erhöht werden. Wenn die Person beispielsweise bereits betagt ist und somit aus einer Alterskohorte mit einem gegenüber heute deutlich früheren Geburtsjahrgang stammt, ist aus heutiger Sicht davon auszugehen, dass die Körpergewichtsverteilung, ähnlich wie die Körpergrößenverteilung für diese Alterskohorte, zu kleineren Werten hin gegenüber den entsprechenden Werten einer deutlich jüngeren Alterskohorte verschoben ist, da in den letzten Jahrzehnten, jedenfalls in den meisten Industrieländern, die Menschen im Schnitt größer und schwerer geworden sind.
Bei einigen Ausführungsformen erfolgt der Abgleich auf Basis des zumindest einen bestimmten Abstands mit den Referenzdaten unter Anwendung eines Regressionsverfahrens, wobei sich insbesondere um ein quadratisches oder exponentielles Regressionsverfahren handeln kann, da sich Letztere als für diesen Abgleich besonders geeignete Verfahren herausgestellt haben. Grundsätzlich können auch lineare Regressionsverfahren zur Anwendung kommen, wenngleich die vorgenannten quadratischen und exponentiellen Regressionsverfahrens für den genannten Abgleich oftmals noch geeigneter sind.
Bei einigen Ausführungsformen repräsentieren die Bilddaten die bildsensorische Aufnahme in drei räumlichen Dimensionen. Dies kann insbesondere dadurch erreicht werden, dass die Bilddaten eingesetzt werden, die von einem 3D-Bildsensor (3D- Kamera) aufgenommen wurden. Der 3D-Bildsensor kann insbesondere eine sogenannte Time-of-Flight (TOF) -Kamera sein. Die Verwendung solcher dreidimensionaler Bilddaten hat gegenüber der Verwendung von 2D-Bilddaten insbesondere als Vorteil, dass die Positionen der Referenzpunkte sowie deren Abstände unmittelbar auf Basis der Bilddaten im dreidimensionalen Raum bestimmt werden können und keine Genauigkeitseinbußen aufgrund der Verwendung von nur zweidimensionalen Bilddaten in Kauf genommen oder Aufwand zur Kombination mehrerer aus verschiedenen Perspektiven aufgenommener 2D-Bilder erbracht werden müssen.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren ein Ausgeben eines jeweiligen Werts für zumindest einen der bestimmten Abstände oder für eine jeweilige Position zumindest eines der bestimmten Referenzpunkte auf. So können neben dem zumindest einen Schätzwert für das Körpergewicht auch die genannten anthropometrischen Informationen zur Verfügung gestellt werden, insbesondere auch zur maschinellen bzw. automatischen Weiterverarbeitung.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren Steuern, (insbesondere ein Aktivieren, Deaktivieren, Steuern oder Regeln oder Einstellen) zumindest einer Komponente eines Fahrzeugs oder eines anderen Systems, insbesondere eines medizinischen Systems oder eines Körpervermessungssystems, in Abhängigkeit von dem ausgegebenen Schätzwert für das Körpergewicht der Person auf.
Insbesondere kann gemäß einiger dieser Ausführungsformen im Falle einer Fahrzeuganwendung das Steuern bezüglich einer oder mehreren der folgenden Fahrzeugkomponenten durchgeführt werden: Sitz (insbesondere bezüglich Sitzhöhe, Sitzstellung, Rückenlehneneinstellung, Sitzheizung), Lenkvorrichtung, Sicherheitsgurt, Airbag (insbesondere bezüglich Airbagfüllung/Zieldruck), Innen- oder Außenspiegel, Klimaanlage, Kommunikationsvorrichtung, Infotainmentsystem, Navigationssystem. Die jeweilige Steuerung kann insbesondere voll- oder halbautomatisch erfolgen, so dass der zumindest eine ermittelte Schätzwert für das Körpergewicht allein oder im Zusammenspiel mit einer oder mehreren anderen Größen oder Parametern zur automatischen Steuerung einer oder mehrerer Fahrzeug- bzw. Systemkomponenten eingesetzt wird.
Bei einigen Ausführungsformen kann auf Basis der Anwendung eines oder mehrerer der Konfidenzkriterien insbesondere auch eine jeweilige Leerauswahl getroffen werden. Das Auftreten einer solchen Leerauswahl kann dann insbesondere als Abbruchskriterium für einen Abbruch oder ein Wiederholen oder Pausieren des Verfahrens genutzt werden.
Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zum automatischen Schätzen eines Körpergewichts einer Person, wobei die Vorrichtung konfiguriert ist, das Verfahren nach dem ersten Aspekt der Erfindung auszuführen. Ein dritter Aspekt der Erfindung betrifft ein Fahrzeug, aufweisend eine Vorrichtung nach dem zweiten Aspekt der Erfindung. Das Fahrzeug kann insbesondere eingerichtet sein, das Verfahren nach dem ersten Aspekt in Form einer der vorausgehend unter Bezugnahme auf die Steuerung von Fahrzeugkomponenten in Abhängigkeit von dem zumindest einen ermittelten Schätzwert für das Körpergewicht genannten Ausführungsformen auszuführen.
Ein vierter Aspekt der Erfindung betrifft ein Computerprogramm, das Befehle umfasst, die bei der Ausführung des Programms durch eine Datenverarbeitungseinrichtung diese veranlassen, das Verfahren nach einem der vorausgehenden Ansprüche auszuführen. Die Datenverarbeitungseinrichtung kann insbesondere durch die Vorrichtung nach dem zweiten Aspekt der Erfindung gegeben sein oder einen Teil davon bilden.
Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen.
Die Vorrichtung nach dem zweiten Aspekt bzw. das Fahrzeug nach dem dritten Aspekt kann entsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm abgelegt ist. Alternativ können die Vorrichtung bzw. das Fahrzeug auch eingerichtet sein, über eine Kommunikationsverbindung auf ein extern, beispielsweise auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten verfügbares Computerprogramm zuzugreifen, insbesondere um mit diesem Daten auszutauschen, die während des Ablaufs des Verfahrens bzw. Computerprogramms Verwendung finden oder Ausgaben des Computerprogramms darstellen.
Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung. Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Figuren.
Dabei zeigt
Fig. 1 schematisch ein Fahrzeug gemäß einer Ausführungsform der Erfindung mit einer Vorrichtung zum automatischen Schätzen eines Körpergewichts einer Person, insbesondere eines Fahrers des Fahrzeugs;
Fig. 2A, 2B ein Flussdiagramm zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 3 schematisch eine Übersicht über beispielhafte anthropometrische Maße, insbesondere Abstände, zur Vermessung des Körpers einer Person, die im Rahmen des Verfahrens als Abstände verwendet werden können;
Fig. 4 schematisch eine beispielhafte verfahrensgemäße Klassifizierung von Körperbereichen einer Person als Basis für die Gewichtsschätzung gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 5 schematisch einen bezüglich der Fig. 3 bestimmten Satzes von Referenzpunkten und zugehörigen Abständen dazwischen als Parameter für eine Gewichtsschätzung auf Basis einer aus den Abständen berechneten Sitzhöhe gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens; und
Fig. 6A/6B schematisch eine Illustration zur Bestimmung eines außerhalb des durch die Bilddaten abgedeckten Bildbereichs liegenden Referenzpunkts gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens.
In den Figuren werden durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechenden Elemente der Erfindung verwendet.
In Fig. 1 ist schematisch ein Fahrzeug 100 dargestellt, welches mit einer Vorrichtung 150 zum automatischen Schätzen eines Körpergewichts einer Person P gemäß einer Ausführungsform der Erfindung ausgestattet ist. Die Vorrichtung 150 kann insbesondere eine Datenverarbeitungsvorrichtung (Computer), beispielsweise in einem Steuergerät des Fahrzeugs 100 sein. Sie enthält eine Prozessoreinheit 150a sowie einen Speicher 150b, in dem insbesondere ein Computerprogram abgelegt sein kann, welches zur Ausführung eines erfindungsgemäßen Verfahrens, etwa gemäß der in Fig. 2 illustrierten Ausführungsform, konfiguriert ist.
In dem Fahrzeug 100 befindet sich auf einem Sitz 140 eine Person P, die im gezeigten Beispiel insbesondere ein Fahrer des Fahrzeugs 100 ist. Um die Person P bildsensorisch zu erfassen, sind an einer oder mehreren Stellen 1 10, 120 bzw. 130 im oder am Fahrzeug 100 ein oder mehrere Bildsensoren vorgesehen. Einer oder mehrere dieser Bildsensoren können insbesondere 3D-Kameras sein, insbesondere vom Time- of-Flight (TOF)-Typ, die in der Lage sind, die Person P in drei räumlichen Dimensionen bildsensorisch zu erfassen und entsprechende Bilddaten zu liefern, die insbesondere ein entsprechendes Tiefenbild der Person P repräsentieren.
Die über einen Konnektor A verbundenen Figuren 2A und 2B illustrieren ein beispielhaftes Verfahren 200 gemäß einer Ausführungsform der Erfindung, dass insbesondere mittels der Vorrichtung 150 aus Fig. 1 ausgeführt werden kann. Das Verfahren beginnt, wie in Fig. 2A illustriert, mit einem Schritt 202, in dem 3D-Bilddaten, die ein Abbild eine bezüglich ihres Körpergewichts zu vermessenden Person P mittels einer Anzahl N von 3D-Bildpunkten (Voxeln) Vi repräsentieren, von einem entsprechenden Bildsensor oder aus einem Speicher empfangen werden, in dem solche Bilddaten zwischengespeichert sind. Sofern die Vorrichtung zur Durchführung des Verfahrens selbst über einen oder mehrere solcher Bildsensoren verfügt, kann sie die 3D-Bilddaten auch selbst erzeugen. Ein Beispiel für ein solches Bild ist in Figur 6B schematisch dargestellt, allerdings als 2D-Bild, d. h. ohne die zusätzlich in einem 3D Bild vorhandene Tiefeninformation.
In einem weiteren Schritt 204 können die 3D-Bilddaten zur Verbesserung der Bildqualität vorverarbeitet, insbesondere gefiltert werden. Eine solche Filterung kann insbesondere der Reduktion oder Entfernung von Bildrauschen oder von für das weitere Verfahren nicht benötigter Bildanteile, wie z. B, Bildhintergründe oder anderer irrelevanter Bildkomponenten oder von Artefakten dienen. Zur Indizierung der einzelnen Bildpunkte kann zudem im Schritt 206 ein Laufindex i gesetzt werden.
Nun folgt ein Schritt 208, in dem die vorverarbeiten Bilddaten einem Klassifikationsverfahren unterzogen werden, bei dem jeder Bildpunkt Vi bezüglich einer vorbestimmten Körperbereichsklassifikation 400, bei der verschiedene Körperbereiche jeweils eine Klasse bilden, klassifiziert, d. h. einer dieser Klassen zugeordnet wird. Eine beispielhafte Klassifikation ist in der im Weiteren behandelten Fig. 4 illustriert. Im Rahmen dieses Klassifizierens, wird für jede der Zuordnungen eines jeweiligen Bildpunkts Vi zu einer zugehörigen Klasse zudem ein zugehöriger Konfidenzwert Ci bestimmt, der ein Maß dafür darstellt, wie statistisch verlässlich die jeweilige Zuordnung ist. Dieser Konfidenzwert eines jeweiligen Bildpunkts kann insbesondere von der Konfidenz abhängen, die bei der Bestimmung der Position dieses Bildpunkts im dreidimensionalen Bild ermittelt wurde. Insbesondere TOF-Kameras liefern solche Konfidenzwerte typischerweise neben den eigentlichen Bilddaten zusätzlich mit, insbesondere für ein jeweiliges Tiefenbild.
Nun wird in einem Schritt 210 für den jeweiligen gerade klassifizierten Bildpunkt Vi geprüft, ob der zugehörige Konfidenzwert Ci ein erstes Konfidenzkriterium erfüllt, welches im vorliegenden Beispiel als eine Konfidenzschwelle CT festgelegt ist. Nur wenn ein Konfidenzwert Ci oberhalb dieser Konfidenzschwelle CT liegt, wird in einem Schritt 212 der zugehörige Bildpunkt Vi zur Verwendung im weiteren Verfahren ausgewählt, andernfalls jedoch verworfen (Schritt 216). In beiden Fällen erfolgt sodann eine Überprüfung (i = N?), ob noch weitere zu klassifizierende Bildpunkte vorliegen (Schritte 214 bzw. 218). Ist dies der Fall (214/218 - nein), so wird mit der Klassifizierung des nächsten Bildpunkts zum inkrementierten Index i = i +1 im Schritt 208 fortgefahren.
Andernfalls (214/218 - ja) wird im Schritt 220 ein weiterer Index j für eine Anzahl von im weiteren relevanten M Klassen initialisiert. Eine Unterscheidung in relevante und nicht relevante Klassen ist insbesondere dann sinnvoll, wenn das Klassifikationsverfahren gemäß Schritt 208 mittels einer Klassifikation durchgeführt wird, die mehr Klassen zur Verfügung stellt, als konkret für die Ermittlung eines Schätzwertes für das Gewicht benötigt werden. Dies kann vor allem dann auftreten, wenn die in dieser Hinsicht nicht benötigten Klassen im Rahmen einer anderen Anwendung benötigt werden, die auf dieselbe Klassifikation zurückgreift. Der Schritt 220 kann auch mit dem Schritt 206 zusammenfallen.
Nun wird in einem Schritt 222 für die aktuelle Klasse j, d.h. den zugeordneten Körperbereich, ein Referenzpunkt Rj gemäß einer entsprechenden Vorgabe und ausschließlich auf Basis der dieser Klasse j zugeordneten zuvor im Schritt 212 ausgewählten Bildpunkte berechnet. Die Vorgabe kann dabei insbesondere festlegen, dass der Referenzpunkt als Schwerpunkt, insbesondere Volumenschwerpunkt bzw. geometrischer Schwerpunkt, der Menge der in dem Abbild der Klasse j zugeordneten Bildpunkte bzw. Bildpunktpositionen berechnet werden soll. Alternativ kann die Vorgabe jedoch insbesondere auch festlegen, dass ein bestimmter Bildpunkt auf der Kontur des durch diese Menge von Bildpunkten (Punktwolke) definierten Volumenbereichs (Flächenbereich im Falle eines 2-D Bilds) als Referenzpunkt RJ gewählt werden soll. Dies kann insbesondere ein Bildpunkt auf der Kontur sein, der bezüglich zumindest einer seiner Bildkoordinaten bezüglich eines auf das Abbild angewandten Koordinatensystems, welches nicht zwingend dem Bildraster entsprechen muss, mit dem das Abbild aufgenommen wurde, einen Extremwert unter allen auf der Kontur liegenden Bildpunkten aufweist. In der im Weiteren im Einzelnen behandelten Fig. 5 sind verschiedener Referenzpunkte eingezeichnet, wobei insbesondere die obersten Schulterpunkte 502R und 502L sowie die unteren Torsopunkte 508R und 508L jeweils auf diese Weise mittels Extremwertbildung definiert sind.
Des Weiteren wird in einem Schritt 224 auch eine Konfidenz Dj für die berechnete Position von Rj berechnet, was insbesondere auf Basis einer Mittelung oder Minimalwertbildung der Konfidenzen Ci der zur Berechnung dieser Position herangezogenen ausgewählten Bildpunkte Vi erfolgen kann.
Ferner wird in einem Schritt 226 für den jeweiligen gerade bestimmten Referenzpunkt Rj geprüft, ob der zugehörige Konfidenzwert Dj ein zweites Konfidenzkriterium erfüllt, welches im vorliegenden Beispiel als eine Konfidenzschwelle DT festgelegt ist. Nur wenn Konfidenzwert Dj oberhalb dieser Konfidenzschwelle DT liegt, wird der zugehörige Referenzpunkt Rj in einem Schritt 228 zur Verwendung im weiteren Verfahren ausgewählt, andernfalls jedoch verworfen (Schritt 232). In beiden Fällen erfolgt sodann eine Überprüfung (i = M?), ob noch weitere Referenzpunkte zu berechnen sind (Schritte 230 bzw. 234). Ist dies der Fall (230/234 - nein), so wird mit der Bestimmung des nächsten Referenzpunkts zum inkrementierten Index j = j +1 im Schritt 222 fortgefahren. Das Verfahren kann auch so konfiguriert sein, dass wenn der Konfidenzwert Dj eines zwingend erforderlichen Referenzpunkts das zweite Konfidenzkriterium nicht erfüllt, das Verfahren abgebrochen und zu einem späteren Zeitpunkt auf Basis neuer Bilddaten erneut durchlaufen wird. Insbesondere kann dies auch der Fall sein, wenn überhaupt keine Bildpunkte oder Referenzpunkte mit ihren jeweiligen Konfidenzwerten das erste bzw. zweite Konfidenzkriterium erfüllen.
Nun Bezug nehmend auf Figur 2B folgt nach Abschluss der Referenzpunktpositionsbestimmung ein Korrekturschritt 236, in dem die ermittelten Positionen der ausgewählten Referenzpunkte in Abhängigkeit von dem bei der bildsensorischen Erfassung des Abbilds aufgetretenen durchschnittlichen oder minimalen Bildabstand zur Person P sowie der dabei gewählten Perspektive auf die Person P entsprechende abstands- beziehungsweise perspektivenbezogene Korrekturen berechnet und auf die Referenzpunkte Rj angewandt werden. So können abstands- bzw. perspektivenabhängige Einflüsse auf die Positionsbestimmung kompensiert werden.
Anschließend werden in einem Schritt 238 auf Basis der korrigierten Referenzpunktpositionen für vorbestimmte Referenzpunktpaare entsprechende Abstände zwischen den zugehörigen Referenzpunktpositionen bestimmt. Dies kann insbesondere dahingehend erfolgen, dass ein oder mehrere Abstände berechnet werden, die individuell oder kumulativ ein Maß für die Sitzhöhe oder die Schulterbreite der Person darstellen. In der im Weiteren behandelten Fig. 5 ist ein Beispiel für die Ermittlung dieser beiden Maße aus verschiedenen Abständen illustriert.
Um aus den somit bestimmten Abständen zu einem Schätzwert für das Körpergewicht der Person P zu gelangen, werden diese Abstände in einem Schritt 240 als Eingangsgrößen für eine Regressionsanalyse oder einen sonstigen Abgleich mit Daten aus einer Datenbank eingesetzt, deren Daten eine Relation zwischen verschiedenen Werten für die bestimmten Maße (im vorliegenden Beispiel konkret Sitzhöhe bzw. Schulterbreite) einerseits und verschiedenen dazu korrespondierenden Körpergewichtwerten andererseits definiert. Derartige anthropometrische Datenbanken existieren in großer Anzahl, insbesondere für die jeweiligen Bevölkerungen verschiedene Länder oder Regionen. Beispielsweise stellt die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin für Deutschland eine solche Datenbank, insbesondere auch im Internet, zur Verfügung.
Wenn, wie im vorliegenden Beispiel, verschiedene Maße als Eingangsgrößen für die Regression bzw. Datenbank eingesetzt werden, dann kann für jede dieser Größen ein entsprechender, insbesondere vorläufiger, Wert für das geschätzte Körpergewicht G der Person bestimmt werden. Diese verschiedenen vorläufigen Werte können sodann, insbesondere durch Mittelwertbildung, zu einem Gesamtschätzwert für das Körpergewicht G zusammengefasst werden.
Schließlich kann in einem Schritt 242 der bestimmte Gesamtschätzwert G ausgegeben werden, insbesondere an einer Mensch-Maschine-Schnittstelle, oder aber, wie im vorliegenden Beispiel illustriert, an eine Fahrzeugkomponente des Fahrzeugs 100, um diese Komponente mittels des ausgegebenen Werts zu steuern. Die Fahrzeugkomponente kann insbesondere ein verstellbarer Außenspiegel, ein unterschiedlich konfigurierbarer oder deaktivierbarer Airbag oder ein verstellbarer Passagiersitz sein. Auf diese Weise ist es möglich, derartige Steuerungen, die in der Vergangenheit gar nicht oder unter Nutzung von dedizierten dazu vorgesehen Sensoren, insbesondere Waagen, erfolgen konnten, auf Basis von Bilddaten zu steuern, die in vielen Fällen bereits für andere Anwendungen erfasst werden, sodass eine Dual-use oder Multi-use- Verwendung unter zumindest anteiliger Einsparung von anwendungsspezifischem Aufwand oder Komponenten ermöglicht wird.
Fig. 3 zeigt schematisch eine Übersicht über verschiedene beispielhafte anthropometrische Maße, die grundsätzlich als Abstände zur Vermessung des Körpers der Person P im Rahmen der verfahrensgemäßen Körpergewichtsschätzung als Abstände verwendet werden können. Dabei illustrieren Fig. 3 (a) eine Sitzhöhe 310, Fig. 3 (b) eine Augenhöhe 320, Fig. 3 (c) eine Schulterhöhe 330, Fig. 3 (d) eine Unterarmlänge 340, Fig. 3 (e) eine Oberarmlänge 350, Fig. 3 (f) eine Schulterbreite 360, und Fig. 3 (g) eine Torsobreite 370.
In Fig. 4 ist schematisch eine beispielhafte Klassifikation 400 illustriert, bei der verschiedene Körperbereiche einer Person P jeweils eine Klasse 401 bis 411 R repräsentieren. Dabei steht jeweils der Buchstabe „R“ für „rechts“ und der Buchstabe „L“ für „links“. Computergestützte Verfahren zum automatischen Klassifizieren von einzelnen Bildpunkten eines durch entsprechend Bilddaten repräsentierten Abbilds einer Person in derartige Körperbereichsklassifikationen sind bekannt und beispielsweise in dem in der Beschreibungseinleitung genannten Artikel von Jamie Shotto et al. beschrieben. Bei der konkreten Klassifikation 400 aus Fig. 4 sind jeweils als eine Klasse definiert (wobei zueinander korrespondierende rechte und linke Körperbereiche jeweils individuell eine Klasse bilden: der Kopf 401 , der Hals 402, die Schultern 403, die Oberarme 404, die Unterarme 405, die Hände 406, die oberen Torsobereiche 407, die unteren Torsobereiche 408, die Oberschenkel 409, die Unterschenkel 410 sowie die Füße 41 1.
Wie vorausgehend unter Bezugnahme auf Fig. 2A, B erläutert, werden die im Rahmen des Verfahrens 200 herangezogenen Abstände als Abstände zwischen bestimmten Referenzpunkten Rj bestimmt. In Fig. 5 ist ein konkretes Beispiel dafür illustriert, bei dem zum einen die Sitzhöhe 310 und zum anderen der Schulterabstand 360 als Abstände bestimmt werden sollen.
Als Referenzpunkte Rj werden dazu genutzt: (i) ein Scheitelpunkt 501 des Kopfes, (ii) die jeweils der Höhe nach obersten Punkte 502R/L der linken und rechten Schultern 403R/L sowie des durch geometrische Mittelung daraus bestimmten Schulterschwerpunkts 503, (iii) die jeweiligen Schwerpunkte 504R/L der oberen rechten und linken Torsobereiche 407R/L sowie der durch geometrische Mittelung daraus bestimmte obere Torsoschwerpunkt 505, (iv) die jeweiligen Schwerpunkte 506R/L der oberen rechten und linken Torsobereiche 408R/L sowie der durch geometrische Mittelung daraus bestimmte obere Torsoschwerpunkt 507, und (v) die jeweiligen untersten Punkte 508R/L der unteren rechten und linken Torsobereiche 408R/L sowie der durch geometrische Mittelung daraus bestimmte Schoßpunkt 509.
Die Bestimmung der Schulterbreite 360 kann nun auf einfache Weise durch Berechnung des Abstands zwischen den beiden Referenzpunkten 502R und 502L erfolgen. Die Berechnung der Sitzhöhe dagegen erfolgt hier kumulativ, d. h. durch individuelle Bestimmung mehrere Abstände und Aufsummation derselben. Ein erster dieser Abstände ist der Abstand 510 zwischen dem Scheitelpunkt 501 des Kopfes und dem Schulterschwerpunkt 503. Ein zweiter dieser Abstände ist der Abstand 520 zwischen dem Schulterschwerpunkt 503 und dem oberen Torsoschwerpunkt 505. Ein dritter dieser Abstände ist der Abstand 530 zwischen dem oberen Torsoschwerpunkt 505 und dem unteren Torsoschwerpunkt 507. Ein vierter und letzter dieser Abstände ist schließlich der Abstand 540 zwischen dem unteren Torsoschwerpunkt 505 und dem Schoßpunkt 509. Die gesuchte Sitzhöhe ergibt sich als Summe dieser vier Abstände. Diese Aufteilung der Sitzhöhenbestimmung auf Basis mehrerer einzelnen Abstände hat den Vorteil, des sie vor allem bei Körperstellungen, die deutlich von einer aufrechten bzw. geraden Körperhaltung abweichen, genauere bzw. zuverlässigere Ergebnisse liefert, als eine Sitzhöhen Bestimmung auf Basis einer unmittelbaren Bestimmung des Abstands zwischen den Referenzpunkten 501 und 509 mittels Differenzbildung.
Unter Bezugnahme auf Fig. 6A und 6B soll nun noch der Fall beleuchtet werden, dass die Bilddaten die für die Ermittlung der Abstände relevanten Körperbereiche der Person P nicht vollständig repräsentieren bzw. abbilden. Dies kann insbesondere dann vorkommen, wenn die Person eine von einer normalen Körperstellung bzw. Pose, auf welche die Bilderfassung justiert ist (z.B. gerade, aufrechte Sitzhaltung), abweichende Körperstellung einnimmt.
Fig. 6A zeigt ein Szenario 600, bei dem im Hinblick auf die Bestimmung der Schulterbreite 360 sowohl der Referenzpunkt 502R für die rechte Schulter 403R als auch der Referenzpunkt 502L für die linke Schulter 403L durch die Bilddaten repräsentiert sind. Hier kann also, wie vorausgehend unter Bezugnahme auf Fig. 5 beschrieben, der Schulterschwerpunkt 503 durch geometrische Mittelung der Positionen dieser beiden Referenzpunkte bestimmt werden, sodass die jeweiligen Abstände dieser Referenzpunkte von dem Schulterschwerpunkt 503 gleich groß sind und jeweils den Abstandswert d aufweisen. Der Schulterschwerpunkt 503 liegt somit jedenfalls in guter Näherung auf der Körperachse der Person P.
Fig. 6B zeigt dagegen ein Szenario 650, bei dem im Hinblick auf die Bestimmung der Schulterbreite 360 nur der Referenzpunkt 502L für die linke Schulter 403L durch die Bilddaten repräsentiert ist, während der spiegelbildlich dazu gelegene Bereich der rechten Schulter 403R bei der Bilderfassung außerhalb des durch die Bilddaten abgedeckten Bildbereichs zu liegen kam. Hier kann nun jedoch unter Ausnutzung der bekannten Symmetrieeigenschaft aus Fig. 6A, gemäß der der Schulterschwerpunkt 503 in guter Näherung auf der Körperachse liegt und die beiden Schulterreferenzpunkte 502R und 502L jeweils den gleichen Abstand d zum Schulterschwerpunkt 503 aufweisen, die Position des rechten Schulterreferenzpunkts 502R per Extrapolation berechnet werden. Dazu wird neben der im Bildausschnitt liegenden Position des linken Schulterreferenzpunkt 502L die Lage des Schulterschwerpunkts 503 auf Basis einer ebenfalls auf Basis der Bilddaten abgeschätzten Lage der Körperachse und unter Berücksichtigung der Bildperspektive geschätzt. Im Rahmen der Extrapolation wird sodann die Position des rechten Schulterreferenzpunkts 502R entlang der Verbindungsgerade durch die Punkte 502L und 503 geschätzt, indem auf dieser Geraden zur Position des Punkts 502L das Doppelte des Verbindungsvektors zwischen den Punkten 502L und 503 addiert wird. Die gesuchte Schulterbreite 360 ergibt sich somit einfacher ausgedrückt dadurch, dass mittels der bestimmten Positionen der Punkte 502L und 503 der Abstandswert d berechnet und dieser verdoppelt wird.
Zusätzlich kann noch eine Plausibilitätsprüfung erfolgen, bei der die Position des Schulterschwerpunkts 503 oder des rechten Schulter Referenzpunkt 502R unter Verwendung eines weiteren Referenzpunkt überprüft wird. Dazu kann insbesondere ein Abstand zu diesem Referenzpunkt ermittelt und mit einem zugehörigen Referenzabstand zum Zwecke einer Überprüfung verglichen werden. Auch Abstandsverhältnisse können zusätzlich oder anstelle von reinen Abstandswerten auf ähnliche Weise als Grundlage einer Plausibilitätsprüfung dienen.
Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
BEZUGSZEICHENLISTE
100 Fahrzeug, insbesondere Personenkraftwagen
110 erste Position für Bildsensor
120 zweite Position für Bildsensor
130 dritte Position für Bildsensor
140 Sitz für Person P, insbesondere Fahrersitz eines Fahrzeugs
150 Vorrichtung zur Schätzung des Körpergewichts einer Person
150a Prozessoreinheit
150b Speicher, insbesondere Programmspeicher
200 Verfahren zum Schätzen des Körpergewichts einer Person P
205-242 Verfahrensschritte des Verfahrens 200
300 Übersicht über beispielhafte anthropometrische Maße
310 Sitzhöhe
320 Augenhöhe
330 Schulterhöhe
340 Unterarmlänge
350 Oberarmlänge
360 Schulterbreite
370 Torsobreite
400 Körperbereichsklassifikation
401 Kopf
402 Hals
403R, L rechte (R) bzw. linke (L) Schulter
404R, L rechter (R) bzw. linker (L) Oberarm
405R, L rechter (R) bzw. linker (L) Unterarm
406R, L rechte (R) bzw. linke (L) Hand
407R, L rechter (R) bzw. linker (L) oberer Torso
408R, L rechter (R) bzw. linker (L) unterer Torso
409R, L rechter (R) bzw. linker (L) Oberschenkel
41 OR, L rechter (R) bzw. linker (L) Unterschenkel
41 OR, L rechter (R) bzw. linker (L) Fuß
500 Übersicht zur Definition von referenzpunkten und Abständen zur Bestimmung der Sitzhöhe 210 501 Scheitelpunkt des Kopfes
502R, L oberste Schulterpunkte
503 Schwerpunkt der Schulterpunkte 502
504R, L Schwerpunkte des rechten bzw. linken oberen Torsos
505 Schwerpunkt der oberen Torsoschwerpunkte 504
506R, L Schwerpunkte des rechten bzw. linken unteren Torsos
507 Schwerpunkt der unteren Torsoschwerpunkte 506
508R, L unterste Punkte des rechten bzw. linken unteren Torsos
509 Schoßpunkt, Schwerpunkt der untersten Torsopunkte 508
510 Abstand Scheitelpunkt 501 zu Schwerpunkt der Schulterpunkte 503
520 Abstand Schwerpunkt 503 der Schulterpunkte zu Schwerpunkt 505 des oberer Torsobereichs
530 Abstand Schwerpunkt 505 des oberer Torsobereichs zu Schwerpunkt 507 des unteren Torsobereichs
540 Abstand Schwerpunkt 507 des unteren Torsobereichs zu Schoßpunkt 509
600 Skizze zur Bestimmung des Schwerpunkts 503 der Schulterpunkte 502R, L
650 Skizze zur Bestimmung des Schwerpunkts 503 der Schulterpunkte 502R, L, wenn einer der Schulterpunkte nicht durch die Bilddaten repräsentiert ist i Laufindex für Bildpunkte j Laufindex für Referenzpunkte
Ci Konfidenzwerte der Bildpunktzuordnungen
CT erstes Konfidenzkriterium (für Bildpunktzuordnungen)
Dj Konfidenzwerte der Bildpunktzuordnungen
DT zweites Konfidenzkriterium (für Referenzpunktpositionen)
G Schätzwert für Körpergewicht der Person P
P Person, deren Körpergewicht zu bestimmen ist
Vi Bildpunkte (Voxel)

Claims

ANSPRÜCHE
1. Verfahren (200) zum automatischen Schätzen eines Körpergewichts einer Person (P), wobei das Verfahren (200) die folgenden Verfahrensschritte aufweist: Erzeugen oder Empfangen (202) von Bilddaten, die eine bildsensorisch erfasstes Abbild zumindest eines Teilbereichs des Körpers einer Person (P) mittels Bildpunkten (Vi) repräsentieren;
Klassifizieren (208) zumindest einer Untermenge der Bildpunkte (vi) anhand einer Klassifikation (400), bei der verschiedene Klassen jeweils zu einem anderen Körperbereich (401 bis 410R/L) korrespondieren, wobei die zu klassifizierenden Bildpunkte (Vi) jeweils einem bestimmten Körperbereich (401 bis 41 OR/L) der Person (P) zugeordnet und jeweils Konfidenzwerte (Ci) für diese Klassenzuordnungen bestimmt werden; für jede von zumindest zwei der mit zugeordneten Bildpunkten (Vi) besetzten Klassen, Berechnen (222) einer Position von zumindest einem gemäß einer Vorgabe bestimmten Referenzpunkt (Rj) für den zu dieser Klasse korrespondierenden Körperbereich auf Basis der dieser Klasse zugeordneten Bildpunkte (Vi);
Bestimmen (238) eines jeweiligen Abstands (510 bis 540; 310 bis 370) zwischen zumindest zwei der ausgewählten Referenzpunkte (Rj);
Bestimmen (240) zumindest eines Schätzwerts (G) für das Körpergewicht der Person (P) anhand einer vorbestimmten Relation, die einen Zusammenhang zwischen verschiedenen möglichen Abstandswerten und diesen jeweils zugeordneten Körpergewichtswerten definiert; und
Ausgeben (242) des zumindest einen Schätzwerts (G) für das Körpergewicht der Person (P); wobei eine ausschließliche Auswahl derjenigen Bildpunkte (Vi), die zur Bestimmung der Referenzpunkte (Rj) herangezogen werden, auf Basis der jeweiligen Konfidenzwerte (Ci) ihrer Klassenzuordnungen unter Anwendung eines ersten Konfidenzkriteriums (CT) getroffen (210, 212, 216) wird.
2. Verfahren (200) nach Anspruch 1 , wobei auf Basis der Konfidenzwerte (Ci) der jeweiligen Bildpunktzuordnungen der zur Berechnung der Positionen der Referenzpunkte (Rj) herangezogenen Bildpunkte (Vi) jeweilige Konfidenzwerte (Dj) für diese Positionen ermittelt und eine ausschließliche Auswahl derjenigen dieser Positionen, die zur Bestimmung der Abstände (510 bis 540; 310 bis 370) herangezogen werden, auf Basis der jeweiligen Konfidenzwerte (Dj) dieser
24 Positionen unter Anwendung eines zweiten Konfidenzkriteriums (DT) getroffen (226, 228, 232) werden. Verfahren (200) nach Anspruch 2, wobei auf Basis der Konfidenzwerte (Dj) der jeweiligen Positionen der zur Berechnung der Abstände (510 bis 540; 310 bis 370) herangezogenen Referenzpunkte (Rj) jeweilige Konfidenzwerte für diese Abstände (510 bis 540; 310 bis 370) ermittelt und eine ausschließliche Auswahl derjenigen dieser Abstände (510 bis 540; 310 bis 370), die zur Bestimmung des zumindest einen Schätzwerts (G) für das Körpergewicht herangezogen werden, auf Basis der jeweiligen Konfidenzwerte dieser Abstände (510 bis 540; 310 bis 370) unter Anwendung eines dritten Konfidenzkriteriums getroffen werden. Verfahren (200) nach einem der vorausgehenden Ansprüche, wobei die Ermittlung (208; 224) eines jeweiligen Konfidenzwerts
- für die Position zumindest eines der Referenzpunkte (Rj) aus den als Eingangsgrößen hierzu dienenden Konfidenzwerten (Ci) für die Klassenzuordnungen der zur Bestimmung dieser Position herangezogenen Bildpunkte (Vi),
- für zumindest einen der Abstände (510 bis 540; 310 bis 370) aus den als Eingangsgrößen hierzu dienenden Konfidenzwerten (Dj) für die zur Bestimmung dieses Abstands (510 bis 540) herangezogenen Positionen von Referenzpunkten (Rj), und/oder
- für zumindest einen der Schätzwerte (G) für das Körpergewicht aus den als Eingangsgrößen hierzu dienenden Konfidenzwerten für die zur Bestimmung dieses Schätzwerts (G) herangezogenen Abständen von Referenzpunkten (Rj) auf Basis einer Ermittlung eines mathematischen Mittelwerts oder Extremwerts der jeweiligen hierzu als Eingangsgrößen eingesetzten Konfidenzwerte erfolgt. Verfahren (200) nach einem der vorausgehenden Ansprüche, wobei die Position von zumindest einem weiteren Referenzpunkt (502R), der zur Bestimmung eines Abstands (360) herangezogen wird und der nicht durch die Bilddaten repräsentiert wird, durch Extrapolation oder Interpolation auf Basis von durch die Bilddaten repräsentierten oder daraus abgeleiteten anderen Referenzpunkten (502L, 503) geschätzt wird. Verfahren (200) nach Anspruch 5, wobei die Extrapolation bzw. Interpolation auf Basis von zumindest zwei innerhalb des Abbilds gelegenen der bestimmten Referenzpunkte (502L, 503) unter Ausnutzung einer auf diese Referenzpunkte (502L, 503) sowie den zu bestimmenden weiteren Referenzpunkt (502R) bezogenen Körpersymmetrie erfolgt. Verfahren (200) nach Anspruch 5 oder 6, des Weiteren aufweisend:
Überprüfen der Plausibilität der Position des durch die Extrapolation bzw. Interpolation bestimmten weiteren Referenzpunkts (502R) anhand eines Plausibilitätskriteriums, das sich auf einen jeweiligen Abstand zwischen diesem weiteren Referenzpunkt (502R) und zumindest einen nicht an der Extrapolation bzw. Interpolation Beteiligten der berechneten Referenzpunkte (Rj) bezieht. Verfahren (200) nach einem der vorausgehenden Ansprüche des Weiteren aufweisend:
Korrigieren (236) der berechneten Positionen der Referenzpunkte (Rj) mittels Anpassung der berechneten Positionen in Abhängigkeit eines Abstands oder einer Perspektive, von dem bzw. der aus die bildsensorische Erfassung des Abbilds stattfand, wobei die Abstände auf Basis der so korrigierten Positionen der Referenzpunkte (Rj) bestimmt werden. Verfahren (200) nach einem der vorausgehenden Ansprüche des Weiteren aufweisend:
Vorverarbeiten (204) der Bilddaten im Rahmen einer dem Klassifizieren vorgelagerten Bildverarbeitung zur Verbesserung der Bildqualität. Verfahren (200) nach einem der vorausgehenden Ansprüche, wobei zumindest einer der ausgewählten Referenzpunkte (Rj; 505) für eine bestimmte Klasse als oder in Abhängigkeit von der Position eines berechneten Schwerpunkts (504 R/L) der dem zu der Klasse korrespondierenden Körperbereich zugeordneten Bildpunkte (Vi) bestimmt wird. Verfahren (200) nach einem der vorausgehenden Ansprüche, wobei zumindest einer der ausgewählten Referenzpunkte (Rj) für eine bestimmte Klasse als oder in Abhängigkeit von Position eines Bildpunkts (502R/L) auf einer Kontur des durch die zugeordneten Bildpunkte (Vi) repräsentierten zu der Klasse korrespondierenden Körperbereichs bestimmt wird. Verfahren (200) nach einem der vorausgehenden Ansprüche, wobei der zumindest eine ausgewählte Referenzpunkt (Rj) als Punkt festgelegt wird, der in dem durch die Bilddaten repräsentierten Abbild der Person (P) einem der folgenden Punkte am Körper der Person (P) entspricht:
- ein Scheitelpunkt (501 ) des Kopfes;
- ein jeweils auf einer Schulter (403R/L) am höchsten oder von der Körperachse der Person (P) am entferntesten liegenden Punkt (502R/L);
- ein dem Beinansatz am Nächsten liegender Punkt (508R/L) des Körpertorsos;
- ein auf Basis der bezüglich der Körperachse links und rechts liegenden dem Beinansatz auf der jeweiligen Seite am nächsten liegenden Punkte des Körpertorsos bestimmter Schosspunkt (509);
- ein auf Basis der bezüglich der Körperachse links oder rechts liegender Schwerpunkt (504R/L) des auf der entsprechenden Körperhälfte liegenden Bereichs des Körpertorsos oder ein auf Basis mehrere solcher Schwerpunkte ermittelter Bezugspunkt auf dem Körpertorso;
- ein Punkt an der Stelle eines Auges oder auf einer die Augen verbindenden Gerade. Verfahren (200) nach Anspruch 12, wobei als ein zur Bestimmung des Schätzwerts (G) herangezogener Abstand eine Sitzhöhe (310) der Person (P) bestimmt wird und dafür jeweils die folgenden einzelnen Abstände zwischen je zwei zugehörigen Referenzpunkte (Rj) n berechnet und diese berechneten Abstände zur Bestimmung eines Werts für die Sitzhöhe (310) addiert werden:
- Abstand (540) zwischen einem dem Beinansatz am nächsten liegenden Punkt oder dem Schosspunkt und einem Schwerpunkt des unterhalb des untersten Rippenbogens der Person (P) gelegenen unteren Körpertorsos;
- Abstand (530) zwischen dem Schwerpunkt des unteren Körpertorsos und einem Schwerpunkt des oberhalb des untersten Rippenbogens der Person (P) gelegenen oberen Körpertorsos;
- Abstand (520) des zwischen dem Schwerpunkt des oberen Körpertorsos (407R/L) und einem Punkt auf der Verbindunggerade zwischen den beiden auf den beiden Schultern (403R/L) jeweils am höchsten oder von der Körperachse der Person (P) am entferntesten liegenden Punkte (502R/L);
- Abstand (510) von dem Punkt auf der Verbindunggerade zwischen den beiden Schultern (403R/L) und dem Kopfscheitelpunkt (501 ). Verfahren (200) nach einem der vorausgehenden Ansprüche, wobei als zwei der zur Bestimmung des Schätzwerts (G) herangezogenen Abstände eine Sitzhöhe
27 (310) der Person (P) und eine Schulterbreite (360) der Person (P) herangezogen werden. Verfahren (200) nach einem der vorausgehenden Ansprüche, wobei auf Basis verschiedener der bestimmten Abstände eine Mehrzahl von vorläufigen Werten für das Körpergewicht bestimmt wird und der zumindest eine Schätzwert (G) für das Körpergewicht durch mathematische Mittelung der vorläufigen Werte berechnet wird. Verfahren (200) nach einem der vorausgehenden Ansprüche, wobei die zur Bestimmung des Schätzwerts (G) für das Körpergewicht herangezogenen Referenzdaten aus mehreren verfügbaren Sätzen von Referenzdaten in Abhängigkeit von einer oder mehreren zuvor erfassten Eigenschaften der Person (P) ausgewählt werden. Verfahren (200) nach einem der vorausgehenden Ansprüche, wobei der Abgleich auf Basis des zumindest einen bestimmten Abstands mit den Referenzdaten unter Anwendung eines Regressionsverfahrens erfolgt. Verfahren (200) nach einem der vorausgehenden Ansprüche, wobei die Bilddaten die bildsensorische Aufnahme in drei räumlichen Dimensionen repräsentieren. Verfahren (200) nach einem der vorausgehenden Ansprüche, des Weiteren aufweisend: Ausgeben eines jeweiligen Werts für zumindest einen der bestimmten Abstände oder für eine jeweilige Position zumindest eines der bestimmten Referenzpunkte (Rj) . Verfahren (200) nach einem der vorausgehenden Ansprüche, des Weiteren aufweisend:
Steuern zumindest einer Komponente eines Fahrzeugs (100) oder eines anderen Systems in Abhängigkeit von dem ausgegebenen Schätzwert für das Körpergewicht der Person. Verfahren (200) nach Anspruch 20, wobei das Steuern bezüglich einer oder mehreren der folgenden Fahrzeugkomponenten durchgeführt wird: Sitz, Lenkvorrichtung, Sicherheitsgurt, Airbag, Innen- oder Außenspiegel,
28 Klimaanlage, Kommunikationsvorrichtung, Infotainmentsystem, Navigationssystem. Vorrichtung (150) zum automatischen Schätzen eines Körpergewichts einer Person (P), wobei die Vorrichtung (150) konfiguriert ist, das Verfahren (200) nach einem der vorausgehenden Ansprüche auszuführen. Fahrzeug (100), aufweisend eine Vorrichtung (150) nach Anspruch 22. Computerprogramm umfassend Befehle, die bei der Ausführung des Programms durch eine Datenverarbeitungseinrichtung (150) diese veranlassen, das Verfahren (200) nach einem der Ansprüche 1 bis 21 auszuführen.
29
EP21751557.6A 2020-08-05 2021-07-28 Verfahren und vorrichtung zum automatischen schätzen eines körpergewichts einer person Pending EP4193298A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020120600.3A DE102020120600A1 (de) 2020-08-05 2020-08-05 Verfahren und vorrichtung zum automatischen schätzen eines körpergewichts einer person
PCT/EP2021/071096 WO2022028972A1 (de) 2020-08-05 2021-07-28 Verfahren und vorrichtung zum automatischen schätzen eines körpergewichts einer person

Publications (1)

Publication Number Publication Date
EP4193298A1 true EP4193298A1 (de) 2023-06-14

Family

ID=77226804

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21751557.6A Pending EP4193298A1 (de) 2020-08-05 2021-07-28 Verfahren und vorrichtung zum automatischen schätzen eines körpergewichts einer person

Country Status (4)

Country Link
US (1) US20230306776A1 (de)
EP (1) EP4193298A1 (de)
DE (1) DE102020120600A1 (de)
WO (1) WO2022028972A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117202847A (zh) * 2021-04-08 2023-12-08 环球城市电影有限责任公司 顾客测量系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19517440C2 (de) 1994-05-25 2003-05-28 Volkswagen Ag Gurtaufroller und damit ausgerüstete Sicherheitseinrichtung für ein Kraftfahrzeug
TR199800485A3 (tr) 1998-03-17 1999-10-21 Pilot Tasit- Buero Koltuklari Sanayi Ve Ticaret A.S. Sürücü koltuklarinin agirlik ayar mekanizmalarinda yenilik.
US6557424B1 (en) 1999-02-24 2003-05-06 Siemens Vdo Automotive Corporation Method and apparatus for sensing seat occupant weight
US10430942B2 (en) 2013-10-01 2019-10-01 University Of Kentucky Research Foundation Image analysis for predicting body weight in humans
US11026634B2 (en) 2017-04-05 2021-06-08 doc.ai incorporated Image-based system and method for predicting physiological parameters

Also Published As

Publication number Publication date
WO2022028972A1 (de) 2022-02-10
US20230306776A1 (en) 2023-09-28
DE102020120600A1 (de) 2022-02-10

Similar Documents

Publication Publication Date Title
DE102005000646B4 (de) Vorrichtung und Verfahren zum Erfassen von sich bewegenden Objekten
DE102014100352B4 (de) Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen
DE112013004103B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE112018007120B4 (de) Physis-Ermittlungseinrichtung und Physis-Ermittlungsverfahren
DE112017002765T5 (de) Zustandsabschätzungsvorrichtung, Zustandsabschätzungsverfahren und Zustandsabschätzungsprogramm
DE112017007303B4 (de) Gesichtserkennungsvorrichtung
DE102020129979A1 (de) Körperbauschätzvorrichtung und Haltungsschätzvorrichtung
DE202014101703U1 (de) System zur Abbildung eines Fahrers eines Fahrzeugs
DE102019106398A1 (de) Bildanalysevorrichtung, verfahren und programm
WO2021175517A1 (de) Verfahren und vorrichtung zur optischen sitzgurterkennung
DE102019209644A1 (de) Verfahren zum Trainieren eines neuronalen Netzes
DE102019122907A1 (de) Betriebsassistenzverfahren für ein Fahrzeug, Steuereinheit und Fahrzeug
DE102016113933A1 (de) System und Verfahren für Insassengrösse
DE112017007011T5 (de) Gesichtsrichtungsschätzvorrichtung und Gesichtsrichtungsschätzverfahren
WO2022028972A1 (de) Verfahren und vorrichtung zum automatischen schätzen eines körpergewichts einer person
EP2562681A1 (de) Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem
DE102021201777A1 (de) Verfahren zur Verhaltenserkennung, Vorrichtung zur Verhaltenserkennung und computerlesbares Aufzeichnungsmedium
DE102020117555A1 (de) Verfahren und vorrichtung zur insassenklassifizierung
DE102022113806A1 (de) Insassenerkennungsvorrichtung, -verfahren und -programm
DE102019212396A1 (de) System zum erstellen und ausgeben eines personalisierten angebots für einen fahrzeuginsassen in einem fahrzeug
DE102013214497A1 (de) Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben
EP1756748B1 (de) Verfahren zur klassifizierung eines objekts mit einer stereokamera
DE102018208837A1 (de) Computerprogrammprodukt zum elektrischen Einstellen eines Fahrzeugsitzes, Einstellsystem und Fahrzeug
DE102019205375B4 (de) Gewichtsbestimmung eines Fahrzeuginsassen
EP3555808A1 (de) Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230131

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)