EP3221772A1 - Verfahren zum betreiben einer objektbewertungsvorrichtung für ein kraftfahrzeug, objektbewertungsvorrichtung für ein kraftfahrzeug und kraftfahrzeug mit einer objektbewertungsvorrichtung - Google Patents

Verfahren zum betreiben einer objektbewertungsvorrichtung für ein kraftfahrzeug, objektbewertungsvorrichtung für ein kraftfahrzeug und kraftfahrzeug mit einer objektbewertungsvorrichtung

Info

Publication number
EP3221772A1
EP3221772A1 EP15797254.8A EP15797254A EP3221772A1 EP 3221772 A1 EP3221772 A1 EP 3221772A1 EP 15797254 A EP15797254 A EP 15797254A EP 3221772 A1 EP3221772 A1 EP 3221772A1
Authority
EP
European Patent Office
Prior art keywords
motor vehicle
state
points
spherical
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15797254.8A
Other languages
English (en)
French (fr)
Inventor
Michael SCHLITTENBAUER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of EP3221772A1 publication Critical patent/EP3221772A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture

Definitions

  • the invention relates to a method for operating an object evaluation device for a motor vehicle, in which at least one object state of an object to be evaluated is optically detected by at least one sensor of the object evaluation device and a detection-based, three-dimensional image of the object is segmented, wherein the segmented, three-dimensional image is divided into a plurality of sectors.
  • the invention also includes a corresponding object evaluation device for a motor vehicle, which is configured to carry out the method according to the invention. Furthermore, the invention includes a motor vehicle with such an object evaluation device.
  • Motor vehicles use these days to operate various devices installed or carried in the motor vehicle, that is, for example, for operating a telephone, input systems based on non-contact operation.
  • Such systems include, for example, the gesture control, in which a non-contact desired by the vehicle occupant phone number is selected by gestikul Arthur specification.
  • Such non-contact systems are particularly advantageous because vehicle occupants and in particular the driver of the motor vehicle can constantly focus his gaze on the traffic situation and yet a reliable control of the respective non-contact system can be performed.
  • a non-contact system is known from US 2012/0271370 A1, which is designed there as a gesture-controlled interface for a motor vehicle.
  • a person sitting in the vehicle can thereby define a gesture acceptance area and train a gesture control system so that it detects a hand position and the hand movement within the gesture acceptance area.
  • WO 2014/009561 A2 discloses a method in which a gesture-based human-computer interaction is used by means of individual "Points of Interest" (POI) of a hand, in which case a few points are sufficient to allow grasping, pressing or to detect a finger snap of the hand and to trigger a device based thereon.
  • POI Points of Interest
  • DE 10 2007 041 482 A1 discloses a method for automatically detecting a limb, e.g. As a hand, formed gesture, at the same time a plurality of two-dimensional images of the limb is detected from different directions. The two-dimensional images are combined into a three-dimensional image and the latter analyzed for a gesture feature.
  • Object of the present invention is to enable a particularly reliable, non-contact operation of devices.
  • the method according to the invention uses the procedure described above, according to which at least one object state of an object to be evaluated is optically detected by at least one sensor of the object evaluation device and a detection-based three-dimensional image of the object is segmented, wherein the segmented, three-dimensional image is divided into a plurality of sectors is divided.
  • at least one sector point of a plurality of spatially distributed sector points of the image describing the object is used to describe the object state from each of the sectors. In this case, for example, 1000 sector points are used for a statistical evaluation or four sector points for a specific evaluation.
  • At least one spherical curvature of the object is determined on the basis of the plurality of sector points, wherein the object state is evaluated on the basis of the spherical curvature of the object and the evaluated object state is used as a status signal for operating a device of the motor vehicle.
  • the object detected by the object evaluation device is, for example, the arm of a vehicle occupant or, as already mentioned, a hand to name just a few types of an object to be detected and evaluated.
  • the segmentation as a subarea of digital image processing and vision, in which content-related regions are generated by combining adjacent pixels or voxels according to a specific homogeneity criterion, will be discussed here only to the extent that during the acquisition of the three-dimensional image by means of the object evaluation device In the case of segmentation height differences of the object can also be detected. Accordingly, it can be distinguished by means of the segmentation, for example, whether zones of a hand clenched to the hand are arched outwards or pressed against each other.
  • a spherical curvature of the observed object is determined and the object state is evaluated on the basis of the spherical curvature of the object.
  • the spherical curvature can thus be used to determine whether the hand is closed (small radius of curvature on the palm of the hand) or whether the hand is open (considered radii of curvature on the hand) Palm significantly larger in comparison to the fist). It can be seen from the above-mentioned example of the hand as a viewed object that even by comparing different zones of the object by assigning these zones to the sectors or quadrants (eg quadrant 1).
  • a comparison of the state of the zones to each other can be used to evaluate the state of the object.
  • a corresponding status signal is generated from the evaluated object state and transmitted for operation to a device of the motor vehicle.
  • a device of the motor vehicle Such a device, in addition to a mobile phone, for example, a navigation system or an air conditioning system of the motor vehicle, just to name a few possible devices.
  • a radius of the spherical curvature and a center of the spherical curvature is determined. This has the advantage that a particularly simple and reliable description of the curvature is made possible, with a particularly small storage requirement being required for the data sufficiently describing the curvature.
  • the radius, the center and by those sector points, by which the spherical curvature is defined or defined in a particularly resource-saving manner (low memory requirement and low computing power requirement in the object evaluation device) both a unique position of the considered curvature, as well the corresponding degree of curvature is recorded.
  • the spherical curvature may also be a curvature having a plurality of radii defined by the respective sector points with respect to the center. Accordingly, with several radii, more sector points are to be detected with regard to their position in order to enable a clear, ie complete description of the curvature with a plurality of radii. In other words, the number of sector points to be detected with respect to your location for the unambiguous description of the curvature depends on the number of different radii of curvature.
  • the considered sector points are expressed as spherical coordinates of a sphere and the spherical curvature formed by the sector points as Ball simplified.
  • four sector points are sufficient to describe a sphere. This allows a particularly resource-conserving description of the local curvature of the object, wherein the ball is a geometrically particularly easy to describe reference.
  • the considered envelope ball can be understood on the one hand as an envelope of the object, wherein the radius of the envelope sphere changes with the object state. Accordingly, for example, the cladding sphere of an outstretched arm is significantly larger (larger radius of the cladding sphere enclosing the entire arm) than the cladding sphere of an angled arm (smaller radius).
  • the cladding sphere may also be defined so as to include just the respective random points considered, resulting in a cladding sphere randomly determined on the basis of the random points, which by no means encloses the entire object, but merely individual zones, for example. Such a zone would be, for example, the elbow of the arm.
  • the use of random points is particularly advantageous, since thereby also inclined positions of the object under consideration relative to the object evaluation device lead to a reliable operation of the device.
  • the object evaluation device can accordingly detect an inclination and reliably determine the respective object state on the basis of other random points.
  • At least one further envelope ball of the type mentioned is determined.
  • the determination of further enveloping balls is particularly advantageous in order to bring about a reliable operation of the device even with irregularly formed objects.
  • An illustrative example here is a strongly swollen hand, which nevertheless can be used by the use of multiple enveloping balls for reliable operation of the device. Accordingly, for example, the sector in which, for example, a heavily swollen finger is detected as an outlier and only the other sectors with the other enveloping balls used to operate the device.
  • a plurality of the object describing spherical curvatures is determined and for describing the object state, a frequency distribution of the plurality of spherical curvatures describing the object is used.
  • a particularly fine gradation can take place between a plurality of object states.
  • the plurality of spherical curvatures can not only detect whether, for example, the arm is bent or stretched, or the hand is opened or fist (closed), but what degree of opening is present. This allows the implementation of many functions of the device to be operated, with each degree of opening a specific function of the device triggers.
  • the state of a hand is recognized as the state of the object.
  • the degree of opening of a hand can be determined by determining the curvature, that is, calculated to operate the corresponding device of the motor vehicle.
  • the physically correct positioning of the occupants eg by a Time Of Flight camera with a PMD sensor
  • body parts such as the hand
  • the difference between a fully opened hand and a closed hand is recognized as a gripping gesture.
  • the hand can be particularly easily analyzed, for example, as a spherical object based on four sector points on the palm of the hand and from the ball radius and the ball center are determined.
  • an opening degree of the hand is determined on the basis of the object state.
  • the consideration of the hand as an object enables the recognition of particularly many object states in the form of different degrees of opening of the hand.
  • various finger movements or the spreading of individual fingers can be used to define different object states. This opens up a considerable range of operation of the device, that is to say the implementation of particularly many functions by the various detected object states of the hand.
  • the object evaluation device according to the invention for a motor vehicle enables particularly reliable and reliable detection of different object states of the object under consideration.
  • the motor vehicle equipped with an object evaluation device according to the invention can be operated in a particularly reliable non-contact manner, wherein the motor vehicle occupant can at the same time direct his entire attention to the traffic situation.
  • Fig. 1 is a schematic perspective view of an interior of a
  • FIGS. 2 to 4 are each a schematic perspective view for illustrating an embodiment of the method according to the invention.
  • FIG. 1 shows a part of an interior of a motor vehicle 10 in the context of a schematic perspective view.
  • the motor vehicle 10 comprises an object evaluation device 20, by means of which different object states 24, 26 of an object 22 embodied as a hand of a vehicle occupant are detected.
  • the object state 24 corresponds to the open hand, which can be recognized by the widened fingers indicated by dot-dashed lines.
  • the further object state 26 corresponds to the closed hand formed into a fist.
  • the object evaluation device 20 comprises a sensor 12, which is designed as a PMD sensor, a camera 14 and a calculation unit 16 (ECU).
  • ECU calculation unit 16
  • the sensor 12 is part of the camera 14, wherein by means of the calculation unit 16 a three-dimensional image 28 derived from the object 14 by the camera 14 is evaluated and the object 22, or the three-dimensional image 28 of one of the object states 24, 26 is assigned.
  • a state signal corresponding to the detected object state 24, 26 is then transmitted by the calculation unit 16 to a vehicle architecture 18, which is embodied, for example, as a CAN bus, and from the vehicle architecture 18 as a function of the status signal to a device 48, for example a navigation device or an air conditioner of the motor vehicle 10 corresponds operated.
  • a vehicle architecture 18 which is embodied, for example, as a CAN bus
  • a device 48 for example a navigation device or an air conditioner of the motor vehicle 10 corresponds operated.
  • 48 different settings are made on the device by different object states 24, 26 are detected by the object evaluation device 20 and the object states 24, 26 corresponding state signals are transmitted via the vehicle architecture 18 to the device 48.
  • FIG. 2 shows the object state 26, that is to say the closed hand formed into a fist, which corresponds to the object 22 in the present exemplary embodiment.
  • FIG. 3 shows the object state 24, that is to say the open, substantially flat hand (object 22).
  • the object states 24, 26 can now be distinguished from one another by means of the object evaluation device 20 in that the three-dimensional image 28 of the object 22 (of the hand), as shown in FIG. 4, into different sectors 30, 32, 34, 36 are configured here as quadrants, and each of the quadrants has at least one sector point 38 of a plurality of objects 22. writing, spatially distributed sector points of the image 28 is assigned. Based on the plurality of sector points, at least one spherical curvature 40 of the object 22 is determined.
  • a spatial curvature of the hand is recognized and evaluated as a specific object state 24, 26.
  • the respective object state 24, 26 is therefore evaluated on the basis of the spherical curvature 40 of the object 22, and the evaluated object state 24, 26 is used as a status signal for operating the device 48 of the motor vehicle 10.
  • a corresponding radius R, r of the spherical curvature 40 and a center M of the spherical curvature is determined.
  • FIG. 2 shows the spherical curvature 40, which results at the closed hand (fist, object state 26) at the small radius r, and FIG.
  • FIGS. 2 and 3 shows the spherical curvature 40, which is at the larger radius compared to the radius r R yields.
  • the object evaluation device 20 can therefore be used to easily evaluate which of the object states 24, 26 is present.
  • a distinction may also be made between the object states 24, 26 by using at least a portion of the plurality of sector points describing the object 22 as respective coordinates of a sphere 52 and for evaluating the object state 24, 26 a spherical radius R ", n ⁇ is used.
  • the plurality of sector points corresponds to a cloud of points 50, which is defined in each of the sectors 30, 32, 34, 36.
  • At least four random points 46 can also be selected, each of which is assigned to one of the sectors 30, 32, 34, 36.
  • a spherical radius R H , r H and a spherical center M H are determined as a parameter of an enveloping ball 42.
  • the envelope ball 42 is defined on the basis of the random points 46 with respect to their spherical radius R H , r H and their ball center point M H.
  • these random points 46 thus lie on the enveloping ball 42 and fix them in terms of their spatial and their relative position to the object 22. As shown in Fig.
  • At least one further envelope ball 44 can be determined according to the type mentioned.
  • FIG. 2 and FIG. 3 shows that the enveloping balls 42, 44 shown there envelop the respective closed or opened hand, and thus the different radii RH, ⁇ of the respective enveloping balls 42, 44 result, on the basis of which the respective object state 24, 26 is evaluated.
  • the enveloping balls 42, 44 can only parts of the object 22, ie the hand, when, for example, the random points 46 lie on the palm of the hand or on the back of the hand.
  • the enveloping balls 42, 44 can additionally describe the state of individual limbs, ie fingers of the hand under consideration (object 22), in which case a plurality of spherical curvatures 40 describing the object 22 are determined, and a description of the object state 24, 26 In FIG. 5 or FIG.
  • the frequency distribution 54, 56 of the plurality of spherical curvatures 40 describing the object 22 is used.
  • the frequency distribution 54 shown in FIG. 5 corresponds to a broad distribution with large radii of the enveloping balls 42, 44, in other words an open hand, in which the object state 24 is present and thus the degree of opening of the hand is great.
  • Fig. 6 shows the frequency distribution 56, which results in the clenched hand (object state 26). Accordingly, in the frequency distribution 56 a sharp average value sets in at generally smaller radii.
  • the classes X of the illustrated histogram (frequency distribution 54) have a wide distribution with a large radius
  • the classes X of the histogram (frequency distribution 56) shown in Fig. 6 show a distribution with a small mean and small radii.
  • the closure of the hand (object 22) can be carried out particularly simply and with little effort by calculating the respective radii and centers of the enveloping balls 42, 44 and additionally or alternatively the balls 52.
  • a circle is clearly defined by three different points of its arc. Conversely, three different points do not define that a straight line, a clear circle. This also applies in space, because three points that are not on a straight line (non-collinear position) span a plane on which the circle then lies. Imagine three such points in three-dimensional space and the circle going through them.
  • the circle In the case of all balls (enveloping balls 42, 44, or ball 52) on whose surfaces these three points lie, the circle must also lie on the spherical surface. Moreover, all the centers of the spheres that can be formed into the circle lie on a perpendicular to the circle through its center.
  • the coordinates indicate the direction components of the distance from the center point.
  • This expression takes into account that the observed object 22 may be located anywhere within the detection range of the sensor 12.
  • a + B-Xi + C-yi + D ZT - (x- ⁇ 2 + + zi 2 )
  • a + B x 2 + C y 2 + D z 2 - (x 2 2 + y 2 2 + z 2 2 )
  • the associated coefficient matrix is:
  • the sphere thus has the center point (5
  • the example described shows how the invention can provide a calculation of the degree of opening of a hand by determining the curvature (radius).

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Objektbewertungsvorrichtung (20) für ein Kraftfahrzeug (10), bei welchem wenigstens ein Objektzustand (24, 26) eines zu bewertenden Objekts (22) durch wenigstens einen Sensor (12) der Objektbewertungsvorrichtung (20) optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild (28) des Objekts (22) segmentiert wird, wobei das segmentierte, dreidimensionale Bild (28) in eine Mehrzahl von Sektoren (30, 32, 34, 36) unterteilt wird. Zur Beschreibung des Objektzustands (24, 26) wird aus jedem der Sektoren (30, 32, 34, 36) wenigstens ein Sektorpunkt (38) aus einer Mehrzahl von das Objekt (22) beschreibenden, räumlich verteilten Sektorpunkten des Bildes (28) verwendet. Anhand der Mehrzahl von Sektorpunkten wird wenigstens eine sphärische Krümmung (40) des Objekts (22) bestimmt, wobei der Objektzustand (24, 26) anhand der sphärischen Krümmung (40) des Objekts (22) bewertet und der bewertete Objektzustand (24, 26) als Zustandssignal zur Bedienung eines Geräts (48) des Kraftfahrzeugs (10) herangezogen wird.

Description

Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, Objektbewertungsvorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Objektbewertungsvorrichtung
BESCHREIBUNG:
Die Erfindung betrifft ein Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, bei welchem wenigstens ein Objektzustand eines zu bewertenden Objekts durch wenigstens einen Sensor der Objekt- bewertungsvorrichtung optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild des Objekts segmentiert wird, wobei das segmentierte, dreidimensionale Bild in eine Mehrzahl von Sektoren unterteilt wird. Zu der Erfindung gehört auch eine entsprechende Objektbewertungsvorrichtung für ein Kraftfahrzeug, die zum Durchführen des erfindungsgemä- ßen Verfahrens konfiguriert ist. Des Weiteren gehört zu der Erfindung ein Kraftfahrzeug mit einer derartigen Objektbewertungsvorrichtung.
Kraftfahrzeuge nutzen heutzutage zur Bedienung diverser im Kraftfahrzeug eingebauter oder mitführbarer Geräte, also beispielsweise zur Bedienung eines Telefons, Eingabesysteme, welche auf berührungsloser Bedienung basieren. Zu derartigen Systemen gehört beispielsweise die Gestensteuerung, bei welcher berührungslos eine vom Fahrzeuginsassen gewünschte Telefonnummer durch gestikulierte Vorgabe gewählt wird. Derartige berührungslose Systeme sind besonders vorteilhaft, da Fahrzeuginsassen und insbesondere der Fahrer des Kraftfahrzeugs seinen Blick kontinuierlich auf das Verkehrsgeschehen richten kann und dennoch eine zuverlässige Steuerung des jeweiligen berührungslos bedienbaren Systems erfolgen kann.
Ein berührungslos bedienbares System ist aus der US 2012/0271370 A1 bekannt, welches dort als gestenkontrolliertes Interface für ein Kraftfahrzeug ausgestaltet ist. Eine im Kraftfahrzeug einsitzende Person kann dabei einen Gestenakzeptanzbereich definieren und ein Gestenkontrollsystem einlernen, so dass dieses eine Handposition und die Handbewegung innerhalb des Gestenakzeptanzbereichs detektiert. Aus der WO 2014/009561 A2 ist ein Verfahren bekannt, bei welchem eine gestenbasierte Mensch-Computer-Interaktion mittels einzelner „Points of Interest" (POI) einer Hand verwendet werden. Hierbei reichen einige wenige Punkte aus, um ein Greifen, ein Drücken oder ein Fingerschnippen der Hand zu erkennen und eine darauf basierende Gerätebedienung auszulösen.
Die DE 10 2007 041 482 A1 offenbart ein Verfahren zur automatischen Erkennung einer mit einer Gliedmaße, z. B. einer Hand, gebildeten Geste, wo- bei zeitgleich eine Mehrzahl zweidimensionaler Bilder der Gliedmaße aus unterschiedlichen Richtungen erfasst wird. Die zweidimensionalen Bilder werden zu einem dreidimensionalen Bild kombiniert und letzteres hinsichtlich eines Gestenmerkmals analysiert. Aufgabe der vorliegenden Erfindung ist es, ein besonders zuverlässiges, berührungsloses Bedienen von Geräten zu ermöglichen.
Diese Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 , durch eine Objektbewertungsvorrichtung gemäß Patentanspruch 9 sowie durch ein Kraftfahrzeug gemäß Patentanspruch 10 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.
Das erfindungsgemäße Verfahren nutzt die eingangs beschriebene Vorgehensweise, wonach wenigstens ein Objektzustand eines zu bewertenden Objekts durch wenigstens einen Sensor der Objektbewertungsvorrichtung optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild des Objekts segmentiert wird, wobei das segmentierte, dreidimensionale Bild in eine Mehrzahl von Sektoren unterteilt wird. Erfindungsgemäß wird zur Beschreibung des Objektzustands aus jedem der Sektoren wenigstens ein Sektorpunkt aus einer Mehrzahl von das Objekt beschreibenden, räumlich verteilten Sektorpunkten des Bildes verwendet. Dabei werden beispielsweise 1000 Sektorpunkte für eine statistische Auswertung oder vier Sektorpunkte für eine konkrete Auswertung verwendet. Anhand der Mehrzahl von Sektorpunkten wird wenigstens eine sphärische Krümmung des Objekts, beispielsweise einer Hand, bestimmt, wobei der Objektzustand anhand der sphärischen Krümmung des Objekts bewertet wird und der bewertete Objektzustand als Zustandssignals zur Bedienung eines Geräts des Kraftfahrzeugs herangezogen wird. Die Objektbewertungsvorrich- tung umfasst dabei beispielsweise eine Kamera mit einem PMD-Sensor (PMD = Photonic Mixing Device), welcher auf dem Prinzip des Lichtlaufzeitverfahrens beruht. Das mittels der Objektbewertungsvorrichtung erfasste Objekt ist beispielsweise der Arm eines Fahrzeuginsassen oder, wie bereits erwähnt eine Hand, um nur einige Arten eines zu erfassenden und zu bewertenden Objekts zu nennen. Dementsprechend wird als Objektzustand optisch erfasst, ob beispielsweise der betrachtete Oberarm vollständig angewinkelt, leicht angewinkelt oder durchgestreckt ist oder die Hand zur Faust gekrümmt oder geöffnet ist. Auf die Segmentierung als Teilgebiet der digitalen Bildver- arbeitung und des Sehens, bei welcher inhaltlich zusammenhängende Regionen durch Zusammenfassung benachbarter Pixel oder Voxel entsprechend einem bestimmten Homogenitätskriterium erzeugt werden, soll hier nur insoweit eingegangen werden, dass im Rahmen der Erfassung des dreidimensionalen Bildes mittels der Objektbewertungsvorrichtung bei der Segmentie- rung auch Höhenunterschiede des Objekts erkannt werden können. Dementsprechend kann mittels der Segmentierung unterschieden werden, ob beispielsweise Zonen einer zur Faust geballten Hand nach außen gewölbt oder aneinander gepresst werden. Beim Unterteilen des «mittels der Objektbewertungsvorrichtung beim Erfassen des Objekts abgeleiteten dreidimen- sionalen Bildes in eine Mehrzahl von Sektoren kann beispielsweise eine Aufteilung in Quadranten oder Kreissegmente unterschiedlicher Flächeninhalte erfolgen, um nur einige Möglichkeiten der Unterteilung in Sektoren zu nennen. Zur Beschreibung des Objektzustands unter Verwendung von Quadranten werden auf diese beispielsweise 1000 Sektorpunkte gleichmäßig verteilt, so dass je Quadrant 250 Sektorpunkte des dreidimensionalen Bildes verwendet werden. Die jeweiligen Sektorpunkte entsprechend dabei einzelnen Pixeln, welche je Sektor einen minimalen Pixelabstand zueinander (z. B. in u-Richtung und v-Richtung einen Abstand von dp = 5 Pixeln) aufweisen. Aus den räumlich verteilten Sektorpunkten und deren Anordnung zueinander wird eine sphärische Krümmung des betrachteten Objekts bestimmt und der Objektzustand anhand der sphärischen Krümmung des Objekts bewertet. Handelt es sich bei dem betrachteten Objekt, wie oben beispielhaft erwähnt, um eine Hand, so kann anhand der sphärischen Krümmung somit festgestellt werden, ob die Hand geschlossen ist (kleiner Krümmungsradius an der Handfläche) oder ob die Hand geöffnet ist (betrachtete Krümmungsradien an der Handfläche im Vergleich zur Faust deutlich größer). Gerade am eben genannten Beispiel der Hand als betrachtetem Objekt ist ersichtlich, dass auch durch den Vergleich verschiedener Zonen des Objekts durch Zuordnung dieser Zonen in die Sektoren, bzw. Quadranten (z.B. Quadrant 1 ent- spricht Zone 1 = Mittelfinger, Ringfinger und kleiner Finger; Quadrant 2 entspricht Zone 2 = Zeigefinger und Daumenspitze; Quadrant 3 entspricht Zone 3 = Handfläche unterhalb des Mittelfingers, des Ringfingers und des kleinen Fingers; Quadrant 4 entspricht Zone 4 = Handballen, bzw. Daumengelenk) auch ein Vergleich des Zustandes der Zonen zueinander zur Bewertung des Objektzustandes herangezogen werden kann. Mittels der Objektbewertungsvorrichtung wird schließlich aus dem bewerteten Objektzustand ein entsprechendes Zustandssignal generiert und zur Bedienung an ein Gerät des Kraftfahrzeugs übermittelt. Ein derartiges Gerät kann neben einem Mobiltelefon beispielsweise ein Navigationssystem oder eine Klimaanlage des Kraftfahrzeugs sein, um nur einige mögliche Geräte zu nennen.
In einer vorteilhaften Ausgestaltung der Erfindung wird anhand der sphärischen Krümmung des Objekts ein Radius der sphärischen Krümmung und ein Mittelpunkt der sphärischen Krümmung ermittelt. Dies hat den Vorteil, dass eine besonders einfache und zuverlässige Beschreibung der Krümmung ermöglicht wird, wobei ein besonders geringer Speicherbedarf für die die Krümmung hinreichend beschreibenden Daten benötigt wird. Mit anderen Worten können durch den Radius, den Mittelpunkt sowie durch diejenigen Sektorpunkte, durch welche die sphärische Krümmung festgelegt bzw. definiert ist, auf besonders ressourcenschonende Weise (geringer Speicherbedarf und geringer Rechenleistungsbedarf in der Objektbewertungsvorrichtung) sowohl eine eindeutige Lage der betrachteten Krümmung, als auch der entsprechende Krümmungsgrad festgehalten werden. Bei der sphärischen Krümmung kann es sich auch um eine Krümmung mit mehreren Radien handeln, welche durch die jeweiligen Sektorpunkte in Bezug auf den Mittelpunkt definiert sind. Bei mehreren Radien sind dementsprechend auch mehr Sektorpunkte hinsichtlich ihrer Lage zu erfassen um eine eindeutige, also vollständige Beschreibung der Krümmung mit mehreren Radien zu ermögli- chen. Mit anderen Worten hängt die Anzahl der hinsichtlich Ihrer Lage für die eindeutige Beschreibung der Krümmung zu erfassenden Sektorpunkte von der Anzahl der verschiedenen Krümmungsradien ab.
Als weiterhin vorteilhaft hat es sich gezeigt, wenn zumindest ein Teil der Mehrzahl von das Objekt beschreibenden Sektorpunkten als jeweilige Koordinaten einer Kugel verwendet werden und zur Bewertung des Objektzustandes ein Kugelradius herangezogen wird. Mit anderen Worten werden dabei die betrachteten Sektorpunkte als Kugelkoordinaten einer Kugel ausgedrückt und die durch die Sektorpunkte gebildete sphärische Krümmung als Kugel vereinfacht. Zur Beschreibung einer Kugel reichen prinzipiell bereits vier Sektorpunkte aus. Dies ermöglicht eine besonders ressourcenschonende Beschreibung der lokalen Krümmung des Objekts, wobei die Kugel eine geometrisch besonders einfach zu beschreibende Referenz darstellt.
Von weiterem Vorteil ist es, wenn aus der Mehrzahl von Sektorpunkten wenigstens vier Zufallspunkte ausgewählt werden, von welchen jeder einem der Sektoren zugeordnet ist, wobei anhand dieser Zufallspunkte ein Kugelradius und ein Kugelmittelpunkt als Kenngrößen einer Hüllkugel ermittelt werden. Die betrachtete Hüllkugel kann dabei einerseits als Einhüllende des Objekts verstanden werden, wobei sich der Radius der Hüllkugel mit dem Objektzustand ändert. Dementsprechend ist beispielsweise die Hüllkugel eines ausgestreckten Arms deutlich größer (größerer Radius der Hüllkugel, die den ganzen Arm einschließt), als die Hüllkugel eines abgewinkelten Arm (kleine- rer Radius). Die Hüllkugel kann jedoch alternativ dazu auch so definiert sein, dass sie gerade die jeweils betrachteten Zufallspunkte einschließt und sich dabei eine zufällig anhand der Zufallspunkte ermittelte Hüllkugel ergibt, welche keineswegs das ganze Objekt, sondern lediglich beispielsweise einzelne Zonen einschließt. Eine solche Zone wäre beispielsweise der Ellbogen des Arms. Die Verwendung von Zufallspunkten ist insbesondere vorteilhaft, da dadurch auch Schrägstellungen des betrachteten Objekts relativ zu der Objektbewertungsvorrichtung zu einem zuverlässigen Bedienen des Geräts führen. Die Objektbewertungsvorrichtung kann dementsprechend eine Schrägstellung erkennen und anhand anderer Zufallspunkte zuverlässig den jeweili- gen Objektzustand ermitteln.
Von Vorteil ist weiterhin, wenn zumindest eine weitere Hüllkugel der genannten Art ermittelt wird. Die Ermittlung weiterer Hüllkugeln ist besonders vorteilhaft, um auch bei unregelmäßig gebildeten Objekten eine zuverlässige Bedienung des Geräts herbeizuführen. Ein anschauliches Beispiel stellt hierbei eine stark angeschwollene Hand dar, welche dennoch durch die Verwendung von mehreren Hüllkugeln zu einer zuverlässigen Bedienung des Geräts verwendet werden kann. Dementsprechend wird beispielsweise derjenige Sektor, in welchem beispielsweise ein stark geschwollener Finger liegt als Ausreißer erkannt und nur die anderen Sektoren mit den weiteren Hüllkugeln zur Bedienung des Geräts herangezogen.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung wird eine Mehrzahl von das Objekt beschreibenden sphärischen Krümmungen ermittelt und zur Beschreibung des Objektszustands eine Häufigkeitsverteilung der Mehrzahl von das Objekt beschreibenden sphärischen Krümmungen herangezogen. Durch die Verwendung von mehreren sphärischen Krümmungen, welche beispielsweise einen unterschiedlichen Radius zueinander aufweisen, kann eine besonders feine Abstufung zwischen mehreren Objektzuständen erfolgen. Mit anderen Worten kann durch die Mehrzahl der sphärischen Krümmungen nicht nur erkannt werden, ob beispielsweise der Arm gebeugt oder gestreckt, oder die Hand geöffnet, oder zur Faust geballt (geschlossen) ist, sondern welcher Grad der Öffnung vorliegt. Dies erlaubt die Umsetzung zahlreicher Funktionen des zu bedienenden Geräts, wobei jeder Öffnungsgrad eine bestimmte Funktion des Geräts auslöst.
Von weiterem Vorteil ist es, wenn als der Objektzustand ein Zustand einer Hand erkannt wird. Dementsprechend kann beispielsweise der Öffnungsgrad einer Hand durch Ermittlung der Krümmung ermittelt, also berechnet werden, um das entsprechende Gerät des Kraftfahrzeugs zu bedienen. Die physikalisch einwandfreie Ortbarkeit der Insassen (z. B. durch eine Time Of Flight Kamera mit einem PMD-Sensor) bzw. von Körperteilen (wie der Hand) des Insassen erlauben eine Handpose zu erkennen. Als Greifgeste wird dabei beispielsweise der Unterschied zwischen voll geöffneter Hand und geschlossener Hand erkannt. Die Hand kann dabei besonders einfach beispielsweise als kugelförmiges Objekt anhand von vier Sektorpunkten auf der Handoberfläche analysiert werden und daraus der Kugelradius sowie der Kugelmittelpunkt bestimmt werden.
Von weiterem Vorteil ist es, wenn anhand des Objektzustands ein Öffnungsgrad der Hand ermittelt wird. Die Betrachtung der Hand als Objekt ermöglicht das Erkennen besonders vieler Objektzustände in Form von unterschiedlichen Öffnungsgraden der Hand. Zusätzlich können verschiedene Fingerbe- wegungen oder das Abspreizen einzelner Finger herangezogen werden, um verschiedene Objektzustände zu definieren. Dies eröffnet einen erheblichen Bedienumfang des Geräts, also das Umsetzen besonders vieler Funktionen durch die verschiedenen erkannten Objektzustände der Hand. Die erfindungsgemäße Objektbewertungsvorrichtung für ein Kraftfahrzeug ermöglicht eine besonders sichere und zuverlässige Erkennung verschiedener Objektzustände des betrachteten Objekts. Das erfindungsgemäße, mit einer Objektbewertungsvorrichtung ausgestattete Kraftfahrzeug kann besonders zuverlässig berührungslos bedient werden, wobei der Kraftfahrzeuginsasse gleichzeitig seine gesamte Aufmerksamkeit auf das Verkehrsgeschehen richten kann.
Die für das erfindungsgemäße Verfahren beschriebenen Vorteile und bevorzugten Ausführungsformen gelten auch für die erfindungsgemäße Objektbewertungsvorrichtung sowie für das Kraftfahrzeug und umgekehrt. Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den Ansprüchen, der nachfolgenden Beschreibung bevorzugter Ausführungsformen sowie anhand der Zeichnungen.
Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausfüh- rungsbeispiels erläutert. Hierzu zeigt:
Fig. 1 eine schematische Perspektivansicht eines Innenraums eines
Kraftfahrzeugs, wobei mittels einer Objektbewertungsvorrichtung verschiedene Objektzustände eines vorliegend als Hand ausgebildeten Objekts erfasst werden;
Fig. 2 bis 4 jeweils eine schematische Perspektivansicht zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens; und
Fig. 5 und 6 jeweils zueinander verschiedene Häufigkeitsverteilungen als
Folge von jeweils zueinander verschiedener Objektzustände eines mittels der Objektbewertungsvorrichtung erfassten Objekts. Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander wei- terbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
Fig. 1 zeigt im Rahmen einer schematischen Perspektivansicht einen Teil eines Innenraums eines Kraftfahrzeugs 10. Das Kraftfahrzeug 10 umfasst vorliegend eine Objektbewertungsvorrichtung 20, mittels welcher verschiedene Objektzustände 24, 26 eines vorliegend als Hand eines Fahrzeuginsassen ausgebildeten Objekts 22 erfasst werden. Im in Fig. 1 gezeigten Beispiel entspricht der Objektzustand 24 der geöffneten Hand, was durch die strichpunktiert angedeuteten, abgestreckten Finger erkennbar ist. Der weitere Objektzustand 26 hingegen entspricht dabei der geschlossenen, zu einer Faust geformten Hand. Die Objektbewertungsvorrichtung 20 umfasst im vorliegenden Ausführungsbeispiel einen Sensor 12, welcher als PMD-Sensor ausgebildet ist, eine Kamera 14 sowie eine Berechnungseinheit 16 (ECU). Der Sensor 12 ist dabei Bestandteil der Kamera 14, wobei mittels der Berechnungseinheit 16 ein durch die Kamera 14 von- dem Objekt (Hand) 22 abgeleitetes dreidimensionales Bild 28 ausgewertet und dabei dem Objekt 22, bzw. dem dreidimensionalen Bild 28 einer der Objektzustände 24, 26 zugeordnet wird. Ein dem erkannten Objektzustand 24, 26 entsprechendes Zustandssignal wird dann von der Berechnungseinheit 16 an eine Fahrzeugarchitektur 18, welche beispielsweise als CAN-Bus ausgebildet ist, übermittelt, und von der Fahrzeugarchitektur 18 in Abhängigkeit von dem Zustandssignal ein Gerät 48, welches beispielsweise einem Navigationsgerät oder einer Klimaanlage des Kraftfahrzeugs 10 entspricht, bedient. Mit anderen Worten werden also am Gerät 48 verschiedene Einstellungen vorgenommen indem verschiedene Objektzustände 24, 26 durch die Objektbewertungsvorrichtung 20 erkannt werden und den Objektzuständen 24, 26 entsprechende Zustandssignale über die Fahrzeugarchitektur 18 an das Gerät 48 übermittelt werden.
Fig. 2 zeigt den Objektzustand 26, also die zu einer Faust geformte, geschlossene Hand, welche im vorliegenden' Ausführungsbeispiel dem Objekt 22 entspricht. Fig. 3 zeigt den Objektzustand 24, also die offene, im Wesentlichen flache Hand (Objekt 22). Die Objektzustände 24, 26 können nun mit- tels der Objektbewertungsvorrichtung 20 dadurch voneinander unterschieden werden, dass das dreidimensionale Bild 28 des Objekts 22 (der Hand), wie in Fig. 4 gezeigt, in verschiedene Sektoren 30, 32, 34, 36, welche hier als Quadranten ausgestaltet sind, unterteilt werden und jedem der Quadranten wenigstens ein Sektorpunkt 38 aus einer Mehrzahl von das Objekt 22 be- schreibenden, räumlich verteilten Sektorpunkten des Bildes 28 zugeordnet wird. Anhand der Mehrzahl von Sektorpunkten wird wenigstens eine sphärische Krümmung 40 des Objekts 22 bestimmt. Mit anderen Worten wird anhand der Sektorpunkte 38 eine räumliche Wölbung der Hand erkannt und als bestimmter Objektzustand 24, 26 bewertet. Der jeweilige Objektzustand 24, 26 wird also anhand der sphärischen Krümmung 40 des Objekts 22 bewertet und der bewertete Objektzustand 24, 26 als Zustandssignal zur Bedienung des Geräts 48 des Kraftfahrzeugs 10 herangezogen. Anhand der sphärischen Krümmung 40 des Objekts 22 (der Hand) wird ein entsprechender Radius R, r der sphärischen Krümmung 40 und ein Mittelpunkt M der sphärischen Krümmung ermittelt. Fig. 2 zeigt hierzu die sphärische Krümmung 40, welche sich bei der geschlossenen Hand (Faust, Objektzustand 26) zu dem kleinen Radius r ergibt, und Fig. 3 zeigt die sphärische Krümmung 40, welche sich zu dem im Vergleich zum Radius r größeren Radius R ergibt. An- hand dieser jeweiligen Krümmung 40 kann also mittels der Objektbewertungsvorrichtung 20 besonders einfach bewertet werden, welcher der Objektzustände 24, 26 vorliegt. Wie in Fig. 2 und Fig. 3 weiterhin gezeigt, kann zusätzlich oder alternativ zu der sphärischen Krümmung 40 auch eine Unterscheidung der Objektzustände 24, 26 erfolgen, indem zumindest ein Teil der Mehrzahl von das Objekt 22 beschreibenden Sektorpunkten als jeweilige Koordinaten einer Kugel 52 verwendet werden und zur Bewertung des Objektszustandes 24, 26 ein Kugelradius R«, n< herangezogen wird. Die Mehrzahl von Sektorpunkten entspricht dabei einer Punktewolke 50, welche in jedem der Sektoren 30, 32, 34, 36 definiert wird. Aus der Mehrzahl von Sektorpunkten (Punktewolke 50) können zusätzlich oder alternativ auch wenigstens vier Zufallspunkte 46 ausgewählt werden, von welchen jeder einem der Sektoren 30, 32, 34, 36 zugeordnet ist. Anhand dieser Zufallspunkte 46 wird ein Kugelradius RH, rH und ein Kugelmittelpunkt MH als Kenngröße einer Hüllkugel 42 ermittelt. Mit anderen Worten wird also die Hüllkugel 42 anhand der Zufallspunkte 46 hinsichtlich ihres Kugelradius RH, rH und ihres Kugelmittelpunkts MH definiert. Mit anderen Worten liegen also diese Zufallspunkte 46 auf der Hüllkugel 42 und legen diese hinsichtlich ihrer räumlichen und ihrer relativen Lage zu dem Objekt 22 fest. Wie in Fig. 3 dargestellt ist, kann zumindest eine weitere Hüllkugel 44 nach der genannten Art ermittelt werden. Die Zusammenschau der Fig. 2 und der Fig. 3 zeigt zwar, dass die dort dargestellten Hüllkugeln 42, 44 die jeweilige geschlossene bzw. geöffnete Hand einhüllen, und sich dadurch die unterschiedlichen Radien RH , ΓΗ der jeweiligen Hüllkugeln 42, 44 ergeben, anhand welcher der jeweilige Objektzustand 24, 26 bewertet wird. Die Hüllkugeln 42, 44 können jedoch auch nur Teile des betrachteten Objekts 22, also der Hand einhüllen, wenn zum Beispiel die Zufallspunkte 46 auf der Handinnenfläche oder auf dem Handrücken liegen. Demzufolge können auch zahlreiche der Hüllkugeln 42, 44, z.B. insgesamt N = 1000 Hüllkugeln verwendet werden, wobei sich dann aus den daraus gewonnenen Daten (N x [Radius, Mittelpunkt] der Hüllkugeln) eine besonders aufschlussreiche, und sogar in unterschiedliche Zustandsstufen unterteilbare Bewertung der Objektzustände 24, 26 ableiten lässt. Des Weiteren können die Hüllkugeln 42, 44 zusätzlich den Zustand einzelner Gliedmaßen, also Finger der betrachteten Hand (Objekt 22) beschreiben, wobei dann eine Mehrzahl von das Objekt 22 beschreibenden, sphärischen Krümmungen 40 ermittelt wird, und zur Beschreibung des Objektzustands 24, 26 eine in Fig. 5 bzw. Fig. 6 gezeigte Häufigkeitsverteilung 54, 56 der Mehrzahl von das Objekt 22 beschreibenden sphärischen Krümmungen 40 herangezogen wird. Die in Fig. 5 gezeigte Häufigkeitsverteilung 54 entspricht einer breiten Vertei- lung mit großen Radien der Hüllkugeln 42, 44, also mit anderen Worten einer offenen Hand, bei welcher der Objektzustand 24 vorliegt und damit der Öffnungsgrad der Hand groß ist. Im Gegensatz dazu zeigt Fig. 6 die Häufigkeitsverteilung 56, welche sich bei der zur Faust geballten Hand (Objektzustand 26) ergibt. Dementsprechend stellt sich bei der Häufigkeitsverteilung 56 ein spitzer Mittelwert bei allgemein kleineren Radien ein. Während in Fig. 5 also die Klassen X des dargestellten Histogramms (Häufigkeitsverteilung 54) eine breite Verteilung mit großem Radius aufweisen, zeigen die Klassen X des in Fig. 6 gezeigten Histogramms (Häufigkeitsverteilung 56) eine Verteilung mit spitzem Mittelwert und kleinen Radien.
Durch die Auswertungsmittel der Häufigkeitsverteilungen 54, 56 kann die Geschlossenheit der Hand (Objekt 22) besonders einfach und aufwandsarm durch die Berechnung der jeweiligen Radien und Mittelpunkte der Hüllkugeln 42, 44 und zusätzlich oder alternativ der Kugeln 52 erfolgen.
Im Folgenden wird ein Beispiel für den zugrundeliegenden Algorithmus zur Bestimmung der Geschlossenheit der Hand beschrieben.
Kugel durch vier Punkte
Ein Kreis ist durch drei unterschiedliche Punkte seines Bogens eindeutig festgelegt. Umgekehrt definieren drei unterschiedliche Punkte, die nicht auf einer Geraden liegen, einen eindeutigen Kreis. Dies gilt auch im Raum, denn drei Punkte, die nicht auf einer Gerade liegen (nicht kollineare Lage) spannen eine Ebene auf, auf der dann der Kreis liegt. Man stelle sich nun drei solche Punkte im dreidimensionalen Raum vor und den durch sie gehenden Kreis.
Bei allen Kugeln (Hüllkugeln 42, 44, bzw. Kugel 52), auf deren Oberflächen diese drei Punkte liegen, muss auch der Kreis auf der Kugelfläche liegen. Darüber hinaus liegen alle Mittelpunkte der Kugeln, die man zu dem Kreis bilden kann, auf einer Senkrechten zum Kreis durch dessen Mittelpunkt.
Durch einen einzigen zusätzlichen, also einen vierten Oberflächenpunkt ist die Kugel festgelegt. Allerdings darf dieser Punkt nicht in der Ebene des Kreises liegen: Entweder liegen die Punkte dann alle auf einem Kreis, dann ist die Kugel nicht eindeutig definiert, oder sie liegen nicht auf einem Kreis, dann gibt es keine entsprechende Kugel.
Für vier gegebene Punkte(Zufallspunkte 46 bzw. Sektorpunkte 38) lässt sich also genau dann eine Kugel (Hüllkugeln 42, 44, bzw. Kugel 52) finden, auf deren Oberfläche die Punkte liegen, wenn sie alle verschieden sind, wenn nicht drei von ihnen auf einer Geraden liegen und nicht alle vier in einer Ebene.
Alle Punkte (Zufallspunkte 46 bzw. Sektorpunkte 38) auf der Kugeloberfläche haben vom Mittelpunkt denselben Abstand, welche dem entsprechenden Radius (RK, rK, bzw. RH, rH) entspricht. Nach Pythagoras gilt der Zusammenhang
Radius = v x2 + y2 + z2)
bzw. Radius2 = x2 + y2 + z .
Wenn der Ursprung des Koordinatensystems der Mittelpunkt des Kreises ist, geben die Koordinaten die Richtungskomponenten des Abstands vom Mittelpunkt an. Der Punkt (2|4|5) besitzt nach Pythagoras den Abstand v(22 + 42 + 52) vom Mittelpunkt, also Radius = v(4 + 16 + 25) = ^5 ~ 6,7082
Eine Kugel mit dem Radius 8 um den Ursprung des Koordinatensystems be- sitzt also die Gleichung x2 + y2 + z2 = 64 Ist die Kugel (Hüllkugel 42, 44, bzw. Kugel 52) verschoben, d.h.: liegt ihr Mittelpunkt nicht im Ursprung, so lassen sich die neuen Verhältnisse auf diese Gleichung zurückführen, indem man die komponentenweisen Differenzen zwischen den Koordinaten der Oberflächenpunkte und den Koordinaten des Mittelpunktes (xm, ym, zm) in "den Pythagoras" einsetzt:
(x - xm)2 + (y - ym)2 + (z - zm)2 = Radius2
Durch diesen Ausdruck wird berücksichtigt, dass sich das betrachtete Objekt 22 an einer beliebigen Stelle innerhalb des Erfassungsbereichs des Sensors 12 befinden kann.
Wenn man die Klammern auflöst, erhält man: x2 - 2 x xm + xm 2 + y2 - 2 yym + ym 2 + z2 - 2-z zm + zm 2 = Radius2
Finden einer Kugel durch vier Punkte Zu vier gegebenen Punkten soll nun der Mittelpunkt und der Radius der zugehörigen Kugel ermittelt werden. Hierzu werden in der letzten Gleichung die Terme mit den unbekannten Größen (xm, ym, zm und Radius) auf die linke Seite und alle anderen Terme auf die rechte Seite gebracht: x2 - 2 x xm + xm 2 + y2 - 2-y-ym + ym 2 + z2 - 2 z zm + zm 2 = Radius2
m2 + ym 2 + zm 2 - r2 - 2 xm x - 2-ym-y - 2 zm z = -(x2 + y2 + z2)
Wenn man nun setzt: A:= xm 2 + ym 2 + zm 2 - r2, B:= -2 xm, C:= -2 ym und D:= -
2 zm, ergibt sich:
A + B-x + C-y + D-z = -(x2 + y2 + z2)
Da jeweils vier Paare für x, y und z bekannt sind und vier Unbekannte (A, B, C und D) vorliegen, lässt sich ein lineares Gleichungssystem mit vier Glei- chungen aufstellen, mit dem man A, B, C und D ermitteln kann:
A + B-Xi + C-yi + D ZT = -(x-\ 2 + + zi2) A + B x2 + C y2 + D z2 = -(x2 2 + y2 2 + z2 2) A + B x3 + C-y3 + D z3 (X32 + Ys2 + z3 2) A + B- X4 + C y4 + D- Z4 (X42 + y4 2 + Z42)
Wenn man soweit ist, also A,B,C und D ermittelt hat, erhält man xm = - B/2, ym = -C/2, zm = -D/2 und schließlich r2 = xm 2 + ym 2 + zm 2 - A
Im Folgenden soll nun anhand von beispielhaft gewählten Zahlenwerten die Bestimmung eines Kugelradius vorgestellt werden. Es soll die Kugel gefunden werden, die durch die Punkte (- 1 1 130,8|52,4); (30|29|-46); (38|26,6|46,8) und (-34|-27|5Ö) geht.
Mit A:= xm 2 + ym 2 + zm 2 - Radius2, B:= -2 xm, C:= -2 ym und D:= -2 zm erstellen wir zu den vier Punkten jeweils eine Gleichung A + B x + C y + D z = -(x2 + y2 + z2):
A - 1 1 B + 30,8-C + 52,4· D = -3815,4
A + 30 B + 29 C - 46 D = -3857
A + 38 B + 26,6-C + 46,8- D = -4341 ,8
A - 34 B - 27 C + 50 D = -4385
Die zugehörige Koeffizientenmatrix lautet:
1 -1 1 30,8 52,4 -3815,4
1 30 29 -46 -3857
1 38 26,6 46,8 -4341 ,8
1 -34 -27 50 -4385
Durch geeignete Zeilenumformungen erhält man:
1 0 0 0 -4147
0 1 0 0 -10
0 0 1 0 14
0 0 0 1 -4 und somit A = -4147, B = -10, C = 14 und D = -4, woraus sich ergibt: xm = -B/2 = 5
ym = -C/2 = -7
zm = -D/2 = 2 r2 = xm 2 + ym 2 + zm 2 - A = 25 + 49 + 4 - (-4147) = 4225
r = ^225 = 65
Die Kugel hat also den Mittelpunkt (5|-7|2) und den Radius 65. Insgesamt zeigt das beschriebene Beispiel, wie durch die Erfindung eine Berechnung des Öffnungsgrades einer Hand durch Ermittlung der Krümmung (Radius) bereitgestellt werden kann.

Claims

PATENTANSPRÜCHE:
Verfahren zum Betreiben einer Objektbewertungsvorrichtung (20) für ein Kraftfahrzeug (10), bei welchem wenigstens ein Objektzustand (24, 26) eines zu bewertenden Objekts (22) durch wenigstens einen Sensor (12) der Objektbewertungsvorrichtung (20) optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild (28) des Objekts (22) segmentiert wird, wobei das segmentierte, dreidimensionale Bild (28) in eine Mehrzahl von Sektoren (30, 32, 34, 36) unterteilt wird, dadurch gekennzeichnet, dass
zur Beschreibung des Objektzustands (24, 26) aus jedem der Sektoren (30, 32, 34, 36) wenigstens ein Sektorpunkt (38) aus einer Mehrzahl von das Objekt (22) beschreibenden, räumlich verteilten Sektorpunkten des Bildes (28) verwendet wird und anhand der Mehrzahl von Sektorpunkten wenigstens eine sphärische Krümmung (40) des Objekts (22) bestimmt wird, wobei der Objektzustand (24, 26) anhand der sphärischen Krümmung (40) des Objekts (22) bewertet wird und der bewertete Objektzustand (24, 26) als Zustandssignal zur Bedienung eines Geräts (48) des Kraftfahrzeugs (10) herangezogen wird.
Verfahren nach Anspruch ,
dadurch gekennzeichnet, dass
anhand der sphärischen Krümmung (40) des Objekts (22) ein Radius (R, r) der sphärischen Krümmung (40) und ein Mittelpunkt (M) der sphärischen Krümmung (40) ermittelt wird.
Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
zumindest ein Teil der Mehrzahl von das Objekt (22) beschreibenden Sektorpunkten als jeweilige Koordinaten einer Kugel (52) verwendet werden und zur Bewertung des Objektzustandes (24, 26) ein Kugelradius (RK, r«) herangezogen wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
aus der Mehrzahl von Sektorpunkten wenigstens vier Zufallspunkte (46) ausgewählt werden, von welchen jeder einem der Sektoren (30, 32, 34, 36) zugeordnet ist, wobei anhand dieser Zufallspunkte (46) ein Kugelradius (RH, ΠΗ) und ein Kugelmittelpunkt (MH) als Kenngrößen einer Hüllkugel (42) ermittelt werden.
5. Verfahren nach Anspruch 4,
dadurch gekennzeichnet, dass
5 zumindest eine weitere Hüllkugel (44) der genannten Art ermittelt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
eine Mehrzahl von das Objekt (22) beschreibenden sphärischen Krüm-0 mungen (40) ermittelt wird und zur Beschreibung des Objektzustands
(24, 26) eine Häufigkeitsverteilung (54, 56) der Mehrzahl von das Objekt (22) beschreibenden sphärischen Krümmungen (40) herangezogen wird. 5 7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
als der Objektzustand (24, 26) ein Zustand einer Hand erkannt wird.
8. Verfahren nach Anspruch 7,
O dadurch gekennzeichnet, dass
anhand des Objektzustands (24, 26) ein Öffnungsgrad der Hand ermittelt wird.
9. Objektbewertungsvorrichtung (20) für ein Kraftfahrzeug ( 0), welche zur5 Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 8 konfiguriert ist.
10. Kraftfahrzeug (10) mit einer Objektbewertungsvorrichtung (20) nach Anspruch 9.
EP15797254.8A 2014-11-20 2015-10-30 Verfahren zum betreiben einer objektbewertungsvorrichtung für ein kraftfahrzeug, objektbewertungsvorrichtung für ein kraftfahrzeug und kraftfahrzeug mit einer objektbewertungsvorrichtung Withdrawn EP3221772A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014017166.3A DE102014017166A1 (de) 2014-11-20 2014-11-20 Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, Objektbewertungsvorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Objektbewertungsvorrichtung
PCT/EP2015/002179 WO2016078746A1 (de) 2014-11-20 2015-10-30 Verfahren zum betreiben einer objektbewertungsvorrichtung für ein kraftfahrzeug, objektbewertungsvorrichtung für ein kraftfahrzeug und kraftfahrzeug mit einer objektbewertungsvorrichtung

Publications (1)

Publication Number Publication Date
EP3221772A1 true EP3221772A1 (de) 2017-09-27

Family

ID=54601728

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15797254.8A Withdrawn EP3221772A1 (de) 2014-11-20 2015-10-30 Verfahren zum betreiben einer objektbewertungsvorrichtung für ein kraftfahrzeug, objektbewertungsvorrichtung für ein kraftfahrzeug und kraftfahrzeug mit einer objektbewertungsvorrichtung

Country Status (3)

Country Link
EP (1) EP3221772A1 (de)
DE (1) DE102014017166A1 (de)
WO (1) WO2016078746A1 (de)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
TW554293B (en) * 2002-03-29 2003-09-21 Ind Tech Res Inst Method for extracting and matching hand gesture features of image
JP2008250774A (ja) * 2007-03-30 2008-10-16 Denso Corp 情報機器操作装置
DE102007041482A1 (de) 2007-08-31 2009-03-05 Rheinische Friedrich-Wilhelms Universität Verfahren zur automatischen Erkennung wenigstens der Art und/oder der Lage einer mit einer Gliedmaße gebildeten Geste, insbesondere einer Handgeste
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
WO2011142317A1 (ja) * 2010-05-11 2011-11-17 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US8620024B2 (en) * 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
US9135503B2 (en) * 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
US20120271370A1 (en) 2011-04-22 2012-10-25 Hochhalter Keith W Automated external defibrillator locating system and method
US8929612B2 (en) * 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
KR101302638B1 (ko) * 2011-07-08 2013-09-05 더디엔에이 주식회사 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9734393B2 (en) * 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
EP2872967B1 (de) 2012-07-13 2018-11-21 Sony Depthsensing Solutions SA/NV Verfahren und system für die erkennung von handbezogenen parametern für eine gestenbasierte mensch-computer-interaktion
TWI475422B (zh) * 2012-10-31 2015-03-01 Wistron Corp 手勢辨識方法與電子裝置
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
KR101459445B1 (ko) * 2012-12-18 2014-11-07 현대자동차 주식회사 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
DE102013001330A1 (de) * 2013-01-26 2014-07-31 Audi Ag Verfahren zum Betreiben einer Lüftereinrichtung eines Kraftwagens sowie Kraftwagen
US9275277B2 (en) * 2013-02-22 2016-03-01 Kaiser Foundation Hospitals Using a combination of 2D and 3D image data to determine hand features information
US9159140B2 (en) * 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2016078746A1 *

Also Published As

Publication number Publication date
DE102014017166A1 (de) 2016-05-25
WO2016078746A1 (de) 2016-05-26

Similar Documents

Publication Publication Date Title
EP3497476B1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
EP2753533B1 (de) Bestimmung der stellung von bauelementen eines fahrzeugs
EP2991874A2 (de) Bereitstellen einer effizienten umfeldkarte für ein fahrzeug
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
EP3380391A1 (de) System zum einparken eines fahrzeugs
DE102013201545A1 (de) Erstellen eines Umfeldmodells für ein Fahrzeug
EP3308361B1 (de) Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung
DE102022119855B4 (de) Vorrichtung und Verfahren zum Detektieren einer Ablenkung eines Fahrzeugführers
EP3232372B1 (de) Verfahren, anwendereingabevorrichtung und computerprogamm zur erkennung einer ausrichtung einer hand eines anwenders
DE102019008089A1 (de) Verfahren zur Detektion eines Fahrspurwechsels eines weiteren Kraftfahrzeugs mittels einer Erfassungsvorrichtung, sowie Erfassungsvorrichtung
DE102017121052A1 (de) Verarbeitung einer von einer Umgebungserfassungseinrichtung eines Kraftfahrzeugs erzeugten Punktwolke zu einem Poincaré-invarianten symmetrischen Eingabevektor für ein neurales Netzwerk
DE102022000946A1 (de) Luftausströmer für ein Fahrzeug sowie Verfahren zum Betreiben wenigstens eines Luftausströmers
WO2015062750A1 (de) Infotainmentsystem für ein fahrzeug
WO2016078746A1 (de) Verfahren zum betreiben einer objektbewertungsvorrichtung für ein kraftfahrzeug, objektbewertungsvorrichtung für ein kraftfahrzeug und kraftfahrzeug mit einer objektbewertungsvorrichtung
WO2019037907A1 (de) Verfahren und vorrichtung zur ermittlung einer wahrscheinlichkeit, mit der sich ein objekt in einem sichtfeld eines fahrers eines fahrzeugs befindet
DE102016001998A1 (de) Kraftfahrzeug-Bedienvorrichtung und Verfahren zum Betreiben einer Bedienvorrichtung, um eine Wechselwirkung zwischen einer virtuellen Darstellungsebene und einer Hand zu bewirken
WO2009027307A1 (de) VERFAHREN ZUR AUTOMATISCHEN ERKENNUNG WENIGSTENS DER ART UND/ODER DER LAGE EINER MIT EINER GLIEDMAßE GEBILDETEN GESTE, INSBESONDERE EINER HANDGESTE
DE102018208205A1 (de) Verfahren zum Kartographieren der Umgebung von Kraftfahrzeugen
DE102016224131B3 (de) Ermittlung von Bewegungsdaten eines fahrzeugexternen Objekts durch ein Fahrerassistenzsystem
DE102017126183A1 (de) Verfahren zum Erfassen und zur Klassifizierung eines Objekts mittels zumindest einer Sensorvorrichtung auf Basis einer Belegungskarte, Fahrerassistenzsystem und Kraftfahrzeug
DE102020210116A1 (de) Verfahren zum Betreiben eines Assistenzsystems eines Fahrzeugs
DE102017205782A1 (de) Steuervorrichtung und Verfahren
DE102020130646B4 (de) Verfahren, System und Computerprogrammprodukt zur Erkennung einer Änderung eines Radlenkwinkels bei einem Kraftfahrzeug
DE102012014466A1 (de) Verfahren und Vorrichtung zur Darstellung einer Szene für ein Fahrzeug
DE102018114956A1 (de) Verfahren zum Bestimmen eines aktuellen Nässezustands einer Fahrbahn mittels einesNässezustandsmodells, elektronische Recheneinrichtung sowie Fahrerassistenzsystem

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20170620

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

17Q First examination report despatched

Effective date: 20190313

18W Application withdrawn

Effective date: 20190313