DE102014017166A1

DE102014017166A1 - Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, Objektbewertungsvorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Objektbewertungsvorrichtung

Info

Publication number: DE102014017166A1
Application number: DE102014017166.3A
Authority: DE
Inventors: Michael Schlittenbauer
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2014-11-20
Filing date: 2014-11-20
Publication date: 2016-05-25
Also published as: EP3221772A1; WO2016078746A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Objektbewertungsvorrichtung (20) für ein Kraftfahrzeug (10), bei welchem wenigstens ein Objektzustand (24, 26) eines zu bewertenden Objekts (22) durch wenigstens einen Sensor (12) der Objektbewertungsvorrichtung (20) optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild (28) des Objekts (22) segmentiert wird, wobei das segmentierte, dreidimensionale Bild (28) in eine Mehrzahl von Sektoren (30, 32, 34, 36) unterteilt wird. Zur Beschreibung des Objektzustands (24, 26) wird aus jedem der Sektoren (30, 32, 34, 36) wenigstens ein Sektorpunkt (38) aus einer Mehrzahl von das Objekt (22) beschreibenden, räumlich verteilten Sektorpunkten des Bildes (28) verwendet. Anhand der Mehrzahl von Sektorpunkten wird wenigstens eine sphärische Krümmung (40) des Objekts (22) bestimmt, wobei der Objektzustand (24, 26) anhand der sphärischen Krümmung (40) des Objekts (22) bewertet und der bewertete Objektzustand (24, 26) als Zustandssignal zur Bedienung eines Geräts (48) des Kraftfahrzeugs (10) herangezogen wird.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, bei welchem wenigstens ein Objektzustand eines zu bewertenden Objekts durch wenigstens einen Sensor der Objektbewertungsvorrichtung optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild des Objekts segmentiert wird, wobei das segmentierte, dreidimensionale Bild in eine Mehrzahl von Sektoren unterteilt wird. Zu der Erfindung gehört auch eine entsprechende Objektbewertungsvorrichtung für ein Kraftfahrzeug, die zum Durchführen des erfindungsgemäßen Verfahrens konfiguriert ist. Des Weiteren gehört zu der Erfindung ein Kraftfahrzeug mit einer derartigen Objektbewertungsvorrichtung.
Kraftfahrzeuge nutzen heutzutage zur Bedienung diverser im Kraftfahrzeug eingebauter oder mitführbarer Geräte, also beispielsweise zur Bedienung eines Telefons, Eingabesysteme, welche auf berührungsloser Bedienung basieren. Zu derartigen Systemen gehört beispielsweise die Gestensteuerung, bei welcher berührungslos eine vom Fahrzeuginsassen gewünschte Telefonnummer durch gestikulierte Vorgabe gewählt wird. Derartige berührungslose Systeme sind besonders vorteilhaft, da Fahrzeuginsassen und insbesondere der Fahrer des Kraftfahrzeugs seinen Blick kontinuierlich auf das Verkehrsgeschehen richten kann und dennoch eine zuverlässige Steuerung des jeweiligen berührungslos bedienbaren Systems erfolgen kann.
Ein berührungslos bedienbares System ist aus der US 2012/0271370 A1 bekannt, welches dort als gestenkontrolliertes Interface für ein Kraftfahrzeug ausgestaltet ist. Eine im Kraftfahrzeug einsitzende Person kann dabei einen Gestenakzeptanzbereich definieren und ein Gestenkontrollsystem einlernen, so dass dieses eine Handposition und die Handbewegung innerhalb des Gestenakzeptanzbereichs detektiert.
Aus der WO 2014/009561 A2 ist ein Verfahren bekannt, bei welchem eine gestenbasierte Mensch-Computer-Interaktion mittels einzelner „Points of Interest” (POI) einer Hand verwendet werden. Hierbei reichen einige wenige Punkte aus, um ein Greifen, ein Drücken oder ein Fingerschnippen der Hand zu erkennen und eine darauf basierende Gerätebedienung auszulösen.
Die DE 10 2007 041 482 A1 offenbart ein Verfahren zur automatischen Erkennung einer mit einer Gliedmaße, z. B. einer Hand, gebildeten Geste, wobei zeitgleich eine Mehrzahl zweidimensionaler Bilder der Gliedmaße aus unterschiedlichen Richtungen erfasst wird. Die zweidimensionalen Bilder werden zu einem dreidimensionalen Bild kombiniert und letzteres hinsichtlich eines Gestenmerkmals analysiert.
Aufgabe der vorliegenden Erfindung ist es, ein besonders zuverlässiges, berührungsloses Bedienen von Geräten zu ermöglichen.
Diese Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1, durch eine Objektbewertungsvorrichtung gemäß Patentanspruch 9 sowie durch ein Kraftfahrzeug gemäß Patentanspruch 10 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.
Das erfindungsgemäße Verfahren nutzt die eingangs beschriebene Vorgehensweise, wonach wenigstens ein Objektzustand eines zu bewertenden Objekts durch wenigstens einen Sensor der Objektbewertungsvorrichtung optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild des Objekts segmentiert wird, wobei das segmentierte, dreidimensionale Bild in eine Mehrzahl von Sektoren unterteilt wird.
Erfindungsgemäß wird zur Beschreibung des Objektzustands aus jedem der Sektoren wenigstens ein Sektorpunkt aus einer Mehrzahl von das Objekt beschreibenden, räumlich verteilten Sektorpunkten des Bildes verwendet. Dabei werden beispielsweise 1000 Sektorpunkte für eine statistische Auswertung oder vier Sektorpunkte für eine konkrete Auswertung verwendet. Anhand der Mehrzahl von Sektorpunkten wird wenigstens eine sphärische Krümmung des Objekts, beispielsweise einer Hand, bestimmt, wobei der Objektzustand anhand der sphärischen Krümmung des Objekts bewertet wird und der bewertete Objektzustand als Zustandssignals zur Bedienung eines Geräts des Kraftfahrzeugs herangezogen wird. Die Objektbewertungsvorrichtung umfasst dabei beispielsweise eine Kamera mit einem PMD-Sensor (PMD = Photonic Mixing Device), welcher auf dem Prinzip des Lichtlaufzeitverfahrens beruht. Das mittels der Objektbewertungsvorrichtung erfasste Objekt ist beispielsweise der Arm eines Fahrzeuginsassen oder, wie bereits erwähnt eine Hand, um nur einige Arten eines zu erfassenden und zu bewertenden Objekts zu nennen. Dementsprechend wird als Objektzustand optisch erfasst, ob beispielsweise der betrachtete Oberarm vollständig angewinkelt, leicht angewinkelt oder durchgestreckt ist oder die Hand zur Faust gekrümmt oder geöffnet ist. Auf die Segmentierung als Teilgebiet der digitalen Bildverarbeitung und des Sehens, bei welcher inhaltlich zusammenhängende Regionen durch Zusammenfassung benachbarter Pixel oder Voxel entsprechend einem bestimmten Homogenitätskriterium erzeugt werden, soll hier nur insoweit eingegangen werden, dass im Rahmen der Erfassung des dreidimensionalen Bildes mittels der Objektbewertungsvorrichtung bei der Segmentierung auch Höhenunterschiede des Objekts erkannt werden können. Dementsprechend kann mittels der Segmentierung unterschieden werden, ob beispielsweise Zonen einer zur Faust geballten Hand nach außen gewölbt oder aneinander gepresst werden. Beim Unterteilen des mittels der Objektbewertungsvorrichtung beim Erfassen des Objekts abgeleiteten dreidimensionalen Bildes in eine Mehrzahl von Sektoren kann beispielsweise eine Aufteilung in Quadranten oder Kreissegmente unterschiedlicher Flächeninhalte erfolgen, um nur einige Möglichkeiten der Unterteilung in Sektoren zu nennen. Zur Beschreibung des Objektzustands unter Verwendung von Quadranten werden auf diese beispielsweise 1000 Sektorpunkte gleichmäßig verteilt, so dass je Quadrant 250 Sektorpunkte des dreidimensionalen Bildes verwendet werden. Die jeweiligen Sektorpunkte entsprechend dabei einzelnen Pixeln, welche je Sektor einen minimalen Pixelabstand zueinander (z. B. in u-Richtung und v-Richtung einen Abstand von dp = 5 Pixeln) aufweisen. Aus den räumlich verteilten Sektorpunkten und deren Anordnung zueinander wird eine sphärische Krümmung des betrachteten Objekts bestimmt und der Objektzustand anhand der sphärischen Krümmung des Objekts bewertet. Handelt es sich bei dem betrachteten Objekt, wie oben beispielhaft erwähnt, um eine Hand, so kann anhand der sphärischen Krümmung somit festgestellt werden, ob die Hand geschlossen ist (kleiner Krümmungsradius an der Handfläche) oder ob die Hand geöffnet ist (betrachtete Krümmungsradien an der Handfläche im Vergleich zur Faust deutlich größer). Gerade am eben genannten Beispiel der Hand als betrachtetem Objekt ist ersichtlich, dass auch durch den Vergleich verschiedener Zonen des Objekts durch Zuordnung dieser Zonen in die Sektoren, bzw. Quadranten (z. B. Quadrant 1 entspricht Zone 1 = Mittelfinger, Ringfinger und kleiner Finger; Quadrant 2 entspricht Zone 2 = Zeigefinger und Daumenspitze; Quadrant 3 entspricht Zone 3 = Handfläche unterhalb des Mittelfingers, des Ringfingers und des kleinen Fingers; Quadrant 4 entspricht Zone 4 = Handballen, bzw. Daumengelenk) auch ein Vergleich des Zustandes der Zonen zueinander zur Bewertung des Objektzustandes herangezogen werden kann. Mittels der Objektbewertungsvorrichtung wird schließlich aus dem bewerteten Objektzustand ein entsprechendes Zustandssignal generiert und zur Bedienung an ein Gerät des Kraftfahrzeugs übermittelt. Ein derartiges Gerät kann neben einem Mobiltelefon beispielsweise ein Navigationssystem oder eine Klimaanlage des Kraftfahrzeugs sein, um nur einige mögliche Geräte zu nennen.
In einer vorteilhaften Ausgestaltung der Erfindung wird anhand der sphärischen Krümmung des Objekts ein Radius der sphärischen Krümmung und ein Mittelpunkt der sphärischen Krümmung ermittelt. Dies hat den Vorteil, dass eine besonders einfache und zuverlässige Beschreibung der Krümmung ermöglicht wird, wobei ein besonders geringer Speicherbedarf für die die Krümmung hinreichend beschreibenden Daten benötigt wird. Mit anderen Worten können durch den Radius, den Mittelpunkt sowie durch diejenigen Sektorpunkte, durch welche die sphärische Krümmung festgelegt bzw. definiert ist, auf besonders ressourcenschonende Weise (geringer Speicherbedarf und geringer Rechen leistungsbedarf in der Objektbewertungsvorrichtung) sowohl eine eindeutige Lage der betrachteten Krümmung, als auch der entsprechende Krümmungsgrad festgehalten werden. Bei der sphärischen Krümmung kann es sich auch um eine Krümmung mit mehreren Radien handeln, welche durch die jeweiligen Sektorpunkte in Bezug auf den Mittelpunkt definiert sind. Bei mehreren Radien sind dementsprechend auch mehr Sektorpunkte hinsichtlich ihrer Lage zu erfassen um eine eindeutige, also vollständige Beschreibung der Krümmung mit mehreren Radien zu ermöglichen. Mit anderen Worten hängt die Anzahl der hinsichtlich Ihrer Lage für die eindeutige Beschreibung der Krümmung zu erfassenden Sektorpunkte von der Anzahl der verschiedenen Krümmungsradien ab.
Als weiterhin vorteilhaft hat es sich gezeigt, wenn zumindest ein Teil der Mehrzahl von das Objekt beschreibenden Sektorpunkten als jeweilige Koordinaten einer Kugel verwendet werden und zur Bewertung des Objektzustandes ein Kugelradius herangezogen wird. Mit anderen Worten werden dabei die betrachteten Sektorpunkte als Kugelkoordinaten einer Kugel ausgedrückt und die durch die Sektorpunkte gebildete sphärische Krümmung als Kugel vereinfacht. Zur Beschreibung einer Kugel reichen prinzipiell bereits vier Sektorpunkte aus. Dies ermöglicht eine besonders ressourcenschonende Beschreibung der lokalen Krümmung des Objekts, wobei die Kugel eine geometrisch besonders einfach zu beschreibende Referenz darstellt.
Von weiterem Vorteil ist es, wenn aus der Mehrzahl von Sektorpunkten wenigstens vier Zufallspunkte ausgewählt werden, von welchen jeder einem der Sektoren zugeordnet ist, wobei anhand dieser Zufallspunkte ein Kugelradius und ein Kugelmittelpunkt als Kenngrößen einer Hüllkugel ermittelt werden. Die betrachtete Hüllkugel kann dabei einerseits als Einhüllende des Objekts verstanden werden, wobei sich der Radius der Hüllkugel mit dem Objektzustand ändert. Dementsprechend ist beispielsweise die Hüllkugel eines ausgestreckten Arms deutlich größer (größerer Radius der Hüllkugel, die den ganzen Arm einschließt), als die Hüllkugel eines abgewinkelten Arm (kleinerer Radius). Die Hüllkugel kann jedoch alternativ dazu auch so definiert sein, dass sie gerade die jeweils betrachteten Zufallspunkte einschließt und sich dabei eine zufällig anhand der Zufallspunkte ermittelte Hüllkugel ergibt, welche keineswegs das ganze Objekt, sondern lediglich beispielsweise einzelne Zonen einschließt. Eine solche Zone wäre beispielsweise der Ellbogen des Arms. Die Verwendung von Zufallspunkten ist insbesondere vorteilhaft, da dadurch auch Schrägstellungen des betrachteten Objekts relativ zu der Objektbewertungsvorrichtung zu einem zuverlässigen Bedienen des Geräts führen. Die Objektbewertungsvorrichtung kann dementsprechend eine Schrägstellung erkennen und anhand anderer Zufallspunkte zuverlässig den jeweiligen Objektzustand ermitteln.
Von Vorteil ist weiterhin, wenn zumindest eine weitere Hüllkugel der genannten Art ermittelt wird. Die Ermittlung weiterer Hüllkugeln ist besonders vorteilhaft, um auch bei unregelmäßig gebildeten Objekten eine zuverlässige Bedienung des Geräts herbeizuführen. Ein anschauliches Beispiel stellt hierbei eine stark angeschwollene Hand dar, welche dennoch durch die Verwendung von mehreren Hüllkugeln zu einer zuverlässigen Bedienung des Geräts verwendet werden kann. Dementsprechend wird beispielsweise derjenige Sektor, in welchem beispielsweise ein stark geschwollener Finger liegt als Ausreißer erkannt und nur die anderen Sektoren mit den weiteren Hüllkugeln zur Bedienung des Geräts herangezogen.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung wird eine Mehrzahl von das Objekt beschreibenden sphärischen Krümmungen ermittelt und zur Beschreibung des Objektszustands eine Häufigkeitsverteilung der Mehrzahl von das Objekt beschreibenden sphärischen Krümmungen herangezogen. Durch die Verwendung von mehreren sphärischen Krümmungen, welche beispielsweise einen unterschiedlichen Radius zueinander aufweisen, kann eine besonders feine Abstufung zwischen mehreren Objektzuständen erfolgen. Mit anderen Worten kann durch die Mehrzahl der sphärischen Krümmungen nicht nur erkannt werden, ob beispielsweise der Arm gebeugt oder gestreckt, oder die Hand geöffnet, oder zur Faust geballt (geschlossen) ist, sondern welcher Grad der Öffnung vorliegt. Dies erlaubt die Umsetzung zahlreicher Funktionen des zu bedienenden Geräts, wobei jeder Öffnungsgrad eine bestimmte Funktion des Geräts auslöst.
Von weiterem Vorteil ist es, wenn als der Objektzustand ein Zustand einer Hand erkannt wird. Dementsprechend kann beispielsweise der Öffnungsgrad einer Hand durch Ermittlung der Krümmung ermittelt, also berechnet werden, um das entsprechende Gerät des Kraftfahrzeugs zu bedienen. Die physikalisch einwandfreie Ortbarkeit der Insassen (z. B. durch eine Time Of Flight Kamera mit einem PMD-Sensor) bzw. von Körperteilen (wie der Hand) des Insassen erlauben eine Handpose zu erkennen. Als Greifgeste wird dabei beispielsweise der Unterschied zwischen voll geöffneter Hand und geschlossener Hand erkannt. Die Hand kann dabei besonders einfach beispielsweise als kugelförmiges Objekt anhand von vier Sektorpunkten auf der Handoberfläche analysiert werden und daraus der Kugelradius sowie der Kugelmittelpunkt bestimmt werden.
Von weiterem Vorteil ist es, wenn anhand des Objektzustands ein Öffnungsgrad der Hand ermittelt wird. Die Betrachtung der Hand als Objekt ermöglicht das Erkennen besonders vieler Objektzustände in Form von unterschiedlichen Öffnungsgraden der Hand. Zusätzlich können verschiedene Fingerbewegungen oder das Abspreizen einzelner Finger herangezogen werden, um verschiedene Objektzustände zu definieren. Dies eröffnet einen erheblichen Bedienumfang des Geräts, also das Umsetzen besonders vieler Funktionen durch die verschiedenen erkannten Objektzustände der Hand.
Die erfindungsgemäße Objektbewertungsvorrichtung für ein Kraftfahrzeug ermöglicht eine besonders sichere und zuverlässige Erkennung verschiedener Objektzustände des betrachteten Objekts.
Das erfindungsgemäße, mit einer Objektbewertungsvorrichtung ausgestattete Kraftfahrzeug kann besonders zuverlässig berührungslos bedient werden, wobei der Kraftfahrzeuginsasse gleichzeitig seine gesamte Aufmerksamkeit auf das Verkehrsgeschehen richten kann.
Die für das erfindungsgemäße Verfahren beschriebenen Vorteile und bevorzugten Ausführungsformen gelten auch für die erfindungsgemäße Objektbewertungsvorrichtung sowie für das Kraftfahrzeug und umgekehrt.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den Ansprüchen, der nachfolgenden Beschreibung bevorzugter Ausführungsformen sowie anhand der Zeichnungen.
Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausführungsbeispiels erläutert. Hierzu zeigt:
1 eine schematische Perspektivansicht eines Innenraums eines Kraftfahrzeugs, wobei mittels einer Objektbewertungsvorrichtung verschiedene Objektzustände eines vorliegend als Hand ausgebildeten Objekts erfasst werden;
2 bis 4 jeweils eine schematische Perspektivansicht zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens; und
5 und 6 jeweils zueinander verschiedene Häufigkeitsverteilungen als Folge von jeweils zueinander verschiedener Objektzustände eines mittels der Objektbewertungsvorrichtung erfassten Objekts.
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
1 zeigt im Rahmen einer schematischen Perspektivansicht einen Teil eines Innenraums eines Kraftfahrzeugs 10. Das Kraftfahrzeug 10 umfasst vorliegend eine Objektbewertungsvorrichtung 20, mittels welcher verschiedene Objektzustände 24, 26 eines vorliegend als Hand eines Fahrzeuginsassen ausgebildeten Objekts 22 erfasst werden. Im in 1 gezeigten Beispiel entspricht der Objektzustand 24 der geöffneten Hand, was durch die strichpunktiert angedeuteten, abgestreckten Finger erkennbar ist. Der weitere Objektzustand 26 hingegen entspricht dabei der geschlossenen, zu einer Faust geformten Hand. Die Objektbewertungsvorrichtung 20 umfasst im vorliegenden Ausführungsbeispiel einen Sensor 12, welcher als PMD-Sensor ausgebildet ist, eine Kamera 14 sowie eine Berechnungseinheit 16 (ECU). Der Sensor 12 ist dabei Bestandteil der Kamera 14, wobei mittels der Berechnungseinheit 16 ein durch die Kamera 14 von dem Objekt (Hand) 22 abgeleitetes dreidimensionales Bild 28 ausgewertet und dabei dem Objekt 22, bzw. dem dreidimensionalen Bild 28 einer der Objektzustände 24, 26 zugeordnet wird. Ein dem erkannten Objektzustand 24, 26 entsprechendes Zustandssignal wird dann von der Berechnungseinheit 16 an eine Fahrzeugarchitektur 18, welche beispielsweise als CAN-Bus ausgebildet ist, übermittelt, und von der Fahrzeugarchitektur 18 in Abhängigkeit von dem Zustandssignal ein Gerät 48, welches beispielsweise einem Navigationsgerät oder einer Klimaanlage des Kraftfahrzeugs 10 entspricht, bedient. Mit anderen Worten werden also am Gerät 48 verschiedene Einstellungen vorgenommen indem verschiedene Objektzustände 24, 26 durch die Objektbewertungsvorrichtung 20 erkannt werden und den Objektzuständen 24, 26 entsprechende Zustandssignale über die Fahrzeugarchitektur 18 an das Gerät 48 übermittelt werden.
2 zeigt den Objektzustand 26, also die zu einer Faust geformte, geschlossene Hand, welche im vorliegenden Ausführungsbeispiel dem Objekt 22 entspricht. 3 zeigt den Objektzustand 24, also die offene, im Wesentlichen flache Hand (Objekt 22). Die Objektzustände 24, 26 können nun mittels der Objektbewertungsvorrichtung 20 dadurch voneinander unterschieden werden, dass das dreidimensionale Bild 28 des Objekts 22 (der Hand), wie in 4 gezeigt, in verschiedene Sektoren 30, 32, 34, 36, welche hier als Quadranten ausgestaltet sind, unterteilt werden und jedem der Quadranten wenigstens ein Sektorpunkt 38 aus einer Mehrzahl von das Objekt 22 beschreibenden, räumlich verteilten Sektorpunkten des Bildes 28 zugeordnet wird. Anhand der Mehrzahl von Sektorpunkten wird wenigstens eine sphärische Krümmung 40 des Objekts 22 bestimmt. Mit anderen Worten wird anhand der Sektorpunkte 38 eine räumliche Wölbung der Hand erkannt und als bestimmter Objektzustand 24, 26 bewertet. Der jeweilige Objektzustand 24, 26 wird also anhand der sphärischen Krümmung 40 des Objekts 22 bewertet und der bewertete Objektzustand 24, 26 als Zustandssignal zur Bedienung des Geräts 48 des Kraftfahrzeugs 10 herangezogen. Anhand der sphärischen Krümmung 40 des Objekts 22 (der Hand) wird ein entsprechender Radius R, r der sphärischen Krümmung 40 und ein Mittelpunkt M der sphärischen Krümmung ermittelt. 2 zeigt hierzu die sphärische Krümmung 40, welche sich bei der geschlossenen Hand (Faust, Objektzustand 26) zu dem kleinen Radius r ergibt, und 3 zeigt die sphärische Krümmung 40, welche sich zu dem im Vergleich zum Radius r größeren Radius R ergibt. Anhand dieser jeweiligen Krümmung 40 kann also mittels der Objektbewertungsvorrichtung 20 besonders einfach bewertet werden, welcher der Objektzustände 24, 26 vorliegt. Wie in 2 und 3 weiterhin gezeigt, kann zusätzlich oder alternativ zu der sphärischen Krümmung 40 auch eine Unterscheidung der Objektzustände 24, 26 erfolgen, indem zumindest ein Teil der Mehrzahl von das Objekt 22 beschreibenden Sektorpunkten als jeweilige Koordinaten einer Kugel 52 verwendet werden und zur Bewertung des Objektszustandes 24, 26 ein Kugelradius R_K, r_K herangezogen wird. Die Mehrzahl von Sektorpunkten entspricht dabei einer Punktewolke 50, welche in jedem der Sektoren 30, 32, 34, 36 definiert wird. Aus der Mehrzahl von Sektorpunkten (Punktewolke 50) können zusätzlich oder alternativ auch wenigstens vier Zufallspunkte 46 ausgewählt werden, von welchen jeder einem der Sektoren 30, 32, 34, 36 zugeordnet ist. Anhand dieser Zufallspunkte 46 wird ein Kugelradius R_H, r_H und ein Kugelmittelpunkt M_H als Kenngröße einer Hüllkugel 42 ermittelt. Mit anderen Worten wird also die Hüllkugel 42 anhand der Zufallspunkte 46 hinsichtlich ihres Kugelradius R_H, r_H und ihres Kugelmittelpunkts M_H definiert. Mit anderen Worten liegen also diese Zufallspunkte 46 auf der Hüllkugel 42 und legen diese hinsichtlich ihrer räumlichen und ihrer relativen Lage zu dem Objekt 22 fest. Wie in 3 dargestellt ist, kann zumindest eine weitere Hüllkugel 44 nach der genannten Art ermittelt werden. Die Zusammenschau der 2 und der 3 zeigt zwar, dass die dort dargestellten Hüllkugeln 42, 44 die jeweilige geschlossene bzw. geöffnete Hand einhüllen, und sich dadurch die unterschiedlichen Radien R_H, r_H der jeweiligen Hüllkugeln 42, 44 ergeben, anhand welcher der jeweilige Objektzustand 24, 26 bewertet wird. Die Hüllkugeln 42, 44 können jedoch auch nur Teile des betrachteten Objekts 22, also der Hand einhüllen, wenn zum Beispiel die Zufallspunkte 46 auf der Handinnenfläche oder auf dem Handrücken liegen. Demzufolge können auch zahlreiche der Hüllkugeln 42, 44, z. B. insgesamt N = 1000 Hüllkugeln verwendet werden, wobei sich dann aus den daraus gewonnenen Daten (N × [Radius, Mittelpunkt] der Hüllkugeln) eine besonders aufschlussreiche, und sogar in unterschiedliche Zustandsstufen unterteilbare Bewertung der Objektzustände 24, 26 ableiten lässt. Des Weiteren können die Hüllkugeln 42, 44 zusätzlich den Zustand einzelner Gliedmaßen, also Finger der betrachteten Hand (Objekt 22) beschreiben, wobei dann eine Mehrzahl von das Objekt 22 beschreibenden, sphärischen Krümmungen 40 ermittelt wird, und zur Beschreibung des Objektzustands 24, 26 eine in 5 bzw. 6 gezeigte Häufigkeitsverteilung 54, 56 der Mehrzahl von das Objekt 22 beschreibenden sphärischen Krümmungen 40 herangezogen wird. Die in 5 gezeigte Häufigkeitsverteilung 54 entspricht einer breiten Verteilung mit großen Radien der Hüllkugeln 42, 44, also mit anderen Worten einer offenen Hand, bei welcher der Objektzustand 24 vorliegt und damit der Öffnungsgrad der Hand groß ist. Im Gegensatz dazu zeigt 6 die Häufigkeitsverteilung 56, welche sich bei der zur Faust geballten Hand (Objektzustand 26) ergibt. Dementsprechend stellt sich bei der Häufigkeitsverteilung 56 ein spitzer Mittelwert bei allgemein kleineren Radien ein. Während in 5 also die Klassen X des dargestellten Histogramms (Häufigkeitsverteilung 54) eine breite Verteilung mit großem Radius aufweisen, zeigen die Klassen X des in 6 gezeigten Histogramms (Häufigkeitsverteilung 56) eine Verteilung mit spitzem Mittelwert und kleinen Radien.
Durch die Auswertungsmittel der Häufigkeitsverteilungen 54, 56 kann die Geschlossenheit der Hand (Objekt 22) besonders einfach und aufwandsarm durch die Berechnung der jeweiligen Radien und Mittelpunkte der Hüllkugeln 42, 44 und zusätzlich oder alternativ der Kugeln 52 erfolgen.
Im Folgenden wird ein Beispiel für den zugrundeliegenden Algorithmus zur Bestimmung der Geschlossenheit der Hand beschrieben.
Kugel durch vier Punkte
Ein Kreis ist durch drei unterschiedliche Punkte seines Bogens eindeutig festgelegt. Umgekehrt definieren drei unterschiedliche Punkte, die nicht auf einer Geraden liegen, einen eindeutigen Kreis. Dies gilt auch im Raum, denn drei Punkte, die nicht auf einer Gerade liegen (nicht kollineare Lage) spannen eine Ebene auf, auf der dann der Kreis liegt. Man stelle sich nun drei solche Punkte im dreidimensionalen Raum vor und den durch sie gehenden Kreis.
Bei allen Kugeln (Hüllkugeln 42, 44, bzw. Kugel 52), auf deren Oberflächen diese drei Punkte liegen, muss auch der Kreis auf der Kugelfläche liegen. Darüber hinaus liegen alle Mittelpunkte der Kugeln, die man zu dem Kreis bilden kann, auf einer Senkrechten zum Kreis durch dessen Mittelpunkt. Durch einen einzigen zusätzlichen, also einen vierten Oberflächenpunkt ist die Kugel festgelegt. Allerdings darf dieser Punkt nicht in der Ebene des Kreises liegen: Entweder liegen die Punkte dann alle auf einem Kreis, dann ist die Kugel nicht eindeutig definiert, oder sie liegen nicht auf einem Kreis, dann gibt es keine entsprechende Kugel.
Für vier gegebene Punkte (Zufallspunkte 46 bzw. Sektorpunkte 38) lässt sich also genau dann eine Kugel (Hüllkugeln 42, 44, bzw. Kugel 52) finden, auf deren Oberfläche die Punkte liegen, wenn sie alle verschieden sind, wenn nicht drei von ihnen auf einer Geraden liegen und nicht alle vier in einer Ebene.
Alle Punkte (Zufallspunkte 46 bzw. Sektorpunkte 38) auf der Kugeloberfläche haben vom Mittelpunkt denselben Abstand, welche dem entsprechenden Radius (R_K, r_K, bzw. R_H, r_H) entspricht. Nach Pythagoras gilt der Zusammenhang Radius = √(x² + y² + z²) bzw. Radius² = x² + y² + z².
Wenn der Ursprung des Koordinatensystems der Mittelpunkt des Kreises ist, geben die Koordinaten die Richtungskomponenten des Abstands vom Mittelpunkt an. Der Punkt (2|4|5) besitzt nach Pythagoras den Abstand √(22 + 42 + 52) vom Mittelpunkt, also Radius = √(4 + 16 + 25) = √45 ~ 6,7082
Eine Kugel mit dem Radius 8 um den Ursprung des Koordinatensystems besitzt also die Gleichung x² + y² + z² = 64
Ist die Kugel (Hüllkugel 42, 44, bzw. Kugel 52) verschoben, d. h.: liegt ihr Mittelpunkt nicht im Ursprung, so lassen sich die neuen Verhältnisse auf diese Gleichung zurückführen, indem man die komponentenweisen Differenzen zwischen den Koordinaten der Oberflächenpunkte und den Koordinaten des Mittelpunktes (x_m, y_m, z_m) in ”den Pythagoras” einsetzt: (x – x_m)² + (y – y_m)² + (z – z_m)² = Radius²
Durch diesen Ausdruck wird berücksichtigt, dass sich das betrachtete Objekt 22 an einer beliebigen Stelle innerhalb des Erfassungsbereichs des Sensors 12 befinden kann.
Wenn man die Klammern auflöst, erhält man: x² – 2·x·x_m + x_m ² + y² – 2·y·y_m + y_m ² + z² – 2·z·z_m + z_m ² = Radius²
Finden einer Kugel durch vier Punkte
Zu vier gegebenen Punkten soll nun der Mittelpunkt und der Radius der zugehörigen Kugel ermittelt werden. Hierzu werden in der letzten Gleichung die Terme mit den unbekannten Größen (x_m, y_m, z_m und Radius) auf die linke Seite und alle anderen Terme auf die rechte Seite gebracht: x² – 2·x·x_m + x_m ² + y² – 2·y·y_m + y_m ² + z² – 2·z·z_m + z_m ² = Radius² x_m ² + y_m ² + z_m ² – r² – 2·x_m·x – 2·y_m·y – 2·z_m·z = –(x² + y² + z²)
Wenn man nun setzt: A ≔ x_m ² + y_m ² + z_m ² – r², B ≔ –2·x_m, C ≔ –2·y_m und D ≔ –2·z_m, ergibt sich: A + B·x + C·y + D·z = –(x² + y² + z²)
Da jeweils vier Paare für x, y und z bekannt sind und vier Unbekannte (A, B, C und D) vorliegen, lässt sich ein lineares Gleichungssystem mit vier Gleichungen aufstellen, mit dem man A, B, C und D ermitteln kann: A + B·x₁ + C·y₁ + D·z₁ = –(x₁ ² + y₁ ² + z₁ ²) A + B·x₂ + C·y₂ + D·z₂ = –(x₂ ² + y₂ ² + z₂ ²) A + B·x₃ + C·y₃ + D·z₃ = –(x₃ ² + y₃ ² + z₃ ²) A + B·x₄ + C·y₄ + D·z₄ = –(x₄ ² + y₄ ² + z₄ ²)
Wenn man soweit ist, also A, B, C und D ermittelt hat, erhält man x_m = –B/2, y_m = –C/2, z_m = –D/2 und schließlich r² = x_m ² + y_m ² + z_m ² – A
Im Folgenden soll nun anhand von beispielhaft gewählten Zahlenwerten die Bestimmung eines Kugelradius vorgestellt werden.
Es soll die Kugel gefunden werden, die durch die Punkte (–11|30,8|52,4); (30|29|–46); (38|26,6|46,8) und (–34|–27|50) geht.
Mit A ≔ x_m ² + y_m ² + z_m ² – Radius², B ≔ –2·x_m, C ≔ –2·y_m und D ≔ –2·z_m erstellen wir zu den vier Punkten jeweils eine Gleichung A + B·x + C·y + D·z = –(x² + y² + z²): A – 11·B + 30,8·C + 52,4·D = –3815,4 A + 30·B + 29·C – 46·D = –3857 A + 38·B + 26,6·C + 46,8·D = –4341,8 A – 34·B – 27·C + 50·D = –4385
Die zugehörige Koeffizientenmatrix lautet:
Durch geeignete Zeilenumformungen erhält man:
und somit A = –4147, B = –10, C = 14 und D = –4, woraus sich ergibt: x_m = –B/2 = 5 y_m = –C/2 = –7 z_m = –D/2 = 2 r² = x_m ² + y_m ² + z_m ² – A = 25 + 49 + 4 –(–4147) = 4225 r = √4225 = 65
Die Kugel hat also den Mittelpunkt (5|–7|2) und den Radius 65.
Insgesamt zeigt das beschriebene Beispiel, wie durch die Erfindung eine Berechnung des Öffnungsgrades einer Hand durch Ermittlung der Krümmung (Radius) bereitgestellt werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2012/0271370 A1 [0003]
WO 2014/009561 A2 [0004]
DE 102007041482 A1 [0005]

Claims

Verfahren zum Betreiben einer Objektbewertungsvorrichtung (20) für ein Kraftfahrzeug (10), bei welchem wenigstens ein Objektzustand (24, 26) eines zu bewertenden Objekts (22) durch wenigstens einen Sensor (12) der Objektbewertungsvorrichtung (20) optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild (28) des Objekts (22) segmentiert wird, wobei das segmentierte, dreidimensionale Bild (28) in eine Mehrzahl von Sektoren (30, 32, 34, 36) unterteilt wird, dadurch gekennzeichnet, dass zur Beschreibung des Objektzustands (24, 26) aus jedem der Sektoren (30, 32, 34, 36) wenigstens ein Sektorpunkt (38) aus einer Mehrzahl von das Objekt (22) beschreibenden, räumlich verteilten Sektorpunkten des Bildes (28) verwendet wird und anhand der Mehrzahl von Sektorpunkten wenigstens eine sphärische Krümmung (40) des Objekts (22) bestimmt wird, wobei der Objektzustand (24, 26) anhand der sphärischen Krümmung (40) des Objekts (22) bewertet wird und der bewertete Objektzustand (24, 26) als Zustandssignal zur Bedienung eines Geräts (48) des Kraftfahrzeugs (10) herangezogen wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass anhand der sphärischen Krümmung (40) des Objekts (22) ein Radius (R, r) der sphärischen Krümmung (40) und ein Mittelpunkt (M) der sphärischen Krümmung (40) ermittelt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zumindest ein Teil der Mehrzahl von das Objekt (22) beschreibenden Sektorpunkten als jeweilige Koordinaten einer Kugel (52) verwendet werden und zur Bewertung des Objektzustandes (24, 26) ein Kugelradius (R_K, r_K) herangezogen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus der Mehrzahl von Sektorpunkten wenigstens vier Zufallspunkte (46) ausgewählt werden, von welchen jeder einem der Sektoren (30, 32, 34, 36) zugeordnet ist, wobei anhand dieser Zufallspunkte (46) ein Kugelradius (R_H, r_H) und ein Kugelmittelpunkt (M_H) als Kenngrößen einer Hüllkugel (42) ermittelt werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass zumindest eine weitere Hüllkugel (44) der genannten Art ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Mehrzahl von das Objekt (22) beschreibenden sphärischen Krümmungen (40) ermittelt wird und zur Beschreibung des Objektzustands (24, 26) eine Häufigkeitsverteilung (54, 56) der Mehrzahl von das Objekt (22) beschreibenden sphärischen Krümmungen (40) herangezogen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als der Objektzustand (24, 26) ein Zustand einer Hand erkannt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass anhand des Objektzustands (24, 26) ein Öffnungsgrad der Hand ermittelt wird.
Objektbewertungsvorrichtung (20) für ein Kraftfahrzeug (10), welche zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 8 konfiguriert ist.
Kraftfahrzeug (10) mit einer Objektbewertungsvorrichtung (20) nach Anspruch 9.