AT528042A2 - Verfahren und Vorrichtung zur Schätzung der Positionen von menschlichenSchlüsselpunkten - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Schätzung der Positionen von dreidimensionalen menschlichen Schlüsselpunkten S1 - SN eines Menschen in einem Raum, umfassend die Schritte Aufnahme, durch eine Bildaufnahmeeinheit (8), zumindest eines zweidimensionalen Bildes (1) des Raumes, Entgegennahme, durch eine Datenverarbeitungseinheit (3), des Bildes (1); Schätzung, durch eine erste Bildverarbeitungseinheit (4), der dreidimensionalen Positionen der Schlüsselpunkte S1 - SN des Menschen aus dem zweidimensionalen Bild.

Description

Verfahren und Vorrichtung zur Schätzung der Positionen von menschlichen

Schlüsselpunkten

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Schätzung der Positionen

von menschlichen Schlüsselpunkten in einem dreidimensionalen Raum.

Aus dem Stand der Technik sind Verfahren zur Bestimmung der dreidimensionalen Positionen von Schlüsselpunkten des menschlichen Körpers, insbesondere den Positionen des Kopfes, der Augen und verschiedener menschlicher Gelenke, bekannt. Derartige Verfahren werden in Fahrzeugen eingesetzt, um die Positionen und

Körperstellungen der Fahrzeuginsassen zu detektieren.

Zu diesem Zweck werden Bildaufnahmeeinheiten in Form von Tiefenkameras oder Time-of-Flight (ToF)-Kameras eingesetzt. Derartige Kameras liefern ein zweidimensionales Bild des Aufnahmebereichs und messen mit dedizierten Sensoren für jeden Pixel den Abstand zur Kamera (nachfolgend als Pixeltiefe bezeichnet). Die Pixeltiefen werden dem zweidimensionalen Bild überlagert und beispielsweise in Form einer Graustufe oder Intensität der Pixel dargestellt. Gegebenenfalls können die

Pixeltiefen aber auch in anderer Form zur Verfügung gestellt werden.

Bei der Messung der Pixeltiefen entsteht jedoch das Problem, dass gewisse Schlüsselpunkte des menschlichen Körpers häufig verdeckt sind, insbesondere in Fahrzeugen. Beispielsweise können die Pixeltiefen von Schlüsselpunkten, die durch Extremitäten des Körpers, Sitzgurte oder Kleidungsstücke verdeckt sind, durch die

Sensoren nicht korrekt gemessen werden.

Aufgabe der Erfindung ist es unter anderem, dieses Problem zu lösen und ein Verfahren sowie eine Vorrichtung zur Schätzung der Positionen von menschlichen Schlüsselpunkten bereitzustellen, welche die Positionen mit höherer Genauigkeit bereitstellt. Eine weitere Aufgabe besteht darin, bestehende Verfahren zur Bestimmung der dreidimensionalen Positionen von Schlüsselpunkten des menschlichen Körpers derart zu ergänzen, dass die Genauigkeit der ermittelten Schlüsselpunkte durch eine Metrik evaluiert werden kann, sodass beim weiteren Einsatz der Schlüsselpunkte ein

Maß für deren Genauigkeit zur Verfügung gestellt werden kann.

Diese und andere Aufgaben werden erfindungsgemäß mit einem Verfahren nach

Anspruch 1 gelöst.

Ein erfindungsgemäßes Verfahren ist zur Schätzung der dreidimensionalen Positionen von Schlüsselpunkten eines Menschen in einem Raum ausgebildet. Es umfasst die

nachfolgenden Schritte:

In einem ersten Schritt wird, durch eine Bildaufnahmeeinheit, zumindest ein Bild des Raumes aufgenommen. Ferner werden Tiefeninformationen des Raumes aufgenommen. Bei der Bildaufnahmeeinheit kann es sich um eine herkömmliche Kamera handeln, die ein zweidimensionales Bild aufnimmt, wobei die Tiefeninformationen durch einen separaten Sensor bestimmt werden. Die Bildaufnahmeeinheit kann aber auch eine ToF-Kamera sein, die neben dem Bild gleichzeitig die Tiefeninformationen aufnimmt. Die Tiefeninformationen können auch durch eine Stereo-Kamera erstellt werden. Das Bild und die Tiefeninformationen

werden in Folge von einer Datenverarbeitungseinheit entgegengenommen.

Die Datenverarbeitungseinheit kann als Mikrocontroller oder Mikrocomputer ausgebildet sein und eine zentrale Verarbeitungseinheit (CPU), einen flüchtigen Halbleiterspeicher (RAM), einen nichtflüchtigen Halbleiterspeicher (ROM, SSDFestplatte), einen magnetischen Speicher (Festplatte) und/oder einen optischen Speicher (CD-ROM) sowie Schnittstelleneinheiten (Ethernet, USB) und dergleichen umfassen. Die Bestandteile derartiger Datenverarbeitungseinheiten sind dem

Fachmann grundsätzlich bekannt.

Im nächsten Schritt erfolgt eine Schätzung, durch eine erste Bildverarbeitungseinheit, der zweidimensionalen Positionen S1@P - SyD) der Schlüsselpunkte des Menschen aus dem aufgenommenen zweidimensionalen Bild. Zu diesem Zweck können bekannte Algorithmen der Mustererkennung, insbesondere aus dem Bereich des maschinellen Lernens herangezogen werden. Insbesondere kann dazu ein neuronales Netz herangezogen werden, welche dazu trainiert wurden, die Schlüsselpositionen eines oder mehrerer Menschen aus 2D Bildern abzuschätzen. Bei den Schlüsselpunkten kann es sich um vordefinierte Punkte des menschlichen Körpers handeln, insbesondere Handgelenke, Armgelenke, Ellbogengelenke, Schultergelenke, Kniegelenke, Fußgelenke Hüftgelenken, sowie der Kopfmittelpunkt, das Brustbein, die Augen, die

Ohren, die Nase, und/oder der Mund einer Person.

Ergebnis der Schätzung ist eine Liste von zweidimensionalen Positionen Si? der erkannten Schlüsselpunkte in der Form Si = [xi, yil, wobei = 1... N und N die Zahl der

erkannten Schlüsselpunkte darstellt.

Im nächsten Schritt extrahiert eine Extraktionseinheit die gemessenen Pixeltiefen T1 — Tn an den erkannten zweidimensionalen Schlüsselpunkten S1@P) - Sy®D), und kombiniert die Schlüsselpunkte S1CD) - Sy mit den Pixeltiefen T1 — Tn zur Bildung

dreidimensionaler Messpunkte M+1 - Mn der Schlüsselpunkte.

Dabei bezeichnen die Pixeltiefen T1— Tn die jeweiligen Abstände der Schlüsselpunkte S1CD) - SuCD) yon einer Kameraebene, sodass die Messpunkte Mı - Mn neben den geschätzten Positionen der Schlüsselpunkte in zwei Dimensionen auch die tatsächlich gemessene Tiefe dieser Schlüsselpunkte, also die tatsächliche dritte Dimension, beinhalten. Zur Erlangung der Pixeltiefen kann vorgesehen sein, dass bei der Aufnahme des Bildes durch die Bildaufnahmeeinheit Tiefeninformationen gemessen und im Bild gespeichert werden. Die Tiefeninformationen können beispielsweise durch Echo-basierte Sensoren bestimmt werden, die zusätzlich zur Bildaufnahmeeinheit vorgesehen sind. Diese Sensoren liefern in einem 2D Raster Tiefeninformationen für jeden Pixel des Bildes. Da jedem Pixel im Bild ein Distanzwert zugeordnet ist, kann für jeden zweidimensionalen Schlüsselpunkt S1CP - SyuCD eine Tiefeninformation bestimmt

werden.

Es kann aber auch vorgesehen sein, dass die Tiefeninformationen in Form eines zweiten Bildes durch eine zweite Bildaufnahmeeinheit ermittelt werden, wobei zur Extraktion der Pixeltiefen T1 — Tn an den Schlüsselpunkten S1@P - Sy@D) dieses zweite Bild herangezogen wird. In diesem Fall muss sichergestellt sein, dass die zweite Bildaufnahmeeinheit im Wesentlichen dieselbe Situation aufnimmt, wie die erste Bildaufnahmeeinheit, sodass die Tiefeninformationen der Bilder übereinstimmen. Beispielsweise kann vorgesehen sein, dass die erste Bildaufnahmeeinheit und die zweite Bildaufnahmeeinheit gleichzeitig aktiviert werde und den gleichen Bildausschnitt

aufweisen.

Die Tiefeninformationen können mit Hilfe von unterschiedlichen Intensitäten dargestellt werden, sodass die Tiefeninformationen auch als 2D Bildinformation behandelt werden können. Zur Extraktion der Pixeltiefen T1 — Tn an den Schlüsselpunkten S1 CD) - Sy@D)

können somit direkt die in der Aufnahme an den entsprechenden Pixeln gespeicherten

Tiefeninformationen herangezogen werden.

Die Genauigkeit der so ermittelten dreidimensionalen Messpunkte hängt von der Genauigkeit des aufgenommenen Bildes und der eingesetzten Bildverarbeitungseinheit ab. Dennoch werden die Ergebnisse für jene Schlüsselpunkte, die im Bild durch Hindernisse wie Kleidungsstücke oder den Sitzgurt verdeckt sind, zwangsläufig nicht genau sein. Diese Schlüsselpunkte weisen zwangsläufig Messpunkte mit ungenauen

oder falschen Pixeltiefen auf.

Zur Einschätzung und Verbesserung der Genauigkeit der Messpunkte werden die

nachfolgenden Schritte ausgeführt:

Zunächst werden durch eine zweite Bildverarbeitungseinheit die dreidimensionalen Positionen Sı1 - Sn der Schlüsselpunkte aus dem aufgenommenen Bild geschätzt. Dabei werden die Tiefeninformationen nicht berücksichtigt, sondern lediglich das zweidimensionale Bild. Für diese Anwendung sind speziell dafür ausgelegte Bildverarbeitungsalgorithmen bekannt. Häufig werden zu diesem Zweck auch Methoden aus dem Bereich des maschinellen Lernens eingesetzt, beispielsweise neuronale Netze, die darauf trainiert wurden, die dreidimensionalen Positionen der relevanten

Schlüsselpunkte eines Menschen in zweidimensionalen Bildern zu erkennen.

In der Regel unterscheiden sich die Trainingsdaten der neuronalen Netze der ersten Bildverarbeitungseinheit und der zweiten Bildverarbeitungseinheit. Statt einem neuronalen Netz kann aber auch jedes andere Verfahren aus dem Bereich des

maschinellen Lernens und der künstlichen Intelligenz herangezogen werden.

In einem weiteren Schritt erfolgt in einer Komparatoreinheit ein Vergleich der dreidimensionalen Messpunkten M1 —- Mn mit den Positionen S1 - Sn der geschätzten Schlüsselpunkte, und die Berechnung einer Qualitätsmetrik Q1 — Qn auf Grundlage des durchgeführten Vergleichs. Die Qualitätsmetrik kann beispielsweise in der Form Qi = IIMi — Sill berechnet werden, also durch Berechnung der euklidischen Distanz der

jeweiligen x-, y- und z-Koordinaten.

Sowohl die Bildverarbeitungseinheiten, die Extraktionseinheit, als auch die Komparatoreinheit können als separate Hardwareeinheiten, oder vorzugsweise als Softwaremodule im RAM oder ROM der Datenverarbeitungseinheit vorgesehen sein. Es kann aber auch vorgesehen sein, dass diese Einheiten extern vorgesehen sind, beispielsweise auf einem Server im Internet, an den die erforderlichen Daten, insbesondere das aufgenommene Bild und die aufgenommenen Tiefeninformationen,

übertragen werden.

Erfindungsgemäß kann vorgesehen sein, dass jene Messpunkte Mi1 - Mn, bei denen die berechneten Qualitätsmetriken Qı1 —- Qn einen vorbestimmten Schwellwert übersteigen, durch individuelle Korrekturvektoren Kı - Kn korrigiert werden, sodass korrigierte Messpunkte Mi‘ erhalten werden. Der Schwellwert kann beispielsweise 5cm, 10cm oder 15cm betragen.

Erfindungsgemäß kann vorgesehen sein, dass die Messpunkte Mi: - Mn ‚, die Positionen Sı —- Sn der geschätzten Schlüsselpunkte, und gegebenenfalls auch die korrigierten Messpunkte M1‘ — Mn‘ jeweils in ein topologisches dreidimensionales Datenmodell, insbesondere in einen Graphen übergeführt werden. Zur Erstellung des topologischen Datenmodells kann die bekannte dreidimensionale Physiologie des menschlichen Körpers herangezogen werden.

So kann beispielsweise die erkannte Position eines Ellbogengelenks als Schlüsselpunkt in Form eines Knoten in einem Graphen mit den Positionen des Handgelenks und des Schultergelenks über Kanten verbunden sein.

Erfindungsgemäß kann vorgesehen sein, dass die Korrekturvektoren Ki für jene Messpunkte Mi, bei denen die Qualitätsmetrik Qi einen vorbestimmten Schwellwert übersteigen, auf Grundlage des dreidimensionalen Schätzwertes S; zumindest eines benachbarten Schlüsselpunktes und unter Berücksichtigung der Topologie der Datenmodelle berechnet werden. Beispielsweise kann ein benachbarter Schlüsselpunkt ermittelt werden, indem vom betreffenden Knoten des fehlerhaften Messpunkts Mi jener nächste Nachbarknoten gesucht wird, bei dem die Qualitätsmetrik Q; den Schwellwert nicht übersteigt.

Erfindungsgemäß kann vorgesehen sein, dass die Korrekturvektoren Ki berechnet werden, indem zum Messpunkt Mi die Differenz zwischen der geschätzten Position Si und der geschätzten Position S; des benachbarten Schlüsselpunkts addiert wird, sodass Mi‘ = M; + Si - Sj. Ein fehlerhafter Messpunkt wird somit durch jenen Korrekturvektor korrigiert, der in der dreidimensionalen Schätzung vom benachbarten Schlüsselpunkt zu diesem Schlüsselpunkt führen würde.

Erfindungsgemäß kann vorgesehen sein, dass die geschätzten dreidimensionalen Positionen Sı - Sn, die korrigierten Messpunkte M1‘ — Mn‘ und/oder die Messpunkte M1 — Mn von der Datenverarbeitungseinheit in elektronisch lesbarer Form, beispielsweise in Form von Tabellen oder Graphen, bereitgestellt werden.

Die Erfindung betrifft ferner ein computerlesbares Speichermedium, umfassend Anweisungen, die eine Datenverarbeitungseinheit zur Ausführung eines

erfindungsgemäßen Verfahrens veranlassen.

Die Erfindung betrifft ferner eine Vorrichtung zur Schätzung der Positionen von menschlichen Schlüsselpunkten in einem dreidimensionalen Raum aus zumindest einem Bild und gemessenen Tiefeninformationen, umfassend zumindest eine Bildaufnahmeeinheit zur Aufnahme des zweidimensionalen Bildes und eine Vorrichtung zur Messung von Tiefeninformationen, sowie eine Datenverarbeitungseinheit, die zur

Ausführung eines erfindungsgemäßen Verfahrens ausgebildet ist.

Es kann vorgesehen sein, dass die erste Bildverarbeitungseinheit und/oder die zweite Bildverarbeitungseinheit Teil der Datenverarbeitungseinheit ist und vorzugsweise als Kl-

basiertes Modell, beispielsweise als neuronales Netz, ausgebildet ist.

Die Erfindung betrifft ferner ein Fahrzeug, umfassend eine erfindungsgemäße

Vorrichtung.

Weitere erfindungsgemäße Merkmale ergeben sich aus den Ansprüchen, den

Ausführungsbeispielen und den Figuren.

Die Erfindung wird im Folgenden an Hand eines exemplarischen, nicht ausschließlichen

Ausführungsbeispiels erläutert.

Fig. 1 zeigt ein schematisches Beispiel einer erfindungsgemäßen Vorrichtung; Figs. 2a —- 2c zeigen schematische Beispiele der bei Durchführung eines

erfindungsgemäßen Verfahren erzeugten Datenmodelle.

Fig. 1 zeigt ein schematisches Beispiel einer erfindungsgemäßen Vorrichtung zur Schätzung der Positionen von menschlichen Schlüsselpunkten Sı - Sn in einem dreidimensionalen Raum. Die Vorrichtung umfasst eine Bildaufnahmeeinheit 8, die zur Aufnahme eines zweidimensionalen Bildes 1 und zur Messung von Tiefeninformationen 2 ausgebildet ist. Ferner umfasst die Vorrichtung eine Datenverarbeitungseinheit 3 mit einer ersten Bildverarbeitungseinheit 4, einer zweiten Bildverarbeitungseinheit 5, einer

Extraktionseinheit 6 und einer Komparatoreinheit 7.

Die erste Bildverarbeitungseinheit 4 umfasst ein neuronales Netz, welches dazu trainiert wurde, menschliche Schlüsselpunkte in zwei Dimensionen aus einem zweidimensionalen Bild zu extrahieren. Zum Training dieses Netzes wurden Bilddaten

mit zweidimensional annotierten Schlüsselpunkten verwendet. Die zweite Bildverarbeitungseinheit 5 umfasst ein neuronales Netz, das dazu trainiert

wurde, menschliche Schlüsselpunkte in drei Dimensionen aus einem

zweidimensionalen Bild, ohne Verwendung von Tiefeninformationen, zu extrahieren.

Zum Training dieses Netzes wurden Bilddaten mit exakt dreidimensional annotierten

Schlüsselpunkten verwendet.

Zunächst wird die erste Bildverarbeitungseinheit 4 auf das Bild 1 angewandt, sodass zweidimensionale Positionen S1@D - SyCD) von Schlüsselpunkten des Menschen im Bild 1 erhalten werden. Die Schlüsselpunkte liegen in Form von kartesischen Koordinaten u,

Vi Vor.

Da es für jeden Pixel im Bild 1 eine korrespondierende Tiefeninformation bzw. eine korrespondierende 3D Position gibt, kann für jeden der in 2D geschätzten Schlüsselpunkte Si) auch eine gemessene Tiefe, also eine z-Koordinate, bestimmt werden, wobei es sich um eine Messung, und nicht um eine Schätzung handelt. Dies erfolgt in der Extraktionseinheit 6, welche die gemessenen Pixeltiefen T1—- Tn an den Positionen S1CD) - Su@D) der Schlüsselpunkte aus dem Bild 1 extrahiert und dreidimensionale Messpunkte M1 - Mn erzeugt. Mittels bekannter Kameraparameter kann aus den geschätzten zweidimensionalen Koordinaten ui, vi und dem Tiefenwert zi eine Position, bestehend aus ui, ui und zi bestimmt werden. Die Positionen der Messpunkte Mi enthalten somit jeweils die geschätzten zweidimensionalen Koordinaten

xi, yı und die gemessene Tiefe zi der Schlüsselpunkte.

Danach wird die zweite Bildverarbeitungseinheit 5 auf das Bild 1 angewandt, jedoch ohne Berücksichtigung der Tiefeninformationen. Diese zweite Bildverarbeitungseinheit liefert geschätzte dreidimensionale Positionen Sı1 - Sn der Schlüsselpunkte des Menschen aus dem Bild 1 in Form von x-, y- und z-Koordinaten. Diese sind in der Regel

nicht identisch zu den vorher erzeugten Messpunkten Mi1 - Mn.

Danach werden, in einer Komparatoreinheit 7, die Messpunkte Mı —- Mn mit den Schätzungen S1 — Sn verglichen und es wird eine Qualitätsmetrik Qı1 — Qn auf Grundlage des durchgeführten Vergleichs berechnet. Dabei wird davon ausgegangen, dass bei einer Verdeckung die geschätzte Position Si eines Schlüsselpunktes stark von

der gemessenen Position Mi dieses Schlüsselpunktes abweicht.

Liegt die Distanz zwischen den beiden Werten Si und Mi unter einem vorbestimmten Schwellwert, beispielsweise unter 10cm oder unter 5cm, wird die Messung Mi als korrekt gekennzeichnet, weil davon auszugehen ist, dass dieser Schlüsselpunkt nicht

verdeckt ist.

Liegt die Distanz zwischen den beiden Werten über diesem Schwellwert, so wird eine korrigierte Variante der Messung Mi verwendet. Die Messung wird durch einen individuellen Korrekturvektor Ki korrigiert, indem sie relativ zum nächstgelegenen

unverdeckten Schlüsselpunkt repositioniert wird.

Zur Durchführung dieser Korrektur werden die gemessenen Positionen Mi und die geschätzten Positionen Si der Schlüsselpunkte in ein topologisches Datenmodell, nämlich die Graphen 9, 9‘ überführt. Schematische Darstellungen dieser Graphen 9, 9‘ sind in den Figuren 2a und 2b dargestellt, wobei die verdeckten Oberflächen durch fett dargestellte Polygone angedeutet sind. Die Datenmodelle der Graphen 9, 9‘ werden aufgrund eines menschlichen Skelett-Modells vordefiniert, wobei die vordefinierten Schlüsselpunkte als Knoten definiert und durch Kanten verbunden sind. So ist etwa das rechte Handgelenk mit dem rechten Ellenbogen, der rechte Ellenbogen mit der rechten Schulter, und die rechte Schulter wiederum mit der rechten Hüfte und der linken

Schulter über Kanten verbunden.

Im konkreten Beispiel sind die gemessenen Positionen der Schlüsselpunkte M7, Me, Mı13 und Mı15 verdeckt, was dadurch erkannt wird, dass sich deutliche Unterschiede zwischen den gemessenen Werten M-, Me, M13 und M15 und den dreidimensional

geschätzten Positionen S7, Ss, Sı3 und Sı5 ergeben.

Zur Korrektur eines als fehlerhaft erkannten dreidimensionalen Messwerts Mi wird entlang der Kanten des Graphen der nächstgelegene korrekt gemessene Punkt M; identifiziert, z.B. das Handgelenk bei einem fehlerhaft erkannten Ellbogengelenk. Im Beispiel der Figur 2a wäre dies etwa für den Punkt M7 (Ellbogengelenk) der korrekt

gemessene Punkt M2 (Schultergelenk), sodass i=7 und j=2 ist.

In Folge wird die relative Positionierung der Schätzwerte Si und S; berechnet und als Korrekturvektor di = Si—- S; gespeichert. Im konkreten Beispiel aus Fig. 2b entspricht der Korrekturvektor im Wesentlichen dem geschätzten Verlauf des Oberarms. Um nun einen korrigierten Messpunkt Mr’ zu erhalten, wird dieser Korrekturvektor dem

Messwert von M7 hinzugefügt, sodass M7‘ = M7 + dz2.

Wenn es mehrere nächstgelegene Schlüsselpunkte gibt, wird für jeden ein Korrekturwert errechnet und der Durchschnitt gebildet. Eine schematische Darstellung des resultierenden, korrigierten Graphen 9“ ist in der Figuren 2c dargestellt, wobei ersichtlich ist, dass die gemessenen Positionen der verdeckten Schlüsselpunkte

korrigiert wurden. Die Erfindung beschränkt sich jedoch nicht auf dieses beschriebene

Ausführungsbeispiel, sondern umfasst auch weitere Ausführungen der vorliegenden

Erfindung im Rahmen der nachfolgenden Patentansprüche.

Bezugszeichenliste

1, 1‘ Zweidimensionales Bild

2 Tiefeninformationen

3 Datenverarbeitungseinheit

4 Erste Bildverarbeitungseinheit 5 Zweite Bildverarbeitungseinheit 6 Extraktionseinheit

7 Komparatoreinheit

8, 8‘ Bildaufnahmeeinheit

9, 9 Graph

Claims (14)

Patentansprüche

1. Verfahren zur Schätzung der dreidimensionalen Positionen von Schlüsselpunkten eines Menschen in einem Raum, umfassend die Schritte:

a. Aufnahme, durch zumindest eine Bildaufnahmeeinheit (8), zumindest eines Bildes (1) sowie von Tiefeninformationen (2) des Raumes,

b. Entgegennahme, durch eine Datenverarbeitungseinheit (3), des Bildes (1) und der Tiefeninformationen (2);

c. Schätzung, durch eine erste Bildverarbeitungseinheit (4), der zweidimensionalen Positionen S1CPD) - Sy@D) der Schlüsselpunkte des Menschen aus dem Bild (1);

d. Extraktion, durch eine Extraktionseinheit (6), von Pixeltiefen T1 — Tn an Positionen S1CD) - SD), und Kombination der geschätzten Positionen S1 CD) _ SuCD) mit den Pixeltiefen T1— Tn zur Bildung dreidimensionaler Messpunkte Mi1 - Mn der Schlüsselpunkte,

dadurch gekennzeichnet, dass zur Einschätzung und Verbesserung der Genauigkeit der Messpunkte Mi: - Mn die nachfolgenden Schritte ausgeführt werden:

e. Schätzung, durch eine zweite Bildverarbeitungseinheit (5), der dreidimensionalen Positionen S1 - Sn der Schlüsselpunkte aus dem Bild (1) ohne Verwendung der Tiefeninformationen,

f. Vergleich, durch eine Komparatoreinheit (7), der dreidimensionalen Messpunkte Mı1 — Mn mit den geschätzten dreidimensionalen Positionen Sı - Sn, und Berechnung einer Qualitätsmetrik Q1 — Qn auf Grundlage

des durchgeführten Vergleichs, beispielsweise in der Form Qi = ||Mi - Sıill.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Aufnahme des Bildes (1) Tiefeninformationen (2) durch Sensoren gemessen und im Bild (1) gespeichert werden, und zur Extraktion der Pixeltiefen T1—- Tn an den Schlüsselpunkten S1CD) - Su@CD) die im Bild (1) gespeicherten Tiefeninformationen (2) herangezogen werden.

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass durch eine zweite Bildaufnahmeeinheit (8‘) ein zweites Bild (1°) des Raumes aufgenommen wird, welches gemessene Tiefeninformationen (2) aufweist, wobei zur Extraktion der Pixeltiefen T1 — Tn an den Schlüsselpunkten S1CD - SyCD) das zweite Bild (1°)

herangezogen wird.

Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass jene Messpunkte Mi: - Mn, bei denen die berechneten Qualitätsmetriken Q1 — Qn einen vorbestimmten Schwellwert übersteigen, durch individuelle Korrekturvektoren Ki korrigiert werden, sodass korrigierte Messpunkte Mi‘ erhalten werden.

Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Messpunkte Mi - Mn, die Positionen S1 - Sn der geschätzten Schlüsselpunkte, und gegebenenfalls auch die Positionen Mi‘ der korrigierten Messpunkte in ein topologisches dreidimensionales Datenmodell, insbesondere in einen Graphen (9, 9‘, 9“) übergeführt werden.

Verfahren Anspruch 5, dadurch gekennzeichnet, dass die Korrekturvektoren Ki für jene Messpunkte Mi, bei denen die Qualitätsmetrik Qi einen vorbestimmten Schwellwert übersteigen, auf Grundlage des Schätzwertes des Position S; zumindest eines benachbarten Schlüsselpunktes und unter Berücksichtigung der Topologie der Datenmodelle (9, 9‘) berechnet werden.

Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Korrekturvektoren Ki berechnet werden, indem zur gemessenen Position Mi die Differenz zwischen der geschätzten Position Si und der geschätzten Position S; des benachbarten Schlüsselpunkts addiert wird, sodass Mi‘ = M; + Si - Si.

Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Messpunkte Mı1 — Mn, die geschätzten Positionen S1 - Sn, und/oder die korrigierten Messpunkte M1‘ — Mn‘ von der Datenverarbeitungseinheit (3) in elektronisch lesbarer Form, beispielsweise in Form von Tabellen oder Graphen, bereitgestellt

werden.

11.

12.

13.

14 — 63696/AG/emotion3D GmbH, Rainergasse 1/8, 1040 WIEN (AT)

Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass es sich bei den Schlüsselpunkten um vordefinierte Punkte des menschlichen Körpers handelt, insbesondere Handgelenke, Armgelenke, Ellbogengelenke, Schultergelenke, Kniegelenke, FuRgelenke Hüftgelenken, sowie Kopfmittelpunkt, Brustbein, Augen, Ohren, Nase, und/oder Mund einer Person.

Computerlesbares Speichermedium, umfassend Anweisungen, die eine Datenverarbeitungseinheit (1) zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 9 veranlassen.

Vorrichtung zur Schätzung der Positionen von menschlichen Schlüsselpunkten in einem dreidimensionalen Raum aus zumindest einem Bild (1, 1‘) und gemessenen Tiefeninformationen (2), umfassend a. zumindest eine Bildaufnahmeeinheit (8) zur Aufnahme des Bildes (1, 1‘) und eine Vorrichtung zur Messung von Tiefeninformationen (2), und b. eine Datenverarbeitungseinheit (3), die zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 9 ausgebildet ist.

Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die erste Bildverarbeitungseinheit (4) und/oder die zweite Bildverarbeitungseinheit (5) Teil der Datenverarbeitungseinheit (3) ist und vorzugsweise als Kl-basiertes Modell,

beispielsweise als neuronales Netz, ausgebildet ist.

Fahrzeug, umfassend eine Vorrichtung nach einem der Ansprüche 11 oder 12.