DE102022119865A1

DE102022119865A1 - Verfahren zum Schätzen von Positionen von Gelenkpunkten und Steuereinrichtung für ein Kraftfahrzeug

Info

Publication number: DE102022119865A1
Application number: DE102022119865.0A
Authority: DE
Inventors: Sebastian Dorn; Sebastian Garreis
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2022-08-08
Filing date: 2022-08-08
Publication date: 2024-02-08

Abstract

Die Erfindung betrifft ein Verfahren zum Schätzen einer jeweiligen Position (s) von mehreren bestimmten Gelenkpunkten (12; 12a - 12n) einer Person (10) auf Basis eines Bildes (B), wobei mindestens einer der bestimmten Gelenkpunkte (12; 12a - 12n) im Bild (B) erkannt und seine Position (d; d1 - d12) im Bild (B) bestimmt wird und als gemessene Position (d; d1 - d12) bereitgestellt wird, wobei mindestens einer der bestimmten Gelenkpunkte (12; 12a - 12n) im Bild (B) nicht erkannt wird. Dabei werden die jeweiligen Positionen (s) der mehreren bestimmten Gelenkpunkte (12; 12a - 12n) im Bild (B) in Abhängigkeit von den jeweiligen gemessenen Positionen (d; d1 - d12) der erkannten Gelenkpunkte (12; 12a - 121) und in Abhängigkeit von mindestens einer bereitgestellten, statistischen Kenngröße (Σ) der bestimmten Gelenkpunkte (12; 12a - 12n) ermittelt, die eine Informationen über Korrelationen zwischen den zu schätzenden Positionen (s) der bestimmten Gelenkpunkte (12; 12a - 12n) beinhaltet.

Description

Die Erfindung betrifft ein Verfahren, insbesondere ein computerimplementiertes Verfahren, zum Schätzen einer jeweiligen Position von mehreren bestimmten Gelenkpunkten einer Person auf Basis eines Bildes von der Person, wobei mindestens einer der bestimmten Gelenkpunkte im Bild erkannt wird und die dem erkannten Gelenkpunkt zugeordnete Position im Bild bestimmt wird und als gemessene Position bereitgestellt wird, und wobei mindestens einer der bestimmten Gelenkpunkte im Bild nicht erkannt wird. Des Weiteren betrifft die Erfindung auch eine Steuereinrichtung für ein Kraftfahrzeug.
Heutige Funktionen von Fahrerassistenzsystemen basieren unter anderem auf digitalen Bildern, welche hochfrequent durch eine oder mehrere im Fahrzeug verbaute Kameras aufgezeichnet werden. Einige Funktionsausprägungen sind dabei zum Beispiel auf die Bestimmung der Pose der im Bild enthaltenen Menschen, zum Beispiel Fußgänger oder Radfahrer, angewiesen. Zum Beispiel könnte es für die Schätzung der zukünftigen Bewegung einer solchen Person wichtig sein zu wissen, ob ein Mensch sitzt, rennt, nach links abbiegt usw. Dies wird aktuell mit Methoden der modernen Bildverarbeitung bewerkstelligt. Algorithmen sind hierbei oft im Bereich von Deep Convolutional Neural Networks, Key Point Detektoren usw. zu finden.
In der Realität sind Teile des Menschen oft von Vordergründen, z.B. anderen Objekten, Menschen, Fahrzeugen, anderen eigenen Körperteilen usw. verdeckt oder vom Bildrand abgeschnitten. Dies beeinflusst die Posenschätzung je nach Grad der Verdeckung oder der Abgeschnittenheit sehr stark. Wird beispielsweise angenommen, dass die sichtbaren Gelenke von zum Beispiel oben erwähnten Algorithmen detektiert sind und verdeckte oder abgeschnittene Gelenkpunkte nicht erkannt wurden, kann die Lage dieser Gelenkpunkte trotz Verdeckung beziehungsweise Abschnitts am Bildrand geschätzt werden. Eine Möglichkeit besteht in einem temporären Tracking. Dabei wird der Fußgänger über die Zeit im Video verfolgt. Liegt die Verdeckung nicht dauerhaft vor, kann die Lage der Gelenkpunkte über den zeitlichen Verlauf geschätzt werden. Dies ist jedoch zeitlich sehr aufwändig, da mehrere Bilder der Vergangenheit ausgewertet werden müssen, was mit Echtzeitanforderungen und Sicherheitsaspekten kollidieren kann. Außerdem können hierdurch dauerhaft verdeckte Gelenkpunkte nicht geschätzt werden. Eine weitere Möglichkeit besteht in der Vorhersage der Gelenkpositionen durch Deep-Learning-basierte Algorithmen. Diese Deep-Learning-Algorithmen müssen durch viele Beispieldaten trainiert werden. Der so trainierte Deep-Learning-Algorithmus kann dann die sogenannten Joints, d.h. die Gelenkpunkte, vorhersagen. Nachteilig dabei ist, dass die Trainingsdaten statistisch repräsentativ sein müssten. Kombiniert man alle möglichen Bildszenarien mit allen möglichen Verdeckungsoptionen und allen möglichen Ursachen für Verdeckungen wird klar, dass die Erzeugung eines solchen Datensatzes unrealistisch ist, da man die Daten via Fahrten aufzeichnen müsste. Man trainiert also nicht statistisch repräsentativ. Der dabei tolerierte Fehler ist leider nicht bestimmbar. Die Deep-Learning-Algorithmen sind zudem in der Regel sehr rechenintensiv, da sie Parameteranzahlen der Größenordnung 10⁶ oder mehr aufweisen. Dies schränkt die Echtzeitfähigkeit massiv ein. Außerdem sind aktuell bekannte Deep-Learning-Algorithmen für die Posenschätzung heutzutage nicht in der Lage, eine Unsicherheit in Bezug auf die geschätzten Größen auszugeben. Wie stark also die mit solchen Algorithmen bestimmten Positionen oder anderen Größen fehlerbehaftet sind, ist damit unbekannt. Damit ist eine funktionelle Absicherung eingeschränkt.
Die EP 2 395 478 A1 beschreibt ein Verfahren zur monokularen dreidimensionalen menschlichen Posenschätzung und zum Posentracking.
Dabei werden dynamische Priors, insbesondere 3D-Bewegungspriors verwendet, die die Bewegung einer Pose durch eine Videosequenz charakteristisch beschreibt. Hierbei kommen unter anderem Tracklets zum Einsatz. Das Verfahren beruht dabei auf sequenziellen Videodaten und ist dabei nicht framebasiert, d.h. nicht auf Basis nur eines einzelnen Bildes ausführbar.
Oben beschriebene Probleme bleiben hierbei ebenfalls bestehen. Das Generieren von sequenziellen Datensätzen ist sehr teuer und zeitintensiv. Die Methode beinhaltet zudem rechenzeitintensive Bayes'scher Evidenzterme. Dies limitiert die Echtzeitanwendungen signifikant.
Weiterhin beschreibt die CN 110032940 A ein Verfahren zum Wiedererkennen eines Fußgängers in einem Video. Außerdem beschreibt die CN 106897697 A eine visuelle Compiler-basierte Personen- und Posenerkennung. Hierbei werden frequentistische Modelle unter Verwendung konventioneller neuronaler Netze eingesetzt.
Auch hierbei bleiben die oben beschriebenen Probleme weiterhin bestehen.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Steuereinrichtung bereitzustellen, die eine qualitativ möglichst gute Schätzung von Gelenkpositionen auf Basis eines Bildes einer Person, insbesondere eines einzelnen Bildes der Person, auf möglichst wenig rechenintensive Art und Weise erlauben.
Diese Aufgabe wird gelöst durch ein Verfahren und eine Steuereinrichtung mit den Merkmalen gemäß den unabhängigen Patentansprüchen. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Figuren.
Bei einem erfindungsgemäßen Verfahren zum Schätzen einer jeweiligen Position von mehreren bestimmten Gelenkpunkten einer Person auf Basis eines Bildes von der Person wird mindestens einer der bestimmten Gelenkpunkte im Bild erkannt und die dem erkannten Gelenkpunkt zugeordnete Position im Bild bestimmt und als gemessene Position bereitgestellt, und mindestens einer der bestimmten Gelenkpunkte im Bild wird nicht erkannt. Dabei werden die jeweiligen Positionen, d.h. insbesondere die tatsächlichen Positionen, der mehreren bestimmten Gelenkpunkte einschließlich der Position des mindestens einen nicht erkannten Gelenkpunkts im Bild in Abhängigkeit von den jeweiligen gemessenen Positionen der erkannten Gelenkpunkte und in Abhängigkeit von mindestens einer bereitgestellten, statistischen Kenngröße der bestimmten Gelenkpunkte ermittelt bzw. geschätzt, die Informationen über Korrelationen zwischen den zu schätzenden Positionen der bestimmten Gelenkpunkte beinhaltet.
Die Erfindung beruht dabei auf der Erkenntnis, dass jede Pose beziehungsweise jedes Bewegungsmuster von Personen, zum Beispiel Fußgängern, sich durch eine einzigartige Korrelation der Gelenkpunkte, die auch als Joints bezeichnet werden können, bezüglich der Lage im Bild auszeichnet. Die Korrelationen können z.B. statistisch aus bereits aufgezeichneten Bildern bestimmt werden, in denen die Lage der Joints bestimmt ist, und die entsprechend als Ground-Truth-Daten bereitgestellt werden. Somit kann ein Datenmodell, inklusive Korrelationsmodell, der Joints gebildet werden. Bei der Schätzung der Positionen der jeweiligen Gelenkpunkte wird nun vorteilhafterweise die Korrelation zwischen diesen Gelenkpositionen berücksichtigt. Die Positionen der bestimmten Gelenkpunkte können somit probabilistisch auf Grundlage nur einer einzelnen Bildaufnahme geschätzt werden. Insbesondere die Position des zumindest einen nicht erkannten Gelenkpunkts kann beispielsweise als eine wahrscheinlichste Position für eine durch die gemessenen Positionen der erkannten Gelenkpunkte gegebene Konstellation der gemessenen Positionen der erkannten Gelenkpunkte ermittelt werden. Somit können vorteilhafterweise auch verdeckte Gelenkpunkte in einem Bild beziehungsweise deren Positionen geschätzt werden, und zwar auf Basis nur dieses einzelnen Bildes. Dies ermöglicht es beispielsweise auch, dauerhaft verdeckte Gelenkpunkte beziehungsweise Joints zu bestimmen.
Außerdem ermöglicht dieses Verfahren eine echtzeitfähige Implementierung, da keine temporären Daten nötig sind und der Algorithmus zur Umsetzung des Verfahrens sehr rechenarm ausgeführt werden kann. Zudem müssen die Trainingsdaten, das heißt die Daten aus den oben erwähnten aufgezeichneten Bildern, nicht statistisch repräsentativ sein, da die Sample-Anzahl für die Bestimmung des Korrelationsmodells in demselben abgebildet wird. Mit anderen Worten werden Unsicherheiten abgebildet. Dies erlaubt es vorteilhafterweise zudem auch, wie dies später näher erläutert wird, dass zu jeder geschätzten Position zudem auch ein Unsicherheitsmaß angegeben werden kann. Dies erlaubt vorteilhafterweise eine konkrete Aussage darüber, wie verlässlich die geschätzten Positionen sind. Damit wird auch eine funktionelle Absicherung möglich.
Die Summe aller erkannten und nicht erkannten Gelenkpunkte bildet die Menge aller bestimmten Gelenkpunkte, nach welchen im bereitgestellten Bild zu suchen ist. Mit anderen Worten wird ein jeweiliger der bestimmten Gelenkpunkte entweder erkannt oder nicht erkannt. Die bestimmten Gelenkpunkte können auch als Joints bezeichnet werden. Diese Joints sind Teil eines sogenannten Skeletons, das heißt eines Skeletts einer Person. Mit anderen Worten ist das Skeleton einer Person durch die Angabe der Positionen seiner Gelenke bestimmt. Aber auch andere Körperteile, zum Beispiel Augen, können ebenso bei einer auf der Gelenkpositionsschätzung beruhenden Posenschätzung, analog wie zu den Gelenkpunkten beschrieben, berücksichtigt werden. Die bestimmten Gelenkpunkte, deren jeweilige Positionen im Rahmen der Erfindung vorzugsweise geschätzt werden sollen, stellen zum Beispiel die beiden Schultergelenke, die beiden Ellenbogengelenke und die beiden Handgelenke, die beiden Hüftgelenke, die beiden Kniegelenke und die beiden Fußgelenke dar oder zumindest eine ausgewählte Untergruppe dieser genannten Gelenkpunkte. Ein das beschriebene Verfahren ausführende Algorithmus sucht im bereitgestellten Bild nach den bestimmten Gelenkpunkten und klassifiziert diese beispielsweise nach Auffinden im Bild als zu einer linken Körperhälfte gehörend oder zu einer rechten Körperhälfte gehörend, sowie hinsichtlich der Gelenkart, z.B. Schultergelenkt oder Kniegelenk, usw.
Im Rahmen des beschriebenen Verfahrens können dabei nicht nur die Positionen der nicht erkannten Gelenkpunkte geschätzt werden, sondern insbesondere auch die Positionen der Gelenkpunkte, die im Bild erkannt wurden. Dies hat den Hintergrund, dass auch diese gemessenen Positionen von den tatsächlichen Positionen dieser Gelenkpunkte abweichen können, beispielsweise da jede Messung mit einer gewissen Messunsicherheit behaftet ist, die mathematisch durch einen Rauschterm berücksichtigt werden kann, zum Beispiel durch ein additives Gaußsches Rauschen. Somit können auch die Positionen der erkannten Gelenkpunkte abhängig von den jeweiligen gemessenen Positionen dieser erkannten Gelenkpunkte und ebenfalls abhängig von der bereitgestellten statistischen Kenngröße geschätzt werden. Darüber hinaus kann sich die Schätzung der Positionen dabei auf Bildkoordinaten beziehen. Diese können durch bekannte Verfahren in Positionskoordinaten bezogen auf die Umgebung der Kamera umgerechnet werden, die das Bild aufgenommen hat. Dies ist im vorliegenden Fall jedoch nicht sonderlich relevant, da im Rahmen der vorliegenden Erfindung das beschriebene Verfahren vor allem dazu verwendet werden soll, die Pose einer Person im Bild zu schätzen und nicht notwendigerweise auch deren Position in der Umgebung der das Bild bereitstellenden Kamera genau zu ermitteln. Bei dem Bild handelt es sich insbesondere um ein zweidimensionales Bild. Eine Kamera, insbesondere eine monokulare Kamera, kann dieses Bild bereitstellen, z.B. eine Kraftfahrzeugkamera. Die Kamera kann dabei auch zeitlich wiederholt Bilder von der Umgebung des Kraftfahrzeugs aufnehmen. Die Bilder können in Form eines Videos bereitgestellt werden. Diese Bilder können dann entsprechend als Eingangsdaten einer Steuereinrichtung zur Ausführung des beschriebenen Verfahrens bereitgestellt werden. Dabei kann jedes Bild nacheinander wie zum oben genannten Bild beschrieben ausgewertet werden.
Bei einer vorteilhaften Ausgestaltung der Erfindung werden die Korrelationen zwischen den zu schätzenden Positionen der bestimmten Gelenkpunkte auf Basis von in Referenzbildern bestimmten Referenz-Gelenkpositionen von bestimmten Referenz-Gelenkpunkten von Referenzpersonen ermittelt, insbesondere statistisch ermittelt. Dabei korrespondiert zudem jeder der Referenz-Gelenkpunkte hinsichtlich seiner Art zu einem der bestimmten Gelenkpunkte. Dass dabei jeder der Referenz-Gelenkpunkte hinsichtlich seiner Art zu einem der bestimmten Gelenkpunkte korrespondiert, soll dabei so verstanden werden, dass, wenn der Referenz-Gelenkpunkt zum Beispiel ein linkes Ellenbogengelenk der Referenzpersonen darstellt, auch der bestimmte Gelenkpunkt das linke Ellenbogengelenk der Person darstellt. Stellt der Referenz-Gelenkpunkt ein rechtes Kniegelenk der Referenzpersonen dar, so stellt auch der hinsichtlich seiner Art zu diesem Referenz-Gelenkpunkt korrespondierende bestimmte Gelenkpunkt das rechte Kniegelenk der Person dar.
Wie oben bereits erwähnt können also die Korrelationen statistisch aus bereits aufgezeichneten Bildern bestimmt werden, in denen die Lage der Joints, die vorliegend als Referenz-Gelenkpunkte bezeichnet werden, bestimmt ist oder bestimmt wurde. Es können also Referenzbilder von Referenzpersonen gemacht werden, bei denen es sich im Übrigen um beliebige Personen handeln kann. Mit anderen Worten müssen diese Person nicht notwendigerweise diejenige Person darstellen, deren Gelenkpunktspositionen vorliegend auf Basis des Bildes geschätzt werden sollen. In diesen Referenzbildern können entsprechend die Gelenkpositionen bestimmt werden, was ebenfalls automatisiert durch einen Bildanalysealgorithmus oder auch manuell erfolgen kann. Dabei können nicht nur die Gelenkpositionen der jeweiligen erkannten Referenz-Gelenkpunkte ermittelt werden, sondern auch die Art der Referenz-Gelenkpunkte, das heißt, ob es sich bei den Gelenkpunkten zum Beispiel um Kniegelenke oder Fußgelenke oder Hüftgelenke oder Ähnliches handelt, sowie ob ein Gelenkpunkt der der rechten oder linken Körperhälfte zuzuordnen ist, d.h. ob es sich bei den Gelenkpunkten zum Beispiel um ein linkes Hüftgelenk oder ein rechtes Hüftgelenk handelt. Die Referenzbilder können entsprechend in ausgewerteter Form bereitgestellt werden, wobei die Positionen der Referenz-Gelenkpunkte in annotierter Form, das heißt zusammen mit den bestimmten Gelenkarten der jeweiligen Gelenkpunkte, bereitgestellt werden. Diese ermittelten Referenz-Gelenkpositionen können dann vorteilhafterweise statistisch ausgewertet werden und daüber die Korrelationen zwischen den Referenz-Gelenkpositionen, die dann für die zu schätzenden Positionen der bestimmten Gelenkpunkte ebenso gelten sollen, bestimmt werden.
Soll das Schätzverfahren zum Schätzen der Positionen der bestimmten Gelenkpunkte implementiert werden, so kann diesem Verfahren die so ermittelte statistische Kenngröße bereits als gegebene Eingangsgröße bereitgestellt werden. Um also die Positionen der bestimmten Gelenkpunkte zu schätzen, ist es nicht erforderlich, jedes Mal erneut eine statistische Auswertung von Referenzdaten vorzunehmen. Diese können als fertiger Datensatz, insbesondere als Datenmodell inklusive Korrelationsmodell, dem durchzuführenden Schätzverfahren bereits fertig bereitgestellt werden. Gerade dadurch ist das Verfahren wenig rechenintensiv und zeiteffizient.
Dabei ist es weiterhin vorteilhaft, wenn das Bild der Person, und insbesondere auch die Referenzbilder der Referenzpersonen, auf eine vorgegebene Personeneinheitsgröße normiert beziehungsweise skaliert sind. Bei dem beschriebenen Verfahren kommt es vorteilhafterweise nicht auf die Absolutgröße der jeweiligen Personen an, da lediglich die Pose geschätzt werden soll. Hierfür ist die Betrachtung der Lage der Gelenkpunkte zueinander ausreichend. Um das Verfahren mathematisch zu vereinfachen, ist es daher sehr vorteilhaft, alle Personen in den auszuwertenden Bildern, auf deren Basis eine Positionschätzung der Gelenkpunkte vorgenommen werden sollen, auf eine vorgebbare Personeneinheitsgröße zu normieren, die insbesondere durch die für die Referenzbilder verwendeten Personeneinheitsgröße abgestimmt ist oder durch diese vorgegeben sein kann. Dabei können insbesondere die Skelette der betreffenden Personen bezüglich ihrer vertikalen Größe normiert werden. Beispielsweise werden dann eine weit entfernte Person, die in einem aufgenommenen Bild entsprechend klein erscheint, und eine sehr nahe Person, die in einem aufgenommenen Bild entsprechend groß erscheint, durch die exakt gleichen 2D-Koordinaten beschrieben, für den Fall, dass diese beiden Personen die exakt gleiche Pose haben.
Die nachfolgend noch näher erläuterte bereitgestellte statistische Verteilung der Gelenkpositionen ist dann vorteilhafterweise für jede Person in einem Bild gültig unabhängig von ihrer tatsächlichen Körpergröße und/oder ihrem Abstand zur Kamera. Somit müssen nicht für unterschiedliche Personengrößen oder Abstände zur Kamera unterschiedliche statistische Datensätze bereitgestellt werden.
Des Weiteren ist es sehr vorteilhaft, wenn die Kenngröße sich auf eine auf Basis der Referenzbilder ermittelte statistische Verteilung der Referenz-Gelenkpunktpositionen bezieht. Mit anderen Worten lässt sich die Kenngröße aus einer solchen statistischen Verteilung der Referenz-Gelenkpunktpositionen ermitteln, wobei diese statistische Verteilung wiederum auf Basis der aus den Referenzbildern ermittelten Referenz-Gelenkpunktpositionen bereitgestellt werden kann. Die statistische Verteilung der Referenz-Gelenkpunktpositionen beschreibt also, wie die Positionen der einzelnen, jeweiligen Referenz-Gelenkpunkte statistisch räumlich verteilt sind. Die aus der statistischen Verteilung ermittelte Kenngröße umfasst entsprechend die Korrelationen zwischen den Referenz-Gelenkpunktpositionen, die auch als für die zu schätzenden Positionen der bestimmten Gelenkpunkte geltende Korrelationen verwendet werden.
Die statistische Verteilung der Referenz-Gelenkpunktposition der bestimmten Referenz-Gelenkpunkte wird also auf Grundlage der in den Referenzbildern vorhandenen bestimmten Referenz-Gelenkpunkte der Referenzpersonen ermittelt, wobei in jedem der Referenzbilder die Referenz-Gelenkpunktpositionen aller erkennbaren bestimmten Referenz-Gelenkpunkte ermittelt werden und insbesondere annotiert werden. In Abhängigkeit von den ermittelten Referenz-Gelenkpunktpositionen wird dann die mindestens eine Kenngröße der Verteilung der Referenz-Gelenkpositionen bestimmt, und als die mindestens eine Kenngröße für die zu schätzenden Positionen bereitgestellt. Die Verteilung wird darüber hinaus, wie später näher erläutert, dabei z.B. als Normalverteilung angenommen.
Die Positionen der Gelenkpunkte, das heißt die zu schätzenden Positionen, sowie auch die Referenz-Gelenkpositionen können zum Beispiel in Form eines Vektors dargestellt werden, der als Einträge die Positionskoordinaten der jeweiligen zu schätzenden Positionen beziehungsweise Referenz-Gelenkpositionen umfasst. Dieser Vektor stellt dann die Zufallsvariable dar, auf die sich die genannte Verteilung bezieht.
Bei einer weiteren sehr vorteilhaften Ausgestaltung der Erfindung wird zur Bereitstellung der mindestens einen Kenngröße die statistische Verteilung der zu schätzenden Positionen, und insbesondere auch der Referenz-Gelenkpositionen, der bestimmten Gelenkpunkte als normalverteilt angenommen. Dies ist sehr vorteilhaft, da dies die Berechnungen enorm vereinfacht. Insbesondere was die Korrelationen betrifft, ist hierbei dann vorteilhafterweise die Betrachtung von Punkt-zu-Punkt-Korrelationen, das heißt die Betrachtung der Korrelationen zwischen den Positionen von jeweils nur zwei der Gelenkpunkte ausreichend. Bei einer Normalverteilung der zu schätzenden Positionen beziehungsweise der Referenz-Gelenkpositionen lässt sich diese Verteilung durch eine Gauß-Kurve beschreiben. Somit können vorteilhafterweise auch die durch die zuvor experimentell bestimmte Verteilung der Referenz-Gelenkpositionen relevanten Kenngrößen, wie beispielsweise Erwartungswert und Standardabweichung o.Ä., einfach ermittelt werden.
Besonders vorteilhaft ist es dabei, wenn die mindestens eine Kenngröße durch eine Kovarianzmatrix der statistischen Verteilung der Referenz-Gelenkpositionen bereitgestellt wird und als eine zweite Kenngröße ein Erwartungswert der statistischen Verteilung für die jeweiligen zu schätzenden Positionen bereitgestellt wird. Der Erwartungswert der statistischen Verteilung für die jeweiligen zu schätzenden Positionen kann dabei insbesondere in Form eines Erwartungswertvektors bereitgestellt werden, der als Einträge den jeweiligen Erwartungswert für eine jeweilige Positionskoordinate einer jeweiligen zu schätzenden Position und entsprechend einer jeweiligen Referenz-Gelenkposition aufweist. Mit anderen Worten kann auf Basis der statistischen Verteilung, die aus den Referenzbildern gewonnen wurde, unter Annahme einer Normalverteilung ganz einfach der Erwartungswert beziehungsweise Erwartungsvektor für die zu schätzenden Positionen ermittelt werden, sowie auch die Kovarianzmatrix, die insbesondere die Korrelationen zwischen den Positionen der Gelenkpunkte und entsprechend auch der Referenz-Gelenkpositionen beschreibt.
Bei einer weiteren sehr vorteilhaften Ausgestaltung der Erfindung werden die Positionen der bestimmten Gelenkpunkte mittels statistischer Bayes'scher Inferenz, insbesondere mittels eines verallgemeinerten Wiener Filters, geschätzt. Gerade die Bereitstellung der oben beschriebenen Kenngrößen, nämlich der Kovarianzmatrix und des Erwartungsvektors, ermöglicht die Verwendung eines verallgemeinerten Wiener Filters, um auf einfache Weise die Positionen der bestimmten Gelenkpunkte zu schätzen. Um dabei die mathematische Vorgehensweise zu vereinfachen, kann die Zufallsgröße, nämlich der oben beschriebene Positionsvektor, um ihren Erwartungswert bzw. den Erwartungswertvektor reduziert werden, so dass die sich daraus ergebende „skalierte“ Zufallsgröße eine Erwartungswert von Null hat bzw. einen Erwartungsvektor gleich dem Nullvektor. So kann zur Anwendung des verallgemeinerten Wiener Filters mit zentrierten Gauß-Operatoren gearbeitet werden. Die angenommene Normalverteilung bleibt dabei erhalten, ebenso wie die Gültigkeit der ermittelten Korrelationsmatrix. Außerdem kann durch die gemessenen Positionen der Gelenkpunkte ein Messmodell erstellt werden, in welchem zusätzlich ein Rauschen berücksichtigt wird.
Konkret kann bei der Posenschätzung unter Verwendung des verallgemeinerten Wiener Filters beispielsweise wie folgt vorgegangen werden:

Ein annotiertes Skelett besteht aus den 2D-Koordinaten bestimmter menschlicher Körperteile beziehungsweise Gelenke, wie die zuvor definierten Gelenkpunkte. Diese 2D-Koordinaten können dabei relativ zum Begrenzungsrahmen, der die Person im Bild umgibt, definiert sein. Einige von ihnen fehlen möglicherweise, weil sie verdeckt oder abgeschnitten sind. Die Skelette werden dabei zunächst bezüglich ihrer vertikalen Größe normiert, wie oben bereits beschrieben. Bezogen auf ein einzelnes Skelett in einem Bild kann dieses Skelett zunächst durch einen Vektor s ∈ ℝ^2N beschrieben werden, wobei N die Anzahl der Körperteile beziehungsweise Gelenkpunkte ist. Als Prior-Verteilung wird angenommen, dass der Vektor s normalverteilt ist mit dem Mittelwert µ ∈ ℝ^2N und der Kovarianzmatrix Σ ∈ ℝ^2N×2N, das heißt

s_{p r i o r} ↵ P (s) = N (μ, \sum) .

„N“ steht hierbei für Normalverteilung. Der Mittelwert und die Kovarianzmatrix können aus den Trainingsdaten, das heißt den oben beschriebenen Referenzdaten, insbesondere der statistischen Verteilung, ermittelt werden. Methoden hierfür finden beispielsweise in der bekannten Literatur zur Signalrekonstruktion. Dabei können vor allem die Einträge des Mittelwertvektors µ einzeln pro Joint berechnet werden, jeweils über alle gegebenen Referenzpersonen in den Trainingsdaten, für die dieser Joint, das heißt der Referenz-Gelenkpunkt, annotiert ist. Ebenso können die Einträge der Kovarianzmatrix einzeln pro jeweiligem Joint-Paar, das heißt Paar aus Referenz-Gelenkpunkten, berechnet werden, jeweils über alle Personen, für die diese beiden Joints annotiert sind. Werden beispielsweise nur drei Joints betrachtet, zum Beispiel linkes Schultergelenk, linkes Ellenbogengelenk und linkes Handgelenk, so ergeben sich daraus drei mögliche Joint-Paare, nämlich eines für linkes Schultergelenk und linkes Ellenbogengelenk, eines für linkes Schultergelenk und linkes Handgelenk, sowie eines für linkes Ellenbogengelenk und linkes Handgelenk. Bei den oben erwähnten zwölf verschiedenen Gelenkpunkten ergeben sich entsprechend 66 mögliche Joint-Paare. Entsprechend muss nicht in jedem Referenzbild auch jeder der betrachteten beziehungsweise bestimmten Referenzpunkte vorhanden sein oder erkennbar sein. Somit können sowohl verdeckte als auch unverdeckte Fußgänger als Referenzpersonen benutzt werden.
Anschließend wird ein Messmodell erstellt. Dabei werden nur einige Einträge s_i des Vektors s beobachtet. Sie bilden den Vektor s_i = As, wobei A ∈ ℝ^m×2N eine lineare Auswahlmatrix, zum Beispiel in Form einer Maske, ist, aber generell ein beliebiger linearer Operator sein kann, wie beispielsweise eine Convolution-Matrix, um Verzerrungseffekte am Bildrand des Bildes zu beschreiben. Die Messung d kann dann wie folgt definiert werden: $d = A s + n, wobei n ↵ N (0, Γ) .$
n ist ein additives Gaußsches Rauschen, also Noise, und wird durch eine Normalverteilung N mit Mittelwert 0 und Kovarianzmatrix Γ beschrieben. Die Daten d ∈ ℝ^m sind die Beobachtung, also die sichtbaren Gelenke.
Um einen verallgemeinerten Wiener Filter anzuwenden, wird bevorzugt mit zentrierten Gauß-Operationen gearbeitet. Dies kann erreicht werden, indem folgende „skalierte“ Zufallsvektoren definiert werden: $s'_{p r i o r} = s_{p r i o r} - μ ↵ N (0, \sum), u n d$
$d' = A s' + n = A s + n - A μ = d - A μ .$
Der skalierte Positionsvektor s' ist damit ebenfalls normalverteilt mit Mittelwert 0 und der Kovarianzmatrix Σ.
Nun kann, um die Posteriori-Verteilung von s', das heißt die wahrscheinlichste Lage aller sichtbaren und unsichtbaren Joints, bei gegebener Messung d' = d - Aµ zu berechnen, der verallgemeinerte Wiener Filter angewendet werden. Dies liefert: $\begin{matrix} s_{p o s t e r i o r} ↵ P (s | d), m i t \\ P (s | d) = N ({(\sum^{- 1} + A^{T} Γ^{- 1} A)}^{- 1} A^{T} Γ^{- 1} (d - A μ) + μ, {(\sum^{- 1} + A^{T} Γ^{- 1} A)}^{- 1}) . \end{matrix}$
Dabei bezeichnet „T“ die Operation Transponieren. Der Mittelwert der A-posteriori-Verteilung: $s_{P (s | d)} = \int s P (s | d) d s$
gibt die wahrscheinlichste Lage aller Gelenke bei minimaler Schätzunsicherheit wieder. Der Vektor s_P(_s|d) stellt damit den Ergebnisvektor der geschätzten Positionen der Gelenkpunkte dar. Weiterhin ist die Kovarianz das Unsicherheitsmaß der Vorhersage. Aus ihr kann zum Beispiel die Standardabweichung σ berechnet werden gemäß: $σ^{2} = d i a g ({(\sum^{- 1} + A^{T} Γ^{- 1} A)}^{- 1})$
Die Wahl der Rausch-Kovarianz ┌ ist ein Hyperparameter und kann zum Beispiel problemabhängig bestimmt werden. Eine vorteilhafte Wahl ist beispielsweise: $Γ = σ^{2} I,$
wobei „I“ die Identitätsmatrix darstellt. Damit sind die Rauscheinträge statistisch unabhängig und haben auf allen Skalen dieselbe Varianz.
Im allgemeinen stellt es also eine weitere sehr vorteilhafte Ausgestaltung der Erfindung dar, wenn in Abhängigkeit von der mindestens einen Kenngröße der statistischen Verteilung der Referenz-Gelenkpositionen, insbesondere in Abhängigkeit von der Kovarianzmatrix, und insbesondere auch in Abhängigkeit von der Kovarianzmatrix des angenommenen Rauschens, ein Unsicherheitsmaß, hier die Standardabweichung σ, für die geschätzten Positionen der bestimmten Gelenkpunkte ermittelt wird. Dies ist besonders vorteilhaft, da hierdurch ein funktionale Absicherung möglich ist. Die Sample-Anzahl für die Bestimmung des Korrelationsmodells wird in demselben abgebildet, das heißt Unsicherheiten werden ebenso abgebildet. Daraus lässt sich wiederum bestimmen, wie verlässlich die geschätzten Positionen letztendlich sind.
Gemäß einer weiteren sehr vorteilhaften Ausgestaltung der Erfindung werden die Positionen der bestimmten Gelenkpunkte in Abhängigkeit von mindestens einer vorgegebenen anatomischen Randbedingung geschätzt. Dadurch lassen sich die Genauigkeit der Ergebnisse und die Robustheit des Verfahrens weiter steigern. Beispielsweise kann ein Fußgelenk vom Kniegelenk desselben Beins nicht beliebig weit entfernt sein und auch nicht beliebig nah an diesem angeordnet sein. Für die Abstände der einzelnen Gelenke, zum Beispiel gleicher Gliedmaßen, können also solche anatomischen Randbedingungen vorgegeben sein. Dabei können die oben beschriebenen Trainingsdaten, bevor diese zur Erstellung der statistischen Verteilung verwendet werden, zunächst im Hinblick auf solche Randbedingungen gefiltert werden. Das Korrelationsmodell kann also vorteilhafterweise als Randbedingung die anatomischen Bewegungsgrenzen des Menschen beinhalten. Hier wird sozusagen ein Hybridmodell bereitgestellt, das die terministische Physik mit statistischer, datengetriebener Inferenz kombiniert. Das macht das Modell robuster.
Gemäß einer weiteren sehr vorteilhaften Ausgestaltung der Erfindung wird in Abhängigkeit von den geschätzten Positionen eine Pose der Person ermittelt. Besonders vorteilhaft ist hierbei, dass die Pose der Person auf Basis eines einzelne Bildes ermittelt beziehungsweise geschätzt werden kann. Selbst wenn Teile des Skeletons, das heißt manche der Gelenkpunkte der Person, im Bild nicht zu erkennen sind, liefert das beschriebene Verfahren sehr gute Ergebnisse und ist vor allem wenig rechenintensiv und kann so implementiert werden, dass Echtzeitanforderungen erfüllt werden.
Bei der Schätzung der Pose der Person kann diese Pose zum Beispiel in eine von mehreren definierten Posenklassen klassifiziert werden, je nach Lage beziehungsweise Position der Gelenkpunkte und deren Anordnung zueinander im Bild. Mögliche Posen sind beispielsweise sitzend, gehend, rennend, nach links rennend, nach rechts rennend, Fahrrad fahrend, liegend usw. Je nach Anwendungsfall können mehr oder weniger solche Posenklassen definiert werden. Zur Klassifikation der Pose kann wiederum auf bekannte Klassifikationsverfahren zurückgegriffen werden.
Darüber hinaus ist das erfindungsgemäße Verfahren oder eines seiner Ausgestaltungen als ein computerimplementiertes Verfahren ausgestaltet.
Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer oder einen Computerverbund diesen veranlassen, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) ausgestaltet sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Die Befehle können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) bereitgestellt sein.
Des Weiteren betrifft die Erfindung auch eine Steuereinrichtung für ein Kraftfahrzeug, insbesondere mit einem solchen computerlesbaren Speichermedium, wobei die Steuereinrichtung dazu ausgelegt ist, ein erfindungsgemäßes Verfahren oder eine seiner Ausführungsformen durchzuführen. Auch ein Kraftfahrzeug mit einer solchen erfindungsgemäßen Steuereinrichtung oder eine ihre Ausgestaltungen soll als zur Erfindung gehörend angesehen werden.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Die Steuereinrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung eines Bildes mit einer Person als Grundlage zur Bestimmung einer Pose der Person gemäß einem Ausführungsbeispiel der Erfindung; und
2 ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens zum Schätzen von Gelenkpositionen gemäß einem Ausführungsbeispiel der Erfindung.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt eine schematische Darstellung eines Bildes B einer Person 10 als Grundlage zum Schätzen von Gelenkpositionen der Person 10, um insbesondere daraus wiederum eine Pose der Person 10 zu ermitteln, gemäß einem Ausführungsbeispiel der Erfindung. Das Bild B kann dabei auch einen Ausschnitt aus einem größeren Gesamtbild darstellen, welches mittels einer Kamera, insbesondere einer Kraftfahrzeugkamera eines Kraftfahrzeugs, aufgenommen wurde. Werden in einem Gesamtbild beispielsweise mehrere Personen erkannt, so kann für jede der Personen 10 vorgegangen werden wie nachfolgend beschrieben.
Um beispielsweise die Pose der Person 10 zu ermitteln, ist zunächst das Skeleton 14 der Person 10, das heißt deren Skelett, zu bestimmen, welches wiederum durch die Lage mehrerer sogenannter Joints 12, das heißt von Gelenkpunkten 12, bestimmt ist. Dabei sind unter Umständen in einem aufgenommenen Bild B nicht immer alle dieser Gelenkpunkte 12 sichtbar. Diese können beispielsweise verdeckt sein, zum Beispiel durch andere Objekte, Kleidungsstücke oder Ähnliches, oder aus anderen Gründen von einem Bildanalysealgorithmus nicht erkannt werden. Erkannte Gelenkpunkte 12 können durch den Algorithmus einerseits hinsichtlich ihrer Art spezifiziert werden, das heißt um welche Art von Gelenk es sich dabei handelt, als auch die entsprechende Position der betreffenden Gelenkpunkte 12 im Bild B in Form von 2D-Koordinaten bestimmt werden. In diesem Beispiel wurden folgende Gelenkpunkte erkannt: das rechte Fußgelenk 12a an der Position d1, das rechte Kniegelenk 12b an der Position d2, das rechte Hüftgelenke 12c an der Position d3, das rechte Schultergelenk 12d an der Position d4, das linke Fußgelenk 12e an der Position d5, das linke Kniegelenk 12f an der Position d6, das linke Hüftgelenk 12g an der Position d7, das linke Schultergelenk 12h an der Position d8, das linke Ellenbogengelenk 12i an der Position d9 und das linke Handgelenk 12j an der Position d10. Zusätzlich können neben den Gelenken 12 Person 10 auch noch andere Punkte Berücksichtigung finden, wie in diesem Beispiel das linke Auge 12I an der Position d12 und das rechte Auge 12k an der Position d11, die ebenso in diesem Beispiel vom Algorithmus erkannt wurden und die analog zu den Gelenken 12 behandelt werden können. Weiterhin sind mit 12m und 12n zwei Gelenke 12 bezeichnet, nämlich das rechte Handgelenk 12h und das rechte Ellenbogengelenk 12m, die in diesem Beispiel aus dem Bild B nicht erkannt werden konnten. Die tatsächlichen Positionen dieser Gelenke 12 einschließlich der Positionen der nicht erkennbaren Gelenke 12n, 12m können nun vorteilhafterweise durch ein Verfahren geschätzt werden, wie dies im Folgenden näher anhand von 2 erläutert wird. Dabei können insbesondere nicht nur die Positionen der nicht erkannten Gelenke 12n, 12m geschätzt werden, sondern auch die tatsächlichen Positionen der erkannten Gelenke 12a, 12b, 12c, 12d, 12e, 12f, 12g, 12h, 12i, 12j, 12k, 121. Die tatsächlichen Positionen dieser aus dem Bild B erkannten Gelenke müssen nicht notwendigerweise mit den gemessenen Positionen d1, d2, d3, d4, d5, d6, d7, d8, d9, d10, d11, d12 übereinstimmen.
2 zeigt dabei ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens zum Schätzen der Positionen s der Gelenke 12 auf Basis des Bildes B gemäß einem Ausführungsbeispiel der Erfindung. Zu diesem Zweck werden, zum Beispiel im Rahmen eines vorab separat durchführbaren Trainingsverfahrens, in Schritt S10 Referenzbilder RB verschiedener Referenzpersonen aufgenommen und statistisch ausgewertet. Aus diesen Referenzbildern RB können insbesondere wiederum die Positionen der Joints der Referenzpositionen bestimmt werden und als Ground Truth-Daten bereitgestellt werden. Aus diesen Daten kann wiederum eine Verteilung V für die Gelenkpositionen dieser bestimmten Referenz-Gelenkpunkte ermittelt werden. Aus dieser Verteilung V, für die näherungsweise angenommen ist, dass sie einer Normalverteilung folgt, können in Schritt S12 statistische Kenngrößen ermittelt werden, wie in diesem Beispiel der Erwartungswert oder genauer gesagt ein Erwartungswertvektor µ für die jeweiligen Gelenkpositionen eines definierten Gelenkpositionsvektors, und eine Kovarianzmatrix Σ. Diese repräsentiert die Korrelationen der einzelnen Gelenkpunkte 12 zueinander. Unter der Annahme, dass es sich bei dem Gelenkpositionsvektor um einen normalverteilten Vektor handelt, vereinfacht sich das Korrelationsmodell auf die Betrachtung der Korrelationen zwischen je zwei der Joints 12. Mit anderen Worten können die Einträge des Mittelwertvektors µ einzeln pro Joint 12 berechnet werden, jeweils über alle gegebenen Referenzpersonen in den Trainingsdaten, für die dieser Joint 12 annotiert ist. Ebenso können die Einträge der Kovarianzmatrix Σ einzeln pro Joint-Paar berechnet werden, jeweils wiederum über alle Referenzpersonen, für die beide Joints 12 annotiert sind. Diese Kenngrößen Σ können nun einer Steuereinrichtung zur Verfügung gestellt werden, die das nachfolgend beschriebene Verfahren zum Schätzen der Positionen s der Joints 12 der Person 10 durchführt. Im Rahmen dieses Verfahrens wird zunächst ein Bild B in Schritt S14 bereitgestellt, wie das zur 1 beschriebene Bild B. Daraus werden die Positionen d aller erkennbaren Gelenke 12 ermittelt. Die zu 1 beschriebenen Positionen d1 bis d12 können dabei durch einen Positionsvektor D repräsentativ werden. Dabei handelt es sich nicht um die tatsächlichen Positionen s, die geschätzt werden sollen, sondern um die gemessenen Positionen d. Dabei kann folgender Zusammenhang angenommen werden: $d = A s + n, wobei n ↵ N (0, Γ),$
wobei n ein Gaußsches Rauschen darstellt und damit normalverteilt ist.
Weiterhin kann das Bild B in Schritt S18 noch auf eine vorgegebene Einheitsgröße der Person 10 normiert werden. Dieser Schritt kann theoretisch bereits schon vorher erfolgen. Es ist jedoch von Vorteil, dies nach der Bestimmung der gemessenen Positionen d der Gelenke 12 durchzuführen, da im Zuge dessen auch gleich die Größe der Person 10 im Bild B in vertikaler Richtung bestimmt werden kann, auf deren Grundlage das Bild B skaliert wird.
Weiterhin wird dann in Schritt S20 mittels eines verallgemeinerten Wiener Filters mit dem Messmodell d und dem durch die Kenngrößen µ und Σ bereitgestellten Vorwissen der Positionsvektor s der Gelenke 12 geschätzt. Damit einhergehend kann auf Basis der Kovarianzmatrix Σ auch das Unsicherheitsmaß, zum Beispiel die Standardabweichung Σ, für diese Schätzung s bereitgestellt werden. Dieser Positionsvektor s liefert also die geschätzten Positionen aller Gelenke 12, das heißt sowohl des sichtbaren als auch der im Bild B nicht sichtbaren Gelenke 12n, 12m. Dieser Vektor s gibt also die wahrscheinlichste Lage aller Gelenke 12 bei minimaler Schätzunsicherheit wieder. Basierend auf den nunmehr bekannten Positionen s der Gelenke 12 wird in Schritt S22 die Pose P der Person 10 bestimmt.
Insgesamt zeigen die Beispiele, wie durch die Erfindung eine menschliche Posenschätzung auf Basis eines monokularen Bildes in Präsenz von Verdeckung und Bildgrenzen durch Bayes`sche statistische Signalinferenz bereitgestellt werden kann. Dabei erhält die relative Lage der Joints im Bild zueinander eine zentrale Bedeutung. Jede Pose beziehungsweise jedes Bewegungsmuster eines Fußgängers kennzeichnet sich durch eine einzigartige Korrelation der Joints bezüglich der Lage im Bild. Diese Korrelationen können statistisch aus bereits aufgezeichneten Bildern bestimmt werden, in denen die Lage der Joints bestimmt ist. Diese bilden das Datenmodell inklusive Korrelationsmodell der Joints. Dabei können sowohl verdeckte als auch unverdeckte Fußgänger benutzt werden. In der Anwendung beziehungsweise im Einsatz kann die Lage von verdeckten Joints durch statistische Bayes'sche Inferenz zur Signalrekonstruktion bestimmt werden. Diese Vorgehensweise ist dabei echtzeitfähig, da keine temporären Daten nötig sind und ein sehr rechenarmer Algorithmus verwendbar ist. Dauerhaft verdeckte Joints können ebenso bestimmt werden. Trainingsdaten müssen nicht statistisch repräsentativ sein, da die Sample-Anzahl für die Bestimmung des Korrelationsmodells in denselben abgebildet wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2395478 A1 [0004]
CN 110032940 A [0007]
CN 106897697 A [0007]

Claims

Verfahren zum Schätzen einer jeweiligen Position (s) von mehreren bestimmten Gelenkpunkten (12; 12a - 12n) einer Person (10) auf Basis eines Bildes (B) von der Person (10), - wobei mindestens einer der bestimmten Gelenkpunkte (12; 12a - 12n) im Bild (B) erkannt wird und die dem erkannten Gelenkpunkt (12; 12a - 12n) zugeordnete Position (d; d1 - d12) im Bild (B) bestimmt wird und als gemessene Position (d; d1 - d12) bereitgestellt wird, - wobei mindestens einer der bestimmten Gelenkpunkte (12; 12a - 12n) im Bild (B) nicht erkannt wird, dadurch gekennzeichnet, dass die jeweiligen Positionen (s) der mehreren bestimmten Gelenkpunkte (12; 12a - 12n) einschließlich der Position (s) des mindestens einen nicht erkannten Gelenkpunkts (12m, 12n) im Bild (B) in Abhängigkeit von den jeweiligen gemessenen Positionen (d; d1 - d12) der erkannten Gelenkpunkte (12; 12a - 121) und in Abhängigkeit von mindestens einer bereitgestellten, statistischen Kenngröße (Σ) der bestimmten Gelenkpunkte (12; 12a - 12n) ermittelt werden, die eine Informationen über Korrelationen zwischen den zu schätzenden Positionen (s) der bestimmten Gelenkpunkte (12; 12a - 12n) beinhaltet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Korrelationen zwischen den zu schätzenden Positionen (s) der bestimmten Gelenkpunkte (12; 12a - 12n) auf Basis von in Referenzbildern (RB) bestimmten Referenz-Gelenkpositionen von bestimmten Referenz-Gelenkpunkten von Referenzpersonen ermittelt werden, insbesondere wobei jeder der Referenz-Gelenkpunkte hinsichtlich seiner Art zu einem der bestimmten Gelenkpunkte (12; 12a - 12n) korrespondiert.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kenngröße (Σ) sich auf eine auf Basis der Referenzbilder (RB) ermittelten statistische Verteilung (V) der Referenz-Gelenkpunktpositionen bezieht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bereitstellung der mindestens einen Kenngröße (Σ) die statistische Verteilung (V) der zu schätzenden Positionen (s), und insbesondere auch der Referenz-Gelenkpositionen, der bestimmten Gelenkpunkte (12; 12a - 12n) als normalverteilt angenommen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Kenngröße (Σ) durch eine Kovarianzmatrix (Σ) der statistischen Verteilung (V) der Referenz-Gelenkpositionen bereitgestellt wird und als eine zweite Kenngröße (µ) ein Erwartungswert (µ) der statistischen Verteilung für die jeweiligen zu schätzenden Positionen (s).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Positionen (s) der bestimmten Gelenkpunkte (12; 12a - 12n) mittels statistischer Bayes'scher Inferenz, insbesondere mittels eines verallgemeinerten Wiener Filters, geschätzt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit von der mindestens einen Kenngröße (Σ) der statistischen Verteilung (V) der Referenz-Gelenkpositionen, insbesondere in Abhängigkeit von der Kovarianzmatrix (Σ), ein Unsicherheitsmaß (σ) für die geschätzten Positionen (s) der bestimmten Gelenkpunkte (12; 12a - 12n) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Positionen (s) der bestimmten Gelenkpunkte (12; 12a - 12n) in Abhängigkeit von mindestens einer vorgegebenen anatomischen Randbedingung geschätzt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit von den geschätzten Positionen (s) eine Pose (P) der Person (10) ermittelt wird.
Steuereinrichtung für ein Kraftfahrzeug, die dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüchen auszuführen.