-
Die Erfindung betrifft ein Verfahren zur Darstellung einer Pose einer Person in einem Bild.
-
Des Weiteren betrifft die Erfindung ein elektronisches System mit zumindest einer Positionsbestimmungseinheit, zumindest einem Sensor, zumindest einer Erfassungseinheit und zumindest einer Auswerteeinheit.
-
Beispielsweise wird bei der Entwicklung und Evolution von Methoden zur Schätzung einer Körperpose ein, insbesondere genaues, Referenzmesssystem zur Bestimmung der Körperpose benötigt beziehungsweise verwendet. Ziel dabei ist es, zu jedem Zeitpunkt eine genaue Messung einer 3D-Position der einzelnen Gelenkpunkte des Körpers einer Person zu erhalten. Aktuell sogenannte „Machine-Learning“-Verfahren benötigen dabei große Mengen an annotierten Daten für das Trainieren sowie zur Auswertung. Die Annotation der Gelenkpunkte des Körpers wird derzeit manuell durchgeführt. Dabei werden die Gelenkpunkte von Fachkräften in ein Kamerabild eingezeichnet. Der Prozess ist sehr zeit- und kostenaufwendig und ist nur für die Annotation im Zweidimensionalen geeignet. Dreidimensionale Annotationen der Körperpose, welche für komplexe Verhaltensanalysen, wie Aktions- oder Intensions-Analyse, benötigt werden, können somit aufgrund fehlender Tiefeninformation nicht in ausreichender Genauigkeit annotiert werden.
-
Beispielsweise existieren bereits Ansätze zur Annotation von 3D-Körperposen. In Indoor-Umgebungen kommen häufig visuelle Motion-Capture-Systeme zum Einsatz. Dabei werden am Körper eines Probanden angebrachte Marker in mehreren Kamerabildern simultan erkannt und die 3D-Pose durch Triangulation berechnet. Das System ist jedoch nur für Anwendungen mit geringem Aktionsraum geeignet. Weiterhin kommt es durch die in den Kamerabildern sichtbaren Marker zu einer unnatürlichen Beeinflussung des Machine-Learning-Algorithmus. Für Outdoor-Anwendungen mit großem Aktionsradius bieten sich besonders sogenannte Motion-Capture-Anzüge an. IMU-Sensoren an diesem Anzug messen die Beschleunigung der Gelenke. Durch Integration der Beschleunigungssignale wird die Pose des Probanden in 3D nachgebildet. Jedoch ist die zeitliche Integration fehleranfällig für Drifts. Um diese Drifts auszugleichen, wurden verschiedene Sensor-Fusions-Systeme entwickelt. Hierbei kommen beispielsweise Laser-Sensoren, optische Sensoren oder Satellitensignale zum Einsatz. Durch die Fusion der IMU-Posen-Erkennung mit der Posen-Schätzung aus dem Signal eines Laser-Sensors, zum Beispiel Lidarsensor, kann der ursprüngliche Drift deutlich verringert werden. Die Qualität der annotierten 3D-Pose ist jedoch stark abhängig von der Posenschätzung im Lidar-Signal des Sensors.
-
Beispielsweise können Ground Truth Posen für das Trainieren von Algorithmen zur Posenschätzung generiert werden.
-
Beispielsweise offenbart die
DE 10 2018 214 635 A1 ein Verfahren zur Vorhersage zumindest eines zukünftigen Geschwindigkeitsvektors und/oder einer zukünftigen Pose eines Fußgängers in einem Vorhersagebereich. Eine Karte einer Umgebung des Fußgängers und aktuelle Geschwindigkeitsvektoren weiterer Fußgänger im Vorhersagebereich werden bei der Vorhersage berücksichtigt.
-
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine Darstellung einer Person in einem von einem Fahrzeug erfassten Bild zu verbessern.
-
Diese Aufgabe wird durch ein Verfahren und ein System gemäß den unabhängigen Patentansprüchen gelöst. Sinnvolle Weiterbildungen ergeben sich aus den abhängigen Patentansprüchen.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zur Darstellung einer Pose einer Person in einem Bild, aufweisend folgende Schritte:
- - Bestimmen von Informationen zu einer Pose zumindest eines Körperteils der Person in einer Umgebung eines Fahrzeugs mit einer Auswerteeinheit abhängig von Sensorinformationen zumindest eines Sensors, der an dem Körperteil angeordnet ist, wobei die Sensorinformationen die Pose charakterisieren;
- - Erfassen der Person in der Umgebung des Fahrzeugs mit einer bildgebenden Erfassungseinheit, die extern zur Person angeordnet ist;
- - Bestimmen einer Position der Person in Bezug zum Fahrzeug mit zumindest einer Positionsbestimmungseinheit;
- - Darstellung der bestimmten Pose zumindest des Körperteils in dem von der Erfassungseinheit erzeugten Bild in Abhängigkeit von der bestimmten Position der Person in Bezug zum Fahrzeug und in Abhängigkeit von den bestimmten Informationen zu der Pose.
-
Durch das vorgeschlagene Verfahren werden Darstellungen von Personen und insbesondere von Posen der Person in einem von einem Fahrzeug erfassten beziehungsweise aufgezeichneten Bild ermöglicht. Somit können zum einen einem Fahrzeugsystem oder mehreren Fahrzeugsystemen des Fahrzeuges genauere und insbesondere detailliertere Informationen bezüglich einer erfassten Person in der Umgebung des Fahrzeugs zur Verfügung gestellt werden. Insbesondere kann durch das vorgeschlagene Verfahren ein Informationsgehalt des von der Erfassungseinheit erzeugten Bilds erhöht beziehungsweise verbessert werden.
-
Mit anderen Worten ausgedrückt können mithilfe des vorgeschlagenen Verfahrens Poseninformationen einer Person beispielsweise in ein Bild beziehungsweise ein Kamerabild genutzt werden. Somit können beispielsweise Sensorinformationen, insbesondere hochgenaue Sensorinformationen, so genutzt werden, dass beispielsweise fehlerrobuste Annotationen beziehungsweise Einbindungen beziehungsweise Hinzufügungen von Poseninformationen in ein Bild automatisiert erreicht beziehungsweise durchgeführt werden kann. Des Weiteren kann durch das vorgeschlagene Verfahren eine Annotation von Daten, insbesondere von Informationen zu der Pose, in dynamischen Szenarien, also während einer Fortbewegungsfahrt des Fahrzeuges, durchgeführt werden.
-
Des Weiteren bietet das vorgeschlagene Verfahren Vorteile bei der Reduzierung von Kosten für Annotationen von Posen einer Person in einem Bild. Ebenso ergibt sich mithilfe des vorgeschlagenen Verfahrens eine verbesserte beziehungsweise erhöhte Genauigkeit der Darstellung der Pose in dem Bild.
-
Im Vergleich zu den eingangs genannten visuellen Markern von Motion-Capture-Systemen kann hier nun auf visuelle Marker verzichtet werden. Somit können beispielsweise Bias-Probleme verhindert werden.
-
Insbesondere kann es sich bei dem vorgeschlagenen Verfahren um ein computerimplementiertes Verfahren handeln.
-
Ein weiterer Aspekt der Erfindung betrifft ein elektronisches System mit zumindest einer Positionsbestimmungseinheit, zumindest einem Sensor, zumindest einer Erfassungseinheit und zumindest einer Auswerteeinheit, wobei das elektronische System zum Durchführen eines Verfahrens nach dem vorherigen Aspekt oder einer vorteilhaften Weiterbildung daraus ausgebildet ist.
-
Insbesondere kann das vorhin geschilderte Verfahren mit dem soeben geschilderten elektronischen System durchgeführt beziehungsweise ausgeführt werden.
-
Bei dem elektronischen System kann es sich um ein komplexes System beziehungsweise eine Vorrichtung handeln, welche die verschiedensten Einheiten beziehungsweise Geräte aufweist.
-
Vorteilhafte Ausführungen eines Aspekts können als vorteilhafte Ausführungen des anderen Aspekts und umgekehrt angesehen werden.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung(en). Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigt die einzige Figur (1) ein elektronisches System, mit welchem eine Pose einer Person in einem Bild dargestellt werden kann.
-
Die 1 zeigt eine schematische Darstellung eines Fahrzeugs 1. Dabei kann es sich bei dem Fahrzeug 1 beispielsweise um ein Kraftfahrzeug, wie einen Lastkraftwagen oder einen Personenkraftwagen, handeln. Insbesondere befindet sich das Fahrzeug 1 in einer Fortbewegung beziehungsweise einer Fortbewegungsfahrt im realen Straßenverkehr. Beispielsweise weist das Fahrzeug 1 zumindest eine Erfassungseinheit 2 auf, mit welcher eine Umgebung 3 des Fahrzeugs 1 erfasst werden kann. Bei der Erfassungseinheit 2 kann es sich beispielsweise um ein Sensorsystem oder um eine Kamera handeln. Mithilfe der Erfassungseinheit 2 kann beispielsweise eine Person 4, welche sich in der Umgebung 3 des Fahrzeugs 1 befindet, insbesondere in einem Erfassungsbereich 5 der Erfassungseinheit 2, erfasst werden.
-
Beispielsweise kann mit der Erfassungseinheit 2 ein Bild 6 erzeugt beziehungsweise generiert werden. Beispielsweise kann es sich bei dem Bild 6 um ein Kamerabild handeln. Beispielsweise kann das Bild 6 für Fahrerassistenzsysteme, insbesondere einem Fahrzeugführungssystem, zur Verfügung gestellt werden. Ebenso denkbar ist, dass das Bild 6 in einer Anzeigeeinheit oder auf einem Display im Fahrzeug 1 angezeigt wird.
-
Damit Fahrzeugsystemen eine verbesserte Information bezüglich der erfassten Person 4 in dem Bild 6 bereitgestellt werden kann, ist es erfindungsgemäß vorgesehen, dass eine Pose 7 der Person 4 in dem Bild 6 dargestellt wird. Insbesondere handelt es sich bei der Pose 7 um eine Pose, insbesondere Körperpose, zumindest eines Körperteils 8. Hierzu kann zunächst eine Information zu der Pose 7 in der Umgebung 3 des Fahrzeugs 1 mit einer Auswerteeinheit 9 abhängig von Sensorinformationen zumindest eines Sensors 10, der an dem Körperteil 7 angeordnet ist, bestimmt werden. Mit der Sensorinformation kann die Pose 7 charakterisiert werden. Beispielsweise handelt es sich bei dem zumindest einen Sensor 10 um einen IMU-Sensor („Inertial Measurement Unit“). Beispielsweise kann der Sensor 10 Bestandteil eines Bewegungserfassungssystems sein. Bei einem solchen Bewegungserfassungssystem kann es sich beispielsweise um ein eingangs genanntes Motion-Capture-System handeln. Beispielsweise kann ein solches System als Motion-Capture-Anzug ausgebildet sein. Solch ein System kann durch den Nutzer 4 am Körper getragen werden. Somit können vor allem Bewegungen des zumindest einen Körperteils 8 und insbesondere allgemeine Bewegungen der Person 4 erfasst werden.
-
Bei der Auswerteeinheit 9 kann es sich insbesondere um eine elektronische Auswerteeinheit beziehungsweise ein elektronisches Auswertesystem handeln.
-
Insbesondere kann die Erfassungseinheit 2 eine bildgebende Erfassungseinheit sein, die vor allem extern zur Person 4 angeordnet ist. Insbesondere ist die Erfassungseinheit 2 am Fahrzeug 1 angeordnet.
-
Beispielsweise kann die Auswerteeinheit 9 Bestandteil eines elektronischen Systems 11 sein. Mithilfe des Systems 11 kann die Pose 7, also eine menschliche Körperpose, automatisch erzeugt beziehungsweise generiert werden. Diese kann mithilfe des Systems 11 dreidimensionale Annotationen erzeugen und für das Darstellen der Pose 7 in dem Bild 6 genutzt werden. Für das Einbinden beziehungsweise Annotieren der Pose 7 in das Bild 6 werden beispielsweise geografische Positionsinformationen benötigt. Hierzu kann mithilfe zumindest einer Positionsbestimmungseinheit 12, 13 eine Position der Person 4 in Bezug zum Fahrzeug 1 bestimmt werden. Hierzu kann die Positionsbestimmungseinheit 12 an der Person 4 angeordnet sein, beispielsweise in einem Rucksack der Person 4. Insbesondere kann die Positionsbestimmungseinheit 12 Teil des Motion-Capture-Systems sein. Die Bestimmungseinheit 13 kann beispielsweise am Fahrzeug 1 angeordnet werden. Somit kann eine relative Positionierung der Person 4 im Bezug zum Fahrzeug 1 bestimmt werden. Beispielsweise kann hierzu ebenfalls ein Abstand beziehungsweise eine Entfernung zwischen der aktuellen Position des Fahrzeugs 1 und der aktuellen Position der Person 4 bestimmt werden.
-
Beispielsweise können die Positionsbestimmungseinheiten 12, 13 mit einem Positionsbestimmungssensor 14 umgesetzt sein. Beispielsweise können die Positionsbestimmungssensoren 14 als DGPS-Sensoren („Differential Global Positioning System“) ausgebildet sein. Das GPS-System 15 kann beispielsweise als GNSS-System („Globales Navigationssatellitensystem“) oder als GPS-System („Global Positioning System“) ausgebildet sein. Beispielswese weist das GPS-System 15 mehrere Satelliten und einen DGPS-Receiver auf.
-
Somit kann beispielsweise ein globales Navigationssatellitensystem zur Projektion der Poseninformationen in das Bild 6 genutzt werden. Dies hat den Vorteil, dass hochgenaue Sensorinformationen, insbesondere des Sensors 10, fehlerrobuste Annotationen ermöglichen können. Beispielsweise kann folglich eine Kopplung eines sich bewegenden Referenzsystems, beispielsweise das Fahrzeug 1, mit einem Motion-Capture-System, hier die Person 4, durchgeführt werden. Dies ermöglicht die Annotation von Daten in dynamischen Szenarien, welche beispielsweise in dem Bild 6 dargestellt sind.
-
Insbesondere kann mithilfe des Systems 11 die bestimmte Pose 7 zumindest des Körperteils 8 in dem von der Erfassungseinheit 2 erzeugten Bild 6 in Abhängigkeit von einer bestimmten Position der Person 4 in Bezug zum Fahrzeug 1 und in Abhängigkeit von den bestimmten Informationen zu der Pose 7 dargestellt werden. Somit kann eine hochgenaue Pose des Probanden beziehungsweise der Person 4, welche durch den Sensor 10 beispielsweise erfasst wurde, in das Bild 6 beziehungsweise Kamerabild des sich bewegenden Versuchsfahrzeugs beziehungsweise Fahrzeugs 1 projiziert werden. Hierzu wird die Position der Person 4 in Bezug zum Fahrzeug 1 benötigt. Mithilfe der Positionsbestimmungseinheit 12, 13 können für das Darstellen der, insbesondere dreidimensionalen, Pose 7 die Informationen bezüglich der Person 4 so transformiert werden, dass sie in das Bild 6 annotiert beziehungsweise eingefügt werden können.
-
Mit dem zumindest einen Sensor können als Sensorinformationen dreidimensionale (3D) Bewegungsdaten beziehungsweise Bewegungsposen beziehungsweise Posen zumindest des Körperteils 8 der Person 4 erfasst werden.
-
Beispielsweise kann in einer Transformationskette für das Darstellen der Pose 7 gegeben sein durch: Posenerfassung mittels des Motion-Capture-Systems; die Positionsbestimmungseinheit 12; die Positionsbestimmungseinheit 13; Mitte einer Hinterachse des Fahrzeugs 1; Einbauposition der Erfassungseinheit 2; und dem Bild 6.
-
Somit erfolgt eine komplexe Transformation der verschiedensten Positionen und/oder Einbaupositionen des Systems 11. Somit können beispielsweise zum System 11 die Positionsbestimmungseinheiten 12, 13, der zumindest eine Sensor 10, die Erfassungseinheit 2 und die Auswerteeinheit 9 dazugehören. Somit werden zum einen die Positionen des Fahrzeugs 1 und der Person 4 bestimmt und für das Einbinden beziehungsweise Annotieren beziehungsweise Darstellen der Pose 7 in das Bild 6 eine Einbauposition der Erfassungseinheit 2 und beispielsweise als Bezugsgröße die Mitte der Fahrzeughinterachse des Fahrzeugs 1. Für die Transformation zwischen den Koordinatensystemen kann ein kalibriertes Kamerasystem, beispielsweise die Erfassungseinheit 2, verwendet werden. In anderen Worten ausgedrückt, sind speziell die intrinsischen und extrinsischen Kalibrierungsparameter des Kamerasystems Voraussetzung für die Transformation.
-
Des Weiteren ist ein einheitliches Probanden-Referenzsystem, also das Motion-Capture-System, von Vorteil. Hierzu kann beispielsweise durch die Bestimmungseinheit 12, welche beispielsweise in einem Rucksack durch die Person 4 getragen wird, eine vorgegebene Position eingestellt werden. Insbesondere kann darauf geachtet werden, dass die Bestimmungseinheit 12 innerhalb eines vorgegebenen Positionierungsbereichs liegt. Somit kann beispielsweise mithilfe eines Rucksacks eine Position der Bestimmungseinheit 12 manuell eingestellt werden.
-
Insbesondere sind die Positionsbestimmungseinheiten 12, 13 derart ausgebildet, dass eine globale Position der Person 4 und eine globale Position des Fahrzeugs 1 bestimmt werden kann. Die beiden globalen Positionen können bei der Bestimmung der Pose 7 in dem Bild 6 berücksichtigt werden. Insbesondere kann die bestimmte Pose 7 in dem Bild 6 derart dargestellt werden, dass diese Pose 7, insbesondere zusätzlich, in das Bild 6 projiziert wird. Somit kann eine 3D-Pose, insbesondere die Pose 7, zusätzlich in ein Kamerabild projiziert werden. Besonders vorteilhaft ist, wenn die Pose 7 in dem Bild 6, insbesondere exakt, auf der untersuchten beziehungsweise erfassten Person 4 liegen soll.
-
Dies kann beispielsweise als „Ground Truth“ für ein Trainieren eines Algorithmus zur Posen-Erkennung genutzt werden.
-
Besonders vorteilhaft ist das vorgeschlagene Verfahren für die Verwendung eines Trainingsverfahrens, bei welchem die bestimmte Pose 7 im Kamerabild 6 als Ground-Truth verwendet wird. Dabei wird das Verfahren trainiert, die Pose 7 basierend auf dem Kamerabild 6 zu schätzen. Somit kann die bestimmte Pose 7 nicht nur für das Darstellen in dem Kamerabild 6, sondern auch für ein Trainieren zur Posen-Erkennung genutzt werden. Insbesondere kann durch das Darstellen der bestimmten Pose 7 in dem Bild 6 eine potentielle Abweichung beziehungsweise Ungenauigkeit der geschätzten Pose, wie sie durch die Erfassungseinheit 2 in dem Bild 6 erfasst wird, zur realen Pose 7 der Person 4 ermittelt werden.
-
Insbesondere kann somit mithilfe der bestimmten Pose automatisiert Posen-Ground-Truth generiert werden. Unter „Ground-Truth“ (Grundwahrheit) wird eine Information verstanden, von der man weiß, dass sie real oder wahr ist, und die durch direkte Beobachtung und Messung, d. h. empirische Beweise, bereitgestellt wird, im Gegensatz zu Informationen, die durch Schlussfolgerung bereitgestellt werden .
-
Im Nachfolgenden wird ein Ausführungsbeispiel der vorliegenden Erfindung in anderen Worten erläutert. Mithilfe des Systems 11 kann beispielsweise ein Labeln beziehungsweise Annotieren von 3D-Posen einer Person 4 in ein Kamerabild 6 eines Fahrzeugs 1 durchgeführt werden. Hierbei werden mittels eines Motion-Capture-Systems in Form eines Anzugs mit Inertialsensoren Ground-Truth-Daten erstellt und auf Basis dieser kann das Bild 6 beispielsweise gelabelt beziehungsweise annotiert werden. Zusätzlich werden DGPS-Sensoren verwendet, um die Bewegung des Fahrzeugs 1 und der Person 4 zueinander beim Labeln beziehungsweise Annotieren zu berücksichtigen.
-
Das GPS-System 15 kann einen GPS-Receiver aufweisen. Dieser dient als Fixposition beziehungsweise Referenzposition. Insbesondere kann es sich hierbei um eine Basisstation handeln. Insbesondere stehen die Bestimmungseinheiten 12, 13 und das GPS-System 15, insbesondere in ständiger, Kommunikationsverbindung zueinander.
-
Beispielsweise können die von dem vorgestellten Verfahren ermittelten Posen dazu verwendet werden, um eine Pose 7 einer Person 4, insbesondere die keine Sensoren zur Bestimmung der Pose eines Körperteils aufweist, in einer Umgebung des Fahrzeugs 1, in welcher die Person 4 mit der bildgebenden Erfassungseinheit 2 erfasst wird, zu schätzen. Hierbei kann die im Bild 6 enthaltene Pose der Person 4 genutzt werden um die Ergebnisse eines Trainingsalgorithmus zu bewerten. Dies kann insbesondere zur Konfiguration, Erstellung und Produktion von Fahrerassistenzsystemen genutzt werden.
-
Insbesondere können mithilfe der bestimmten Pose Bewegungsdaten der Person 4 in das Bild 6 in Abhängigkeit von der globalen Position der Person und des Fahrzeugs 1 eingebunden werden. Somit kann beispielsweise eine Informationserweiterung des Bildes 6 durchgeführt werden.
-
Des Weiteren können Informationen zu weiteren Posen 16 weiterer Körperteile 17 abhängig von Sensorinformationen weiterer Sensoren 18, welche ebenfalls verteilt an den Körperteilen 17 angeordnet sind, bestimmt werden. Diese weiteren Posen 16 können zusätzlich in dem erzeugten Bild 6 abhängig von der bestimmten Position der Person 4 in Bezug zum Fahrzeug 1 und abhängig von den bestimmten Informationen zu den weiteren Posen 16 dargestellt werden. Somit kann abhängig von den Informationen zu weiteren Posen 16 und den Informationen zu der Pose 7 eine dreidimensionale Pose des Körpers 19 der Person 4 bestimmt werden. Diese dreidimensionale Pose des Körpers 19 kann in Abhängigkeit von der bestimmten Position der Person 4 in Bezug zum Fahrzeug 1 in dem Bild 6 dargestellt werden. Somit kann insbesondere die in dem Bild 6 erfasste Person 4 mithilfe einer dreidimensionalen Pose der Person 4 annotiert werden. Somit kann das Bild 6 verbessert werden.
-
Insbesondere können die weiteren Sensoren 18 und der zumindest eine Sensor 10 über drahtlose oder drahtgebundene Kommunikationsmöglichkeiten mit dem Motion-Capture-System verbunden werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102018214635 A1 [0006]
