EP4751238A1 - Verfahren zur erzeugung von sensordaten einer bewegung eines lebewesens - Google Patents

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen von Sensordaten einer Bewegung eines Lebewesens, insbesondere eines Menschen, mit den folgenden Schritten: - Bereitstellen von Rohdaten einer Bewegung des Lebewesens; - Erstellen eines Modells des Lebewesens aus den Rohdaten; - Simulieren einer Erfassung der Bewegung des Lebewesens durch ein wellenbasiertes Erfassungsmittel mittels des Modells und/oder der Rohdaten und eines simulierten Erfassungsmittels in einer Simulationsumgebung, wobei ein Erzeugen von Sensordaten der Bewegung erfolgt.

Description

Verfahren zur Erzeugung von Sensordaten einer Bewegung eines Lebewesens

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen von Sensordaten einer Bewegung eines Lebewesens, insbesondere eines Menschen.

Aus dem Stand der Technik ist es bekannt, die Bewegung eines Menschen mit einer Stereokamera zu erfassen, woraus „Key-Points“ als „Ground-Truth“ extrahiert werden. Nachteilig daran ist die geringe damit erreichte Präzision, die für die Erzeugung eines realistischen bewegten Körpermodells nicht ausreichend ist.

Ebenso bekannt ist es die Bewegung eines Menschen durch eine „Motion-Capture“- Messung zu erfassen, um ein digitales Modell eines sich bewegenden Menschen zu erzeugen. Dabei wird jedoch oftmals nur die Bewegung einzelner Körperteile erfasst, wobei nicht die ganze Bewegung des Menschen bzw. der Anteil dieser Körperteile an der gesamten Bewegung des Menschen erfasst werden, wobei kein vollständiges, realistisches, digitales Modell der gesamten Bewegung entsteht.

Bekannt ist es auch, auf Basis von „Motion-Capture“-Daten ein Modell eines Menschen zu erzeugen, das lediglich aus Ellipsoiden besteht. Dadurch, dass das Modell lediglich aus Ellipsoiden besteht, ist das nicht realitätsnah und insgesamt nur für Radarbetrachtungen einsetzbar.

Grundsätzlich ist es bekannt, dass eine „ Motion-Capture“ Messung ganze oder einzelne Bewegungen ohne Probleme erfassen kann.

In den bekannten Verfahren aus dem Stand der Technik können die Daten, insbesondere für eine Weiterverarbeitung, nicht ausreichend annotiert, augmentiert und/oder editiert werden.

Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren bereitzustellen, welches insbesondere für die Weiterverwertung mittels einer künstlichen Intelligenz, Sensordaten erzeugt, die in vorteilhafter Weise, annotiert, augmentiert und/oder editiert werden können.

Diese Aufgabe wird durch das Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Demnach ist erfindungsgemäß ein Verfahren zum Erzeugen von Sensordaten einer Bewegung eines Lebewesens, insbesondere eines Menschen, mit den folgenden Schritten vorgesehen:

- Bereitstellen von Rohdaten einer Bewegung des Lebewesens;

- Erstellen eines Modells des Lebewesens aus den Rohdaten;

- Simulieren einer Erfassung der Bewegung des Lebewesens durch ein wellenbasiertes Erfassungsmittel mittels des Modells und/oder der Rohdaten und eines simulierten Erfassungsmittels in einer Simulationsumgebung, wobei ein Erzeugen von Sensordaten der Bewegung erfolgt. Die Sensordaten sind oder umfassen vorzugsweise simulierte Sensordaten und/oder reale Sensordaten. Simulierte Sensordaten können vorzugsweise auch als virtuelle Sensordaten bezeichnet werden oder virtuelle Sensordaten umfassen.

Vorzugsweise erfolgt das Simulieren auf einem Computer. Das Verfahren ist vorzugsweise ein computerimplementiertes Verfahren.

Es kann vorzugsweise eine künstliche Variation der Daten, insbesondere um große Datensätze zu erzeugen, erfolgen.

Vorzugsweise erfolgt eine genaue Annotation der simulierten Sensordaten.

Vorzugsweise erfolgt Mappen von Annotation aus der Simulation auf echte Messungen.

Vorzugsweise werden simulierte aber realitätsnahe Sensordaten eines wellenbasierten Erfassungsmittels bzw. Sensors, insbesondere Radar, Lidar, Kamera, Ultraschall, die ein sich bewegenden Lebewesen erfassen, erzeugt.

Vorzugsweise werden dafür die Streu- und/oder Reflexionseigenschaften, d.h. die genaue Geometrie und Oberflächenbeschaffenheit, wie bspw. Oberflächengeometrie, Relief und/oder Reflektivität und/oder eine oder mehrere Dopplersignaturen des sich bewegenden Lebewesens modelliert.

Die Erfindung weist insbesondere den Vorteil auf, dass die erzeugten simulierten Sensordaten perfekt annotiert werden können und die Daten daher perfekt für das Trainieren einer künstlichen Intelligenz geeignet sind.

Die Sensordaten sind oder umfassen vorzugsweise, insbesondere simulierte, Sensordaten eines wellenbasierten Erfassungsmittels, insbesondere zur Erfassung einer Bewegung eines Lebewesens. Die simulierten Sensordaten wellenbasierter Erfassungsmittel können auch sensorische Daten wellenbasierter Erfassungsmittel sein oder umfassen.

Vorzugsweise sind oder umfassen die Sensordaten, insbesondere realistische Radardaten einer Bewegung. Die Sensordaten umfassen bspw. ein simuliertes Signal, welches einem realen Signal entspricht. Der Fachmann bewertet das simulierte Signal somit vorzugsweise derart, als hätte der simulierte Sensor tatsächlich ein bewegtes Lebewesen oder Ähnliches gesehen. Das simulierte Signal weist vorzugsweise alle Eigenheiten, bspw. Farbe in einem Kamerabild, Entfernung und ggf. Winkel in Radardaten etc., auf, die mit realen Sensordaten einhergehen.

Vorzugsweise werden die Sensordaten mindestens teilweise in einem realen Erfassungsmittel und/oder einem realen System verwendet, insbesondere um eine Erfassung mittels des Erfassungsmittels zu verbessern.

Das Modell ist vorzugsweise ein digitales Modell und/oder ein digitaler Zwilling des realen Lebewesens. Da Modell kann statisch oder dynamisch sein, d.h. Daten über eine Bewegung umfassen.

In anderen Worten ist vorzugsweise vorgesehen, realistische Sensormessdaten sich bewegender Lebewesen, insbesondere von Menschen, zu simulieren. Die Sensordaten können, insbesondere simulierte, Sensormessdaten umfassen und damit Simulationsdaten und/oder Bewegungsdaten sein oder umfassen.

Vorzugsweise ist vorgesehen, dass das Erfassungsmittel und/oder das simulierte Erfassungsmittel eine wellenbasierte Sensorik, insbesondere eine Kamera, eine optische Kamera, eine Tiefen- und/oder Spektralkamera, ein Radar, ein Radiometer, ein Lidar, ein Laserscanner und/oder ein Ultraschallsensor ist oder umfasst.

Vorzugsweise ist vorgesehen, dass das Simulieren mittels einer Strahlverfolgungssimulation erfolgt und/oder dass das Simulieren eine simulierte Signalverarbeitung von simulierten Signalen des simulierten Erfassungsmittels umfasst, wobei die Signalverarbeitung vorzugsweise eine Schätzung einer Entfernung, einer Geschwindigkeit und/oder eines Winkels umfasst.

Vorzugsweise ist vorgesehen, dass die Simulationsumgebung eine statische Umgebung, insbesondere eine Nachbildung einer Umgebung in der die Rohdaten des Lebewesens erfasst worden sind, ist oder umfasst.

Vorzugsweise ist vorgesehen, dass das Bereitstellen der Rohdaten mit einem Verfahren zur Bewegungserfassung mittels eines Markers, eines Beschleunigungssensors und/oder einer inertialen Messeinheit erfolgt, wobei das Erstellen des Modells vorzugsweise mittels einer Schlüsselpunktextraktion aus mit dem Verfahren zur Bewegungserfassung gewonnen Daten erfolgt und/oder dass das Bereitstellen der Rohdaten mittels eines bestehenden Datensatzes erfolgt.

Vorzugsweise werden Bewegungen mindestens eines echten Menschen mittels eines Verfahrens zur Bewegungserfassung erfasst, wobei ein Tracking vorzugsweise mit einem Marker erfolgt. Das Verfahren zur Bewegungserfassung ist vorzugsweise ein „Motion-Capture“ -Verfahren.

Vorzugsweise können Standardanordnungen oder spezielle, einem Fachmann bekannte Anordnungen, für die Position des Markers gewählt werden. Es können auch mehrere Marker verwendet werden. Es wird vorzugsweise für das Verfahren zur Bewegungserfassung eine geeignete Umgebung bzw. ein geeignetes „Motion-Capture- Setup“, wie ein Labor, verwendet. Das „Motion-Capture“-Verfahren kann vorzugsweise um die Messdaten von Beschleunigungssensoren oder von inertialen Messeinheiten, die dazu ausgebildet sind, eine Beschleunigung und eine Drehrate zu messen, ergänzt werden.

Alternativ oder zusätzlich können auch bestehende „Motion-Capture“-Daten und/oder daraus abgeleiteten bzw. extrahierten Schlüsselpunkten bzw. „Key Points“ aus verfügbaren Datensätzen, z.B. aus international verfügbaren Datenbanken, verwendet werden.

Vorzugsweise ist vorgesehen, dass das Modell ein Skelettmodell und/oder ein Körperhüllenmodell umfasst oder ist, wobei das Körperhüllenmodell vorzugsweise ein Netz, insbesondere ein Dreiecksnetz umfasst oder ist.

Vorzugsweise ist vorgesehen, dass das Verfahren den weiteren Schritt umfasst:

- Editieren und/oder Augmentieren des Modells, der Rohdaten und/oder der Sensordaten, wobei vorzugsweise eine Variation und/oder Veränderung einer Bewegung des Modells erfolgt, insbesondere um die Rohdaten und/oder die Sensordaten mit dadurch gewonnenen weiteren Daten anzureichem.

Es kann auch ein Annotieren des Modells und/oder der Sensordaten erfolgen.

Es erfolgt vorzugsweise eine Variation basierend auf biomechanischen Modellen, um virtuelle Lebewesen aus den real vermessenen Daten abzuleiten, um große Datensätze mit einer sehr großen Mannigfaltigkeit zu erzeugen.

Aus den „Motion-Capture“-Daten können, beispielsweise mittels Schlüsselpunktextraktion ein Skelett- und/oder Körperhüllenmodell des sich bewegenden Lebewesens erstellt werden. Die Schlüsselpunktextraktion kann vorzugsweise eine „Key-Point- Extraction“ umfassen oder sein. Das Modell, das vorzugsweise in Form einer Punktwolke vorliegt, kann mit einer digitalen Körperhülle versehen werden, die beispielsweise in Form eines in der „Computer Vision“ häufig verwendeten Dreiecksnetzes, also als „Triangle Mesh“ ausgeführt sein kann.

Sowohl das Skelett- und/oder das Körperhüllenmodell und/oder die digitale Körperhülle können editiert oder augmentiert werden, um die Bewegung leicht zu variieren oder zu verändern, um einen inhaltlich begrenzten „Motion-Capture“-Datensatz bzw. die Rohdaten synthetisch zu vergrößern. Unter „Augmentieren“ ist vorzugsweise ein Anreichem von Daten mit weiteren Daten zu verstehen. Unter „Editieren“ ist vorzugsweise ein Ändern von Daten zu verstehen.

Vorzugsweise ist vorgesehen, dass das Erstellen des Modells unter Zuhilfenahme oder Verwendung von Daten eines 3D-Scanners erfolgt, insbesondere um eine Körperhülle und/oder Proportionen des Lebewesens zu messen.

Vorzugsweise zur Verifikation und/oder für eine realistischere Digitalisierung der Bewegung können bei der Erstellung der Skelett- und/oder Körperhüllenmodelle, insbesondere beim Fitting der realen und/oder digitalen Körperhülle oder bei dem Editieren und/oder Augmentieren zusätzlich geeignete 3D-Scanner eingesetzt werden, die die reale Körperhülle und/oder Proportionen des sich bewegenden Lebewesens vermessen.

Vorzugsweise ist vorgesehen, dass das Verfahren den weiteren Schritt umfasst:

- Fusionieren des Modells, der Rohdaten und/oder der Sensordaten mit Daten einer Kamera, vorzugsweise einer Tiefenkamera, insbesondere um zusätzliche optische Daten zu generieren.

Vorzugsweise kann das Körperhüllenmodell mit den Daten einer oder mehrerer Kameras, z.B. Tiefenkameras, fusioniert werden, um zusätzlich optische Informationen in die Rohdaten aufzunehmen.

Vorzugsweise ist vorgesehen, dass das Verfahren den weiteren Schritt umfasst:

- Automatisiertes und/oder manuelles Texturieren, insbesondere eines Dreiecksnetzes, des Modells, insbesondere mit einem Materialmodell, vorzugsweise einer Kleidung, einer Haut, eines Haars, eines Narbengewebes und/oder einer Kombination daraus, wobei das Texturieren vorzugsweise unter Berücksichtig einer Messung, insbesondere mittels einer Kamera, erfolgt.

Vorzugsweise kann das Modell, vorzugsweise das „Triangle Mesh“, texturiert werden, um insbesondere Materialmodelle für Kleidung, Haut, Haare, Narbengewebe etc. zu ergänzen. Vorzugsweise können materialspezifische Reflexionseigenschaften, z.B. für Radar, Lidar und/oder für eine Spektralkamera berücksichtigt werden. Die Texturierung kann manuell und/oder automatisiert, insbesondere unter Berücksichtigung der Kamerareferenz und/oder mit Hilfe anderer geeigneter Messtechnik erfolgen.

Vorzugsweise ist vorgesehen, dass das Verfahren den weiteren Schritt umfasst:

- Annotieren und/oder Labeln mindestens eines Teils des Modells und/oder mindestens eines Teils der Rohdaten und/oder mindestens eines Teils der Sensordaten.

Vorzugsweise können eine Annotation bzw. ein Label zu dem Modell bzw. zu einer Bewegung hinzugefügt werden. Die Annotation bzw. das Label umfasst vorzugsweise alle für eine spätere Verwertung relevanten Informationen. Vorzugsweise kann einer ganzen Bewegung ein Label zugewiesen werden, z.B. „Mensch rennt“, „Mensch stürzt“ und/oder „Mensch winkt“. Alternativ oder zusätzlich können einzelne Ausschnitte des Modells oder Abschnitte bzw. Bereiche des Netzes gelabelt werden. Z.B. können bei einem gehenden Menschen die Labels „linker Arm“, „rechter Arm“ etc. vergeben werden.

Die Reihenfolge der Schritte umfassend jeweils das Editieren und/oder Augmentie- ren, das Fusionieren, das Texturieren und Annotieren und/oder Labeln kann vorzugsweise beliebig verändert werden.

Vorzugsweise ist vorgesehen, dass das Verfahren den weiteren Schritt umfasst:

- Trainieren einer künstlichen Intelligenz mit den Rohdaten und/oder den Sensordaten und/oder mit realen Sensordaten und/oder nur mit einem Teil der Rohdaten und/oder der Sensordaten.

Vorzugsweise erfolgt ein Trainieren der künstlichen Intelligenz mit den Sensordaten, die entweder roh oder verarbeitet sein können. Die Sensordaten stammen Vorzugs- weise aus der Simulation und können in der Simulation gut annotiert werden. Vorzugsweise ist nur durch diese Annotation ein sinnvolles und gutes Training der künstlichen Intelligenz möglich.

Durch das optional vorausgehende Editieren des Modells, insbesondere des Körpermodells kann der Trainingsdatensatz, vorzugsweise die Sensordaten, diversifiziert und vergrößert werden. Vorzugsweise funktioniert das Trainieren der künstlichen Intelligenz damit besser und das Ergebnis der künstlichen Intelligenz stimmt vorzugsweise besser und allgemeingültiger, insbesondere in mehr oder verschiedenen Situationen.

In einer anderen Ausgestaltung der Erfindung werden nicht die simulierten Sensordaten für das Training der künstlichen Intelligenz, sondern reale Sensordaten verwendet. Dabei kann vorgesehen sein, dass, insbesondere nur, Annotationen aus den simulierten Sensordaten oder des simulierten Modells und/oder Körpermodells, also insbesondere nicht die, vorzugsweise gesamten, simulierten Sensordaten, um daraus Annotationen im realen Messsignal abzuleiten, verwendet werden.

Vorzugsweise ist vorgesehen, dass bei dem Trainieren in der Realität unmögliche oder den Gesetzen der Physik widersprechende Aspekte berücksichtigt werden, wobei insbesondere ein Ausschalten von Reflexionen und/oder Artefakten, ein Einfrieren einer Bewegung und/oder ein Zerlegen einer Bewegung in einzelne Komponenten erfolgt.

Vorzugsweise ist vorgesehen, dass das Verfahren für eine Sturzdetektion von Lebewesen, für ein Zählen von Lebewesen, in der Medizintechnik zur Erfassung von Bewegungen in der Diagnostik und Therapie, in der Sicherheitstechnik, in der Automobiltechnik, im Rahmen einer Gestenerkennung, im Rahmen einer medizintechnisch Lösung zur Diagnose und Therapie von Erkrankungen, die Auswirkungen auf die Bewegung haben, im Rahmen einer Industrieanwendung, in einer Filmproduktion und/oder in einem Computerspiel verwendet wird. Vorzugsweise kann das Modell bzw. das Netz, insbesondere das „Triangle Mesh“, insbesondere mit den jeweiligen optionalen Ausgestaltungen, als realistisches Modell und/oder als digitaler Zwilling eines realen Lebewesens in einen Simulator, insbesondere einen Strahlverfolgungssimulator oder in ein ähnliches Tool geladen werden. Der Strahlverfolgungssimulator kann auch als „Ray-Tracing-Simulator“ bezeichnet werden.

Der Simulator kann ausgebildet sein, um die sensorspezifischen Eigenschaften von Kamera-, Radar-, Lidar- und/oder Ultraschallsystemen abzubilden und/oder zu simulieren. Somit können, insbesondere für diese Sensorsysteme, realistische Messdaten für die digitalisierte Bewegung des Lebewesens simuliert werden.

In diesem Strahlverfolgungssimulator kann neben oder nach der Simulation der sensorspezifischen Messdaten auch eine Signalverarbeitung, z.B. für Radar: eine Schätzung von Entfernung, Geschwindigkeit und/oder Winkel, erfolgen.

Da sich bewegende Lebewesen meistens, außer bspw. im freien Fall, im Weltall oder unter Wasser, in eine statische Umgebung eingebunden sind, ist vorzugsweise vorgesehen, das Modell des sich bewegenden Menschen im Simulator ebenfalls in eine statische Simulationsumgebung bzw. Simulationswelt einzubinden. Bei der Simulationsumgebung kann es sich um eine realitätsgetreue Abbildung des „Motion-Capture- Setups“, insbesondere um einen Messraum und/oder Labor, handeln. Die Simulationsumgebung kann alternativ oder zusätzlich eine frei wählbare realistische, insbesondere digitalisierte und/oder digital nachgebaute, und/oder unrealistische statische Umgebungen umfassen oder sein. Die Simulationsumgebung kann z.B. Fußgänger in einem urbanen Umfeld umfassen.

Die mit dem Verfahren generierten Datensätze, insbesondere die Sensordaten, können vorzugsweise eingesetzt werden, um eine künstliche Intelligenz mit realistischen Simulations-Datensätzen, die vorzugsweise Bestandteil der Sensordaten sind, zu trainieren. Durch eine automatische Generierung von Annotationen sowie des Editierens und/oder Augmentierens des Modells können große, sehr gut für das T raining der künstlichen Intelligenz geeignete Datensätze generiert werden. Da das Modell digital vorliegt, können auch in der Realität unmögliche oder unphysikalische Aspekte im Training berücksichtigt werden. Dies umfasst beispielsweise das Ausschalten von störenden Reflexionen oder Artefakten, das Einfrieren der Bewegung und/oder die Zerlegung der Bewegung in einzelne Komponenten. Z.B. können bei einem Fußgänger die Annotationen „linker Arm“ und „rechter Arm“ erfolgen.

Da im Strahlverfolgungssimulator ausgehend von den simulierten Signalen des simulierten Erfassungsmittels bzw. den simulierten Rohdaten des simulierten Sensors alle weiteren Verarbeitungsschritte in der Signalverarbeitung durchgeführt werden können, können als Eingangsdaten für das Training der künstlichen Intelligenz auch alle möglichen Daten der jeweiligen Verarbeitungsschritte der Signale des simulierten Erfassungsmittels bzw. des simulierten Sensors verwendet werden.

Vorzugsweise erfolgt eine Generierung eines automatisch annotierten Datensatzes, z.B. eines durch Editieren und/oder Augmentieren vergrößerten Datensatzes, der insbesondere Bestandteil der Sensordaten ist, für das Training einer künstlichen Intelligenz, z.B. für eine Objektklassifikation etc.

Vorzugswese erfolgt eine Generierung eines „Advanced-“ und/oder „Enhanced-Digi- tal-Twins“, der insbesondere Bestandteil des Modells ist. Z.B. kann bspw. im Rahmen der Prothetik das Hinzufügen fehlender Körperteile erfolgen und/oder oder eine Simulation mit besseren, unmöglichen und/oder unphysikalischen simulierten Erfassungsmitteln bzw. Sensoren erfolgen.

Vorzugsweise kann ein Vergleich verschiedener simulierter Erfassungsmittel bzw. simulierter Sensorsysteme oder simulierter Sensorkonfigurationen erfolgen. Mit einer digitalisierten Bewegung in dem Modell können in bei dem Simulieren verschiedene Sensorkonfigurationen, z.B. Antennenpositionen eines Radars, verschiedene Modulationsarten, z.B. verschiedene Signalformen des simulierten Sensorsystems und/oder verschiedene Sensorpositionen bzw. Anordnungen, z.B. mehrere einzelne Sensoren im Raum verteilt, simuliert und/oder verglichen werden. Da Bewegungen von Lebewesen typischerweise nicht perfekt reproduzierbar sind, ist dies in realen Messungen nicht mit der erforderlichen Präzision möglich. Eine digitalisierte Bewegung eines Modells in einer Simulation kann hingegen unbegrenzt oft reproduziert werden.

Vorzugsweise erfolgt bei dem Simulieren ein Einfrieren und/oder Verlangsamen von Bewegungsabläufen, insbesondere zur präziseren Analyse mit verschiedenen Erfassungsmitteln bzw. Sensoren, die z.B. nicht mit der erforderlichen Messrate messen können.

Vorzugsweise kann eine Unterstützung in der Entwicklung von Sensorsystemen, insbesondere mittels Hardware- und/oder Software-in-the-Loop, die zur Messung von Bewegungen eingesetzt werden können, erfolgen.

Die bei dem Simulieren verfügbaren oder bei dem Simulieren ermittelten Label, wie bspw. „linker Arm“ etc. können vorzugsweise verwendet werden, um simulierte Daten zu annotieren. Vorzugsweise können diese Label alternativ oder zusätzlich verwendet werden, um damit reale, nicht-simulierte Messdaten zu annotieren. Dies erfolgt z.B. indem die Sensordaten auf echte Messdaten “gemapped“ werden bzw. damit überlagert werden.

Vorzugsweise können für das Training der künstlichen Intelligenz auch die Schlüsselpunkte bzw. die „Key-Points“ als „Ground Truth“, d.h. vorgegebener Output verwendet werden. Dies ist insbesondere für die Simulation von Radardaten vorteilhaft.

Vorzugsweise kann eine Verwendung des Verfahrens in einer oder mehrerer der folgenden Anwendungen erfolgen:

- Diagnostik und Therapeutik, wie z.B. Gang-Analyse, Parkinsontherapie, Arthritis- therapie, Palliativmedizin und/oder Prothetik etc.);

- Sturzdetektion von Lebewesen, insbesondere von Senioren;

- Zählen von Lebewesen bzw. Menschen in einem Raum;

- Sicherheitstechnik, wie z.B. in einem Körperscanner, einer Bewegungsdetektion und/oder in einer „Intrusion-Detection“ etc.; - Automobilsensorik und/oder Verkehrsraumüberwachung, z.B. zur Detektion eines „Vulnerable Road Users“;

- Gestenerkennung, z.B. in Infotainment-Systemen, Industrieanlagen und/oder beim autonomen Fahren;

- Industrieanwendungen, z.B. in Mensch-Maschine-Systemen;

- Filmproduktion, z.B. für “Special Effects”;

- Computerspiele, z.B. für realistische Avatar-Bewegungen;

- Augmented Reality.

In vielen dieser Anwendungen können auch realistische „Digital Twins“ erstellt und anschließend bei dem Simulieren bzw. in der Simulationswelt verbessert werden, um einen „Advanced-“ und/oder „Enhanced Digital Twin“ zu erzeugen.

Die Erfindung betrifft auch ein System, insbesondere zur Durchführung eines erfindungsgemäßen Verfahrens, mit Mitteln, die dazu ausgebildet sind, die Schritte des erfindungsgemäßen Verfahrens durchzuführen, insbesondere mit einer Simulationseinheit, die dazu ausgebildet ist, um Sensordaten der Bewegung zu erzeugen.

An dieser Stelle wird darauf hingewiesen, dass die Begriffe „ein“ und „eine“ nicht zwingend auf genau eines der Elemente verweisen, wenngleich dies eine mögliche Ausführung darstellt, sondern auch eine Mehrzahl der Elemente bezeichnen können. Ebenso schließt die Verwendung des Plurals auch das Vorhandensein des fraglichen Elementes in der Einzahl ein und umgekehrt umfasst der Singular auch mehrere der fraglichen Elemente. Weiterhin können alle hierin beschriebenen Merkmale der Erfindung beliebig miteinander kombiniert oder voneinander isoliert beansprucht werden.

Weitere Vorteile, Merkmale und Effekte der vorliegenden Erfindung ergeben sich aus der nachstehenden Beschreibung bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren, in welchen gleiche oder ähnliche Bauteile durch dieselben Bezugszeichen bezeichnet sind. Hierbei zeigen: Fig. 1 : ein Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens.

Fig. 2: eine perspektivische Darstellung eines Menschen in einer Umgebung und eine perspektivische Darstellung eines Modells des Menschen in einer Simulationsumgebung und jeweils eine Darstellung von Messwerten einer Radaraufnahme des Menschen bzw. einer simulierten Radaraufnahme des Modells in einem Diagramm.

Fig. 3: eine frontale Darstellung eines Menschen und eine frontale Darstellung eines Modells des Menschen.

Fig. 4: eine perspektivische Darstellung eines Skelettmodells und eine perspektivische Darstellung eines Körperhüllenmodells eines Menschen.

Fig. 5: eine frontale Darstellung eines Körperhüllenmodells eines Menschen.

Fig. 6: eine frontale Darstellung eines Modells eines Menschen in einer Simulationsumgebung und drei Darstellungen von Messwerten einer simulierten Radaraufnahme des Modells in einem Diagramm.

Fig. 7: eine frontale Darstellung eines Modells eines Menschen in einer Simulationsumgebung und drei Darstellungen von Messwerten einer simulierten Radaraufnahme des Modells in einem Diagramm.

In Fig. 1 ist ein beispielhafter Ablauf einer Ausführungsform eines erfindungsgemäßen Verfahrens dargestellt.

In Schritt S1 erfolgt eine Bewegungserfassungsmessung bzw. eine „Motion-Cap- turing“-Messung, um vorzugsweise Rohdaten zu erzeugen. Hierbei wird vorzugsweise in Zusatzschritt E1 eine Marker-Anordnung gemäß einem benötigten Modell verwendet. In Schritt S2 erfolgt das Erstellen eines Modells, welches vorzugsweise ein Skelettmodell und/oder ein Körperhüllenmodell umfasst. In Schritt S3 wird die digitale Körperhülle des Körperhüllenmodells als Netz, insbesondere Dreiecksnetz bzw. „Triangle Mesh“ ausgebildet. In Schritt S4 erfolgt ein Editieren und/oder Augmentieren des Modells. Die Schritte S2 bis S4 können jeweils oder insgesamt mit Zusatzschritt E2 eine zusätzliche Vermessung einer realen Körperhülle und deren Proportionen mit einem 3D-Scanner umfassen.

In Schritt S5 erfolgt ein Fusionieren mit einer Kamera, insbesondere einer Tiefenkamera.

In Schritt S6 erfolgt ein Texturieren des Netzes mit einem Materialmodell.

In Schritt S7 erfolgt ein Annotieren und/oder Labeln mindestens eines Teils des Modells.

In Schritt S8 erfolgt ein Simulieren mittels einer Strahlverfolgungssimulation und/oder ein Einbinden des Modells in einen Strahlverfolgungssimulator bzw. einen „Ray-Tra- cing“-Simulator, um Sensordaten zu erzeugen. Das Simulieren erfolgt vorzugsweise mit Zusatzschritt E3 in einer Simulationsumgebung, die einen virtuellen und/oder digitalen Zwilling einer realen Umgebung bzw. der echten Welt umfasst oder ist. Die Simulationsumgebung kann synthetisch generiert sein oder aus einer externen Quelle stammen.

Die Schritte S4 bis S7, S9 und die Zusatzschritte E2 und E3 sind optional.

Die Reihenfolge aller Schritte kann beliebig verändert werden.

In Fig. 2 ist in der Darstellung oben links eine reale Umgebung U bzw. ein „Motion. Capture-Setup“ in der sich ein gehender Mensch M befindet, dargestellt. In dem Diagramm oben rechts ist ein gemessenes Radarsignal eines Dopplerradars der realen Umgebung U und des Menschen M, wobei die Entfernung bzw. „Range“ von dem Radar auf der Ordinate und die Signalstärke des Radarsignals auf der Abszisse dargestellt ist, dargestellt.

In der Darstellung unten links ist in Fig. 2 ein in einen „Ray-Tracing“-Simulator übertragenes Körperhüllenmodell MM mit einer digitalen Körperhülle, das aus „Motion- Capture“-Daten des Menschen M ermittelt wurde, in einer Simulationsumgebung SU dargestellt.

In dem Diagramm unten rechts ist ein simuliertes Radarsignal eines Dopplerradars des Körperhüllenmodells MM, wobei die Entfernung bzw. „Range“ von dem Radar auf der Ordinate und die Signalstärke des Radarsignals auf der Abszisse dargestellt ist, dargestellt.

Das simulierte Radarsignal ist in allen entscheidenden Belangen sehr ähnlich zum tatsächlichen gemessenen Radarsignal, womit die Simulation als „realistisch“ eingestuft werden kann.

In Fig. 3 ist oben eine „Motion-Capture“-Messung bzw. ein Setup mit einem gehendem Menschen M, an dem Marker angebracht sind und unten extrahierte Positionen der Marker, die Bestandteil der Rohdaten aus Schritt S1 sind, in einem Markermodell MAM dargestellt.

Fig. 4 zeigt ein aus den Markern ermitteltes Skelettmodell SM und ein daraus ermitteltes Körperhüllenmodell KHM. Es erfolgt vorzugsweise eine Überführung des Skelettmodells SM in ein Körperhüllenmodell KHM.

In Fig. 5 ist ein editiertes Körperhüllenmodell KHM dargestellt. Es erfolgt vorzugsweise ein Editieren des Körperhüllenmodells KHM, insbesondere um große, kleine, dicke und/oder dünne Menschen zu modellieren. In Fig. 6 ist das Modell MM eines Menschen in einer Simulationsumgebung SU dargestellt, wobei in dem ersten Diagramm von links das gesamte simulierte Radarsignal bei einer simulierten Radarerfassung des Modells MM dargestellt ist.

In dem zweiten Diagramm von links in Fig. 6 ist das simulierte Radarsignal ohne Arme des Modells MM bei einer simulierten Radarerfassung des Modells MM dargestellt.

In dem dritten Diagramm von links in Fig. 6 ist das simulierte Radarsignal nur der Arme des Modells MM bei einer simulierten Radarerfassung des Modells MM dargestellt.

In Fig. 6 werden die Arme des Modells MM separat annotiert. Dadurch können in der Simulation die Arme und der Körper ohne Arme separat simuliert werden, was eine genauere Analyse der Signalbestandteile ermöglicht.

In Fig. 7 ist das Modell MM eines Menschen in einer Simulationsumgebung SU dargestellt, wobei in dem ersten Diagramm von links das gesamte simulierte Radarsignal bei einer simulierten Radarerfassung des Modells MM dargestellt ist.

In dem zweiten Diagramm von links in Fig. 7 ist das simulierte Radarsignal nur der Mehrfach-Reflexionen des Modells MM bei einer simulierten Radarerfassung des Modells MM dargestellt.

In dem dritten Diagramm von links in Fig. 7 ist das simulierte Radarsignal ohne Mehrfach-Reflexionen des Modells MM bei einer simulierten Radarerfassung des Modells MM dargestellt.

In Fig. 7 werden Mehrfach-Reflexionen separat annotiert. Dadurch können dieses auch separat simuliert werden, was wie oben eine genauere Analyse der Signalbestandteile ermöglicht. Diese exakte Separierung von Annotationen, wie in Fig. 6 und Fig. 7 ist ausschließlich in der Simulation möglich und kann mit realen Messdaten nicht erreicht werden. Bei realen Messungen können lediglich die überlagerten Signalkomponenten als ein gesamtes Messsignal erfasst werden.

In den Diagrammen in den Fig. 6 und 7 sind jeweils die Entfernung bzw. „Range“ von dem simulierten Radar auf der Ordinate und die Signalstärke des simulierten Radarsignals auf der Abszisse dargestellt.

Claims

Patentansprüche

1 . Verfahren zum Erzeugen von Sensordaten einer Bewegung eines Lebewesens, insbesondere eines Menschen, mit den folgenden Schritten:

- Bereitstellen von Rohdaten einer Bewegung des Lebewesens;

- Erstellen eines Modells des Lebewesens aus den Rohdaten;

- Simulieren einer Erfassung der Bewegung des Lebewesens durch ein wellenbasiertes Erfassungsmittel mittels des Modells und/oder der Rohdaten und eines simulierten Erfassungsmittels in einer Simulationsumgebung, wobei ein Erzeugen von Sensordaten der Bewegung erfolgt.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Erfassungsmittel und/oder das simulierte Erfassungsmittel eine wellenbasierte Sensorik, insbesondere eine Kamera, eine optische Kamera, eine Tiefen- und/oder Spektralkamera, ein Radar, ein Radiometer, ein Lidar, ein Laserscanner und/oder ein Ultraschallsensor ist oder umfasst.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Simulationsumgebung eine statische Umgebung, insbesondere eine Nachbildung einer Umgebung in der die Rohdaten des Lebewesens erfasst worden sind, ist oder umfasst.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen der Rohdaten mit einem Verfahren zur Bewegungserfassung mittels eines Markers, eines Beschleunigungssensors und/oder einer inertialen Messeinheit erfolgt, wobei das Erstellen des Modells vorzugsweise mittels einer Schlüsselpunktextraktion aus mit dem Verfahren zur Bewegungserfassung gewonnen Daten erfolgt und/oder dass das Bereitstellen der Rohdaten mittels eines bestehenden Datensatzes erfolgt.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Modell ein Skelettmodell und/oder ein Körperhüllenmodell umfasst oder ist, wobei das Körperhüllenmodell vorzugsweise ein Netz, insbesondere ein Dreiecksnetz umfasst oder ist.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren den weiteren Schritt umfasst:

- Editieren und/oder Augmentieren des Modells, der Rohdaten und/oder der Sensordaten, wobei vorzugsweise eine Variation und/oder Veränderung einer Bewegung des Modells erfolgt, insbesondere um die Rohdaten und/oder die Sensordaten mit dadurch gewonnenen weiteren Daten anzureichem.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erstellen des Modells unter Zuhilfenahme von Daten eines 3D-Scanners erfolgt, insbesondere um eine Körperhülle und/oder Proportionen des Lebewesens zu messen.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren den weiteren Schritt umfasst:

- Fusionieren des Modells, der Rohdaten und/oder der Sensordaten mit Daten einer Kamera, vorzugsweise einer Tiefenkamera, insbesondere um zusätzliche optische Daten zu generieren.

9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren den weiteren Schritt umfasst:

- Automatisiertes und/oder manuelles Texturieren, insbesondere eines Dreiecksnetzes, des Modells, insbesondere mit einem Materialmodell, vorzugsweise einer Kleidung, einer Haut, eines Haars, eines Narbengewebes und/oder einer Kombination daraus, wobei das Texturieren vorzugsweise unter Berücksichtig einer Messung, insbesondere mittels einer Kamera, erfolgt.

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren den weiteren Schritt umfasst:

- Annotieren und/oder Labeln mindestens eines Teils des Modells und/oder mindestens eines Teils der Rohdaten und/oder mindestens eines Teils der Sensordaten.

11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren den weiteren Schritt umfasst:

- Trainieren einer künstlichen Intelligenz mit den Rohdaten und/oder den Sensordaten und/oder mit realen Sensordaten und/oder nur mit einem Teil der Rohdaten und/oder Sensordaten.

12. Verfahren nach Anspruch 11 , dadurch gekennzeichnet, dass bei dem Trainieren in der Realität unmögliche oder den Gesetzen der Physik widersprechende Aspekte einbezogen werden, wobei insbesondere ein Ausschalten von Reflexionen und/oder Artefakten, ein Einfrieren einer Bewegung und/oder ein Zerlegen einer Bewegung in einzelne Komponenten erfolgt.

13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren für eine Sturzdetektion von Lebewesen, für ein Zählen von Lebewesen, in der Sicherheitstechnik, in der Automobiltechnik, im Rahmen einer Gestenerkennung, im Rahmen einer medizintechnischen Lösung zur Diagnose und Therapie von Erkrankungen, die Auswirkungen auf die Bewegung haben, im Rahmen einer Industrieanwendung, in einer Filmproduktion und/oder in einem Computerspiel verwendet wird.

14. System, insbesondere zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, mit Mitteln, die dazu ausgebildet sind, die Schritte des Verfahrens durchzuführen, insbesondere mit einer Simulationseinheit, die dazu ausgebildet ist, um Sensordaten der Bewegung zu erzeugen.