DE102020002365A1

DE102020002365A1 - Verfahren zur optischen Erfassung der Bewegungen eines Zielobjektes

Info

Publication number: DE102020002365A1
Application number: DE102020002365.7A
Authority: DE
Inventors: Jörg Eberhardt; Muneeb Muhammad Hassan
Original assignee: Hochschule Ravensburg Weingarten; HOCHSCHULE RAVENSBURG-WEINGARTEN
Current assignee: Hochschule Ravensburg Weingarten; HOCHSCHULE RAVENSBURG-WEINGARTEN
Priority date: 2020-04-20
Filing date: 2020-04-20
Publication date: 2021-10-21

Abstract

Verfahren zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes (8) als Motion Capture mit den Schritten: Aussenden einer elektromagnetischen Strahlung, Reflexion der von der wenigstens einen Strahlungsquelle (4, 5) ausgesendeten elektromagnetischen Strahlung an wenigstens einem Gegenstand, wobei der wenigstens eine Gegenstand das sich bewegenden Zielobjekt (8) umfasst, Erzeugen von Bilden mit der Digitalkamera (2, 3) des wenigstens einen Gegenstandes, Elektrooptische Entfernungsmessung zwischen der Digitalkamera (2, 3) und dem wenigstens einen Gegenstand, so dass als pixelbasierte Entfernungsdaten die Entfernungen zwischen den von den Pixeln erfassten Teilbereichen des wenigstens einen Gegenstandes und der Digitalkamera (2, 3) erfasst werden, Verarbeiten der Bilddaten der optischen Abbildung des sich bewegenden Zielobjektes (8) in der Digitalkamera (2, 3) mit einem Bildverarbeitungssystem mittels einer Bildverarbeitungssoftware in einem Computer (6), so dass das Zielobjekt (8) optisch erfasst wird indem Silhouettendaten des Zielobjektes (8) der räumlichen Bewegung des sich bewegenden Zielobjektes (8) und von Objektkomponenten (25) des sich bewegenden Zielobjektes (8) relativ zueinander aus den Bilddaten erfasst, insbesondere extrahiert, werden und Verarbeiten der Entfernungsdaten und der Silhouettendaten des sich bewegenden Zielobjektes (8), so dass die räumliche Bewegung des sich bewegenden Zielobjektes (8) und von Objektkomponenten (25) des sich bewegenden Zielobjektes (8) relativ zueinander als Bewegungsdaten bestimmt werden.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes als Motion Capture gemäß Anspruch 1, ein System zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes als Motion Capture gemäß Anspruch 14 und ein Verfahren zur Herstellung einer Ware und die Ware aus mehreren Teilen ausgebildet ist gemäß Anspruch 15.
Das Motion Capture als Verfahren zur Bewegungs-Erfassung von Zielobjekten wird in vielen Bereichen eingesetzt. Beispielsweise werden die Bewegungen eines Menschen als Zielobjekt erfasst. Hierzu werden von wenigstens zwei Digitalkameras Bilder des sich bewegenden Menschen mit Markern aufgenommen. Auf dem Zielobjekt sind Marker aufgebracht. Dabei werden aktive Marker eingesetzt, welche ein Signal, z. B. Licht, emittieren, oder passive Marker, welche kein Signal emittieren. Abweichend hiervon ist es auch bekannt, die Bewegungen des Zielobjektes ohne Marker zu erfassen, indem mit einer Bildverarbeitungssoftware in einem Computer die Silhouetten des sich bewegenden Zielobjektes erfasst werden. Damit auch die räumlichen Bewegungen des Zielobjektes erfasst werden können erfolgt die Bestimmung der Entfernung zwischen den Digitalkameras und dem Zielobjekt mittels Triangulation. In nachteiliger Weise ist es somit aufgrund der Bestimmung der Entfernung von einer Digitalkamera zu einem Teil der Oberfläche des Zielobjekt mittels Triangulation notwendig, dass der erfasste Teil der Oberfläche von beiden Digitalkameras sichtbar ist, d. h. für Teile der Oberfläche, die nur von einer Digitalkamera sichtbar sind, ist eine Erfassung der räumlichen Bewegung des Zielobjektes damit nicht möglich. Ferner ist eine Erfassung der Bewegungen des Zielobjekts ohne Marker nur in geschlossenen Räumen ohne Fremdlicht möglich, weil die optische Erfassung der Bewegungen des Zielobjektes ohne Marker auf stabile Lichtverhältnisse ohne Fremdlicht angewiesen ist.
Die GB 25 39 495 A offenbart ein Verfahren zur Bestimmung der Position, Form, Größe, Masse und/oder Anzahl von Objekten, insbesondere Fischen. Dabei werden Time-of-Flight Kameras (TOF-Kameras) eingesetzt und es wird modulierte elektromagnetische Strahlung verwendet.
Die WO 2018/222120 A1 zeigt ein Verfahren und eine Kameraanordnung zur Bestimmung der Bewegung von Personen. Dabei werden TOF-Kameras eingesetzt basierend auf kontinuierlicher Wellenmodulation. Als Marker werden retro-reflektierende Elemente an den Personen verwendet.
Die DE 10 2009 020 169 A1 zeigt ein Verfahren zum Verfolgen und/oder Überwachen von einem bewegten Zielelement, beispielsweise Personen. Dabei werden elektromagnetische Strahlen auf das Zielelement mit Markern als Reflektoren gerichtet.
Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, ein Verfahren zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes, ein System zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes als Motion Capture und ein Verfahren zur Herstellung einer Ware und die Ware aus mehreren Teilen zur Verfügung zu stellen, bei dem die Bewegungen des Zielobjektes ohne Marker und bei Fremdlichteinfluss mit nur einer Digitalkamera erfasst werden können.
Diese Aufgabe wird gelöst mit einem Verfahren zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes als Motion Capture mit den Schritten: Aussenden einer elektromagnetischen Strahlung mittels einer Strahlungsquelle, Reflexion der von der wenigstens einen Strahlungsquelle ausgesendeten elektromagnetischen Strahlung an wenigstens einem Gegenstand, wobei der wenigstens eine Gegenstand das sich bewegenden Zielobjekt umfasst, Sammeln der an dem wenigstens einen Gegenstand reflektierten elektromagnetischen Strahlung mit einer Digitalkamera mit einem Objektiv und einem Bildsensor mit Pixelelementen, so dass eine optische Abbildung des wenigstens einen Gegenstandes in der Digitalkamera ausgeführt wird und die gesammelte elektromagnetische Strahlung in dem Bildsensor mit Pixelelementen erfasst wird mittels Umwandlung der elektromagnetischen Strahlung in den Pixelelementen in elektrischen Strom, so dass aus Pixeln zusammengesetzte Bilder als Bilddaten des wenigstens einen Gegenstandes erzeugt werden, Elektrooptische Entfernungsmessung zwischen der Digitalkamera und dem wenigstens einen Gegenstand mittels Laufzeitmessung der ausgesendeten elektromagnetischen Strahlung oder einer Messung einer Phasendifferenz zwischen dem von der Strahlungsquelle ausgesendeten modulierten elektrometrischen Strahlung und der in den Pixelelementen der Digitalkamera erfassten elektromagnetischen Strahlung, so dass als pixelbasierte Entfernungsdaten die Entfernungen zwischen den von den Pixeln erfassten Teilbereichen des wenigstens einen Gegenstandes und der Digitalkamera erfasst werden, Verarbeiten der Bilddaten der optischen Abbildung des sich bewegenden Zielobjektes in der Digitalkamera mit einem Bildverarbeitungssystem mittels einer Bildverarbeitungssoftware in einem Computer, so dass das Zielobjekt optisch erfasst wird indem Silhouettendaten des Zielobjektes der räumlichen Bewegung des sich bewegenden Zielobjektes und von Objektkomponenten des sich bewegenden Zielobjektes relativ zueinander aus den Bilddaten erfasst, insbesondere extrahiert, werden und Verarbeiten der Entfernungsdaten und der Silhouettendaten des sich bewegenden Zielobjektes, so dass die räumliche Bewegung des sich bewegenden Zielobjektes und von Objektkomponenten des sich bewegenden Zielobjektes relativ zueinander als Bewegungsdaten bestimmt werden. In vorteilhafter Weise können damit die räumlichen Bewegungen des Zielobjekts mit nur einer Digitalkamera erfasst werden, so dass, da keine Okklusion auftritt wie bei der Bestimmung der Entfernung mit Triangulation, bei räumlichen gekrümmten Zielobjekten größere Bereiche der Oberfläche des Zielobjekts erfasst werden.
In einer zusätzlichen Variante wird die räumliche Bewegung des sich bewegenden Zielobjektes bestimmt indem die räumliche Bewegung des sich bewegenden Zielobjektes und von Objektkomponenten des sich bewegenden Zielobjektes relativ zueinander an einem Modell des sich bewegenden Zielobjektes bestimmt wird und das Modell relativ zueinander bewegliche Komponenten umfasst.
In einer ergänzenden Ausgestaltung umfasst das Modell wenigstens ein Gelenk und wenigstens zwei Stäbe als Komponenten.
In einer weiteren Ausführungsform wird das Verfahren mit wenigstens zwei Digitalkameras ausgeführt, vorzugsweise simultan.
In eine ergänzenden Ausgestaltung wird in jeder Digitalkamera je ein Teil des sich bewegenden Zielobjektes abgebildet und verarbeitet, so dass für wenigstens zwei Teile des sich bewegenden Zielobjektes das Verarbeiten der Bilddaten, der Entfernungsdaten und der Silhouettendaten ausgeführt wird, insbesondere getrennt ausgeführt wird, so dass die räumliche Bewegung des sich bewegenden Zielobjektes und von Objektkomponenten des sich bewegenden Zielobjektes relativ zueinander für die wenigstens zwei Teile des Zielobjektes, insbesondere getrennt für die wenigstens zwei Teile des Zielobjektes, bestimmt wird.
In einer zusätzlichen Ausgestaltung wird das Verfahren für einen Teil des sich bewegenden Zielobjektes mit den Bilddaten, den Entfernungsdaten und der Silhouettendaten, erfasst von nur einer Digitalkamera, ausgeführt.
In einer weiteren Variante wird das Verfahren für einen Teil des sich bewegenden Zielobjektes mit den Bilddaten, den Entfernungsdaten und den Silhouettendaten, erfasst von wenigstens zwei Digitalkameras, ausgeführt.
In einer ergänzenden Ausgestaltung wird das Verfahren mit wenigstens zwei Strahlungsquellen ausgeführt.
Vorzugsweise ist jeder Digitalkamera je eine Strahlungsquelle, insbesondere nur eine Strahlungsquelle, zugeordnet, so dass die von der je einen Digitalkamera zugeordneten Strahlungsquelle ausgesendete elektromagnetische Strahlung für die elektrooptische Entfernungsmessung der zugeordneten Digitalkamera, insbesondere nur einen zugeordneten Digitalkamera, verwendet wird.
In einer zusätzlichen Variante weist die von wenigstens zwei Strahlungsquellen ausgesendete elektromagnetische Strahlung keine Interferenz auf. Dies wird beispielsweise dadurch realisiert, dass die Strahlungsquellen elektromagnetische Wellen mit einer unterschiedlichen Wellenlänge ausstrahlen und die Bildsensoren der jeweils zugeordneten Digitalkameras nur die elektromagnetische Strahlung der zugeordneten Strahlungsquelle erfassen.
Zweckmäßig wird die elektrooptische Entfernungsmessung getrennt für die Pixel, insbesondere getrennt für sämtliche Pixel, der wenigstens einen Digitalkamera ausgeführt.
In einer weiteren Ausführungsform werden vor der Ausführung des Verfahrens zur optischen Erfassung der Bewegungen des sich bewegenden Zielobjektes mit wenigstens zwei Digitalkameras die räumliche Position der wenigstens zwei Digitalkameras zueinander als Digitalkamerapositionsdaten bestimmt und anschließend das Verfahren zur optischen Erfassung der Bewegungen des sich bewegenden Zielobjektes mit den wenigstens zwei Digitalkameras unter Verarbeitung der Digitalkamerapositionsdaten ausgeführt wird.
In einer ergänzenden Variante wird die räumliche Bewegung von Objektkomponenten des sich bewegenden Zielobjektes relativ zueinander ohne Marker bestimmt.
Erfindungsgemäßes System zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes als Motion Capture, umfassend wenigstens eine Strahlungsquelle zum Aussenden von elektromagnetischer Strahlung, wenigstens eine Digitalkamera, einen Computer, wobei mit dem System ein in dieser Schutzrechtsanmeldung beschriebenes Verfahren ausführbar ist.
Erfindungsgemäßes Verfahren zur Herstellung einer Ware und die Ware aus mehreren Teilen ausgebildet ist mit den Schritten: zur Verfügung stellen der Teile, Montieren der Teile zu der Ware indem die Teile manuell von einer Person zu der Ware montiert werden, so dass die Teile von Ausgangspositionen manuell zu Montagepositionen an der herzustellenden Ware bewegt werden, wobei das Montieren der Teile mit einem in dieser Schutzrechtsanmeldung beschriebenen Verfahren überwacht wird.
In einer ergänzenden Ausgestaltung wird das Verfahren zur Herstellung der Ware überwacht indem die erfasste Bewegung des Zielobjektes mit einer vorgegebenen und/oder gespeicherten Bewegung des Zielobjektes verglichen wird und bei einer Abweichung und/oder einem Überschreiten einer Abweichungsdifferenz zwischen der erfassten Bewegung und der vorgegebenen und/oder gespeicherten Bewegung eine Störungsmeldung und/oder Warnmeldung ausgegeben wird.
Zweckmäßig ist die Störungsmeldung und/oder Warnungsmeldung ein optisches und/oder akustisches Signal.
In einer zusätzlichen Ausgestaltung wird das manuelle Bewegen der Teile in dem Verfahren zur Herstellung der Ware von einer Person, insbesondere mit der Hand, ausgeführt.
In einer weiteren Ausführungsform wird bei der Entfernungsmessung mittels Laufzeitmessung elektromagnetische Strahlung in zeitlich aufeinander folgenden Impulsen von der wenigstens einen Strahlungsquelle ausgesendet.
Insbesondere ist der wenigstens eine Bildsensor der Digitalkamera wenigstens ein PMD-Bildsensor.
Vorzugsweise sind den Objektkomponenten des Zielobjektes Komponenten des Modells zugeordnet.
Zweckmäßig ist das Zielobjekt mehrteilig aus getrennten Objekten, beispielsweise einer Person und einem Teil, ausgebildet oder einteilig.
In einer ergänzenden Ausgestaltung wird von den Strahlungsquellen elektromagnetische Strahlung in unterschiedlichen Wellenlängen ausgestrahlt.
In einer weiteren Ausführungsform wird bei der Entfernungsmessung mittels Laufzeitmessung die Laufzeit als die Zeit zwischen dem Aussenden der elektromagnetischen Strahlung und der Erfassung in dem Bildsensor der Digitalkamera nach der Reflexion an dem wenigstens einen Gegenstand bestimmt.
Zweckmäßig wird bei der Entfernungsmessung mittels Messung der Phasendifferenz von der wenigstens einen Strahlungsquelle modulierte elektromagnetische Strahlung ausgesendet.
In einer zusätzlichen Variante wird das Verfahren mit nur einer Digitalkamera ausgeführt und/oder das System umfasst nur eine Digitalkamera.
In einer weiteren Variante werden zeitlich aufeinanderfolgend zu Erfassungszeitpunkten die Bilder mit den Bilddaten und simultan die Entfernungsdaten von der wenigstens einen Digitalkamera erfasst.
In einer ergänzenden Ausgestaltung sind die wenigstens zwei Digitalkameras synchronisiert. Die wenigstens zwei Digitalkameras erfassen somit die pixelbasierten Bilddaten und die pixelbasierten Entfernungsdaten zu den im Wesentlichen gleichen Zeitpunkten.
In einer weiteren Ausgestaltung umfasst das System wenigstens zwei Strahlungsquellen und/oder wenigstens zwei Digitalkameras.
Die Erfindung umfasst ferner ein Computerprogramm mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein in dieser Schutzrechtsanmeldung beschriebenes Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit durchgeführt wird.
Bestandteil der Erfindung ist außerdem ein Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein in dieser Schutzrechtsanmeldung beschriebenes Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit durchgeführt wird.
Im Nachfolgenden werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen näher beschrieben.
Es zeigt:

1 eine stark vereinfachte Draufsicht eines Systems zur optischen Erfassung der Bewegung eines Zielobjektes in einem ersten Ausführungsbeispiel,
2 eine stark vereinfachte Draufsicht des Systems zur optischen Erfassung der Bewegung des Zielobjektes in einem zweiten Ausführungsbeispiel,
3 eine Vorderansicht eines Modells des Zielobjektes und
4 ein von einer Digitalkamera erfasstes Bild.

In 1 ist ein System 1 zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes 8 als Motion Capture dargestellt. Das Zielobjekt 8 ist ein Mensch 24 und mittels eines Modells 9 des Zielobjektes 8 (3) werden die Bewegungen des Zielobjektes 8 erfasst. Das Modell 9 ist aus einer Vielzahl von Komponenten 10 als Modellkomponenten 10 aufgebaut, nämlich starren Stäben 12 und einem Kopf 13, die mittels Gelenken 11 miteinander verbunden sind. Die Stäbe 12 und die Gelenke 11 bilden damit die Beine 14, den Rumpf und die Arme 15 des Menschen. Die Komponenten 10 des Modells 9 sind somit die Gelenke 11, die Stäbe 12 und der Kopf 13.
Das System 1 umfasst eine Digitalkamera 2, eine Strahlungsquelle 4 zum Aussenden von modulierter elektromagnetischer Strahlung im Infrarotbereich mit einer Wellenlänge zwischen 700 und 1000 nm und einen Computer 6. Die Digitalkamera 2 und die Strahlungsquelle 4 sind mittels Datenleitungen 7 mit dem Computer 6 verbunden. Die Digitalkamera 2 erfasst Bilder von wenigstens einem Gegenstand 20. Der wenigstens eine Gegenstand 20 umfasst insbesondere das Zielobjekt 8. In 4 ist ein Bild dargestellt mit Gegenständen 20, nämlich einem Tisch 21, einer Lampe 22 als Fremdlichtquelle 16, einem Schrank 23 und einer Person 24 als Zielobjekt 8. Die Person 24 bzw. der Mensch 24 umfasst Objektkomponenten 25, nämlich einen Kopf 13, Beine 14 und Arme 15. Den Objektkomponenten 25 der Person 24 sind die Komponenten 10 des Modells 9 zugeordnet. Zur Erfassung der Bewegungen des Zielobjektes 8 wird von der Strahlungsquelle 4, nämlich einem Infrarotstrahler, die modulierte elektromagnetische Strahlung zu dem wenigstens einem Gegenstand 20, insbesondere zu dem Zielobjekt 8, gestrahlt und an dem wenigstens einen Gegenstand 20, insbesondere dem Zielobjekt 8, reflektiert. Die an dem wenigstens einen Gegenstand 20 reflektierte elektromagnetische Strahlung wird in einem Objektiv mit Linsen (nicht dargestellt) der Digitalkamera 2 gesammelt und auf einem Bildsensor mit Pixelelementen (nicht dargestellt) optisch abgebildet. Der Bildsensor erfasst nur elektromagnetische Strahlung im Infrarotbereich, so dass die Fremdlichtquelle 16, beispielsweise die Sonne oder eine Innenraumbeleuchtung als Lampe 22, keinen störenden Einfluss hat. Die optische Abbildung des wenigstens einen Gegenstandes 20, insbesondere des Zielobjektes 8, als elektromagnetische Strahlung auf dem Bildsensor wird von den Pixelelementen erfasst indem die reflektierte und abgebildet elektromagnetische Strahlung in elektrischen Strom von den Pixelelementen umgewandelt wird und somit Bilder als Bilddaten des wenigstens einen Gegenstandes 20 zeitlich nacheinander zu Erfassungszeitpunkten erzeugt werden. Beispielsweise werden Bilder in einem zeitlichen Abstand von 100 ms erzeugt. Die Bilder sind aus Pixeln zusammengesetzt und jedes Pixel wird von einem Pixelelement des Bildsensors erzeugt.
Die von der Strahlungsquelle 4 ausgesendete elektromagnetische Strahlung ist moduliert und aus der Phasendifferenz zwischen der von der Strahlungsquelle 4 ausgesendeten modulierten elektromagnetischen Strahlung und der in den Pixelelementen in elektrischen Strom umgewandelten elektromagnetischen Strahlung wird für jedes Pixelelement der Digitalkamera 2 die Entfernung zwischen der Digitalkamera 2 und dem von dem Pixelelement erfassten Teilbereich des wenigstens einen Gegenstandes 20 und damit auch des Zielobjektes 8 als pixelbasierte Entfernungsdaten bestimmt. Abweichend hiervon können die Entfernungsdaten auch mittels Laufzeitmessung der von der Strahlungsquelle 4 ausgesendeten elektromagnetischen Strahlung ermittelt werden. Die elektromagnetische Strahlung wird von der Strahlungsquelle in zeitlich aufeinander folgenden Impulsen ausgesendet und aus der Laufzeit, d. h. der zeitlichen Differenz zwischen dem Aussenden und den Empfang in den Pixeln des Bildsensors nach der Reflexion an dem wenigstens einen Gegenstand 20, wird die Entfernung berechnet. Der Bildsensor der Digitalkamera 2 als TOF-Digitalkamera 2 ist somit bei der Laufzeitmessung als ein PMD-Bildsensor ausgebildet. Diese Entfernungsdaten werden zu den gleichen Zeitpunkten wie die Bilddaten erfasst, so dass die Bilddaten und die Entfernungsdaten für jedes Pixel synchron zu den zeitlich aufeinander folgenden Erfassungszeitpunkten der Bilder zur Verfügung stehen.
Die Digitalkamera 2 erfasst somit den wenigstens einen Gegenstand 20 in der Umgebung mit einem räumlichen Bild. Die Bilddaten der Bilder erfassen für die von den Pixelelementen erfassten Teilbereiche des wenigstens Gegenstandes 20, d. h. den Pixeln des Bildes, die Helligkeit und vorzugsweis die Farbe. Die Entfernungsdaten geben zusätzlich den Abstand zwischen der Digitalkamera 2 und dem Teilbereich des wenigstens einen Gegenstandes 20 als Pixel an. Darüber hinaus ist aufgrund des Objektives mit Linsen der Digitalkamera 2 die von den Pixeln erfasste Richtung der Teilbereiche zu der Digitalkamera 2 bekannt. Aus den Bilddaten und den Entfernungsdaten kann somit ein räumliches Bild des wenigstens einen Gegenstandes 20 erzeugt werden.
Aus den Bilddaten werden mit einer Bildverarbeitungssoftware in dem Computer 6 die Silhouettendaten des Zielobjektes 8, d. h. die Begrenzungen des Zielobjektes 8, ohne Marker erfasst, insbesondere extrahiert. Das Zielobjekt 8 wird somit optisch erfasst und aufgrund der großen Anzahl an zeitlich aufeinanderfolgend erfassten Bildern kann aus diesen Bildern die zweidimensionale Bewegung des Zielobjektes 8 und von Objektkomponenten 25 des Zielobjektes 8, nämlich dem Kopf 13, Beinen 14, Rumpf und Armen 15 anhand des Modells 9 mit Komponenten 10, nämlich Gelenken 11, Stäben 12 und dem Kopf 13, in den Bildern erfasst werden als Motion Capture (Bewegungs-Erfassung). Zusätzlich zu den Bilddaten der Pixel sind auch noch die Entfernungsdaten für jedes Pixel bekannt, so dass bei einer Verarbeitung der Silhouettendaten und der Entfernungsdaten der Pixel der zeitlich aufeinanderfolgend erfassten Bilder in dem Computer 6 auch die räumliche Bewegung des Zielobjektes 8 bestimmt werden kann. Die räumliche Bewegung des Zielobjektes 8, d. h. auch die räumliche Bewegung von Objektkomponenten 25 des Zielobjektes 8 relativ zueinander, wird anhand des Modells 9 des Zielobjektes 8 gemäß 3 bestimmt. Die erfasste räumliche Bewegung des Zielobjektes 8 wird in Bewegungsdaten ausgegeben. Die Bewegungsdaten erheben nicht den Anspruch eine exakte Wiedergabe der tatsächlichen Bewegungen des Zielobjektes 8 zu sein, weil in den Bewegungsdaten die Bewegungen des Zielobjektes 8 lediglich anhand des Modells 9 des Zielobjektes 8 wiedergegeben sind.
In 2 ist ein zweites Ausführungsbeispiel des Systems 1 abgebildet. Im Nachfolgenden werden im Wesentlichen nur die Unterschiede zu dem ersten Ausführungsbeispiel gemäß 1 beschrieben. Das System 1 umfasst zwei Digitalkameras 2, 3 als eine erste Digitalkamera 2 und eine zweite Digitalkamera 3. Ferner umfasst das System 1 eine erste Strahlungsquelle 4 und eine zweite Strahlungsquelle 5. Der ersten Digitalkamera 2 ist nur die erste Strahlungsquelle 4 zugeordnet und der zweiten Digitalkamera 3 ist nur die zweite Strahlungsquelle 5 zugeordnet. Die zwei Strahlungsquellen 4,5 senden elektromagnetische Strahlung im Infrarotbereich mit einer unterschiedlichen Wellenlänge aus. Der Bildsensor der ersten Digitalkamera 2 ist nur sensitiv für die von der ersten Strahlungsquelle 4 ausgesendeten elektromagnetischen Strahlung. Der Bildsensor der zweiten Digitalkamera 3 ist nur sensitiv für die von der zweiten Strahlungsquelle 5 ausgesendeten elektromagnetischen Strahlung. Damit tritt keine für die Erfassung relevante Interferenz zwischen den von den Strahlungsquellen 4, 5 ausgesendeten elektromagnetischen Strahlungen auf.
Vor der Ausführung des Verfahrens zur optischen Erfassung der Bewegungen des Zielobjektes 8 wird die Position der zwei Digitalkameras 2, 3 zueinander in Digitalkamerapositionsdaten bestimmt. Das Zielobjekt 8 weist eine erste Seite 17 als einen ersten Teil der Oberfläche des Zielobjektes 8, eine zweite Seite 18 auf als einen zweiten Teil der Oberfläche des Zielobjektes 8 und eine dritte Seite 19 auf als einen dritten Teil der Oberfläche des Zielobjektes 8 auf. Der erste Teil der Oberfläche des Zielobjektes 8 wird nur von der ersten Digitalkamera 2 erfasst, d. h. getrennt von der zweiten Digitalkamera 3 erfasst. Der dritte Teil der Oberfläche des Zielobjektes 8 wird nur von der zweiten Digitalkamera 3 erfasst, d. h. getrennt von der ersten Digitalkamera 2 erfasst. Der zweite Teil der Oberfläche des Zielobjektes 8 wird nur von der ersten und zweiten Digitalkamera 2, 3 gemeinsam erfasst. Die Bilder der zwei Digitalkameras 2, 3 zur Erfassung der Bilddaten und Entfernungsdaten werden gleichzeitig zeitlich aufeinanderfolgend erfasst, d. h. die zwei Digitalkameras 2, 3 sind synchronisiert.
Insgesamt betrachtet sind mit dem erfindungsgemäßen Verfahren zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes 8 als Motion Capture und dem erfindungsgemäßen System 1 zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes 8 als Motion Capture wesentliche Vorteile verbunden. Die räumlichen Bewegungen des Zielobjektes 8 können bereits mit nur einer Digitalkamera 2 erfasst werden, so dass das System auch bei räumlich beengten Verhältnissen in der Umgebung des Zielobjektes 8 eingesetzt werden kann. Bei einer Ausführung des Verfahrens mit mehreren Digitalkameras 2, 3 können verschiedene Teile der Oberfläche des Zielobjektes 8 erfasst werden, so dass große Teile der Oberfläche des Zielobjektes 8 erfasst werden können, weil es bereits genügt, dass ein Teil der Oberfläche des Zielobjekts 8 von nur einer Digitalkamera 2, 3 erfasst wird, d. h. „einsehbar“ ist. Bei einer größeren Anzahl von beispielsweise 3 oder 4 Digitalkameras können die Bewegungen im Wesentlichen an dem gesamten Umfang des Zielobjektes 8 erfasst werden.
Die mit dem Verfahren bestimmten Bewegungsdaten des Zielobjektes 8 können zur Überwachung und Kontrolle von verschiedensten Verfahren eingesetzt werden. Beispielsweise kann die Montage von Waren aus Teilen in der Industrie überwacht werden, d. h. die Bewegungen der Person, welche die Montage ausführt und die Bewegungen der zu montierenden Teile werden überwacht und kontrolliert und bei einem Fehler kann das System 1 eine optische und/oder akustische Fehlermeldung ausgeben, so dass Montagefehler im Wesentlichen ausgeschlossen sind. Darüber hinaus können die Bewegungen von Pflegern in Pflegeheimen für alte Menschen überwacht und kontrolliert werden. Da Fremdlicht die Erfassung des Zielobjekts 8 nicht beeinträchtigt, kann das Verfahren sowohl außerhalb von Gebäuden mit Sonnenlicht als Fremdlicht als auch in mit Beleuchtungseinrichtungen ausgeleuchteten Räumen in Gebäuden effektiv und genau eingesetzt werden ohne Marker an dem Zielobjekt 8.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

GB 2539495 A [0003]
WO 2018/222120 A1 [0004]
DE 102009020169 A1 [0005]

Claims

Verfahren zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes (8) als Motion Capture mit den Schritten: - Aussenden einer elektromagnetischen Strahlung mittels einer Strahlungsquelle (4, 5), - Reflexion der von der wenigstens einen Strahlungsquelle (4, 5) ausgesendeten elektromagnetischen Strahlung an wenigstens einem Gegenstand (20), wobei der wenigstens eine Gegenstand (20) das sich bewegenden Zielobjekt (8) umfasst, - Sammeln der an dem wenigstens einen Gegenstand (20) reflektierten elektromagnetischen Strahlung mit einer Digitalkamera (2, 3) mit einem Objektiv und einem Bildsensor mit Pixelelementen, so dass eine optische Abbildung des wenigstens einen Gegenstandes (20) in der Digitalkamera (2, 3) ausgeführt wird und die gesammelte elektromagnetische Strahlung in dem Bildsensor mit Pixelelementen erfasst wird mittels Umwandlung der elektromagnetischen Strahlung in den Pixelelementen in elektrischen Strom, so dass aus Pixeln zusammengesetzte Bilder als Bilddaten des wenigstens einen Gegenstandes (20) erzeugt werden, - Elektrooptische Entfernungsmessung zwischen der Digitalkamera (2, 3) und dem wenigstens einen Gegenstand (20) mittels Laufzeitmessung der ausgesendeten elektromagnetischen Strahlung oder einer Messung einer Phasendifferenz zwischen dem von der Strahlungsquelle ausgesendeten modulierten elektrometrischen Strahlung und der in den Pixelelementen der Digitalkamera (2, 3) erfassten elektromagnetischen Strahlung, so dass als pixelbasierte Entfernungsdaten die Entfernungen zwischen den von den Pixeln erfassten Teilbereichen des wenigstens einen Gegenstandes (20) und der Digitalkamera (2, 3) erfasst werden, - Verarbeiten der Bilddaten der optischen Abbildung des sich bewegenden Zielobjektes (8) in der Digitalkamera (2, 3) mit einem Bildverarbeitungssystem mittels einer Bildverarbeitungssoftware in einem Computer (6), so dass das Zielobjekt (8) optisch erfasst wird indem Silhouettendaten des Zielobjektes (8) der räumlichen Bewegung des sich bewegenden Zielobjektes (8) und von Objektkomponenten (25) des sich bewegenden Zielobjektes (8) relativ zueinander aus den Bilddaten erfasst, insbesondere extrahiert, werden und - Verarbeiten der Entfernungsdaten und der Silhouettendaten des sich bewegenden Zielobjektes (8), so dass die räumliche Bewegung des sich bewegenden Zielobjektes (8) und von Objektkomponenten (25) des sich bewegenden Zielobjektes (8) relativ zueinander als Bewegungsdaten bestimmt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die räumliche Bewegung des sich bewegenden Zielobjektes (8) bestimmt wird indem die räumliche Bewegung des sich bewegenden Zielobjektes (8) und von Objektkomponenten (25) des sich bewegenden Zielobjektes (8) relativ zueinander an einem Modell (9) des sich bewegenden Zielobjektes (8) bestimmt wird und das Modell (9) relativ zueinander bewegliche Komponenten (10) umfasst.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Modell (9) wenigstens ein Gelenk (11) und wenigstens zwei Stäbe (12) als Komponenten (10) umfasst.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Verfahren mit wenigstens zwei Digitalkameras (2, 3) ausgeführt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass in jeder Digitalkamera (2, 3) je ein Teil des sich bewegenden Zielobjektes (8) abgebildet und verarbeitet wird, so dass für wenigstens zwei Teile des sich bewegenden Zielobjektes (8) das Verarbeiten der Bilddaten, der Entfernungsdaten und der Silhouettendaten ausgeführt wird, insbesondere getrennt ausgeführt wird, so dass die räumliche Bewegung des sich bewegenden Zielobjektes (8) und von Objektkomponenten (25) des sich bewegenden Zielobjektes (8) relativ zueinander für die wenigstens zwei Teile des Zielobjektes (8), insbesondere getrennt für die wenigstens zwei Teile des Zielobjektes (8), bestimmt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Verfahren für einen Teil des sich bewegenden Zielobjektes (8) mit den Bilddaten, den Entfernungsdaten und der Silhouettendaten, erfasst von nur einer Digitalkamera (2, 3), ausgeführt wird.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das Verfahren für einen Teil des sich bewegenden Zielobjektes (8) mit den Bilddaten, den Entfernungsdaten und den Silhouettendaten, erfasst von wenigstens zwei Digitalkameras (2, 3), ausgeführt wird.
Verfahren nach einem oder mehreren der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass das Verfahren mit wenigstens zwei Strahlungsquellen (4, 5) ausgeführt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass jeder Digitalkamera (2, 3) je eine Strahlungsquelle (4, 5), insbesondere nur je eine Strahlungsquelle (4, 5), zugeordnet ist, so dass die von der je einen Digitalkamera (2, 3) zugeordneten Strahlungsquelle (4, 5) ausgesendete elektromagnetische Strahlung für die elektrooptische Entfernungsmessung der zugeordneten Digitalkamera (2, 3), insbesondere nur je einen Digitalkamera (2, 3), verwendet wird.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die von wenigstens zwei Strahlungsquellen (4, 5) ausgesendete elektromagnetische Strahlung keine Interferenz aufweist.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die elektrooptische Entfernungsmessung getrennt für die Pixel, insbesondere getrennt für sämtliche Pixel, der wenigstens einen Digitalkamera (2, 3) ausgeführt wird.
Verfahren nach einem oder mehreren der Ansprüche 4 bis 11, dadurch gekennzeichnet, dass vor der Ausführung des Verfahrens zur optischen Erfassung der Bewegungen des sich bewegenden Zielobjektes (8) mit wenigstens zwei Digitalkameras (2, 3) die räumliche Position der wenigstens zwei Digitalkameras (2, 3) zueinander als Digitalkamerapositionsdaten bestimmt werden und anschließend das Verfahren zur optischen Erfassung der Bewegungen des sich bewegenden Zielobjektes (8) mit den wenigstens zwei Digitalkameras (2, 3) unter Verarbeitung der Digitalkamerapositionsdaten ausgeführt wird.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die räumliche Bewegung des sich bewegenden Zielobjektes (8) uund von Objektkomponenten (25) des sich bewegenden Zielobjektes (8) relativ zueinander ohne Marker bestimmt wird.
System (1) zur optischen Erfassung der Bewegungen eines sich bewegenden Zielobjektes (8) als Motion Capture, umfassend - wenigstens eine Strahlungsquelle (4, 5) zum Aussenden von elektromagnetischer Strahlung, - wenigstens eine Digitalkamera (2, 3), - einen Computer (6), wobei mit dem System (1) ein Verfahren gemäß einem oder mehrerer der vorhergehenden Ansprüche ausführbar ist.
Verfahren zur Herstellung einer Ware und die Ware aus mehreren Teilen ausgebildet ist mit den Schritten: - zur Verfügung stellen der Teile, - Montieren der Teile zu der Ware indem die Teile manuell von einer Person zu der Ware montiert werden, so dass die Teile von Ausgangspositionen manuell zu einer Montagepositionen an der herzustellenden Ware bewegt werden, wobei das Montieren der Teile mit einem Verfahren gemäß einem oder mehrerer der Ansprüche 1 bis 13 überwacht wird.