DE102010012340B4

DE102010012340B4 - Verfahren zum Erfassen der Bewegung eines Menschen in einem Fertigungsprozess, insbesondere in einem Fertigungsprozess für ein Kraftfahrzeug

Info

Publication number: DE102010012340B4
Application number: DE102010012340.4A
Authority: DE
Inventors: Christian Bade; Andreas Hoffmeyer; Fabian Doil; Dr.-Ing. Busche Cord
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2010-02-27
Filing date: 2010-03-23
Publication date: 2023-10-19
Anticipated expiration: 2030-03-24
Also published as: DE102010012340A1

Abstract

Verfahren zum Erfassen einer Bewegung eines Menschen in einem Fertigungsprozess, insbesondere in einem Fertigungsprozess für ein Kraftfahrzeug, wobei ein Proband (30) mit n Markern (10.1, 10.2, ... , 10.n) und mit m Inertialsensoren (12.1, 12.2, ..., 12.m) ausgestattet wird, wobei mittels zumindest zweier Kameras (11.1, 11.2, ... , 11.q) jeweils ein Bild des Probanden (30) aufgenommen wird, wobei aus den Bildern der zumindest zwei Kameras (11.1, 11.2, ... , 11.q) die Position von zumindest p der m Inertialsensoren (12.1, 12.2, ... , 12.m) ermittelt wird, und wobei in Abhängigkeit der ermittelten Position der p Inertialsensoren (12.1, 12.2, ... , 12.m) und deren Inertialsensor-Ausgangssignale zumindest ein Driftkorrekturwert (korr) gebildet wird,wobei ein Ausgangssignal gebildet wird, das die ermittelte Position der p Inertialsensoren (12.1, 12.2, ... , 12.m) sowie die Positionen weiterer der m und/oder der übrigen m-p Inertialsensoren (12.1, 12.2, ..., 12.m) umfasst,wobei die Inertialsensor-Ausgangssignale der weiteren m und/oder der übrigen m-p Inertialsensoren (12.1, 12.2, ... , 12.m) mittels des Driftkorrekturwertes korrigiert werden, und wobei die Bewegung eines Menschen in einem Fertigungsprozess in Abhängigkeit des Ausgangssignals mittels eines mathematischen Menschenmodells beurteilt und angepasst wird.

Description

Die Erfindung betrifft ein Verfahren zum Erfassen der Bewegung eines Menschen in einem Fertigungsprozess, insbesondere in einem Fertigungsprozess für ein Kraftfahrzeug. Die Erfindung betrifft insbesondere sogenanntes Motion Capturing.
Simulationsmodelle zur Abbildung menschlicher Bewegungen werden unter hohem manuellen Aufwand erstellt, da die menschliche Arbeit den komplizierteren Teil der Planung mit vielen Freiheitsgraden darstellt und im Prinzip unendlich variabel ist. Sie ist ergonomisch durchsetzt und oft schwer fassbar und konkretisierbar. Die in den Planungstools der Digitalen Fabrik zur Verfügung stehenden Menschmodelle (em-Human, DELMIA Human Task Simulation) legen ihren Fokus auf die Planung und Visualisierung von menschlichen Arbeitsabläufen nach ästhetischen Gesichtspunkten und Animations-Skalierung auf vorberechnete Vorgabezeiten. Weiterhin erfolgt eine vereinfachte Bewegungsgenerierung ohne wissenschaftliche Durchdringung, und ergonomische und biomechanische Aspekte werden aktuell nur in rudimentärer Form berücksichtigt
Mit dem auf der Internetseite www.tu-chemnitz.de/ifm/produktehtml/DYNAMICUS_MoCaSim.html beschriebenen Produkt MoCaShn (Bewegungsanalyse für Motion Capture Systeme) kann eine automatische Analyse von menschlichen Bewegungsvorgängen durchgeführt werden. Grundlage sind dabei Raum-Trajektorion von probandenfesten Markern, generiert von Motion Capture Systemen. Von MoCaSim werden Methoden zur Beurteilung und Glättung dieser Trajektorien bereitgestellt. Unter Verwendung einer neben der zu analysierenden Bewegung erfassten Referenzhaltung sowie Masse, Körperhöhe und Geschlecht des Probanden wird ein komplettes probandenspezifisches Anthropometrie-Datenset inklusive der Lagen den Gelenkzentren und Gelenkachsen ermittelt. Die bereitgestellte Bewegung wird mit dem auf den Internetseiten www.tu-chemnitz.de/ifm/produktehtml/alaskaDYNAMICUS.html und www.tu-chemnitz.de/ifm/produkte-medien/alaskaDYNAMICUS.pdf beschriebenen Produkt DYNAMICUS simuliert und visualisiert.
Die DE 10 2004 051 600 B4 offenbart ein Verfahren zur periodischen Bestimmung der Position eines Objekts, insbesondere einer Person oder eines Körperteils einer Person, bei welchem mindestens zwei Positions-Zwischenergebnisse, die sich hinsichtlich ihrer Aktualisierungsrate und hinsichtlich ihrer Genauigkeit unterscheiden, jeweils periodisch errechnet werden, bei welchem die zur Berechnung eines Positions-Zwischenergebnisses dienenden Messdaten jeweils von einem Positionsaufnehmer mit einer Aktualisierungsrate größer oder gleich der Aktualisierungsrate des Positions-Zwischenergebnisses aufgenommen, gegebenenfalls vorverarbeitet und zur Auswertung an eine Recheneinheit übertragen werden, und bei welchem aus den mindestens zwei Positions-Zwischenergebnissen ein Positions-Endergebnis errechnet wird, dessen Aktualisierungsrate größer ist als die kleinere der Aktualisierungsraten der beiden Positions-Zwischenergebnisse. Dabei ist vorgesehen, dass die Berechnung eines ersten Positions-Zwischenergebnisses in einer tragbaren ersten Recheneinheit durchgeführt wird, die Berechnung eines zweiten Positions-Zwischenergebnisses mit kleinerer Aktualisierungsrate in einer stationären zweiten Recheneinheit durchgeführt wird, das zweite Positions-Zwischenergebnis von der zweiten Recheneinheit an die erste Recheneinheit übertragen wird und das Positions-Endergebnis in der ersten Recheneinheit errechnet wird.
Die DE 10 2005 045 973 A1 offenbart ein Verfahren zur Ermittlung einer Pose mittels optischen Trackings, wobei eine reale Umgebung erfasst wird, wobei Abbilder von einem innerhalb eines Zeitintervalls erfassten Umgebungsbereichs erfasst werden, wobei Bewegungsinformationen durch Auswertung der Abbilder bestimmt werden, wobei die Bewegungsinformationen eine innerhalb des Zeitintervalls geschehene Veränderung der Position eines Objektes innerhalb der Abbilder kennzeichnen.
Die DE 10 2005 058 240 A1 offenbart ein Verfahren zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung sowie ein Augmented-Reality-System mit einem Trackingsystem, wobei Umgebungsverhältnisse des Anwenders mit einem Sensor erfasst und in Abhängigkeit dieser Umgebungsverhältnisse automatisch ein geeignetes Trackingverfahren und ein Konfigurationsdatensatz zu dessen Konfiguration bestimmt werden.
Die US 5 592 401 A offenbart eine Vorrichtung zur Bereitstellung eines Signalwerts in Bezug auf eine Positionsänderung eines beweglichen Objekts entlang eines Pfads, wobei die Vorrichtung mindestens zwei Sensoren umfasst, wobei jeder Sensor eines Paars der Sensoren einen Fehler aufweist, den der andere Sensor nicht teilt, und eine Fähigkeit aufweist, die der andere Sensor nicht teilt, wobei sich die Fehler und Fähigkeiten auf Position und Zeit beziehen.
Es ist Aufgabe der Erfindung, das Erfassen der Bewegung eines Menschen in einem Fertigungsprozess zu verbessern. Es ist eine weitere Aufgabe der Erfindung, Fertigungsprozesse, an denen Menschen beteiligt sind, zu optimieren bzw. zu verbessern. Es ist eine weitere Aufgabe der Erfindung, die Qualität bei der Herstellung von Kraftfahrzeugen zu verbessern. Es ist eine weitere Aufgabe der Erfindung, die Kosten bei der Produktion von Kraftfahrzeugen zu senken.
Vorgenannte Aufgabe wird durch ein Verfahren zum Erfassen der Bewegung eines Menschen in einem Fertigungsprozess, insbesondere in einem Fertigungsprozess für ein Kraftfahrzeuges gemäß Anspruch 1 gelöst, wobei unter anderen vorgesehen ist, dass ein Proband mit n Markern und mit m Inertialsensoren ausgestattet wird, wobei insbesondere vorgesehen ist, dass die relative Position der Inertialsensoren zu der Position der Marker bekannt ist und/oder gespeichert wird, wobei mittels zumindest zweier Kameras jeweils ein Bild des Probanden aufgenommen wird, wobei aus den Bildern der zumindest zwei Kameras die Position von zumindest p der m Inertialsensoren ermittelt wird (wobei insbesondere vorgesehen ist, dass die Position der p Inertialsensoren in Abhängigkeit des Teils der n Marker bestimmt wird, deren Position zuvor bestimmt wurde), und wobei in Abhängigkeit der ermittelten Position der p Inertialsensoren und deren Inertialsensor-Ausgangssignale zumindest ein Driftkorrekturwert gebildet wird. Zudem wird ein Ausgangssignal gebildet, das die Position der p Inertialsensoren sowie die Positionen weiterer der m und/oder der übrigen m-p Inertialsensoren umfasst, wobei die Inertialsensor-Ausgangssignale weiterer der m und/oder der übrigen m-p Inertialsensoren mittels des Driftkorrekturwertes korrigiert werden.
Der Driftkorrekturwert wird insbesondere in Abhängigkeit eines Wertes der ermittelten Position zumindest eines der p Inertialsensoren, eines verzögerten Wertes der ermittelten Position zumindest dieses Inertialsensors, eines Inertialsensor-Ausgangssignals dieses Inertialsensors und/oder eines verzögerten Wertes des Inertialsensor-Ausgangssignals dieses Inertialsensors gebildet.
In weiterhin vorteilhafter Ausgestaltung der Erfindung ist p kleiner als m. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist n kleiner als m. In weiterhin vorteilhafter Ausgestaltung der Erfindung gilt 5 ≤ n ≤ 10. In weiterhin vorteilhafter Ausgestaltung der Erfindung gilt 17 ≤ m.
Vorgenannte Aufgabe wird zudem durch ein Verfahren gemäß Anspruch 6 gelöst.
n, m und p sind natürliche Zahlen.
Ein Inertialsensor im Sinne der Erfindung ist insbesondere ein zur Messung linearer Beschleunigungskräfte und Rotationskräfte dienender Sensor. Ein Inertialsensor im Sinne der Erfindung umfasst insbesondere drei orthogonal angeordnete Beschleunigungssensoren, die lineare Beschleunigungen in orthogonalen Richtungen messen. Ein Inertialsensor im Sinne der Erfindung umfasst insbesondere drei orthogonal angeordnete Drehratensensoren zum Messen der Winkelbeschleunigung um drei orthogonale Achsen.
Kraftfahrzeug im Sinne der Erfindung ist insbesondere ein individuell im Straßenverkehr benutzbares Landfahrzeug. Kraftfahrzeuge im Sinne der Erfindung sind insbesondere nicht auf Landfahrzeuge mit Verbrennungsmotor beschränkt.
Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen:

1 ein Ausführungsbeispiel eines Systems 1 zur Durchführung eines Verfahrens zum Erfassen der Bewegung eines Menschen in einem Fertigungsprozess,
2 eine Anordnung von Kameras zur Erfassung eines Markers,
3 ein Ausführungsbeispiel von Markerpositionen an einem Probanden,
4 die Anordnung von Inertialsensoren an einem Probanden,
5 ein Ausführungsbeispiel einer Maske zur Konfiguration von Inertialsensoren sowie deren Positionierung,
6 ein Ausführungsbeispiel von Ausgangssignalen von Inertialsensoren,
7 ein Ausführungsbeispiel eines Ausgangssignal eines Korrekturmoduls,
8 ein Ausführungsbeispiel eines Ausgangssignals einer Bildauswertungsvorrichtung,
9 ein Ausführungsbeispiel eines Ausgangssignals eines Synthesemoduls,
10 ein Ausführungsbeispiel eines Verfahrens zur Herstellung eines Kraftfahrzeuges und
11 ein Ausführungsbeispiel für eine entsprechende Fertigungsumgebung und deren Simulation unter Anwendung des erfindungsgemäßen Verfahrens.

1 zeigt ein Ausführungsbeispiel eines Systems 1 zur Durchführung eines Verfahrens zum Erfassen der Bewegung eines Menschen in einem Fertigungsprozess. Dabei wird zunächst ein Proband 30, wie beispielhaft in 3 dargestellt, mit Markern 10.1, 10.2, ..., 10.n versehen, wobei die in 3 dargestellten schwarzen Punkte mögliche Markerpositionen bezeichnen. Bei einem üblichen markerbasierten Tracking eines Probanden sind an allen mit den schwarzen Punkten markierten Stellen entsprechende Marker vorgesehen. Das erfindungsgemäße Verfahren kommt jedoch mit deutlich weniger Markern aus. So kann insbesondere vorgesehen sein, dass lediglich n = 5 Marker vorgesehen sind.
Das System 1 umfasst eine Mehrzahl von Kameras 11.1, 11.2, ..., 11.q, insbesondere Infrarotkameras, mittels deren ein Bild des Probanden 30 mit den Markern 10.1, 10.2, ..., 10.n erzeugt wird. Dabei wird die Position eines Markers 10.1 nur dann ausgewertet, wenn dieser, wie beispielhaft in 2 dargestellt, zumindest von zwei Kameras 11.1, 11.2 erfasst wird. Den Kameras 11.1, 11.2, ..., 11.n kann jeweils ein Infrarotstrahler zugeordnet sein, mittels dessen eine Infrarotstrahlung ausgesandt wird, wie sie beispielhaft in 2 mit Bezugszeichen 40.1 und 40.2 bezeichnet ist.
Es sind zudem mehrere Inertialsensoren 12.1, 12.2, 12.3, ..., 12.m vorgesehen, mittels derer eine relative Position bzw. Bewegung im Raum gemessen und ausgegeben wird. Diese Inertialsensoren werden, wie beispielhaft in 4 dargestellt, ebenfalls am Probanden 30 angeordnet. 5 zeigt ein Ausführungsbeispiel einer Maske zur Konfiguration von derartigen Inertialsensoren sowie deren Positionierung. Die Ausgangswerte der Inertialsensoren 12.1, 12.2, 12.3, ..., 12.m, also die gemessenen (relativen) Positionen der Inertialsensoren sind, wie in 6 dargestellt, beispielhaft mit Bezugszeichen y1, y2, ..., y17 bezeichnet, wobei ihre Gesamtheit als Y bezeichnet ist.
Die mittels der Inertialsensoren 12.1, 12.2, 12.3, ... , 12.m gemessenen Positionen y1, y2, ... , y17 der Inertialsensoren 12.1, 12.2, 12.3, ... , 12.m werden mittels eines Korrekturmoduls 18 in Abhängigkeit eines Driftkorrekturwertes korr zu einem korrigierten Wert Y_korr der gemessenen Positionen y1, y2, ... , y17 der Inertialsensoren 12.1, 12.2, 12.3, ... , 12.m korrigiert, wobei einzelne oder - wie in 7 dargestellt - alle Werte y1, y2, y3, ..., y17 zu korrigierten Werten y_korr1, y_korr2, y_korr3, ..., y_korr17 korrigiert werden.
Die von den Kameras 11.1, 11.2, ..., 11.q aufgenommenen Bilder werden einer Bildauswertungsvorrichtung 14 zugeführt, die die Position einzelner Inertialsensoren ausgibt. Das Ausgangssignal der Bildauswertungsvorrichtung 14 ist - wie beispielhaft in 8 dargestellt - mit X bezeichnet. In dem in 8 dargestellten Ausführungsbeispiel umfasst das Ausgangssignal X der Bildauswertungsvorrichtung 14 einen mittels der Marker 10.1, 10.2, ..., 10.n ermittelten Wert für die Position des Inertialsensors 12.1, für die Position des Inertialsensors 12.6, für die Position des Inertialsensors 12.9, für die Position des Inertialsensors 12.12 und/oder für die Position des Inertialsensors 12.15. Dabei ist in dem dargestellten Ausführungsbeispiel ein Fall dargestellt, in dem durch Verdeckung der entsprechenden Marker die Position x12 des Inertialsensors 12.12 nicht ermittelt werden konnte, sodass das Ausgangssignal X der Bildauswertungsvorrichtung 14 keine entsprechenden Werte enthält.
Bezugszeichen 15 in 1 bezeichnet ein Verzögerungsglied zur Verzögerung des Ausgangssignals X der Bildauswertungsvorrichtung 14 und Bezugszeichen 17 in 1 bezeichnet ein Verzögerungsglied zur Verzögerung des Ausgangssignals $\bar{Y_k o r r}$
des Korrekturmoduls 18. Dabei ist vorgesehen, dass die Verzögerungsglieder 15 und 17 ihre Eingangssignale um das gleiche Zeitintervall verzögern. In Abhängigkeit der Ausgangssignale der Verzögerungsglieder 15 und 17 sowie des Ausgangssignals X der Bildauswertungsvorrichtung 14 und des Ausgangssignals $\bar{Y_k o r r}$
des Korrekturmoduls 18 ermittelt ein Korrekturblock 16 den Korrekturwert korr.
Bezugszeichen 19 in 1 bezeichnet ein Synthesemodul zur Zusammenfassung des Ausgangssignals X der Bildauswertungsvorrichtung 14 und des Ausgangssignals $\bar{Y_k o r r}$
des Korrekturmoduls 18 zu einem Ausgangssignal Z, wie es beispielhaft in 9 dargestellt ist. Dabei werden in $\bar{Y_k o r r}$
der Wert y_korr1 durch den Wert x1, der Wert y_korr6 durch den Wert x6, der Wert y_korr9 durch den Wert x9 und der Wert y_korr15 durch den Wert x15 ersetzt.
Das Ausgangssignal Z des Synthesemoduls 19 kann als Eingangssignal in ein mathematisches Menschmodell 2 verwendet werden, wie es zum Beispiel das eingangs diskutierte Programm/Produkt MoCaSim darstellt. In Abhängigkeit des Ausgangssignals Z liefert das Menschmodell 2 zum Beispiel Gelenkwinkel, die Orientierung einzelner Körpersegmente im Raum sowie die Position der einzelnen Gelenke.
10 zeigt ein Ausführungsbeispiel eines Verfahrens zur Herstellung eines Kraftfahrzeuges. Dabei wird zunächst in einem Schritt 51 das Ausgangssignal Z für einen Probanden in einer Fertigungsumgebung für ein Kraftfahrzeug erzeugt und aus diesem Ausgangssignal Z mittels eines geeigneten Menschmodells 2 ein Abbild der Bewegung des Probanden erzeugt. Es folgt ein Schritt 52, in dem ein Fertigungsprozess in der Fertigungsumgebung in Abhängigkeit der erfassten menschlichen Bewegung beurteilt und angepasst wird. Anschließend wird mittels des derartig gestalteten Fertigungsprozesses in einem Schritt 53 ein Kraftfahrzeug hergestellt.
11 zeigt ein Ausführungsbeispiel für eine Fertigungsumgebung und deren (grafische) Simulation unter Anwendung des erfindungsgemäßen Verfahrens, wobei ein durch entsprechende Simulation generiertes Bild mit Bezugszeichen 60 bezeichnet ist. Dabei zeigt sich, dass es trotz der teilweisen Verdeckung des Probanden 30 durch eine Fahrzeugkarosserie 31 mittels des erfindungsgemäßen Verfahrens möglich ist, die Bewegung des Probanden 30 vollständig in den virtuellen Fertigungsprozess zu integrieren. Das erfindungsgemäße Verfahren ist daher besonders für Fertigungsprozesse für Kraftfahrzeuge geeignet, bei denen durch ein hohes Maß an Abdeckung durch Kraftfahrzeugteile bzw. Kraftfahrzeugkarosserien die Erfassung einer menschlichen Bewegung sehr schwierig ist.

Claims

Verfahren zum Erfassen einer Bewegung eines Menschen in einem Fertigungsprozess, insbesondere in einem Fertigungsprozess für ein Kraftfahrzeug, wobei ein Proband (30) mit n Markern (10.1, 10.2, ... , 10.n) und mit m Inertialsensoren (12.1, 12.2, ..., 12.m) ausgestattet wird, wobei mittels zumindest zweier Kameras (11.1, 11.2, ... , 11.q) jeweils ein Bild des Probanden (30) aufgenommen wird, wobei aus den Bildern der zumindest zwei Kameras (11.1, 11.2, ... , 11.q) die Position von zumindest p der m Inertialsensoren (12.1, 12.2, ... , 12.m) ermittelt wird, und wobei in Abhängigkeit der ermittelten Position der p Inertialsensoren (12.1, 12.2, ... , 12.m) und deren Inertialsensor-Ausgangssignale zumindest ein Driftkorrekturwert (korr) gebildet wird, wobei ein Ausgangssignal gebildet wird, das die ermittelte Position der p Inertialsensoren (12.1, 12.2, ... , 12.m) sowie die Positionen weiterer der m und/oder der übrigen m-p Inertialsensoren (12.1, 12.2, ..., 12.m) umfasst, wobei die Inertialsensor-Ausgangssignale der weiteren m und/oder der übrigen m-p Inertialsensoren (12.1, 12.2, ... , 12.m) mittels des Driftkorrekturwertes korrigiert werden, und wobei die Bewegung eines Menschen in einem Fertigungsprozess in Abhängigkeit des Ausgangssignals mittels eines mathematischen Menschenmodells beurteilt und angepasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass p kleiner ist als m.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass n kleiner ist als m.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass gilt 5 ≤ n ≤ 10.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass gilt 17 ≤ m.
Verfahren, dadurch gekennzeichnet, dass ein Kraftfahrzeug in Abhängigkeit einer gemäß einem der Ansprüche 1 bis 5 ermittelten Bewegung eines Menschen in diesem Fertigungsprozess hergestellt wird.