DE102006048165A1 - Person training and learning progress examining method, involves presenting image information by presentation device, on display unit, where image information representing operational process is filed in database - Google Patents

Person training and learning progress examining method, involves presenting image information by presentation device, on display unit, where image information representing operational process is filed in database Download PDF

Info

Publication number
DE102006048165A1
DE102006048165A1 DE102006048165A DE102006048165A DE102006048165A1 DE 102006048165 A1 DE102006048165 A1 DE 102006048165A1 DE 102006048165 A DE102006048165 A DE 102006048165A DE 102006048165 A DE102006048165 A DE 102006048165A DE 102006048165 A1 DE102006048165 A1 DE 102006048165A1
Authority
DE
Germany
Prior art keywords
image information
database
person
workflow
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102006048165A
Other languages
German (de)
Inventor
Ulrich Dr.-Ing. Kreßel
Lars Dipl.-Inform. Krüger
Werner Progscha
Christian Dr.rer.nat. Wöhler
Franz Prof. Dr. Kummert
Gerhard Prof. Dr. Sagerer
Joachim Dipl.-Inform. Schmidt
Rainer Dr.-Ing. Ott
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102006048165A priority Critical patent/DE102006048165A1/en
Publication of DE102006048165A1 publication Critical patent/DE102006048165A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Image Analysis (AREA)

Abstract

The method involves presenting image information (5) by a presentation device (2), on a display unit (3), by a person (1). The image information representing the operational process is filed in a database (4). The person monitors during the execution of operational process, by an image processing system (6) in association with a fixed camera system (7). The processing system compares the image information with the information filed in the database. If the information collected by the camera system deviates from the information in the database, a signal unit (8,9) informs about this. An independent claim is also included for a device for training a person and examining the learning progress.

Description

Die Erfindung betrifft ein Verfahren zum Training von Personen und zur Überprüfung deren Lernfortschritts und eine zur Durchführung des Verfahrens geeignete Vorrichtung nach den Oberbegriffen der Patentansprüche 1 und 6.The The invention relates to a method for training persons and to check their persons Learning progress and one suitable for carrying out the procedure Device according to the preambles of claims 1 and 6th

Obwohl mittlerweile industrielle Fertigungsprozesse vielfach vollautomatisch ablaufen, werden hochwertige Industriegüter, welche für gewöhnlich wechselnde individuelle Merkmale aufweisen und komplexen Fertigungsschritten unterliegen, häufig noch manuell bearbeitet. Es zeigt sich, dass sich ein Mensch gegenüber einer Maschine zwar wesentlich flexibler und anpassungsfähiger erweist, jedoch bei sich wiederholenden Arbeiten zu Fehlern neigt. Auch ist die Einarbeitung von Personen in komplexe Fertigungsschritte zeitaufwändig. Besondere Problematik stellt sich durch den kurzfristigen und kurzzeitigen Einsatz von Aushilfspersonal, insbesondere von Ferienarbeitskräften, da hier der Schulungsaufwand aus Zeit- und Kostengründen minimiert werden muss.Even though In the meantime industrial production processes are often fully automatic become high quality industrial goods, which usually change have individual characteristics and complex manufacturing steps subject, often still edited manually. It turns out that one person faces one Machine is much more flexible and adaptable, but tends to errors in repetitive work. Also is the incorporation of people into complex production steps is time-consuming. Special Problem arises through the short-term and short-term use of temporary staff, in particular of holiday workers Here the training effort for time and cost reasons must be minimized.

Um das Training von Personal effektiver zu gestalten, schlägt das US-Patent US 5,851,117 A1 vor, die abzuarbeitenden Verfahrensschritte mittels graphischer Illustrationen darzustellen. Der Trainer demonstriert dem Anzuweisenden die auszuführenden Arbeitsschritte und kontrolliert im Anschluss daran die Ausführungen des Angewiesenen. Während dieser Kontrollphase vergleicht der Angewiesene gezielt seine Arbeitsabläufe mit den Illustrationen, um anhand etwaiger Differenzen Fehlausführungen zu identifizieren. Auch kann der Trainer in dieser Kontrollphase hinweisend und korrigierend in den Ausführungen des Angewiesenen eingreifen. Nachteilig an diesem Verfahren wirkt sich nicht nur aus, dass zum Training des Anweisenden ein menschlicher Trainer von Nöten ist, sondern auch, dass nach Abschluss dieses Trainings keine kontinuierliche, qualifizierte Kontrolle der Tätigkeit erfolgt.To make the training of staff more effective, that beats US Pat. No. 5,851,117 A1 to represent the process steps to be processed by means of graphical illustrations. The trainer demonstrates to the assignee the work steps to be performed and subsequently checks the execution of the instructed person. During this control phase, the assigned person deliberately compares his workflows with the illustrations in order to identify misconduct on the basis of any differences. Also, the coach can intervene in this control phase indicative and corrective in the statements of the assigned. The disadvantage of this method not only has the effect of requiring a human trainer to train the instructor, but also of the lack of continuous, qualified control of the activity after completion of this training.

Aufgabe der Erfindung ist es deshalb, ein Verfahren und eine zur Durchführung des Verfahrens geeignete Vorrichtung zu finden, mittels welcher ein Anzuweisender ohne notwendiges Beisein eines menschlichen Trainers in Arbeitabläufe eingelernt werden kann und auch nach Abschluss dieses Trainings einer qualifizierten Kontrolle hinsichtlich der Qualität seines Arbeitsablaufes unterzogen werden kann.task The invention is therefore a method and a for carrying out the Method to find suitable device by means of which an Anweisweisender to be trained into work processes without the necessary presence of a human trainer can and even after completing this training a qualified Subjected to scrutiny regarding the quality of his work process can be.

Die Aufgabe wird durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Patentansprüche 1 und 6 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden durch die Unteransprüche beschrieben.The The object is achieved by a method and a device having the features of the claims 1 and 6 solved. Advantageous embodiments and further developments of the invention will be by the subclaims described.

Zum Training wenigstens einer Person und zur Überprüfung deren Lernfortschritts wird der Person (1) mittels einer Präsentationseinrichtung (2) auf zumindest einer Anzeigeeinheit (3) in einer Datenbank (4) abgelegte, einen Arbeitsablauf darstellende Bildinformation (5) dargeboten. Diesem Training nachfolgend wird die Person (1) mittels eines mit einem Bildverarbeitungssystem (6) in Verbindung stehenden Kamerasystem (7) bei der Ausführung des Arbeitsablaufs beobachtet. Hierbei vergleicht das Bildverarbeitungssystem (6) die von dem Kamerasystem erfasste Bildinformation mit der zu dem Arbeitsablauf in der Datenbank (4) abgelegten Information. Wenn ein Vergleich ergibt, dass die von dem Kamerasystem erfasste Bildinformation über ein bestimmtes Maß von der in der Datenbank (4) abgelegten Bildinformation abweicht, wird hierüber mittels Signalmitteln (8, 9), insbesondere optische Leuchtmittel (9) oder Lautsprecher bzw. Hupen (8) informiert.To train at least one person and to check their learning progress, the person ( 1 ) by means of a presentation device ( 2 ) on at least one display unit ( 3 ) in a database ( 4 ), a workflow representing image information ( 5 ). Following this training, the person ( 1 ) by means of an image processing system ( 6 ) related camera system ( 7 ) observed during execution of the workflow. Here, the image processing system compares ( 6 ) the image information acquired by the camera system with the information on the workflow in the database ( 4 ) stored information. If a comparison shows that the image information acquired by the camera system exceeds a certain degree of that in the database ( 4 ) deviates from stored image information, this is by means of signal means ( 8th . 9 ), in particular optical illuminants ( 9 ) or speakers or horns ( 8th ).

In besonders vorteilhafter Weise wird durch die Erfindung die Möglichkeit gegeben, Personen für die Durchführung neu zu erlernender Arbeitsabläufe zu trainieren und bei der Durchführung automatisiert zu überwachen, ohne auf professionelles Trainingspersonal zurückgreifen zu müssen. Eine Überprüfung/Überwachung des Arbeitsablaufs muss hierbei nicht kontinuierlich erfolgen, sondern es ist durch die Erfindung die Möglichkeit geschaffen, auch über größere Zeitabstände verteilt, stichprobenartig die Qualität eines Arbeitsablaufs zu überprüfen und so durch routinemäßiges handeln verursachte Ungenauigkeiten in der Arbeitsausführung aufzudecken.In Particularly advantageous way by the invention, the possibility given, persons for the execution newly learned workflows too train and perform to automatically monitor without resorting to professional training staff. A review / monitoring The workflow does not have to be continuous, but rather It is the possibility by the invention created, too, over distributes larger time intervals, random quality to review a workflow and doing so by routine uncovered inaccuracies in workmanship.

In besonders vorteilhafter Weise handelt es sich bei der der Person (1) dargebotenen Bildinformation um Bildaufnahmen, welche vorab während der Durchführung des Arbeitsablaufes durch eine andere, den Ablauf genau kennende Person aufgenommen worden sind. Sehr wohl ist es aber auch denkbar, dass die Bildinformation mittels einer Computersimulation des Arbeitsablaufes künstlich generiert wurde.In a particularly advantageous manner, the person ( 1 ) presented image information to image recordings, which have been taken in advance during the execution of the workflow by another person who knows the process exactly. However, it is also conceivable that the image information was artificially generated by means of a computer simulation of the work process.

Bei der in der Datenbank abgelegten Bildinformation, mit welcher das Bildverarbeitungssystem (6) die von dem Kamerasystem (7) aufgenommenen Bilddaten vergleicht, kann es sich sehr wohl um zuvor transformierte Bilddaten handeln. Hierzu eignet sich insbesondere eine Hauptachsentransformation. Auf diese Weise wird der für die Datenbank benötigte Speicherplatz minimiert und der Verarbeitungsaufwand auf Grund der reduzierten Datenmenge, optimiert. In diesem Sinne wäre es dann auch denkbar, dass die Datenbank (4) sowohl reale oder damit ähnliche synthetische Bilddaten (5) enthält, welche sich zur Anzeige mittels der Präsentationseinrichtung (2) eignen, als auch transformierte Bilddaten enthält, welche sich besonders gut im Rahmen eines Vergleichs durch das Bildverarbeitungssystem (6) mit den von dem Kamerasystem (7) erfassten Bilddaten eignet.In the image information stored in the database, with which the image processing system ( 6 ) from the camera system ( 7 ) compares recorded image data, it may very well be previously transformed image data. In particular, a main axis transformation is suitable for this purpose. In this way, the storage space required for the database is minimized and the processing effort is optimized due to the reduced amount of data. In this sense, it would also be conceivable that the database ( 4 ) both real or similar synthetic image data ( 5 ), which are for display by means of the presentation device ( 2 ), as well as contains transformed image data, which are particularly well in the context of a comparison by the image processing system ( 6 ) With that of the camera system ( 7 ) is suitable.

Nachfolgend wird die Erfindung unter Zuhilfenahme einer Figur im Detail erläutert. Dabei zeigt die Figur die Datenbank (4) als zentrales Element. Hierauf greift zum einen die Trainingseinheit (20), umfassend insbesondere die Präsentationseinrichtung (2) und die daran angeschlossenen Anzeige- und Bedienelemente (3, 10), als auch die Überwachungseinheit (30), umfassend insbesondere das Bildverarbeitungssystem (6) und die damit verbundenen Signalisierungs- und Anzeigemittel (8, 9, 12) sowie das Kamerasystem (7), zu.The invention will be explained in detail below with the aid of a figure. The figure shows the database ( 4 ) as a central element. On the one hand the training unit ( 20 ), comprising in particular the presentation device ( 2 ) and the display and control elements ( 3 . 10 ), as well as the monitoring unit ( 30 ), comprising in particular the image processing system ( 6 ) and the associated signaling and display means ( 8th . 9 . 12 ) as well as the camera system ( 7 ), too.

Selbstverständlich müssen im Rahmen der Realisierung der Erfindung die Trainingseinheit (20) und die Überwachungseinheit (30) nicht kontinuierlich über die Datenbank (4) miteinander verbunden sein, sondern es kann sich sehr wohl auch um unabhängig voneinander arbeitende Einheiten mit jeweils eigenen zugeordneten Speichereinheiten handeln, in welchen Duplikate der Datenbanken abgelegt sind. So ist es auch denkbar eine Trainingseinheit (20) in einem geeigneten Schulungsraum zu installieren und eine Vielzahl von Arbeits plätzen mit einer Mehrzahl von Überwachungseinheiten (30) zu versehen.Of course, in the context of the realization of the invention, the training session ( 20 ) and the monitoring unit ( 30 ) not continuously via the database ( 4 ), but it can very well also be independently operating units each with its own associated memory units in which duplicates of the databases are stored. So it is also conceivable a training session ( 20 ) in a suitable training room and a plurality of workplaces with a plurality of monitoring units ( 30 ) to provide.

In besonders vorteilhafter Weise wird die Präsentationseinrichtung (2) mit einer Eingabeeinheit (10) versehen, mittels der die Wiedergabe der aus der Datenbank (4) stammenden Bildinformation (5) auf der Anzeige (3) gesteuert werden kann. So können beispielsweise gezielt Bildsequenzen ausgewählt und/oder wiederholt abgespielt werden.In a particularly advantageous manner, the presentation device ( 2 ) with an input unit ( 10 ), by means of which the reproduction of data from the database ( 4 ) image information ( 5 ) on the display ( 3 ) can be controlled. Thus, for example, selected image sequences can be selected and / or played repeatedly.

Ebenso vorteilhaft ist es, zur Beeinflussung der Funktionsweise des Bildverarbeitungssystems (6) dieses mit einer Eingabeeinheit (11) zu versehen. Mittels dieser Eingabeeinheit kann beispielsweise die Art und Weise der Signalisierung von erkannten Abweichungen des Arbeitsablaufes durch die Person (1) festgelegt werden. Auch ist es denkbar, dass mittels dieser Eingabeeinheit (11) auf einer Anzeige (12) Sequenzen von denjenigen Bilddaten wiedergegeben werden, welche die abweichenden Teile des Arbeitsablaufes betreffen. So ist es beispielsweise denkbar, mittels der Eingabeeinheit (11) die Bildverarbeitungseinheit (6) zu veranlassen auf der Anzeigeeinheit (12) Bildinformation anzuzeigen, welche von der Person (1) zu einem Zeitpunkt erfasst wurde, als deren Arbeitsablauf von dem Arbeitsablauf abgewichen ist, der mittels Bildinformation in der Datenbank (4) abgelegt ist. Sehr wohl kann es gewinnbringend sein, mittels der Eingabeeinheit (11) die Bildverarbeitungseinheit (6) zu veranlassen auf der Anzeigeeinheit (12) in der Datenbank (4) abgelegte Bildinformation anzuzeigen, welche mit dem Teil des Arbeitsablaufes korrespondiert, bei welchem die Person (1) von dem in der Datenbank (4) abgelegten Arbeitsablauf abgewichen ist.It is likewise advantageous for influencing the mode of operation of the image processing system ( 6 ) this with an input unit ( 11 ) to provide. By means of this input unit, for example, the manner of signaling of detected deviations of the workflow by the person ( 1 ) be determined. It is also conceivable that by means of this input unit ( 11 ) on a display ( 12 ) Sequences are reproduced from those image data concerning the divergent parts of the workflow. So it is conceivable, for example, by means of the input unit ( 11 ) the image processing unit ( 6 ) on the display unit ( 12 ) Display image information which of the person ( 1 ) was recorded at a point in time when the workflow deviated from the workflow that was created by means of image information in the database ( 4 ) is stored. It may well be profitable to use the input unit ( 11 ) the image processing unit ( 6 ) on the display unit ( 12 ) in the database ( 4 ) stored image information corresponding to the part of the workflow at which the person ( 1 ) from the database ( 4 ) deviated workflow.

In besonders vorteilhafter Weise bietet es sich an das Kamerasystem (7) als multiokulares Kamerasystem zu realisieren. Auf diese Weise wird es möglich zum einen 3-dimensionale Bildinformation der beobachteten Person zu erfassen und auch für den Fall teilweiser Überdeckungen im Rahmen des Arbeitsablaufes redundante Bilddaten zu erfassen.In a particularly advantageous manner, it offers itself to the camera system ( 7 ) as a multi-eyed camera system. In this way, it is possible for a 3-dimensional image information of the observed person to capture and also for the case of partial overlaps in the context of the workflow to capture redundant image data.

Besonders gewinnbringend ist es, wenn die von dem Kamerasystem erfassten Bilddaten hinsichtlich der Abbildung einer Person untersucht werden, und dann, wenn eine Person in den Bilddaten detektiert wurde, dieser Personen-Hypothese ein artikuliertes, virtuelles 3D-Modell des menschlichen Körpers angepasst wird. Nachfolgend wird dieses virtuelle Körpermodell fortlaufend an das Bewegungsverhalten der in den Bilddaten detektierten Person angepasst.Especially it is profitable if the image data captured by the camera system be examined with regard to the image of a person, and then, if a person was detected in the image data, this person hypothesis adapted an articulated, virtual 3D model of the human body becomes. Subsequently, this virtual body model is continuously updated to the Movement behavior of the person detected in the image data adjusted.

In besonders vorteilhafter Weise erfolgt diese Erstellung des 3D-Models der Person auf Basis von 3D-Punktdaten. Diese Punktdaten können durch multiokulare Bildanalyse, insbesondere auch Stereobildanalyse, erstellt werden. Beispielsweise können durch den Einsatz eines auf raumzeitlichen Merkmalen basierenden Stereo-Verfahrens Informationen für jeden 3D-Punkt im Raum gewonnen werden, die über dessen Ortskoordinaten (x, y, z) hinausgehen; so beispielsweise dessen Geschwindigkeit oder Beschleunigung. Ein derartiges Verfahren wird beispielsweise in der nachveröffentlichten deutschen Patentanmeldung DE 10 2006 01 35 98.9 beschrieben. Die Segmentierung einer Mehrzahl von 3D-Punktdaten (3D-Punktwolke) erfolgt gewinnbringend mittels eines Clusterverfahrens, insbesondere mittels agglomerativem Clustering. Für jeden extrahierten Cluster von 3D-Punkten wird anschließend die konvexe Hülle bestimmt. Zur Detektion von Personen werden für jeden Cluster zunächst einfache Merkmale, insbesondere dessen Höhe oder Vo lumen, bestimmt. Auf diese Weise lassen sich sodann, insbesondere ausgehend von a-priori Wissen über die Eigenschaften einer natürlichen Person, ungültige, nicht sinnvolle Cluster verwerfen. Auf gewinnbringende Weise wird es so möglich, benachbarte Cluster zu Personen zusammenzufassen, wenn die einzelnen Cluster nicht überlappen und für das resultierende Gesamtobjekt die entsprechenden Beschränkungen hinsichtlich Form und Größe eingehalten werden.In a particularly advantageous manner, this creation of the 3D model of the person is based on 3D point data. These point data can be created by multi-image analysis, in particular stereo image analysis. For example, by using a stereo method based on spatiotemporal features, information can be obtained for each 3D point in space beyond its location coordinates (x, y, z); such as its speed or acceleration. Such a method is described for example in the post-published German patent application DE 10 2006 01 35 98.9 described. The segmentation of a plurality of 3D point data (3D point cloud) takes place profitably by means of a cluster method, in particular by means of agglomerative clustering. For each extracted cluster of 3D points, the convex hull is then determined. For the detection of persons, first simple features, in particular their height or volume, are determined for each cluster. In this way, invalid, meaningless clusters can then be rejected, in particular on the basis of a priori knowledge about the properties of a natural person. In a profitable way, it becomes possible to group neighboring clusters into individuals if the individual clusters do not overlap and the corresponding overall object is subject to the appropriate restrictions on shape and size.

Im vorangegangenen Schritt unnötigerweise ausgeschlossene 3D-Punkte, insbesondere Fußpunkte in der Nähe des Bodens oder Kontaktpunkte mit anderen Objekten, werden vorzugsweise wieder hinzugenommen. Ergebnis dieses ersten Verarbeitungsschritts sind die Personen in der Szene, dargestellt als konvexe Hüllen der sie repräsentierenden Cluster. Über die Zeit lässt sich die so detektierte Person vorteilhafterweise durch Tracking der auf den Boden projizierten konvexen Hülle, welche ein 2D-Polygon ergibt, mittels linearer Prädiktion und Kalman-Filterung verfolgen.In the previous step unnecessarily excluded 3D points, in particular foot points near the ground or contact points with other objects, are preferably added again. The result of this first processing step are the persons in the scene, represented as convex hulls of those representing them Cluster. Over time, the person thus detected can advantageously be tracked by tracking the convex hull projected onto the ground, yielding a 2D polygon, by linear prediction and Kalman filtering.

An die so gefundenen Personenhypothesen kann in gewinnbringender Weise ein artikuliertes 3D-Modell des menschlichen Körpers angepasst werden. Vorteilhaft ist es dabei, die Körperteile durch miteinander verbundene Zylinder zu modellieren. Die Postur der Person wird in diesem Modell als Vektor der Gelenkwinkel des Modells gegeben. Die Bewertung einer Postur erfolgt vorzugsweise durch Bestimmung der Abweichung zwischen den aus der 3D-Punktewolke und den Bildern der Szene abgeleiteten Merkmalen und dem Aussehen des Modells bei gegebener Postur, wodurch sich eine Wahrscheinlichkeit dafür ermitteln lässt, dass die gegebene Postur die gemessene Form der Person wiedergibt. Als probabilistischer Ansatz zur Exploration des Suchraums eignet sich besonders ein ,Kernel based Particle Filter', wie beispielsweise beschrieben durch Chang et. al (C. Chang, R. Ansari, A. Khokhar. Multiple object tracking with kernel particle filter. IEEE Int. Conf. an Computer Vision and Pattern Recognition, Vol. 1, S. 566-573, 2005) .To the hypotheses thus found can be profitably adapted to an articulated 3D model of the human body. It is advantageous to model the body parts by interconnected cylinder. The posture of the person is given in this model as a vector of the joint angle of the model. The evaluation of a posture is preferably done by determining the divergence between the features derived from the 3D point cloud and the images of the scene and the appearance of the model at a given posture, thereby determining a likelihood that the given posture will be the measured shape of the person reproduces. As a probabilistic approach to exploration of the search space is particularly suitable Kernel based Particle Filter, as described by Chang et. Chang Chang, R. Ansari, A. Khokhar, Multiple Object Tracking with Kernel Particle Filters, IEEE Int. Conf. on Computer Vision and Pattern Recognition, Vol. 1, pp. 566-573, 2005). ,

Gewinnbringend werden die detektierten Bewegungen der Körperteile durch Motion-Templates dargestellt. Dabei handelt es sich bei derartigen Motion-Templates um durch 3D-Vermessung typischer menschlicher Bewegungsabläufe erhaltene repräsentative Bewegungsmuster, die den Raum möglicher Gelenkwinkel und Gelenkwinkelgeschwindigkeiten des Personenmodells eingrenzen. Auf diese Weise wird eine in biologischem Sinne realistische Extrapolation der Bewegungen der Person möglich, insbesondere mit dem Ziel der Erkennung einer drohenden Kollision zwischen Mensch und Maschine. Ein Bewegungsvorgang kann hierbei als ein zusammengesetzter Ablauf von Bewegungsphasen angesehen werden.profitably The detected movements of the body parts are represented by motion templates. Such motion templates are by 3D measurement typical human movements received representative Movement patterns that make the space more possible Joint angle and joint angular velocities of the person model enclose. In this way, a biologically realistic Extrapolation of the movements of the person possible, especially with the Aim of the detection of an impending collision between humans and Machine. A movement process can be used as a composite Sequence of movement phases are viewed.

Claims (11)

Verfahren zum Training wenigstens einer Person und zur Überprüfung deren Lernfortschritts, bei welchem der Person (1) mittels einer Präsentationseinrichtung (2) auf zumindest einer Anzeigeeinheit (3) in einer Datenbank (4) abgelegte, einen Arbeitsablauf darstellende Bildinformation (5) dargeboten werden, und bei welchem nachfolgend diese Person (1) mittels eines mit einem Bildverarbeitungssystem (6) in Verbindung stehenden Kamerasystems (7) bei der Ausführung des Arbeitsablaufs beobachtet wird, wobei das Bildverarbeitungssystem (6) die von dem Kamerasystem erfasste Bildinformation mit der zu dem Arbeitsablauf in der Datenbank (4) abgelegten Information vergleicht, und wobei dann, wenn der Vergleich ergibt, dass die von dem Kamerasystem erfasste Bildinformation über ein bestimmtes Maß von der in der Datenbank (4) abgelegten Bildinformation abweicht, hierüber mittels Signalmitteln (8, 9) informiert wird.Method for training at least one person and for checking their learning progress, in which the person ( 1 ) by means of a presentation device ( 2 ) on at least one display unit ( 3 ) in a database ( 4 ), a workflow representing image information ( 5 ) and in which subsequently this person ( 1 ) by means of an image processing system ( 6 ) related camera system ( 7 ) is observed in the execution of the workflow, the image processing system ( 6 ) the image information acquired by the camera system with the information on the workflow in the database ( 4 ) and when the comparison shows that the image information captured by the camera system exceeds a certain degree of that in the database ( 4 ) deviates from stored image information, by means of signal means ( 8th . 9 ) is informed. Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass mittels einer Eingabeeinheit (10) die Wiedergabe der Bildinformation durch die Präsentationseinrichtung (2) gesteuert wird.Method according to claim 1, characterized in that by means of an input unit ( 10 ) the reproduction of the image information by the presentation device ( 2 ) is controlled. Verfahren nach einem der vorhergehenden Patentansprüche dadurch gekennzeichnet, dass mittels einer Eingabeeinheit (11) die Funktionsweise des Bildverarbeitungssystems (6) beeinflusst wird.Method according to one of the preceding claims, characterized in that by means of an input unit ( 11 ) the operation of the image processing system ( 6 ) being affected. Verfahren nach Patentanspruch 3, dadurch gekennzeichnet, dass mittels der Eingabeeinheit (11) die Bildverarbeitungseinheit (6) veranlasst wird auf der Anzeigeeinheit (12) Bildinformation anzuzeigen, welche von der Person (1) zu einem Zeitpunkt erfasst wurde, als deren Arbeitsablauf von dem Arbeitsablauf abgewichen ist, der mittels Bildinformation in der Datenbank (4) abgelegt ist.Method according to claim 3, characterized in that by means of the input unit ( 11 ) the image processing unit ( 6 ) is initiated on the display unit ( 12 ) Display image information which of the person ( 1 ) was recorded at a point in time when the workflow deviated from the workflow that was created by means of image information in the database ( 4 ) is stored. Verfahren nach Patentanspruch 3 oder 4, dadurch gekennzeichnet, dass mittels der Eingabeeinheit (11) die Bildverarbeitungseinheit (6) veranlasst wird auf der Anzeigeeinheit (12) in der Datenbank (4) abgelegte Bildinformation anzuzeigen, welche mit dem Teil des Arbeitsablaufes korrespondiert, bei welchem die Person (1) von dem in der Datenbank (4) abgelegten Arbeitsablauf abgewichen ist.Method according to claim 3 or 4, characterized in that by means of the input unit ( 11 ) the image processing unit ( 6 ) is initiated on the display unit ( 12 ) in the database ( 4 ) stored image information corresponding to the part of the workflow at which the person ( 1 ) from the database ( 4 ) deviated workflow. Vorrichtung zum Training wenigstens einer Person und zur Überprüfung deren Lernfortschritts, umfassend eine Präsentationsvorrichtung (2) mit zumindest einer Anzeigeeinheit (3) und mit Verbindung zu einer Datenbank (4) in der einen Arbeitsablauf darstellende Bildinformation (5) abgelegt ist, wobei die Präsentationsvorrichtung so ausgestaltet ist, dass mittels ihr der Person (1) die Bildinformation (5) dargeboten werden kann, umfassend ein Bildverarbeitungssystem (6) das mit wenigstens einem Kamerasystem (7) in Verbindung steht, wobei das Kamerasystem (7) so ausgerichtet ist, dass die Person (1) bei der Ausführung des ihr zuvor mittels der Präsentationseinheit (2) dargebotenen Arbeitsablaufs beobachtet werden kann, wobei das Bildverarbeitungssystem (6) so ausgestaltet ist, dass die von dem Kamerasystem (7) erfasste Bildinformation mit der zu dem Arbeitsablauf in der Datenbank (4) abgelegten Bildinformation (5) verglichen werden kann, und wobei dann, wenn der Vergleich ergibt, dass die von dem Kamerasystem (7) erfasste Bildinformation über ein bestimmtes Maß von der in der Datenbank (4) abgelegten Bildinformation abweicht, hierüber mittels Signalmitteln (8, 9) informiert wird.Device for training at least one person and for checking their learning progress, comprising a presentation device ( 2 ) with at least one display unit ( 3 ) and connected to a database ( 4 ) in the image information ( 5 ), wherein the presentation device is designed such that by means of it the person ( 1 ) the image information ( 5 ), comprising an image processing system ( 6 ) with at least one camera system ( 7 ), the camera system ( 7 ) is oriented so that the person ( 1 ) in the execution of her before by means of the presentation unit ( 2 ) can be observed, the image processing system ( 6 ) is designed so that the of the camera system ( 7 ) recorded image information with the to the workflow in the database ( 4 ) stored image information ( 5 ) and when the comparison reveals that the camera system ( 7 ) captured image information about a certain extent from that in the database ( 4 ) differs stored image information, about this by means of signaling means ( 8th . 9 ) is informed. Vorrichtung nach Patentanspruch 6, dadurch gekennzeichnet, dass die Präsentationseinheit (2) eine Eingabeeinheit (10) umfasst, mittels der die Wiedergabe der Bildinformation gesteuert werden kann.Device according to claim 6, characterized in that the presentation unit ( 2 ) an input unit ( 10 ), by means of which the reproduction of the image information can be controlled. Vorrichtung nach einem der Patentansprüche 6 oder 7, dadurch gekennzeichnet, dass das Bildverarbeitungssystem (6) eine Eingabeeinheit (11) umfasst, mittels der die Funktionsweise des Bildverarbeitungssystems (6) beeinflusst werden kann.Device according to one of the claims 6 or 7 , characterized in that the image processing system ( 6 ) an input unit ( 11 ) by means of which the functioning of the image processing system ( 6 ) can be influenced. Vorrichtung nach Patentanspruch 8, dadurch gekennzeichnet, dass Bildverarbeitungseinheit (6) mit einer Anzeigeeinheit (12) in Verbindung steht, mittels der Bildinformation angezeigt werden kann, welche von der Person (1) zu einem Zeitpunkt erfasst wurde, als deren Arbeitsablauf von dem Arbeitsablauf abgewichen ist, der mittels Bildinformation in der Datenbank (4) abgelegt ist, und/oder mittels der Bildinformation angezeigt werden kann, welche mit dem Teil des Arbeitsablaufes korrespondiert, bei welchem die Person (1) von dem mittels Bildinformation in der Datenbank (4) abgelegten Arbeitsablauf abgewichen ist.Device according to claim 8, characterized in that the image processing unit ( 6 ) with a display unit ( 12 ), by means of which image information can be displayed which of the person ( 1 ) was recorded at a point in time when the workflow deviated from the workflow that was created by means of image information in the database ( 4 ) and / or can be displayed by means of the image information which corresponds to the part of the workflow at which the person ( 1 ) of which by means of image information in the database ( 4 ) deviated workflow. Vorrichtung nach einem der Patentansprüche 6 bis 9, dadurch gekennzeichnet, dass die in der Datenbank (4) abgelegte Bildinformation Kamerabildaufnahmen und/oder einer Computersimulation entstammt.Device according to one of the claims 6 to 9, characterized in that in the database ( 4 ) stored image information camera images and / or a computer simulation comes from. Vorrichtung nach einem der Patentansprüche 10, dadurch gekennzeichnet, dass die in der Datenbank (4) abgelegte Bildinformation neben Bilddaten (5) auch Bildinformation umfasst, welche durch Transformation, insbesondere einer Hauptachsentransformation, der Bilddaten (5) gewonnen wurde.Device according to one of the claims 10, characterized in that in the database ( 4 ) stored image information next to image data ( 5 ) also comprises image information which, by transformation, in particular a main axis transformation, of the image data ( 5 ) was won.
DE102006048165A 2006-08-02 2006-10-10 Person training and learning progress examining method, involves presenting image information by presentation device, on display unit, where image information representing operational process is filed in database Withdrawn DE102006048165A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102006048165A DE102006048165A1 (en) 2006-08-02 2006-10-10 Person training and learning progress examining method, involves presenting image information by presentation device, on display unit, where image information representing operational process is filed in database

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006036398 2006-08-02
DE102006036398.1 2006-08-02
DE102006048165A DE102006048165A1 (en) 2006-08-02 2006-10-10 Person training and learning progress examining method, involves presenting image information by presentation device, on display unit, where image information representing operational process is filed in database

Publications (1)

Publication Number Publication Date
DE102006048165A1 true DE102006048165A1 (en) 2008-01-17

Family

ID=38825385

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006048165A Withdrawn DE102006048165A1 (en) 2006-08-02 2006-10-10 Person training and learning progress examining method, involves presenting image information by presentation device, on display unit, where image information representing operational process is filed in database

Country Status (1)

Country Link
DE (1) DE102006048165A1 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622918A (en) * 2012-02-23 2012-08-01 广州亚普机电设备科技有限公司 Wireless assessment measuring tool and wireless measuring tool using skill assessment system
WO2015068018A1 (en) * 2013-11-05 2015-05-14 Lincoln Global, Inc. Virtual reality and real welding training system and method
US9221117B2 (en) 2009-07-08 2015-12-29 Lincoln Global, Inc. System for characterizing manual welding operations
US9230449B2 (en) 2009-07-08 2016-01-05 Lincoln Global, Inc. Welding training system
US9685099B2 (en) 2009-07-08 2017-06-20 Lincoln Global, Inc. System for characterizing manual welding operations
US9773429B2 (en) 2009-07-08 2017-09-26 Lincoln Global, Inc. System and method for manual welder training
US9836987B2 (en) 2014-02-14 2017-12-05 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
US10198962B2 (en) 2013-09-11 2019-02-05 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment
US10475353B2 (en) 2014-09-26 2019-11-12 Lincoln Global, Inc. System for characterizing manual welding operations on pipe and other curved structures
US10473447B2 (en) 2016-11-04 2019-11-12 Lincoln Global, Inc. Magnetic frequency selection for electromagnetic position tracking
US10803770B2 (en) 2008-08-21 2020-10-13 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
US11475792B2 (en) 2018-04-19 2022-10-18 Lincoln Global, Inc. Welding simulator with dual-user configuration
US11557223B2 (en) 2018-04-19 2023-01-17 Lincoln Global, Inc. Modular and reconfigurable chassis for simulated welding training
US20230215294A1 (en) * 2016-01-11 2023-07-06 Illinois Tool Works Inc. Weld Training Systems to Synchronize Weld Data for Presentation

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521513B2 (en) 2008-08-21 2022-12-06 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
US11715388B2 (en) 2008-08-21 2023-08-01 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
US10803770B2 (en) 2008-08-21 2020-10-13 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
US11030920B2 (en) 2008-08-21 2021-06-08 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
US9773429B2 (en) 2009-07-08 2017-09-26 Lincoln Global, Inc. System and method for manual welder training
US9685099B2 (en) 2009-07-08 2017-06-20 Lincoln Global, Inc. System for characterizing manual welding operations
US10522055B2 (en) 2009-07-08 2019-12-31 Lincoln Global, Inc. System for characterizing manual welding operations
US10068495B2 (en) 2009-07-08 2018-09-04 Lincoln Global, Inc. System for characterizing manual welding operations
US10347154B2 (en) 2009-07-08 2019-07-09 Lincoln Global, Inc. System for characterizing manual welding operations
US9230449B2 (en) 2009-07-08 2016-01-05 Lincoln Global, Inc. Welding training system
US9221117B2 (en) 2009-07-08 2015-12-29 Lincoln Global, Inc. System for characterizing manual welding operations
US9269279B2 (en) 2010-12-13 2016-02-23 Lincoln Global, Inc. Welding training system
CN102622918A (en) * 2012-02-23 2012-08-01 广州亚普机电设备科技有限公司 Wireless assessment measuring tool and wireless measuring tool using skill assessment system
US10198962B2 (en) 2013-09-11 2019-02-05 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment
US11100812B2 (en) 2013-11-05 2021-08-24 Lincoln Global, Inc. Virtual reality and real welding training system and method
US10083627B2 (en) 2013-11-05 2018-09-25 Lincoln Global, Inc. Virtual reality and real welding training system and method
WO2015068018A1 (en) * 2013-11-05 2015-05-14 Lincoln Global, Inc. Virtual reality and real welding training system and method
US10720074B2 (en) 2014-02-14 2020-07-21 Lincoln Global, Inc. Welding simulator
US9836987B2 (en) 2014-02-14 2017-12-05 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
US10475353B2 (en) 2014-09-26 2019-11-12 Lincoln Global, Inc. System for characterizing manual welding operations on pipe and other curved structures
US20230215294A1 (en) * 2016-01-11 2023-07-06 Illinois Tool Works Inc. Weld Training Systems to Synchronize Weld Data for Presentation
US12008915B2 (en) * 2016-01-11 2024-06-11 Illinois Tool Works Inc. Weld training systems to synchronize weld data for presentation
US10473447B2 (en) 2016-11-04 2019-11-12 Lincoln Global, Inc. Magnetic frequency selection for electromagnetic position tracking
US11475792B2 (en) 2018-04-19 2022-10-18 Lincoln Global, Inc. Welding simulator with dual-user configuration
US11557223B2 (en) 2018-04-19 2023-01-17 Lincoln Global, Inc. Modular and reconfigurable chassis for simulated welding training

Similar Documents

Publication Publication Date Title
DE102006048165A1 (en) Person training and learning progress examining method, involves presenting image information by presentation device, on display unit, where image information representing operational process is filed in database
DE102017008475B4 (en) MACHINE LEARNING DEVICE, ROBOT SYSTEM AND MACHINE LEARNING METHOD FOR LEARNING A ROBOT OPERATING PROGRAM
EP1061851B1 (en) Method and device for evaluating an kinetic pattern
DE102004007829B4 (en) Method for determining areas to be inspected
DE69919157T2 (en) INTERACTIVE AND COMPUTER ASSISTED SURGICAL SYSTEM
DE69730811T2 (en) Plant for image recognition
DE112018002822T5 (en) CLASSIFY NEURONAL NETWORKS
DE102016204225B3 (en) Method for automatic recognition of anatomical landmarks and device
DE102014213408B4 (en) Method for determining a three-dimensional model data set of a blood vessel system comprising at least one vessel segment
DE112008001625T5 (en) Training method and apparatus for carrying out the method
DE102005011126A1 (en) Generation of virtual worlds based on a real environment
DE112017005640T5 (en) Information processing apparatus and information processing method
DE102016113138B4 (en) System, in particular magnetic resonance system, for generating images
DE19713636A1 (en) Breath simulator
EP3441977A1 (en) Method and system for supporting medical personnel
Sharma et al. Multi-modal learning from video, eye tracking, and pupillometry for operator skill characterization in clinical fetal ultrasound
DE4131556C2 (en) Process for determining carcase halves by image processing
DE112017007247B4 (en) IMAGE PROCESSING DEVICE
DE102006032990A1 (en) Vessel axis spatial distribution determining method, involves interactively marking vessel axis in sequence of planar tomograms or images by marking points, and obtaining three-dimensional distribution of vessel axis by joining points
DE4109345C2 (en)
DE102012005880A1 (en) Method for designing production environment e.g. workstation, involves recording sequence of movements of worker during production of performing action and evaluating sequence of movements of predetermined criterion
EP1378851A1 (en) Method and system for choosing a training program as part of a therapy plan
DE102009006765B4 (en) Method for controlling an image output device, method for determining tangential sectional planes, control module and sectional plane determination unit
DE102010049498A1 (en) Physiotherapeutic inspection process for monitoring and correcting body attitudes of person, involves outputting correction information for varying movement or attitude of defined body part based on difference between data
DE102020121937A1 (en) Method for the computer-implemented simulation of a virtual hand

Legal Events

Date Code Title Description
OAV Applicant agreed to the publication of the unexamined application as to paragraph 31 lit. 2 z1
R012 Request for examination validly filed

Effective date: 20131010

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140501