DE102013013936A1

DE102013013936A1 - Method and apparatus for designing an interactive production backup environment

Info

Publication number: DE102013013936A1
Application number: DE201310013936
Authority: DE
Inventors: Nestor Andres Arteaga Martin; Helmut Friedrich Schumacher; Michael Prieur; Thomas Baer
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2013-07-26
Filing date: 2013-08-21
Publication date: 2015-01-29

Abstract

Die Erfindung betrifft ein Verfahren zur Gestaltung einer Produktionsabsicherungsumgebung und weist folgende Schritte auf:
a) Bereitstellen einer Anzahl von Bauteilen,
b) Bereitstellen einer virtuellen Repräsentation der Produktionsumgebung (1);
c) Visualisieren der virtuellen Repräsentation;
d) Durchführen zumindest einer Produktionshandlung in der visualisierten Produktionsumgebung (1) durch eine Person (5);
e) Ermitteln eines Bewegungsablaufes der Person (5) und mindestens einer Position des Bauteils (3) während des Durchführens der Produktionshandlung;
f) Erstellen einer virtuellen Repräsentation der Person (5) auf Grundlage des ermittelten Bewegungsablaufes sowie Erstellen einer virtuellen Repräsentation der des zumindest einen Bauteils (3) auf Grundlage der ermittelten Position
g) Integrieren der virtuellen Repräsentation der Person (5) und des zumindest einen Bauteils (3) in die virtuelle Repräsentation der Produktionsumgebung (1);
h) Bewerten des Bewegungsablaufes der Person (5) und der Position des zumindest einen Bauteils (3) nach zumindest einem vorgegebenen Kriterium.
Weiterhin betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.The invention relates to a method for designing a production security environment and comprises the following steps:
a) providing a number of components,
b) providing a virtual representation of the production environment (1);
c) visualizing the virtual representation;
d) performing at least one production action in the visualized production environment (1) by a person (5);
e) determining a movement sequence of the person (5) and at least one position of the component (3) during the performance of the production activity;
f) creating a virtual representation of the person (5) on the basis of the determined motion sequence and creating a virtual representation of the at least one component (3) on the basis of the determined position
g) integrating the virtual representation of the person (5) and the at least one component (3) in the virtual representation of the production environment (1);
h) evaluating the movement sequence of the person (5) and the position of the at least one component (3) according to at least one predetermined criterion.
Furthermore, the invention relates to a device for carrying out the method.

Description

Die Erfindung betrifft ein Verfahren zum Gestalten einer Produktionsabsicherungsumgebung gemäß dem Oberbegriff des Anspruchs 1. Weiterhin betrifft die Erfindung eine Vorrichtung zum Gestalten einer Produktionsabsicherungsumgebung gemäß dem Oberbegriff des Anspruchs 6.The invention relates to a method for designing a production security environment according to the preamble of claim 1. Furthermore, the invention relates to an apparatus for designing a production security environment according to the preamble of claim 6.

Um Produktionsumgebungen, wie beispielsweise Arbeitsstationen, Bänder oder dergleichen in Bezug auf Ergonomie, notwendigen Laufweg von Werkern, Zusammenspiele mehrerer Werker in einer Station und dergleichen, zu optimieren, wird üblicherweise ein realer Prototyp des Arbeitsplatzes mit Modellen zu bearbeitender Werkstücke, verwendeter Regalsysteme, Montagewerkzeuge, Gitterboxen, Fahrzeugprototypen oder dergleichen verwendet. Auch Attrappen für die genannten Bestandteile der Produktionsumgebung können verwendet werden.In order to optimize production environments, such as workstations, belts or the like, in terms of ergonomics, necessary worker walk, interaction of several workers in a station and the like, a real prototype of the workstation will typically be provided with models of workpieces to be machined, shelving systems used, assembly tools, Grid boxes, vehicle prototypes or the like used. Dummies for the mentioned components of the production environment can also be used.

Die Arbeitstätigkeit eines Werkers in einem derartigen Modell einer Produktionsumgebung wird dann von Fachleuten, beispielsweise Logistikplanern, Ergonomieexperten, Montageplanern, Experten für produktionsgerechte Produktgestaltung und dergleichen beobachtet, die auf Grundlage ihrer Beobachtungen Änderungen und Optimierungen der Produktionsumgebung und/oder der Produktionsabläufe etc. vorschlagen. Solche Änderungen, wie beispielsweise eine Änderung in der Anordnung von Ladungsträgern zur Optimierung des Laufwegs des Werkers und dergleichen, können in der Folge im Modell der Arbeitsumgebung nachgestellt und ihre Auswirkungen beobachtet und bewertet werden.The work of a worker in such a production environment model is then observed by those skilled in the art, such as logistics planners, ergonomics experts, assembly planners, product design professionals, and the like, who suggest changes and optimizations of the production environment and / or production processes, etc., based on their observations. Such changes, such as a change in the arrangement of carriers to optimize the worker's travel and the like, can be subsequently recreated in the work environment model and their effects observed and evaluated.

Aus der DE 10 2012 005 880 A1 ist ein Verfahren zum Auslegen einer Umgebung zur Produktionsabsicherung bekannt, bei dem zunächst eine virtuelle Repräsentation der Produktionsumgebung bereitgestellt und in der Folge visualisiert wird. In der visualisierten Produktionsumgebung wird dann durch einen Werker zumindest eine Produktionshandlung durchgeführt und der Bewegungsablauf des Werkers während des Durchführens der Produktionshandlung aufgezeichnet. Auf Basis des aufgezeichneten Bewegungsablaufs erfolgt dann eine Bewertung des Bewegungsablaufs nach zumindest einem vorgegebenen Kriterium.From the DE 10 2012 005 880 A1 A method for designing a production security environment is known in which a virtual representation of the production environment is first provided and visualized in the sequence. In the visualized production environment, at least one production action is then carried out by a worker and the movement of the worker is recorded during the execution of the production action. On the basis of the recorded movement sequence, an evaluation of the sequence of movements then takes place according to at least one predetermined criterion.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren und eine gegenüber dem Stand der Technik verbesserte Vorrichtung zum Gestalten einer solchen Umgebung zur Produktionsabsicherung anzugeben.The invention is based on the object to provide a comparison with the prior art improved method and an improved over the prior art device for designing such an environment for production assurance.

Die Aufgabe wird erfindungsgemäß hinsichtlich des Verfahrens durch die Merkmale des Anspruchs 1 und hinsichtlich der Vorrichtung durch die Merkmale des Anspruchs 6 gelöst.The object is achieved with respect to the method by the features of claim 1 and with respect to the device by the features of claim 6.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

Bei einem Verfahren zum Gestalten einer Produktionsumgebung wird zunächst ein Bauteil bereitgestellt, wobei das Bauteil eine Nachbildung oder Attrappe eines realen Prototypteils darstellt und vorzugsweise ein gegenüber den Prototypteilen ähnliches Gewicht sowie einfachere Form aufweist. Weiterhin wird eine virtuelle Repräsentation der Produktionsumgebung bereitgestellt, wobei die virtuelle Repräsentation der Produktionsumgebung in der Folge visualisiert wird. In der visualisierten Produktionsumgebung wird anschließend zumindest eine Produktionshandlung durch eine Person, z. B. ein Werker, durchgeführt, wobei die Person dazu beispielsweise ein Bauteil in der Hand hält und mit diesem einen bestimmten Bewegungsablauf durchführt.In a method for designing a production environment, a component is first provided, wherein the component is a replica or dummy of a real prototype part and preferably has a weight that is similar to the prototype parts and has a simpler shape. Furthermore, a virtual representation of the production environment is provided, whereby the virtual representation of the production environment is subsequently visualized. In the visualized production environment is then at least one production action by a person, for. As a worker, carried out, the person holds this example, a component in his hand and performs a certain movement with this.

Dieser Bewegungsablauf sowie die dem Bewegungsablauf entsprechenden Position des Bauteils werden daraufhin ermittelt und auf dessen Grundlage eine virtuelle Repräsentation der Person und des Bauteils erstellt. Die virtuellen Repräsentationen der Person und des Bauteils werden anschließend in die visualisierte, virtuelle Repräsentation der Produktionsumgebung integriert. Auf der Basis des ermittelten Bewegungsablaufes und der entsprechenden Positionen des Bauteils erfolgt eine Bewertung des Bewegungsablaufes nach zumindest einem vorgegebenen Kriterium.This movement sequence and the movement of the corresponding position of the component are then determined and created on the basis of a virtual representation of the person and the component. The virtual representations of the person and the component are then integrated into the visualized, virtual representation of the production environment. On the basis of the determined course of motion and the corresponding positions of the component, an evaluation of the sequence of movements takes place according to at least one predetermined criterion.

Das Verfahren ermöglicht eine kostengünstige Planung und Simulation von Montageprozessen in der Fahrzeugentwicklung und Produktionsvorbereitung. Neu gestaltete Produktionsumgebungen können dabei mittels virtuell simulierter und real nachgebildeter Teile des Montageprozesses, auch als „Mixed-Reality” bekannt, getestet und bewertet werden, so dass auf Grundlage der Bewertung vorzunehmende Änderungen besonders einfach und kostengünstig umsetzbar sind.The method enables cost-effective planning and simulation of assembly processes in vehicle development and production preparation. Newly designed production environments can be tested and evaluated by means of virtually simulated and real-modeled parts of the assembly process, also known as "mixed reality", so that changes to be made on the basis of the evaluation can be implemented in a particularly simple and cost-effective manner.

Durch die Ermittlung des Bewegungsablaufs der Person und der entsprechenden Positionen des Bauteils, welches die Person beispielsweise in der Hand hält, wird zudem eine besonders genaue und detaillierte Auswertung des Produktionsprozesses unter Berücksichtigung der Ergonomie in der visualisierten Produktionsumgebung möglich, da bewertende Experten den Bewegungsablauf und das Bauteil mehrfach und aus beliebigen Perspektiven beobachten können. Auf diese Art lassen sich besonders schnell und einfach Verbesserungen am Produktionsprozess durchführen.By determining the movement sequence of the person and the corresponding positions of the component, which holds the person in the hand, for example, a particularly accurate and detailed evaluation of the production process, taking into account the ergonomics in the visualized production environment possible because evaluating experts the movement and the Component can be observed multiple times and from any perspective. In this way, improvements to the production process can be carried out particularly quickly and easily.

Ein Bauteil, also eine Attrappe eines zugehörigen Prototypteils, wird dabei aus mindestens einem Konstruktionselement und/oder Verbindungselement hergestellt, welche Teil eines standardisierten Baukastens sind. Ein Bauteil ist beispielsweise aus einer Anzahl von Plexiglasstäben gebildet, die mit Steckelementen, z. B: ein Durchsteck-Vierkant, miteinander verbunden sind. Auch ist es möglich, ein Bauteil derart herzustellen, so dass dieses eine aus Draht gebildete Außenkontur eines zugehörigen Prototypteils darstellt. A component, ie a dummy of an associated prototype part, is thereby produced from at least one construction element and / or connecting element, which are part of a standardized modular system. A component is formed, for example, of a number of Plexiglas rods, which are provided with plug-in elements, for. B: a push-through square, connected together. It is also possible to produce a component such that it represents an outer contour of an associated prototype part formed from wire.

Vorzugsweise wird jeweils ein Bauteil mit wenigstens einer Markierung versehen, wobei die Markierung erfasst und auf Grundlage der erfassten Markierung die Position und Orientierung des Bauteils in der Produktionsumgebung ermittelt wird. Dies ermöglicht eine besonders präzise Positionsbestimmung des Bauteils. Die Markierung ist dabei so auf einer Oberfläche des Bauteils anzubringen, dass diese weitestgehend aus allen Blickwinkeln erfassbar ist. Damit sind Fehler bei der Ermittlung der Position minimierbar.Preferably, in each case one component is provided with at least one marking, wherein the marking is detected and the position and orientation of the component in the production environment is determined on the basis of the detected marking. This allows a particularly precise position determination of the component. The marking must be affixed to a surface of the component in such a way that it can largely be detected from all viewing angles. This minimizes errors in determining the position.

Eine Vorrichtung zur Durchführung des bereits beschriebenen Verfahrens umfasst einen Baukasten mit einer Anzahl von Konstruktions- und Verbindungselementen zur Herstellung von Bauteilen, zumindest einen Sensor zur Erfassung der Markierung zumindest eines Bauteils wenigstens eine Verarbeitungseinheit eines Bewegungsablaufes der Person (markerlose Motion Capture) und zur Ermittlung der entsprechenden Positionen des Bauteils, sowie mindestens eine Anzeigeeinheit zur Visualisierung der virtuellen Repräsentation der Produktionsumgebung.An apparatus for carrying out the method already described comprises a modular system with a number of construction and connection elements for the production of components, at least one sensor for detecting the marking of at least one component at least one processing unit of a person's motion sequence (markerless motion capture) and for determining the corresponding positions of the component, and at least one display unit for visualizing the virtual representation of the production environment.

Die Projektionseinrichtung besteht vorzugsweise aus mindestens einer Erfassungseinheit, wie z. B. einem sogenannten Kinect Sensor, und aus einem Projektor, welcher die virtuelle Repräsentation der Produktionsumgebung auf die Anzeigeeinheit, z. B. eine Leinwand, projiziert. Die Projektionseinrichtung kann beispielsweise auch zwei Erfassungseinheiten umfassen, wobei eine Erfassungseinheit die Markierung des Bauteils und die andere Erfassungseinheit die Person erfassen kann. Die Verarbeitungseinheit, z. B. ein Computer, ermittelt dann daraus die Position des Bauteils bzw. den entsprechenden Bewegungsablauf der Person.The projection device preferably consists of at least one detection unit, such. B. a so-called Kinect sensor, and a projector, which the virtual representation of the production environment on the display unit, for. As a screen, projected. By way of example, the projection device can also comprise two detection units, wherein one detection unit can detect the marking of the component and the other detection unit can detect the person. The processing unit, for. As a computer, then determines from it the position of the component or the corresponding movement of the person.

Um eine Verdeckung der Person durch ein oder mehrere Bauteile zu verhindern, sind diese wenigstens teilweise aus einem optisch transparenten Material gebildet, so dass eine weitestgehend fehlerfreie Ermittlung eines Bewegungsablaufes der Person beim Durchführen der Produktionshandlung möglich ist.In order to prevent the person from being covered up by one or more components, these are at least partially formed from an optically transparent material, so that a largely error-free determination of a movement sequence of the person when carrying out the production operation is possible.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 schematisch ein Blockdiagramm mit Verfahrensschritten eines Verfahrens zur Gestaltung einer Produktionsumgebung, 1 1 is a schematic block diagram showing process steps of a method for designing a production environment.

2 schematisch eine perspektivische Ansicht einer Erfassungseinheit und eines Bauteils, 2 schematically a perspective view of a detection unit and a component,

3 schematisch eine Draufsicht auf ein Bauteil und ein zugehöriges Prototypteil und 3 schematically a plan view of a component and an associated prototype part and

4 schematisch eine perspektivische Ansicht einer Person in einer Produktionsumgebung mit dem Bauteil gemäß 3. 4 schematically a perspective view of a person in a production environment with the component according to 3 ,

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

1 zeigt ein Blockdiagramm, welches die Verfahrensschritte a) bis h) eines Verfahrens zur Gestaltung einer Produktionsumgebung 1 zeigt. In 2 ist perspektivische Ansicht einer Erfassungseinheit 2 dargestellt, welche ein Bauteil 3 erfasst. 3 zeigt ein weiteres Bauteil 3 in Draufsicht, welches neben einem Prototypteil 4 angeordnet ist, wobei das hier gezeigte Bauteil 3 eine Nachbildung des Prototypteils 4 darstellt. 4 zeigt eine Person 5, im Folgenden als Werker 5 bezeichnet, in der Produktionsumgebung 1 mit dem Bauteil 3 gemäß 3. 1 shows a block diagram showing the process steps a) to h) of a method for designing a production environment 1 shows. In 2 is perspective view of a detection unit 2 represented, which is a component 3 detected. 3 shows another component 3 in plan view, which next to a prototype part 4 is arranged, wherein the component shown here 3 a replica of the prototype part 4 represents. 4 shows a person 5 , hereinafter referred to as a worker 5 referred to in the production environment 1 with the component 3 according to 3 ,

Um die neu zu gestaltende Produktionsumgebung 1, z. B. ein Arbeitsplatz für den Werker 5, für einen Montageprozess zu optimieren, wird gemäß dem Schritt a) ein Baukasten mit einer Anzahl von Konstruktionselementen und Verbindungselementen bereitgestellt, mittels derer Bauteile 3 herstellbar sind. Die Bauteile 3 repräsentieren dabei eine Attrappe eines Prototypteils 4 und weisen eine in Bezug auf das Prototypteil 4 einfachere Form und ein ähnliches Gewicht auf, so dass eine zeit- und kostenoptimierte Nachbildung eines Prototypteils 4 möglich ist. Weiterhin ist mittels der Bauteile 3 eine weitestgehend wirklichkeitsnahe Nachbildung eines Montageprozesses unter Berücksichtigung der Ergonomie möglich. Darüber hinaus unterstützen die Bauteile 3 den Werker 5 bei der Detektion von möglichen Kollisionen, die durch eine Produktionshandlung hervorgerufen werden können.To the newly designed production environment 1 , z. B. a workplace for the worker 5 In order to optimize for an assembly process, according to step a), a construction kit with a number of construction elements and connecting elements is provided, by means of which components 3 can be produced. The components 3 represent a dummy of a prototype part 4 and have one with respect to the prototype part 4 simpler shape and a similar weight, so that a time and cost optimized replica of a prototype part 4 is possible. Furthermore, by means of the components 3 a largely realistic simulation of an assembly process taking into account the ergonomics possible. In addition, the components support 3 the worker 5 in the detection of possible collisions that can be caused by a production action.

Das in 3 dargestellte Bauteil 3 ist als eine Attrappe einer Fondseitenverkleidung dargestellt, wobei zu erkennen ist, dass eine Außenkontur des Bauteils 3 nahezu identisch zu einer Außenkontur des zugehörigen Prototypteils 4 ist. Zur Herstellung dieses Bauteils 3 kann z. B. eine entsprechende Zeichnung des zugehörigen Prototypteils 4 in einem Computer Aided Design-Programm, auch als CAD bekannt, generiert und in einem Maßstab von 1:1 ausgedruckt werden. Daraufhin werden die Drahtelemente zugeschnitten und entsprechend einer in der ausgedruckten Zeichnung dargestellten Außenkontur verformt. Anschließend werden die Drahtelemente mit Hilfe von Befestigungselementen, wie z. B. Klemmen, an den Konstruktions- und/oder Verbindungselementen befestigt.This in 3 illustrated component 3 is shown as a dummy of a rear side panel, wherein it can be seen that an outer contour of the component 3 almost identical to an outer contour of the associated prototype part 4 is. For the production of this component 3 can z. B. a corresponding Drawing of the associated prototype part 4 in a computer aided design program, also known as CAD, generated and printed at a scale of 1: 1. Then the wire elements are cut to size and shaped according to an outer contour shown in the printed drawing. Subsequently, the wire elements by means of fasteners, such. As clamps attached to the construction and / or fasteners.

Der Baukasten ist vorzugsweise ein standardisierter Baukasten, so dass dieser für verschiedene Montageprozesse verwendbar ist und somit Kosten gespart werden können. Ein Montageprozess stellt beispielsweise die Herstellung eines Prototyps in der Fahrzeugtechnik dar.The kit is preferably a standardized kit, so that it can be used for various assembly processes and thus costs can be saved. An assembly process represents, for example, the production of a prototype in vehicle technology.

Die Konstruktionselemente sind beispielsweise Streben aus einem Plexiglasrundmaterial, Aluminiumvierkantrohre oder Drahtgeflechte, mittels derer Außenkonturen realer Prototypteile nachbildbar sind. Als Verbindungselemente sind insbesondere Steckverbindungen, wie z. B. ein Außenvierkantstecker und/oder Flügelschraube, verwendbar. Die Verbindungselemente können zusätzlich mit Magneten ausgestattet sein, so dass die Verbindung der Konstruktionselemente einfach und stabil herstellbar ist.The construction elements are, for example, struts of a Plexiglas round, aluminum square tubes or wire mesh, by means of which the outer contours of real prototype parts can be reproduced. As connecting elements are in particular connectors, such. As an external square and / or thumbscrew used. The connecting elements may additionally be equipped with magnets, so that the connection of the construction elements is simple and stable to produce.

Weiterhin ist es möglich, die Konstruktionselemente an ihren jeweiligen Enden mit Magneten zu versehen, so dass diese ohne zusätzliche Verbindungselemente miteinander verbindbar sind. Ein mögliches Beispiel dafür ist die Attrappe einer Mittelkonsole eines Prototyps, welche mittels eines Drahtgeflechts nachgebildet wird. Die einzelnen Drahtelemente des Drahtgeflechts sind über Vierkantelemente miteinander verbindbar, wobei diese mit Magneten ausgestattet sind, so dass eine stabile Verbindung der Drahtelemente möglich ist. Alternativ oder zusätzlich können die Vierkantelemente mit Flügelschrauben verbunden sein, wobei ein im Bereich der Vierkantelemente angeordneter Teil der Drahtelemente durch diese Flügelschraube geklemmt ist.Furthermore, it is possible to provide the construction elements with magnets at their respective ends so that they can be connected to one another without additional connecting elements. A possible example of this is the dummy of a center console of a prototype, which is simulated by means of a wire mesh. The individual wire elements of the wire mesh can be connected to each other via square elements, which are equipped with magnets, so that a stable connection of the wire elements is possible. Alternatively or additionally, the square elements may be connected with thumbscrews, wherein a arranged in the region of the square elements of the wire elements is clamped by this thumbscrew.

Die Konstruktions- und Verbindungselemente sind zumindest teilweise aus einem optisch transparenten Material gebildet. Dies hat den Vorteil, dass der Teil des Werkers 5, welcher sich in Blickrichtung hinter dem Bauteil 3 befindet, durch dieses nur minimal überdeckt wird. Damit können Fehler bei der Ermittlung eines Bewegungsablaufes des Werkers 5 minimiert werden. Auch mittels eines Bauteils 3 bestehend aus einem Drahtgeflecht können die Überdeckungen minimiert werden, wie es beispielhaft 4 zeigt.The construction and connecting elements are at least partially formed of an optically transparent material. This has the advantage of being the part of the worker 5 , which is in the direction behind the component 3 is covered by this only minimally. This can errors in the determination of a movement of the worker 5 be minimized. Also by means of a component 3 consisting of a wire mesh, the overlaps can be minimized, as it is exemplary 4 shows.

Zur Simulation des realen Gewichts eines Prototypteils 4 sind die aus den Konstruktions- und Verbindungselementen zusammengesetzten Bauteile 3 mit zusätzlichen Gewichten erweiterbar. Als Gewichte können entsprechende Rundstahlelemente mit einer Bohrung verwendet werden, wobei innerhalb der Bohrung vorzugsweise ein Magnet angeordnet ist, welcher stoffschlüssig, z. B. durch Verkleben, mit dem Rundstahlelement verbunden ist. Ein Gewicht wiegt z. B. 200 Gramm oder 500 Gramm. Beispielsweise wird ein Bauteil 3 mit zwei Gewichten mit jeweils 200 Gramm oder mit einem Gewicht mit 500 Gramm versehen. Dabei ist es von Vorteil, wenn ein Gewicht mit 500 Gramm an einem Ende eines Konstruktionselements des entsprechenden Bauteils 3 seitlich angeordnet wird. Weiterhin ist es vorteilhaft, ein Konstruktionselement, dessen Länge mehr als 80 cm beträgt, mit nicht mehr als einem Gewicht mit 200 Gramm zu belasten, da das Konstruktionselement sonst beschädigt und/oder verformt werden kann.To simulate the real weight of a prototype part 4 are the components composed of the construction and connection elements 3 expandable with additional weights. As weights corresponding round steel elements can be used with a bore, wherein within the bore preferably a magnet is arranged, which cohesively, z. B. by gluing, is connected to the round steel element. A weight weighs z. B. 200 grams or 500 grams. For example, a component 3 with two weights of 200 grams each or weighing 500 grams. It is advantageous if a weight of 500 grams at one end of a structural element of the corresponding component 3 is arranged laterally. Furthermore, it is advantageous to load a construction element whose length is more than 80 cm with no more than a weight of 200 grams, since the construction element may otherwise be damaged and / or deformed.

Um im Folgenden eine nahezu korrekte Positionsbestimmung der Bauteile 3 in der Produktionsumgebung 1 zu ermöglichen, werden diese mit entsprechenden Markierungen 6 versehen, wie es beispielhaft in 2 gezeigt ist. Eine Markierung 6 kann jede beliebige Form aufweisen, wobei zur Positionsbestimmung des Bauteils 3 im dreidimensionalen Raum eine asymmetrische Form der Markierung 6 vorteilhaft ist, da so die Position des Bauteils 3 in bis zu 6 Freiheitsgraden möglich ist. Die Markierung 6 ist kraft- und/oder form- und/oder stoffschlüssig mit dem Bauteil 3 verbindbar. Beispielsweise ist die Markierung 6 aus einem flächigen Werkstoff aus Pflanzenfasern gefertigt und mit dem Bauteil 3 verklebt, wobei sich die Farben des Werkstoffs und des Bauteils 3 derart voneinander unterscheiden, dass ein hoher Farbkontrast entsteht. Alternativ oder zusätzlich kann die Markierung 6 auch retroreflektive Partikel aufweisen, welche von der in 2 dargestellten Erfassungseinheit 2 erfassbar sind. Die Erfassungseinheit 2 ist dabei Teil einer nicht dargestellten Projektionseinrichtung.In the following, a nearly correct position determination of the components 3 in the production environment 1 to enable these with appropriate markings 6 provided, as exemplified in 2 is shown. A mark 6 can have any shape, wherein for determining the position of the component 3 in three-dimensional space an asymmetric shape of the mark 6 is advantageous, since so the position of the component 3 in up to 6 degrees of freedom is possible. The mark 6 is non-positive and / or positive and / or cohesive with the component 3 connectable. For example, the mark 6 made of a flat material made of plant fibers and with the component 3 glued, whereby the colors of the material and the component 3 differ from each other so that a high color contrast arises. Alternatively or additionally, the mark 6 also have retroreflective particles which differ from the in 2 illustrated detection unit 2 are detectable. The registration unit 2 is part of a projection device, not shown.

Ein Bauteil 3 kann dabei eine oder mehrere Markierungen 6 aufweisen, wobei im Falle einer Anordnung einer Markierung 6 auf dem Bauteil 3 dieses derart angeordnet ist, dass es aus nahezu jedem Blickwinkel von der Erfassungseinheit 2 erfassbar ist. Damit können Fehler bei der Positionsbestimmung minimiert und eine Berechnung der Position des Bauteils 3 erleichtert werden. Die Markierungen 6 sind dabei sowohl auf den Konstruktionselementen als auch auf den Verbindungselementen des Bauteils 3 anordenbar.A component 3 can have one or more markings 6 wherein, in the case of an arrangement of a mark 6 on the component 3 This is arranged such that it from almost every angle of the detection unit 2 is detectable. This minimizes errors in the position determination and a calculation of the position of the component 3 be relieved. The marks 6 are both on the construction elements as well as on the connecting elements of the component 3 arranged.

Nachdem der oben beschriebene Baukasten bereitgestellt ist, wird gemäß dem Schritt b) im Anschluss ein virtuelles Modell der Produktionsumgebung 1 in einen nicht gezeigten Computer erstellt. Mittels einer ebenfalls nicht gezeigten Bedienkonsole können unterschiedliche Ansichten und Zustände dieses Modells abgerufen und visualisiert werden.After the construction kit described above is provided, according to step b), a virtual model of the production environment is subsequently produced 1 created in a computer, not shown. By means of a likewise not shown Control panel, different views and states of this model can be accessed and visualized.

Soll nun überprüft werden, wie innerhalb der geplanten Produktionsumgebung 1 konkrete Produktionshandlungen vorgenommen werden, beispielsweise um diese in Bezug auf Anzahl der vorzunehmenden Handgriffe, zurückzulegende Wege, Ergonomie der dabei zu bewerkstelligenden Bewegungen oder dergleichen zu optimieren, wird gemäß dem Schritt c) die an der Konsole gewählte Visualisierung der virtuellen Produktionsumgebung 1 mittels der Projektionseinrichtung auf eine nicht gezeigte Anzeigeeinheit, z. B. eine Leinwand, vorzugsweise im Blickfeld des Werkers 5 projiziert.Should now be checked, as within the planned production environment 1 For example, in order to optimize these with respect to the number of handles to be made, paths to be traveled, ergonomics of the movements to be accomplished, or the like, according to step c), the visualization of the virtual production environment selected on the console is performed 1 by means of the projection device on a display unit, not shown, for. As a canvas, preferably in the field of view of the worker 5 projected.

Unterstützend können auch Umrisskonturen von in der virtuellen Produktionsumgebung 1 vorhandenen Geräten, Werkstücken oder dergleichen mittels einer weiteren Projektionsvorrichtung auf einen Bodenbereich um den Werker 5 herum projiziert werden. Der Werker 5 erfährt so ein natürliches Abbild der neu zu gestaltenden Produktionsumgebung 1 und kann in dieser gemäß dem Schritt d) simulierte Produktionshandlungen vornehmen, wobei unterstützend die Bauteile 3 als reale Attrappen verwendet werden. Der Werker 5 hält dabei beispielsweise ein Bauteil 3 zwischen beide Hände und simuliert damit eine Einbauhandlung. Der Werker 5 kann ebenfalls eine Einbauhandlung mit virtuellen Komponenten simulieren.Outline contours can also be supported in the virtual production environment 1 existing equipment, workpieces or the like by means of another projection device on a floor area around the worker 5 be projected around. The worker 5 experiences a natural image of the newly created production environment 1 and may perform in this production actions simulated according to step d), assisting the components 3 to be used as real dummies. The worker 5 For example, it holds a component 3 between both hands, thus simulating a fitting action. The worker 5 can also simulate an installation action with virtual components.

Gemäß dem Schritt e) werden der Werkers 5 sowie das Bauteils 3 in der Produktionsumgebung 1 durch die Erfassungseinheit 2 erfasst. Die Erfassungseinheit 2 ist in 2 beispielhaft als ein sogenannter Kinect-Sensor ausgebildet, welcher eine aus Spielkonsolen bekannte Vorrichtung zur Erfassung dreidimensionaler Bewegungen bekannt ist. Alternativ kann die Erfassungseinheit 2 auch als Videokamera, Laserscanner, Tiefenbildkamera oder Time of Flight Kamera ausgebildet sein. Um den Erfassungsbereich zu erweitern, ist es möglich, mehrere Erfassungseinheiten 2 zu verwenden, wobei eine Erfassungseinheit 2 den Werker 5 und eine andere Erfassungseinheit 2 das Bauteil 3 erfasst.According to step e) the worker 5 as well as the component 3 in the production environment 1 through the detection unit 2 detected. The registration unit 2 is in 2 exemplified as a so-called Kinect sensor, which is known from game consoles known device for detecting three-dimensional movements. Alternatively, the detection unit 2 also be designed as a video camera, laser scanner, depth image camera or time of flight camera. In order to extend the coverage area, it is possible to have multiple acquisition units 2 to use, with a detection unit 2 the worker 5 and another detection unit 2 the component 3 detected.

Um den Bewegungsablauf des Werkers 5 zu erfassen, wird ein optisches Verfahren verwendet. Dabei kann entweder ein auf Markierungen beruhendes oder ein markerloses Verfahren eingesetzt werden.

– Bei dem im vorliegenden Ausführungsbeispiel verwendeten Kinect-System ist der Sensor in der Lage, Menschen zu erkennen und deren Bewegungen zu verfolgen, ohne Markierungen anzuwenden, weil aus dem infraroten Videostream die Position und Bewegungen des Menschen berechnet werden können.
– Alternativ können Standard-Videokameras könnten zum gleichen Zweck angewandt werden, hier werden aber mehrere Kameras benötigt, die den Menschen aus verschiedenen Winkeln aufnehmen.
– Als weitere Alternative können markierungsbasierte Verfahren eingesetzt werden, bei denen am Menschen Markierungen angebracht werden, die Markierungen werden durch Kameras/Bildverarbeitungssysteme erkannt werden. Hierzu können Standard Videokameras oder Time of Flight Kameras verwendet werden.

To the movement of the worker 5 To detect, an optical method is used. Either a marker-based or a markerless method can be used.

In the Kinect system used in the present embodiment, the sensor is able to detect people and track their movements without applying markers because the position and movements of the human can be calculated from the infrared video stream.
- Alternatively, standard video cameras could be used for the same purpose, but here several cameras are needed to pick up people from different angles.
As a further alternative, label-based methods can be used in which markings are applied to humans, the markings are recognized by cameras / image processing systems. For this standard video cameras or Time of Flight cameras can be used.

Die Erfassungseinheit 2 übermittelt die derart erfassten Daten D an die Verarbeitungseinheit.The registration unit 2 transmits the thus acquired data D to the processing unit.

Die Verarbeitungseinheit verwendet zur Ermittlung der den Bewegungen des Werkers 5 entsprechenden Positionen des Bauteils 3 einen Algorithmus, eine Variation eines ICP (Iterative Closest Point) Algorithmus, der es ermöglicht, Punktwolken aneinander anzupassen. Dabei wird in dem Tiefenbild ein Punkteraster gesucht, welches mit einer vorgegebenen Punktwolke nahezu identisch ist. D. h. für das Punktraster und die Punktwolke werden entsprechende Koordinatentransformationen bestimmt, so dass Abstände zwischen dem Punktraster und der Punktwolke minimiert werden. Dazu wird für jeden Punkt aus dem Punktraster der jeweils nächste Punkt, d. h. der „closest point”, aus der Punktwolke bestimmt. Die Summe der Quadrate der Abstände wird durch Anpassung von Transformationsparameter minimiert. Dieser Vorgang geschieht iterativ so lange, bis das Optimum gefunden ist.The processing unit used to determine the movements of the worker 5 corresponding positions of the component 3 an algorithm, a variation of an ICP (Iterative Closest Point) algorithm that allows point clouds to be matched. In this case, a point grid is searched in the depth image, which is almost identical to a given point cloud. Ie. Corresponding coordinate transformations are determined for the dot matrix and the point cloud, so that distances between the dot matrix and the point cloud are minimized. For this purpose, the next point, ie the "closest point", from the point cloud is determined for each point from the dot matrix. The sum of the squares of the distances is minimized by fitting transformation parameters. This process happens iteratively until the optimum is found.

Gemäß dem Schritt f) und Schritt g) werden der so ermittelte Bewegungsablauf des Werkers 5 und die Positionen des Bauteils 3 während des Durchführens einer simulierten Produktionshandlung zusammen mit dem virtuellen Abbild der geplanten Produktionsumgebung 1 in dem Computer gespeichert und können auf der Konsole aus beliebigen Blickwinkeln betrachtet werden, so dass betrachtende Experten ein detailliertes Bild des simulierten Montageprozesses erhalten und gemäß dem Schritt h) den Bewegungsablauf des Werkers 5 und die dazu entsprechenden Positionen des Bauteils 3 in der Produktionsumgebung 1 nach zumindest einem vorgegebenen Kriterium bewerten.According to the step f) and step g), the thus determined movement of the worker 5 and the positions of the component 3 while performing a simulated production action along with the virtual image of the planned production environment 1 stored in the computer and can be viewed on the console from any angle, so that viewing experts receive a detailed picture of the simulated assembly process and according to step h) the movement of the worker 5 and the corresponding positions of the component 3 in the production environment 1 evaluate according to at least one given criterion.

Werden hierbei Probleme erkannt, wie beispielsweise unergonomische Positionen oder Bewegungen des Werkers 5 während der simulierten Produktionshandlung, so kann das Modell der geplanten Produktionsumgebung 1 entsprechend geändert werden und über die Projektionsvorrichtung dem Werker 5 wiederum visualisiert werden, so dass dieser testen kann, wie sich die Veränderung der Produktionsumgebung 1 auf seine Handbewegungen und dergleichen auswirkt.If this problems are detected, such as unergonomic positions or movements of the worker 5 during the simulated production plot, so can the model of the planned production environment 1 be changed accordingly and the projection device to the worker 5 can be visualized in turn, so that this can test how the change in the production environment 1 on his hand movements and the like.

Die Visualisierungen auf der Konsole sowie durch die Projektionsvorrichtung sind dabei synchronisiert, so dass bei Drehungen, Zooms oder dergleichen auf der Konsole die Darstellung auch für den Werker 5 entsprechend geändert wird. The visualizations on the console and by the projection device are synchronized, so that during rotations, zooms or the like on the console, the representation for the worker 5 is changed accordingly.

Der ermittelte Bewegungsablauf des Werkers 5 sowie die Positionen des Bauteils 3 sind zusätzlich in ein CAD-Programm integrierbar. Somit kann die Grundlage für weitere Simulationen, Optimierungen, Kollisionsanalysen und dergleichen gebildet werden, sodass auf kostengünstigste Weise ohne die Notwendigkeit von aufwendigen Prototypen die Planung auch komplexer Fertigungsumgebungen möglich ist.The determined movement of the worker 5 as well as the positions of the component 3 can also be integrated into a CAD program. Thus, the basis for further simulations, optimizations, collision analyzes and the like can be formed so that the planning of even complex manufacturing environments is possible in the most cost-effective manner without the need for elaborate prototypes.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102012005880 A1 [0004]

Claims

Method for designing a production security environment ( 1 ), characterized by the following steps: a) providing at least one component ( 3 b) providing a virtual representation of the production environment ( 1 ); c) visualizing the virtual representation; d) performing at least one production action in the visualized production environment ( 1 ) by a person ( 5 ); e) determining a movement sequence of the person ( 5 ) and the movement sequence corresponding positions of the component ( 3 ) while performing the production action; f) creating a virtual representation of the person ( 5 ) on the basis of the determined course of motion and creation of a virtual representation of the at least one component ( 3 ) based on the determined position g) integrating the virtual representation of the person ( 5 ) and the at least one component ( 3 ) into the virtual representation of the production environment ( 1 ); h) assessing the movement of the person ( 5 ) and the position of the at least one component ( 3 ) according to at least one predetermined criterion.

Method according to claim 1, characterized in that a component ( 3 ) is made of at least one construction element and / or connecting element.

Method according to claim 1 or 2, characterized in that a component ( 3 ) with at least one marker ( 6 ).

Method according to claim 3, characterized in that the marking ( 6 ), based on the detected mark ( 6 ) the position and orientation of the at least one component ( 3 ) in the production environment ( 1 ) is determined.

Apparatus for carrying out the method according to one of claims 1 to 5, comprising a construction kit with a number of construction and connection elements for the production of components ( 3 ), at least one sensor for detecting at least one mark ( 6 ) of a component ( 3 ) and to record ( 6 ) the person ( 5 ), at least one processing unit for determining a movement sequence of the person ( 3 ) and the movement corresponding positions of the component ( 3 ), as well as at least one display unit for visualizing the virtual representation of the production environment ( 1 ).

Apparatus according to claim 6, characterized in that the at least one component ( 3 ) is at least partially formed of an optically transparent material.