DE102023201313A1

DE102023201313A1 - CONTROL OF AN OPTICAL DISPLAY SYSTEM THROUGH MANIPULATION OF PHYSICAL OBJECTS

Info

Publication number: DE102023201313A1
Application number: DE102023201313.4A
Authority: DE
Inventors: Kurt D. Rueb
Original assignee: Virtek Vision International ULC
Current assignee: Virtek Vision International ULC
Priority date: 2022-02-18
Filing date: 2023-02-16
Publication date: 2023-08-24
Also published as: CN116627284A

Abstract

Ein Verfahren und System zum Steuern von Projektion von optischen Anzeigern auf eine Arbeitsoberfläche wird offenbart. Ein Projektionsgerät zum Projizieren eines ersten optischen Anzeigers und eines zweiten optischen Anzeigers auf eine Arbeitsoberfläche wird bereitgestellt. Ein Messsystem überwacht einen Arbeitsbereich, in dem die Arbeitsoberfläche angeordnet ist. Das Messsystem verortet ein Steuerobjekt innerhalb des Arbeitsbereichs und identifiziert eine Markierung, die auf dem Steuerobjekt angeordnet ist. Das Messsystem überwacht eine erste Anordnung und eine zweite Anordnung des Steuerobjekts. Das Projektionsgerät projiziert den ersten optischen Anzeiger auf die Arbeitsoberfläche und das Projektionsgerät projiziert den zweiten optischen Anzeiger auf die Arbeitsoberfläche als Antwort auf Manipulation des Steuerobjekts zwischen der ersten Anordnung und der zweiten Anordnung, wie durch das Messsystem detektiert.A method and system for controlling projection of visual indicators onto a work surface is disclosed. A projection device for projecting a first visual indicator and a second visual indicator onto a work surface is provided. A measurement system monitors a work area in which the work surface is arranged. The measurement system locates a control object within the workspace and identifies a marker placed on the control object. The measurement system monitors a first arrangement and a second arrangement of the control object. The projection device projects the first visual indicator onto the work surface and the projection device projects the second visual indicator onto the work surface in response to manipulation of the control object between the first assembly and the second assembly as detected by the measurement system.

Description

FRÜHERE ANMELDUNGENPREVIOUS REGISTRATION

Die vorliegende Anmeldung beansprucht die Priorität der vorläufigen US-Patentanmeldung Nr. 63/311,690 , die am 18. Februar 2022 eingereicht wurde und deren Inhalt hiermit durch Bezugnahme in vollem Umfang aufgenommen wird.The present application claims the priority of the provisional U.S. Patent Application No. 63/311,690 , filed February 18, 2022, the contents of which are hereby incorporated by reference in their entirety.

TECHNISCHES GEBIETTECHNICAL AREA

Die vorliegende Erfindung bezieht sich allgemein auf ein Verfahren zum Anzeigen von optischen Anzeigern unter Verwendung eines Lichtprojektors. Insbesondere ist die vorliegende Erfindung darauf gerichtet, eine verbesserte Benutzerschnittstelle bereitzustellen, die Steuerung der optischen Anzeiger durch Manipulation von physikalischen Objekten ermöglicht.The present invention relates generally to a method of displaying visual indicators using a light projector. In particular, the present invention is directed to providing an improved user interface that allows control of visual indicators through manipulation of physical objects.

HINTERGRUNDBACKGROUND

Optische Anzeiger werden auf Arbeitsoberflächen projiziert, um eine präzise Platzierung von Teilen zu führen und Merkmale zu verorten, die bei vielen manuellen Montage- oder Herstellungsprozessaufgaben von Interesse sind, wie beispielsweise das Platzieren von vorgeschnittenen Kohlefaserplatten zum Montieren von Flugzeugkomponenten oder das Inspizieren und Korrigieren von Defekten in einer Teiloberfläche oder einer Finishing-Schicht. Typischerweise wird der optische Anzeiger durch Projizieren eines Laserstrahls von einem Paar von rotierenden Galvanometerspiegeln angezeigt, um ein gewünschtes 3D-Musterprofil zu verfolgen, das als Montagehilfe oder Vorlage auf einer Teiloberfläche dient. Wenn mit ausreichender Lasergeschwindigkeit verfolgt wird, erscheint der optische Anzeiger als ein stabiles, flimmerfreies Bild, um die Montage- oder Herstellungsprozessaufgabe zu führen.Visual indicators are projected onto work surfaces to guide precise part placement and locate features of interest in many manual assembly or manufacturing process tasks, such as placing pre-cut carbon fiber sheets for assembling aircraft components or inspecting and correcting defects in a partial surface or a finishing layer. Typically, the visual indicator is displayed by projecting a laser beam from a pair of rotating galvanometer mirrors to trace a desired 3D pattern profile that serves as a mounting aid or template on a part surface. When tracked with sufficient laser speed, the visual indicator appears as a stable, flicker-free image to guide the assembly or manufacturing process task.

Herkömmlicherweise, wie in 1 dargestellt, werden optische Anzeiger, wie beispielsweise lasergescannte Vorlagenmuster, durch einen Laserprojektor 10 erzeugt. Der Laserprojektor 10 wird zu einer Arbeitsoberfläche 12 eines Werkstücks 14 registriert, indem retroreflektierende Ziele 16 an präzise gemessenen Orten auf der Arbeitsoberfläche 12 platziert werden. Die retroreflektierenden Ziele 16 werden durch Spiegel eines Scansystems gescannt, das in dem Laserprojektor 10 enthalten ist, und eine 3D-Position und -Ausrichtung des Projektors 10 wird unter Verwendung eines mathematischen Prozesses berechnet, der allgemein als Resektion bezeichnet wird. Sobald ausgerichtet, werden Vorlagenmuster 17, die verschiedene Prozessschritte oder Teilemerkmale definieren, die dem Werkstück 14 entsprechen, präzise direkt auf die Arbeitsoberfläche 12 projiziert, wie in 2 gezeigt.Conventionally, as in 1 As shown, visual indicators, such as laser scanned master templates, are generated by a laser projector 10 . The laser projector 10 is registered to a work surface 12 of a workpiece 14 by placing retroreflective targets 16 on the work surface 12 at precisely measured locations. The retroreflective targets 16 are scanned by mirrors of a scanning system included in the laser projector 10 and a 3D position and orientation of the projector 10 is calculated using a mathematical process commonly referred to as resection. Once aligned, template patterns 17 defining various process steps or part features corresponding to workpiece 14 are precisely projected directly onto work surface 12, as shown in FIG 2 shown.

Während diese Technik für bestimmte Anwendungen geeignet ist, wie beispielsweise die Herstellung von zusammengesetzten Flugzeugkomponenten, können Ressourcen, die beim Montieren und präzisen Messen von Zielorten auf Teilen oder Werkzeugen involviert sind, für andere Anwendungen ungeeignet sein. Eine schnellere Ausrichtung, Laserprojektion und Bedienerrückmeldung sind notwendig.While this technique is appropriate for certain applications, such as the manufacture of assembled aircraft components, resources involved in assembling and precisely measuring target locations on parts or tooling may be unsuitable for other applications. Faster alignment, laser projection and operator feedback are needed.

Um die Einschränkungen herkömmlicher Laserprojektionssysteme zu überwinden, wurde kamerabasierte Photogrammetrie integriert, um eine direkte Messung eines Orts auf der Teil- oder Werkzeugoberfläche relativ zu dem Projektor zu ermöglichen. Ein solches System, das kamerabasierte Photogrammetrie verwendet, ist in dem US-Patent Nr. 9,200,899 beschrieben, dessen Inhalt hiermit durch Bezugnahme aufgenommen wird. Unter Bezugnahme auf 2 enthält ein Photogrammetriesystem 18 eine oder mehrere Kameras 20, die typischerweise elektronisch mit dem Laserprojektor 10 mittels einer Steuerung oder eines Prozessors integriert sind. Das Photogrammetriesystem 18 misst einen Ort des Werkstücks 14 durch Detektieren retroreflektierender Ziele, Messen von Merkmalen oder Arbeitsoberflächen 12 des Werkstücks 14, Verwenden einer handgehaltenen Sonde 22, Verorten von Mustern, die durch den Laserprojektor 10 projiziert werden, oder Kombinationen davon. Die Ausrichtung des Laserprojektors 10 relativ zu dem Photogrammetriesystem 18 innerhalb eines gemeinsamen dreidimensionalen Koordinatensystems wird dann bestimmt, was genaue Projektion einer Laservorlage oder einer anderen Montagehilfe ermöglicht.To overcome the limitations of traditional laser projection systems, camera-based photogrammetry has been integrated to allow direct measurement of a location on the part or tool surface relative to the projector. One such system using camera-based photogrammetry is in the U.S. Patent No. 9,200,899 described, the content of which is hereby incorporated by reference. With reference to 2 For example, a photogrammetry system 18 includes one or more cameras 20, typically electronically integrated with the laser projector 10 by a controller or processor. The photogrammetry system 18 measures a location of the workpiece 14 by detecting retroreflective targets, measuring features or work surfaces 12 of the workpiece 14, using a hand-held probe 22, locating patterns projected by the laser projector 10, or combinations thereof. The orientation of the laser projector 10 relative to the photogrammetry system 18 within a common three-dimensional coordinate system is then determined, allowing for accurate projection of a laser template or other assembly aid.

Dieser Ansatz wurde weiter in US-Patent Nr. 9,881,383 offenbart, dessen Inhalt hiermit durch Bezugnahme aufgenommen wird, um Orte von Objekten in Echtzeit mit einem Photogrammetriesystem zum Abgleichen eines gemessenen Bewegungspfads der Objekte zu überwachen, während eine optische Vorlage durch einen Laser gescannt wird. Dies ermöglicht es, die optische Vorlage zu einer Objektoberfläche zu registrieren, so dass, wenn ein Bediener das Objekt aufnimmt und manipuliert, um eine Montage- oder Überwachungsaufgabe durchzuführen, es erscheint, als ob die optische Vorlage Teil der Oberfläche des Objekts ist, wodurch ein hohes Maß an Verwendbarkeit für Montage- oder Überwachungsaufgaben bereitgestellt wird.This approach was further developed in U.S. Patent No. 9,881,383 discloses, the contents of which are hereby incorporated by reference, for monitoring real-time locations of objects with a photogrammetry system for matching a measured path of movement of the objects while an optical template is scanned by a laser. This allows the optical template to be registered to an object's surface so that when an operator picks up and manipulates the object to perform an assembly or monitoring task, it appears as if the optical template is part of the object's surface, creating a high degree of usability for assembly or monitoring tasks is provided.

Navigieren durch eine Überwachungs- oder Montageaufgabe wird durch Bereitstellen von Anweisungen an einen Host-Computer über eine Benutzerschnittstelle durchgeführt. Angesichts der Effizienz bei Verwendung eines optischen Projektionssystems, in dem sich ein Bediener typischerweise in der Nähe eines projizierten Bilds befindet, kann Rückkehren zu dem Host-Computer zu einem bestimmenden Faktor beim rechtzeitigen Abschluss von Montage- und Überwachungsaufgaben werden. Daher ist es vorteilhaft, dem Computer von einem entfernten Ort zu signalisieren. Die Verwendung eines handgehaltenen Fernsteuergeräts ist möglich, kann aber verwirrend sein, wenn komplizierte Auswahlen involviert sind, wie beispielsweise Bereitstellen mehrerer Tasten auf dem Fernsteuergerät oder das Erfordernis einer Wiederverwendung einer kleineren Anzahl von Tasten. Weiterhin kann das Fernsteuergerät verloren gehen, kaputt gehen oder gestohlen werden.Navigating through a monitoring or assembly task is performed by providing instructions to a host computer via a user interface. Given the efficiency of using an optical projection system in which an operator is typically in proximity to a projected image, Returns to the host computer are becoming a determining factor in the timely completion of assembly and monitoring tasks. Therefore, it is advantageous to signal the computer from a remote location. Using a handheld remote controller is possible, but can be confusing when complicated choices are involved, such as providing multiple buttons on the remote controller or requiring a smaller number of buttons to be reused. Furthermore, the remote control device can be lost, broken or stolen.

Um diese Schwierigkeiten zu überwinden, projizieren Laserprojektoren 10, wie sie in dem US-Patent Nr. 5,957,559 beschrieben sind, dessen Inhalt hiermit durch Bezugnahme aufgenommen wird, Steuerfunktionen durch Detektieren eines retroreflektierenden Patches, um verschiedene Auswahlen vorzunehmen, um einen Projektionsprozess zu steuern. Wie in 4 gezeigt, projiziert der Laserprojektor 10 Symbolmuster 26-36, die verschiedene Modi zum Anzeigen von Komponenten in einer vorgefertigten Dachträgeranordnung darstellen. Durch Platzieren des retroreflektierenden Patches 24 in den Pfad des Laserstrahls 38 vom Laserprojektor 10 kann ein Bediener 40 Auswahlen an einem entfernten Ort vornehmen, viele Fuß von einem Host-Computer entfernt. Das Positionieren des reflektierenden Patches innerhalb des Laserstrahls oberhalb eines der Symbolmuster 26-36 signalisiert den Host-Computer mittels des reflektierten Laserstrahls 42.To overcome these difficulties, project laser projectors 10, as in the U.S. Patent No. 5,957,559 patent, the content of which is hereby incorporated by reference, control functions by detecting a retroreflective patch to make various choices to control a projection process. As in 4 As shown, the laser projector 10 projects symbol patterns 26-36 representing various modes for displaying components in a prefabricated roof rack assembly. By placing the retroreflective patch 24 in the path of the laser beam 38 from the laser projector 10, an operator 40 can make selections at a remote location, many feet from a host computer. The positioning of the reflective patch within the laser beam above one of the symbol patterns 26-36 signals the host computer via the reflected laser beam 42.

Projizierte Menüs dieser Art haben jedoch bekannte Nachteile. Erstens erhöht das Projizieren des Menüs die Anforderung an das Projektionssystem, was die Effizienz verringert. Die projizierten Symbolmuster 26-36 und andere angezeigte Muster werden nacheinander durch einen Scanpfad des Laserstrahls 38 angezeigt, was Flackern erzeugt, wenn der Pfad des Lasers zu lang ist, wie es erforderlich ist, wenn mehrere Symbolmuster 26-36 projiziert werden, aus denen ein Bediener auswählen soll. Zweitens sind Vorkehrungen erforderlich, um das Menü zu aktivieren, typischerweise durch Erzeugen spezieller Startmerkmale in einem projizierten Muster in geeigneten Intervallen. Weiterhin ist es erforderlich, dass das Menü auf eine geeignete Oberfläche (d. h. flach und in einem geeigneten Winkel zu dem Laserprojektor 10) projiziert wird, um deutlich sichtbar zu sein. Zusammenarbeit scheitert im Allgemeinen, wenn Bewegung des Bedieners das retroreflektierende Patch 24 aus dem Laserstrahl 38 herausnimmt, dahin, wo es nicht erfasst werden kann (z. B. um ein projiziertes Merkmal zu einem gewünschten Ort zu ziehen).However, projected menus of this type have known disadvantages. First, projecting the menu increases the demand on the projection system, which reduces efficiency. The projected symbol patterns 26-36 and other displayed patterns are sequentially displayed through a scanning path of the laser beam 38, which produces flickering when the path of the laser is too long, as is required when projecting multiple symbol patterns 26-36 from which a select operator. Second, provisions are required to activate the menu, typically by generating special launch features in a projected pattern at appropriate intervals. Furthermore, it is necessary that the menu be projected onto a suitable surface (i.e. flat and at a suitable angle to the laser projector 10) in order to be clearly visible. Collaboration generally fails when operator movement takes the retroreflective patch 24 out of the laser beam 38 where it cannot be detected (e.g., to drag a projected feature to a desired location).

Keines dieser Systeme ist nützlich, um eine vollständige Schnittstelle zwischen einem Bediener und der Steuerung zum Signalisieren eines Fortschritts von Arbeitsaufgaben in Echtzeit bereitzustellen. Daher wäre es wünschenswert, ein Proj ektionssystem zu entwickeln, das es einem Bediener ermöglicht, einen Fortschritt von Arbeitsaufgaben vollständiger zu steuern, während er von der Steuerung entfernt ist.Neither of these systems is useful for providing a full interface between an operator and the controller for signaling real-time progress of work items. Therefore, it would be desirable to develop a projection system that allows an operator to more fully control progress of work items while away from control.

ZUSAMMENFASSUNGSUMMARY

Ein Verfahren und System zum Steuern von Projektion von optischen Anzeigern auf eine Arbeitsoberfläche ist offenbart. Ein Projektionsgerät zum Projizieren eines ersten optischen Anzeigers und eines zweiten optischen Anzeigers auf eine Arbeitsoberfläche wird bereitgestellt. Ein Messsystem überwacht einen Arbeitsbereich, in dem die Arbeitsoberfläche angeordnet ist. Das Messsystem verortet ein Steuerobjekt innerhalb des Arbeitsbereichs und identifiziert eine Markierung, die auf dem Steuerobjekt angeordnet ist. Das Messsystem überwacht eine erste Anordnung und eine zweite Anordnung des Steuerobjekts. Das Projektionsgerät projiziert den ersten optischen Anzeiger auf die Arbeitsoberfläche und das Projektionsgerät projiziert den zweiten optischen Anzeiger auf die Arbeitsoberfläche als Antwort auf Manipulation des Steuerobjekts zwischen der ersten Anordnung und der zweiten Anordnung, wie durch das Messsystem detektiert.A method and system for controlling projection of visual indicators onto a work surface is disclosed. A projection device for projecting a first visual indicator and a second visual indicator onto a work surface is provided. A measurement system monitors a work area in which the work surface is arranged. The measurement system locates a control object within the workspace and identifies a marker placed on the control object. The measurement system monitors a first arrangement and a second arrangement of the control object. The projection device projects the first visual indicator onto the work surface and the projection device projects the second visual indicator onto the work surface in response to manipulation of the control object between the first assembly and the second assembly as detected by the measurement system.

Das Verfahren und System der vorliegenden Erfindung stellt einem Bediener die Fähigkeit bereit, eine Schnittstelle mit einer Steuerung zu bilden, die eine Echtzeit-Rückmeldung an die Steuerung über Ausführung und Abschluss von Arbeitsaufgaben bereitstellt. Das Messsystem verfolgt Bewegung des Steuerobjekts, um eine Anordnung einer Arbeitsfunktion auf einer Arbeitsoberfläche zu bestimmen. In einer Ausführungsform überwacht das Messsystem Arten von Bewegung des Steuerobjekts, die Implementierung einer Arbeitsfunktion und anschließenden Abschluss einer Arbeitsfunktion anzeigen. In einer alternativen Ausführungsform wird ein Bediener angewiesen, vorbestimmte Bewegungen vorzunehmen, um dem Messsystem verschiedene Stufen einer Arbeitsfunktion zu signalisieren, d. h. Beginn, Fortschritt, Abschluss, usw. In jedem Fall signalisiert das Messsystem einer Steuerung, die Projektion eines Laserbilds auf die Arbeitsoberfläche zu modifizieren, um den Bediener zu der nächsten Arbeitsfunktion zu leiten. Es wird in Betracht gezogen, dass Arbeitsfunktionen Farbreparaturen, Lagenaufbau, Bearbeitung, Montage, Dekor-Anbringung, und dergleichen enthalten, sind aber nicht darauf beschränkt.The method and system of the present invention provides an operator with the ability to interface with a controller that provides real-time feedback to the controller on the execution and completion of work tasks. The measurement system tracks movement of the control object to determine placement of a work function on a work surface. In one embodiment, the measurement system monitors types of movement of the control object that indicate implementation of a work function and subsequent completion of a work function. In an alternative embodiment, an operator is instructed to make predetermined movements to signal to the measurement system various stages of a work function, i. H. Beginning, progress, completion, etc. In each case, the measurement system signals a controller to modify the projection of a laser image onto the work surface to direct the operator to the next work function. It is contemplated that job functions include, but are not limited to, paint repairs, build-up, machining, assembly, decal attachment, and the like.

Figurenlistecharacter list

Die Vorteile der vorliegenden Offenbarung werden sofort gewürdigt, wenn diese durch Bezugnahme auf die folgende ausführliche Beschreibung besser verstanden wird, und wenn diese in Verbindung mit den beigefügten Zeichnungen betrachtet wird, wobei:

1 einen Laserprojektor zeigt, der reflektierende Ziele scannt, die an einem Werkstück befestigt sind;
2 einen Laserprojektor zeigt, der eine Vorlage auf einer Arbeitsoberfläche eines Werkstücks scannt, nachdem das Werkstück relativ zu dem Laserprojektor registriert wurde;
3 ein Laserprojektionssystem in Kombination mit einem Photogrammetriesystem zeigt, das verwendet wird, um den Laserprojektor relativ zu einem Werkstück zu registrieren;
4 das Symbolsystem nach dem Stand der Technik zeigt;
5 eine erste Ausführungsform eines Laserprojektionssystems der vorliegenden Erfindung zeigt;
6 eine alternative Ausführungsform des Steuerobjekts in Form eines Handschuhs zeigt;
7 eine weitere alternative Ausführungsform des Steuerobjekts.

The benefits of the present disclosure are immediately appreciated when by reference will be better understood by reference to the following detailed description and when considered in conjunction with the accompanying drawings, wherein:

1 shows a laser projector scanning reflective targets attached to a workpiece;
2 Figure 12 shows a laser projector scanning a template on a work surface of a workpiece after the workpiece has been registered relative to the laser projector;
3 Figure 12 shows a laser projection system in combination with a photogrammetry system used to register the laser projector relative to a workpiece;
4 shows the prior art symbol system;
5 Figure 12 shows a first embodiment of a laser projection system of the present invention;
6 Figure 12 shows an alternative embodiment of the control object in the form of a glove;
7 another alternative embodiment of the control object.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

Unter Bezugnahme auf 5 ist eine erste Ausführungsform eines Projektionssystems der vorliegenden Erfindung allgemein bei 60 gezeigt. Das Projektionssystem 60 beinhaltet ein Projektionsgerät 62 zum Projizieren eines ersten optischen Bilds 64 auf eine Arbeitsoberfläche 66 eines Werkstücks 68, wie weiter unten erläutert wird. In einer Ausführungsform nimmt das Projektionsgerät 62 die Form eines Laserprojektors an, wie er der Einfachheit halber durchgehend verwendet wird. Andere Lichtprojektionsgeräte liegen jedoch innerhalb des Umfangs dieser Erfindung. Der Laserprojektor 62 scannt das erste optische Bild 64, um eine Arbeitsfunktion oder Montagefunktion an einen Bediener zu richten. Das erste optische Bild 64 kann die Form einer Laservorlage annehmen, um zu identifizieren, wo eine Montageaufgabe durchgeführt werden soll, wie beispielsweise einen Ort, an dem eine Lage mit der Arbeitsoberfläche 66 verbunden werden soll. Alternativ identifiziert der erste optische Anzeiger 64 einen Defekt, wie beispielsweise eine identifizierte Oberflächenunvollkommenheit auf der Arbeitsoberfläche mittels eines gescannten Pfeils oder eines anderen Symbols, das konfiguriert ist, um den Ort des Defekts zu identifizieren. Weiterhin kann das erste optische Bild 64 Montageanweisungen an einen Bediener bereitstellen, wie beispielsweise Identifizieren einer Komponente, die mit der Arbeitsoberfläche 66 verbunden werden soll, basierend auf vorbestimmtem Montageinhalt.With reference to 5 1, a first embodiment of a projection system of the present invention is shown generally at 60. FIG. The projection system 60 includes a projection device 62 for projecting a first optical image 64 onto a work surface 66 of a workpiece 68, as discussed below. In one embodiment, the projection device 62 takes the form of a laser projector, as is used throughout for convenience. However, other light projection devices are within the scope of this invention. The laser projector 62 scans the first optical image 64 to direct a work function or assembly function to an operator. The first optical image 64 may take the form of a laser template to identify where an assembly task is to be performed, such as a location where a ply is to be bonded to the work surface 66 . Alternatively, the first visual indicator 64 identifies a defect, such as an identified surface imperfection on the work surface, via a scanned arrow or other symbol configured to identify the location of the defect. Furthermore, the first visual image 64 may provide assembly instructions to an operator, such as identifying a component to be connected to the work surface 66 based on predetermined assembly content.

Ein Ort des Laserprojektors 62 wird in einem gemeinsamen Koordinatensystem relativ zu der Arbeitsoberfläche 66 registriert, indem eine Arbeitsoberflächenmarkierung 70 auf herkömmliche Weise gescannt wird. In einer Ausführungsform ist die Arbeitsoberflächenmarkierung 70 ein retroreflektierendes Ziel, das sich auf einem Bezugspunkt oder einem anderen vorbestimmten Ort des Werkstücks 68 oder der Arbeitsoberfläche 66 befindet, so dass eine präzise Projektion des ersten optischen Anzeigers 64 erreicht wird. Alternative Markierungen sind ebenfalls innerhalb des Umfangs dieser Erfindung enthalten, einschließlich, aber nicht beschränkt auf codierte Ziele, sphärische retroreflektierende Ziele und Kombinationsmarkierungen.A location of the laser projector 62 is registered in a common coordinate system relative to the work surface 66 by scanning a work surface marker 70 in a conventional manner. In one embodiment, work surface marker 70 is a retroreflective target located on a datum or other predetermined location of workpiece 68 or work surface 66 such that precise projection of first visual indicator 64 is achieved. Alternative markers are also included within the scope of this invention including but not limited to coded targets, spherical retroreflective targets, and combination markers.

Ein Messgerät 72 nimmt die Form eines Photogrammetriesystems an, das eine erste Kamera 74 und eine zweite Kamera 76 enthält. Es sollte für den Durchschnittsfachmann verständlich sein, dass ein Photogrammetriesystem, das eine einzelne Kamera enthält, ebenfalls innerhalb des Umfangs dieser Erfindung liegt. Jede Kamera 74, 76 enthält eine Beleuchtungsquelle 78, 80, die verwendet wird, um einen Arbeitsbereich 82 zu beleuchten, in dem das Werkstück 68 angeordnet ist. In einer Ausführungsform nimmt die Beleuchtungsquelle 78, 80 die Form eines Arrays von Leuchtdioden an, die in vorbestimmten oder periodischen Intervallen basierend auf gewünschten Beleuchtungsraten innerhalb des Arbeitsbereichs 82 blinken. Jede Kamera 74, 76 enthält einen Lichtsensor 84, wie beispielsweise einen CCD- oder CMOS-Sensor, der Pixel zum Identifizieren von reflektiertem Licht enthält, das von den Beleuchtungsquellen 78, 80 stammt, deren Zweck weiter unten erläutert wird.A measurement device 72 takes the form of a photogrammetry system that includes a first camera 74 and a second camera 76 . It should be understood by those of ordinary skill in the art that a photogrammetry system containing a single camera is also within the scope of this invention. Each camera 74, 76 includes an illumination source 78, 80 used to illuminate a work area 82 in which the workpiece 68 is placed. In one embodiment, the illumination source 78, 80 takes the form of an array of light emitting diodes that flash at predetermined or periodic intervals based on desired illumination rates within the work area 82. Each camera 74, 76 includes a light sensor 84, such as a CCD or CMOS sensor, containing pixels for identifying reflected light originating from the illumination sources 78, 80, the purpose of which will be explained below.

Das Projektionsgerät 62 und das Messgerät 72 sind elektronisch über eine Steuerung 86 verbunden. In einer Ausführungsform sind das Projektionsgerät 62 und das Messgerät 72 separate Elemente, die innerhalb eines gemeinsamen Koordinatensystems unter Verwendung von Techniken registriert werden, die in dem US-Patent Nr. 9,200,899 offenbart sind, dessen Inhalt hiermit durch Bezugnahme aufgenommen wird. Alternativ sind das Projektionsgerät 62 und das Messgerät 72 physikalisch innerhalb eines einzelnen Gehäuses enthalten, wie beispielsweise in dem VPS1-Laserprojektor, der von Virtek Vision International, Inc. verkauft wird und in dem US-Patent Nr. 9,881,383 offenbart ist, dessen Inhalt ebenfalls hiermit durch Bezugnahme aufgenommen wird. Es könnten jedoch auch alternative Messsysteme verwendet werden, wie beispielsweise das iGPS-System, das von Nikon-Metrologie erhältlich ist, in Kombination mit herkömmlichen Laserprojektionssystemen oder Standardvideoprojektionssystemen, wie in dem US-Patent Nr. 7,826,069 gelehrt, dessen Inhalte hiermit durch Bezugnahme aufgenommen werden. In beiden Ausführungsformen ist es wünschenswert, dass ein Ort des Projektionsgeräts 62 relativ zu dem Messgerät 72 bestimmt wird, um eine genaue Bildprojektion bereitzustellen.The projection device 62 and the measuring device 72 are electronically connected via a controller 86 . In one embodiment, the projection device 62 and the measuring device 72 are separate elements that are registered within a common coordinate system using techniques described in the U.S. Patent No. 9,200,899 are disclosed, the contents of which are hereby incorporated by reference. Alternatively, the projection device 62 and the measuring device 72 are physically contained within a single housing, such as in the VPS1 laser projector sold by Virtek Vision International, Inc. and the U.S. Patent No. 9,881,383 is disclosed, the content of which is also hereby incorporated by reference. However, alternative measurement systems could also be used, such as the iGPS system available from Nikon-Metrologie, in combination with conventional laser projection systems or standard video projection systems, as in FIG U.S. Patent No. 7,826,069 taught, the contents of which are hereby incorporated by reference. In both executions For this reason, it is desirable that a location of the projection device 62 relative to the measuring device 72 be determined in order to provide an accurate image projection.

Ein Steuerobjekt 88 ist ebenfalls innerhalb des Arbeitsbereichs 82 angeordnet. Eine Steuermarkierung 90 ist an dem Steuerobjekt 88 befestigt. Die Steuermarkierung 90 nimmt die Form eines retroreflektierenden Ziels an, das auf bekannte Weise funktioniert. In alternativen Ausführungsformen sind mehrere Steuerobjekte 88, die jeweils eine Steuermarkierung 90 enthalten, innerhalb des Arbeitsbereichs 82 angeordnet. In einigen Fällen kann es vorteilhaft sein, dass eine Steuermarkierung von einer anderen Steuermarkierung durch Encodieren oder dergleichen unterscheidbar ist.A control object 88 is also located within workspace 82 . A control marker 90 is attached to the control object 88 . The control marker 90 takes the form of a retroreflective target that functions in a known manner. In alternative embodiments, multiple control objects 88 each containing a control marker 90 are located within workspace 82 . In some cases it may be advantageous that a control mark is distinguishable from another control mark by encoding or the like.

In einer Ausführungsform können mehr als ein Projektionsgerät 62 implementiert sein, um adäquate Abdeckung großer Arbeitsbereiche 82 bereitzustellen. Es sollte verstanden werden, dass das Projektionssystem 60 mittels eines oder mehrerer Laserprojektoren 62 in der Lage ist, optische Anzeiger 64 auf eine oder mehrere Arbeitsoberflächen 66 zu projizieren. Der optische Anzeiger 64 kann, wie oben dargelegt, ein optisches Vorlagenmuster sein, um die Platzierung von Komponenten auf der Arbeitsoberfläche 66 zu führen, oder die Form eines Punkts oder eines ähnlichen Anzeigers annehmen, der auf einen Behälter projiziert wird, um einen Bediener anzuweisen, wo ein nächstes Teil auszuwählen ist, wenn eine Montageaufgabe koordiniert wird. Wie oben angedeutet, kann der optische Anzeiger 88 auch dazu dienen, Defekte auf der Arbeitsoberfläche 66 zu identifizieren und hervorzuheben, wie in der gleichzeitig anhängigen US-Patentanmeldung Nr. 17/497,211 offenbart, deren Inhalt hiermit durch Bezugnahme aufgenommen wird. Es sollte auch verstanden werden, dass der optische Anzeiger 64 eine beliebige Anzahl von alternativen projektionsbezogenen Funktionen durchführen kann, ohne den Umfang dieser Erfindung zu verändern.In one embodiment, more than one projection device 62 may be implemented to provide adequate coverage of large work areas 82 . It should be understood that the projection system 60 is capable of projecting visual indicators 64 onto one or more work surfaces 66 via one or more laser projectors 62 . As discussed above, the visual indicator 64 may be a visual template to guide the placement of components on the work surface 66, or take the form of a dot or similar indicator projected onto a container to instruct an operator where to select a next part when coordinating an assembly task. As indicated above, the visual indicator 88 can also be used to identify and highlight defects on the work surface 66, as in co-pending patents U.S. Patent Application No. 17/497,211 disclosed, the contents of which are hereby incorporated by reference. It should also be understood that the visual indicator 64 can perform any number of alternative projection-related functions without changing the scope of this invention.

Ein oder mehrere Steuerobjekte 88 können verwendet werden, um den optischen Anzeiger 66 zu manipulieren und die Steuerung 86 anzuweisen, zwischen einem ersten optischen Anzeiger und einem zweiten optischen Anzeiger umzuschalten, die Bedienereingaben zwischen einer ersten Arbeitsfunktion und einer zweiten Arbeitsfunktion bereitstellen. Das Messsystem 72 verfolgt die relativen Positionen der Arbeitsoberfläche 82 und des Steuerobjekts 88 durch Verfolgen der Arbeitsoberflächenmarkierung 70 und der Steuermarkierung 90. Die Markierungen 70, 90 werden gemäß dem Messsystem 72 ausgewählt, das retroreflektierende Scheiben, elektronische Sensoren oder andere Markierungen wie gedruckte QR-Codes enthalten kann, um zwischen Markierungen zu unterscheiden, die mit dem System verwendet werden. Die Markierungen 70, 90 sind an vorbestimmten Orten sowohl des Arbeitsbereichs 66 als auch des Steuerobjekts 88 angeordnet, wie beispielsweise an Bezugspunkten.One or more control objects 88 may be used to manipulate visual indicator 66 and instruct controller 86 to toggle between a first visual indicator and a second visual indicator that provide operator input between a first work function and a second work function. The measurement system 72 tracks the relative positions of the work surface 82 and the control object 88 by tracking the work surface marking 70 and the control marking 90. The markings 70, 90 are selected according to the measurement system 72, which may include retroreflective disks, electronic sensors, or other markings such as printed QR codes may contain to distinguish between markers used with the system. The markers 70, 90 are placed at predetermined locations of both the work area 66 and the control object 88, such as reference points.

Das Projektionsgerät 62 identifiziert mittels eines Laserstrahls 92 oder anderer Lichtemission die Markierungen 70, 90 in gemeinsamer Koordination mit dem Messsystem 72, um die Position der Arbeitsoberfläche 66 und des Steuerobjekts 88 innerhalb eines gemeinsamen dreidimensionalen Koordinatensystems zur Verwendung zum genauen Projizieren des optischen Anzeigers 64 zu bestimmen. Dies wird durch Reflexion des Laserstrahls 92 zu einem Lasersensor 94 in bekannter Weise erreicht.The projection device 62 uses a laser beam 92 or other light emission to identify the markers 70, 90 in concert with the measurement system 72 to determine the position of the work surface 66 and the control object 88 within a common three-dimensional coordinate system for use in accurately projecting the visual indicator 64 . This is accomplished by reflecting the laser beam 92 to a laser sensor 94 in a known manner.

Die photogrammetrische Messung mittels des Messgeräts 72 arbeitet in Kombination mit den Markierungen 70, 90, so dass der optische Anzeiger 64 relativ zu der Arbeitsoberfläche 66 im Wesentlichen stationär bleibt, auch wenn die Arbeitsoberfläche 66 bewegt oder manipuliert wird. Als solches stellt das Messgerät 72 Bewegungskompensation und Echtzeitanpassung für Drift bereit, auch wenn dynamische oder unerwartete Bewegung der Arbeitsoberfläche 66 auftritt.The photogrammetric measurement by the gauge 72 works in combination with the markers 70, 90 so that the visual indicator 64 remains substantially stationary relative to the work surface 66 even when the work surface 66 is moved or manipulated. As such, the meter 72 provides motion compensation and real-time adjustment for drift even when dynamic or unexpected movement of the work surface 66 occurs.

Wie oben dargelegt, ist das Steuerobjekt 88 während des Betriebs innerhalb des Arbeitsbereichs 82 angeordnet. Das Steuerobjekt 88 wird durch das Messgerät 72 passiv verfolgt, ohne dass das Projektionsgerät 62 den Laserstrahl 92 über die Steuermarkierung 90 scannen muss. Die Verwendung des Steuerobjekts 88 wird durch eine Bedienerrückmeldungsanzeige 94 unterstützt, die durch das Projektionsgerät 62 dynamisch auf eine Oberfläche des Steuerobjekts 88 projiziert wird, wenn es manipuliert wird. Während Bewegung des Steuerobjekts 88 durch den Bediener durch das Messgerät 72 überwacht wird, projiziert das Projektionsgerät 62 die Rückmeldungsanzeige 94 dynamisch auf das Steuerobjekt 88 entweder separat oder in Verbindung mit dem optischen Anzeiger 64, der auf die Arbeitsoberfläche 66 projiziert wird, selbst während sich das Steuergerät 62 bewegt.As discussed above, the control object 88 is located within the workspace 82 during operation. The control object 88 is passively tracked by the measuring device 72 without the projection device 62 having to scan the laser beam 92 over the control marking 90 . Use of the control object 88 is supported by an operator feedback display 94 that is dynamically projected onto a surface of the control object 88 by the projection device 62 as it is being manipulated. While movement of the control object 88 by the operator is monitored by the measuring device 72, the projection device 62 dynamically projects the feedback display 94 onto the control object 88 either separately or in conjunction with the visual indicator 64 being projected onto the work surface 66 even while the Controller 62 moves.

In einer Ausführungsform wird Drehung des Steuerobjekts 88 verwendet, um einen Betriebsmodus auszuwählen, wie beispielsweise Dateiladen oder Durchgehen durch eine Abfolge von optischen Anzeigern 64. Die Drehung oder andere Bewegung des Steuerobjekts 88 wird durch das Messgerät 72 verfolgt und an die Steuerung 86 zur Interpretation signalisiert. Sobald interpretiert, wird ein aktueller Betriebsmodus durch die Rückmeldungsanzeige 94 angezeigt, die auf das Steuerobjekt 88 projiziert wird, als ein Dateisymbol, das durch das Projektionsgerät 62 projiziert wird. Sobald der aktuelle Betriebsmodus auf dem Steuerobjekt 88 angezeigt wird, was dem Bediener verifiziert, welcher Modus implementiert wurde, wird eine Skala der Rückmeldungsanzeige 94 vorübergehend modifiziert, um dem Bediener Rückmeldung bereitzustellen, dass eine Auswahl auf ähnliche Weise wie eine übertriebene Darstellung des Drückens einer Taste aufgetreten ist. Wenn der geeignete Betriebsmodus auf dem Steuerobjekt 88 angezeigt wird, kann das Steuerobjekt 88 nach links oder rechts bewegt werden, oder eine andere Bewegung kann durchgeführt werden, um Fortschritt durch optische Anzeiger 64 zu signalisieren, wie beispielsweise einen ersten optischen Anzeiger und einen zweiten optischen Anzeiger, oder das gesteuerte bewegte Objekt 88 kann angehoben werden, um anzuzeigen, dass ein Prozessschritt abgeschlossen wurde. Diese Bewegungen des Steuerobjekts 88 sind nur beispielhaft. Andersartige Bewegung kann verwendet werden, um der Steuerung 86 durch das Messgerät 72 Start oder Abschluss einer Arbeitsfunktion zu signalisieren.Wenn das Steuerobjekt 88 freigegeben wird und wieder stationär ist, wird die Rückmeldungsanzeige 94 nicht mehr projiziert und das Messsystem 72 kehrt zum passiven Überwachen von Bewegung und Position des Steuerobjekts 88 zurück.In one embodiment, rotation of the control object 88 is used to select an operational mode, such as file loading or stepping through a sequence of visual indicators 64. The rotation or other movement of the control object 88 is tracked by the meter 72 and signaled to the controller 86 for interpretation . Once interpreted, a current mode of operation is indicated by feedback display 94 projected onto control object 88 as a file icon projected by projection device 62 . As soon as the current operating mode is displayed on the control object 88, which Operator verifies which mode has been implemented, a scale of the feedback display 94 is temporarily modified to provide the operator with feedback that a selection has occurred in a manner similar to an exaggeration of a button press. When the appropriate mode of operation is displayed on the control object 88, the control object 88 can be moved left or right, or other movement can be performed to signal progress through visual indicators 64, such as a first visual indicator and a second visual indicator , or the controlled moving object 88 can be raised to indicate that a process step has been completed. These movements of the control object 88 are only exemplary. Other motion may be used to signal the controller 86 through the meter 72 to start or complete a work function. When the control object 88 is released and becomes stationary again, the feedback display 94 is no longer projected and the metering system 72 reverts to passively monitoring motion and position of control object 88.

Obwohl frühere Ausführungsformen eine einzige Verwendung des Steuerobjekts 88 veranschaulichen, sind alternative Implementierungen des Steuerobjekts 88 und Verfahren zur Manipulation oder Zusammenarbeit zwischen dem Steuerobjekt 56 und dem Projektionssystem 60 auch möglich. Zum Beispiel ist eine alternative Ausführungsform des optischen Anzeigesystems, d. h. das Projektionssystem 60 enthält ein alternatives Steuerobjekt, allgemein bei 96 gezeigt. In dieser Ausführungsform ist eine alternative Markierung 98 an der Rückseite eines Handschuhs 100 befestigt. Der Handschuh 100 wird von einem Bediener getragen, wodurch im Wesentlichen die Hand des Bedieners in das alternative Steuerobjekt 96 umgewandelt wird. Durch Aussetzen der Rückseite des Handschuhs 100 an das Messgerät 72 beginnt das Messgerät 72, den Handschuh 100 zu verfolgen, wodurch das Projektionsgerät 62 in die Lage versetzt wird, die Rückmeldungsanzeige 94 direkt auf den Handschuh 100 zu projizieren. Der Bediener kann den Handschuh auch nach rechts oder links schwenken, um den Überwachungsstatus eines Defektorts oder den Abschluss einer Montageaufgabe anzuzeigen, wie aktuell durch den optischen Anzeiger 64 identifiziert. Der Bediener kann auch den Handschuh 100 absenken, um fortzufahren, um einen nachfolgenden Defektort für einen Überwachungs- oder Montageschritt zu projizieren, wodurch ein nachfolgender Schritt eingeleitet wird, der durch Projektion des nächsten oder nachfolgenden optischen Anzeigers 64 identifiziert wird. Noch weiter führt das teilweise Abdecken der alternativen Markierung 98 mit zum Beispiel einem Hemdärmel oder durch zu abruptes Bewegen, als dass das Messgerät 62 der alternativen Markierung 98 folgen könnte, zur Beendigung der Projektionszusammenarbeit zwischen dem Projektionssystem 60 und dem Bediener.Although previous embodiments illustrate a single use of control object 88, alternative implementations of control object 88 and methods of manipulation or collaboration between control object 56 and projection system 60 are also possible. For example, an alternative embodiment of the optical display system, i. H. projection system 60 includes an alternative control object, shown generally at 96 . In this embodiment, an alternative marker 98 is affixed to the back of a glove 100. FIG. The glove 100 is worn by an operator, essentially converting the operator's hand into the alternate control object 96 . By exposing the back of glove 100 to meter 72 , meter 72 begins tracking glove 100 , enabling projection device 62 to project feedback display 94 directly onto glove 100 . The operator can also pivot the glove to the right or left to indicate the monitoring status of a defect location or the completion of an assembly task, as currently identified by the visual indicator 64. The operator may also lower the glove 100 to proceed to project a subsequent defect location for a monitoring or assembly step, thereby initiating a subsequent step that will be identified by projecting the next or subsequent visual indicator 64. Still further, partially covering the alternative marker 98 with, for example, a shirt sleeve or by moving too abruptly for the measuring device 62 to follow the alternative marker 98 will result in the termination of projection cooperation between the projection system 60 and the operator.

Eine weitere alternative Ausführungsform des Steuerobjekts ist bei 102 in 7 gezeigt. In dieser Ausführungsform ist das Steuerobjekt 102 in einer stationären Anordnung innerhalb des Arbeitsbereichs 82 befestigt. Das alternative Steuerobjekt 102 enthält eine alternative Markierung 104, die mehrere reflektierende Punkte 106 definiert, die von dem Messgerät 72 überwacht werden. In dieser Ausführungsform signalisiert das Steuerobj ekt 102 dem Messgerät 72 Anordnung einer Arbeitsfunktion, wenn ein Bediener einen oder mehrere reflektierende Punkte 106 abdeckt. Das Projektionsgerät 62 scannt eine Rückmeldungsanzeige 94 auf das Steuerobjekt 102, wie vorstehend beschrieben. Somit bildet das Steuerobjekt 102 eine Schnittstelle mit dem Bediener auf eine Weise, die einer Touchscreen-Zusammenarbeit mit der Steuerung 86 ähnlich ist. Das Befestigen des Steuerobjekts 102 in einer stationären Position innerhalb des Arbeitsbereichs 82 auf diese Weise verhindert einen Verlust oder eine Fehlplatzierung des Steuerobjekts 102.Another alternative embodiment of the control object is at 102 in 7 shown. In this embodiment, the control object 102 is fixed in a stationary arrangement within the workspace 82 . The alternate control object 102 includes an alternate marker 104 that defines a plurality of reflective points 106 that are monitored by the meter 72 . In this embodiment, the control object 102 signals the meter 72 placement of a work function when an operator covers one or more reflective points 106 . The projection device 62 scans a feedback display 94 on the control object 102, as described above. Thus, the control object 102 interfaces with the operator in a manner similar to touch screen interaction with the controller 86 . Securing the control object 102 in a stationary position within the work area 82 in this manner prevents loss or misplacement of the control object 102.

In einer noch weiteren Ausführungsform verwendet das Projektionssystem 60 der vorliegenden Erfindung ein Werkstück als das Steuerobjekt 56. Das Werkstück enthält eine Arbeitsoberfläche 66, wie beispielsweise eine Oberfläche eines Sitzpolsters oder andere Objekte, was Vorlagenanweisungen erfordert, um einen Bediener durch eine Abfolge von Montageaufgaben zu leiten. Somit fungiert das Werkstück, auf das der optische Anzeiger 64 projiziert wird, als das Steuerobjekt. Auf eine ähnliche Weise wie oben beschrieben wird die Arbeitsoberfläche 66 durch das Messgerät 72 passiv überwacht und verfolgt. Der Bediener dreht, bewegt oder hebt das Werkstück 68 nach Abschluss einer Montageaufgabe selbst an, um den Betriebsmodus auszuwählen, durch optische Anzeiger zu verarbeiten oder den Abschluss verschiedener Prozessschritte anzuzeigen.In yet another embodiment, the projection system 60 of the present invention uses a workpiece as the control object 56. The workpiece includes a work surface 66, such as a surface of a seat cushion or other object, requiring template instructions to guide an operator through a sequence of assembly tasks . Thus, the workpiece onto which the visual indicator 64 is projected functions as the control object. In a manner similar to that described above, work surface 66 is passively monitored and tracked by meter 72 . The operator rotates, moves, or self-lifts the workpiece 68 upon completion of an assembly task to select the mode of operation, process through visual indicators, or indicate the completion of various process steps.

Es ist auch möglich, dass das Projektionssystem 60 trainiert wird, Montagebewegungen des Werkstücks 68 während des Montageprozesses als eine Warteschlange zu überwachen oder den Abschluss verschiedener Prozess- oder Montageschritte anzuzeigen. Auf diese Weise muss ein Bediener keine zusätzliche Bewegung des Werkstücks 68 darstellen, um der Steuerung 86 über das Messgerät 72 den Status eines Montageprozesses zu signalisieren. Somit erkennt das optische Anzeigesystem bestimmte Bewegungen des Werkstücks, die den Abschluss einer Aufgabe anzeigen. Nach Abschluss projiziert das Projektionsgerät 62 einen nachfolgenden oder zweiten optischen Anzeiger, der einer nachfolgenden oder zweiten Montageaufgabe entspricht. Beispielsweise würde Drehen oder Anheben des Sitzpolsters nach Installieren einer ersten Klettverschlusskomponente auf dem Sitzpolster dem Messgerät 72 signalisieren, ein nachfolgendes Vorlagenmuster zu projizieren, das einer zweiten schnelleren Klettverschlusskomponente entspricht, die auf dem Sitzpolster installiert werden soll. Daher erhöht das Verwenden eines Teils oder einer Komponente als ein Steuerobjekt 88 die Effizienz in Bezug auf Steuern der Projektion eines optischen Anzeigers 64 weiter.It is also possible for the projection system 60 to be trained to monitor assembly movements of the workpiece 68 during the assembly process as a queue or to indicate the completion of various process or assembly steps. In this way, an operator does not have to demonstrate additional movement of the workpiece 68 in order to signal the controller 86 via the measuring device 72 the status of an assembly process. Thus, the visual display system recognizes certain movements of the workpiece that indicate the completion of a task. Upon completion, the projection device 62 projects a subsequent or second visual indicator, which corresponds to a subsequent or second assembly task. For example, rotating or raising the seat pad after installing a first hook and loop fastener component on the seat pad would signal meter 72 to project a subsequent template pattern corresponding to a second faster hook and loop fastener component to be installed on the seat pad. Therefore, using a part or component as a control object 88 further increases efficiency with respect to controlling the projection of a visual indicator 64 .

Gelegentlich kann der Ort der Projektion des optischen Anzeigers 64 Anpassung oder Ausrichtung benötigen, wenn er auf die Arbeitsoberfläche 66 projiziert wird. Die Arbeitsoberflächenmarkierungen 70 können daher einzeln auf der Arbeitsoberfläche 66 manipuliert werden, um den optischen Anzeiger 70 in einer präzisen Ausrichtung innerhalb der Arbeitsoberfläche 66 anzupassen und zu befestigen. Wenn das Messgerät 72 Manipulation der Arbeitsoberflächenmarkierung 70 detektiert, projiziert das Projektionsgerät 62 automatisch ein Ausrichtungsvorlagenmuster, das konfiguriert ist, um dabei zu helfen, wichtige Merkmale der Arbeitsoberfläche 66 zu identifizieren, um einen Bediener bei manueller Ausrichtung der Arbeitsoberflächenmarkierung 70 zu unterstützen. Es sollte verstanden werden, dass das Ausrichtungsvorlagenmuster 64 sich dann simultan bewegt mit den Arbeitsoberflächenmarkierungen 70, was dem Benutzer erlaubt, die Arbeitsoberflächenmarkierungen 70 richtig auf der Arbeitsoberfläche 66 zu platzieren, um das Projektionsgerät 62 effizient in dem gemeinsamen Koordinatensystem mit dem Werkstück 68 zu kalibrieren.Occasionally, the location of the projection of the visual indicator 64 when projected onto the work surface 66 may require adjustment or alignment. The work surface markings 70 can therefore be individually manipulated on the work surface 66 to adjust and secure the visual indicator 70 in precise alignment within the work surface 66. When the measuring device 72 detects tampering with the work surface marker 70, the projection device 62 automatically projects an alignment template pattern that is configured to help identify important features of the work surface 66 to assist an operator in manually aligning the work surface marker 70. It should be understood that the alignment template pattern 64 then moves simultaneously with the work surface markings 70, allowing the user to properly place the work surface markings 70 on the work surface 66 to efficiently calibrate the projection device 62 in the common coordinate system with the workpiece 68.

Andere Variationen des richtigen Ausrichtens oder Anpassens des optischen Anzeigers 64 auf der Arbeitsoberfläche 66 sind ebenfalls möglich, ohne den Umfang der Erfindung zu verändern. Beispielsweise kann das Projektionsgerät 62 zuerst das Ausrichtungsvorlagenmuster auf einen vorbestimmten Ort im Arbeitsbereich 82 und auf die Arbeitsoberfläche 66 projizieren. Durch diese Projektionen wird manuelle Ausrichtung des Werkstücks 68 erreicht, gefolgt von manueller Ausrichtung der Arbeitsoberflächenmarkierung 70, die anschließend platziert wird, um Ausrichtung des Vorlagenmusters 64 abzugleichen. Alternativ kann die Arbeitsoberflächenmarkierung 70 zuerst auf der Arbeitsoberfläche 66 platziert und durch manuelle Manipulation bewegt werden, um das Ausrichtungsvorlagenmuster abzugleichen, das durch das Projektionsgerät 62 basierend auf ursprünglicher Platzierung der Markierung 70 oder der Markierungen 70 projiziert wird.Other variations of properly aligning or adjusting the visual indicator 64 on the work surface 66 are also possible without changing the scope of the invention. For example, the projection device 62 may first project the alignment template pattern onto a predetermined location in the workspace 82 and onto the work surface 66 . Through these projections, manual alignment of the workpiece 68 is accomplished, followed by manual alignment of the work surface marking 70, which is then placed to match template pattern 64 alignment. Alternatively, the work surface marker 70 may first be placed on the work surface 66 and moved by manual manipulation to match the alignment template pattern projected by the projection device 62 based on original placement of the marker 70 or markers 70 .

Die Erfindung der vorliegenden Anmeldung stellt eine einzigartige Fähigkeit für Bediener bereit, Echtzeit-Rückmeldung an entfernten Orten an eine Steuerung zum präzisen Verfolgen einer Abfolge von Herstellungsereignissen bereitzustellen. In dem Beispiel, in dem der Handschuh 100 als das Steuerobjekt 96 fungiert, verfolgt das Messgerät 72 den Handschuh 100 zum Beispiel auf einen Farbdefekt durch nahe Identifizierung mit einem Zeigefinger. Der Laserprojektor 62 identifiziert in dieser Ausführungsform ein Zielobjekt entlang des Pfads, auf den der Bediener zeigt, aber der aktuell außer Reichweite des Bedieners ist, wie etwa einen Farbdefekt oder ein anderes Objekt, das anfänglich durch die automatisierte Überwachung übersehen wurde. Sobald der Handschuh 100 oder genauer die alternative Steuermarkierung 98 detektiert wird, wird Rückmeldung an den Bediener durch Projektion der Rückmeldungsanzeige 94 auf die Rückseite des Handschuhs 100 bereitgestellt. In einer Ausführungsform wird eine Defekt-ID oder ein Montagestatus als die Rückmeldungsanzeige 94 projiziert. Sobald eine Aufgabe abgeschlossen ist, muss der Bediener lediglich seine Hand schwenken, um den Status an der Steuerung 86 über Detektion der Handbewegung durch das Messgerät 72 zu ändern. Es ist auch möglich, dass die Rückmeldungsanzeige 94 auf die Arbeitsoberfläche 66 projiziert wird, wodurch der Status einer Aufgabe angezeigt wird. Der Status aller erforderlichen und abgeschlossenen Aufgaben wird auf dem Weg der Steuerung oder über Cloud-Speicherung verfolgt und Dateien werden aktualisiert, um automatisch elektronische Überwachung einer Abfolge einer erforderlichen Aufgabe bereitzustellen. Wenn die vollständige Abfolge abgeschlossen ist, wird eine Rückmeldungsanzeige 94, die den Abschluss anzeigt, entweder auf das Steuerobjekt 88, 90, 104 oder auf die Arbeitsoberfläche 66 wie gewünscht projiziert.The invention of the present application provides a unique ability for operators to provide real-time feedback at remote locations to a controller for precisely tracking a sequence of manufacturing events. In the example where the glove 100 acts as the control object 96, the measuring device 72 tracks the glove 100 for a paint defect by close identification with an index finger, for example. The laser projector 62 in this embodiment identifies a target along the path that the operator is pointing to but is currently out of the operator's reach, such as a paint defect or other object that was initially missed by the automated surveillance. Once the glove 100, or more specifically the alternative control mark 98, is detected, feedback is provided to the operator by projecting the feedback display 94 onto the back of the glove 100. In one embodiment, a defect ID or assembly status is projected as the feedback indicator 94 . Once a task is complete, the operator merely has to wave his hand to change the status on the controller 86 via the meter 72 detecting the hand movement. It is also possible for the feedback display 94 to be projected onto the work surface 66, thereby indicating the status of a task. The status of all required and completed tasks is tracked en route to the controller or via cloud storage and files are updated to automatically provide electronic tracking of a required task sequence. When the full sequence is complete, a feedback display 94 indicating completion is projected onto either the control object 88, 90, 104 or the desktop 66, as desired.

Der Laserprojektor 62 ist in der Lage, gleichzeitig mehrere optische Anzeiger 64 und Rückmeldungsanzeigen 94 zu übertragen. Beispielsweise können Fadenkreuze auf eine Arbeitsoberfläche 66 projiziert werden, wodurch Orte identifiziert werden, an denen Schweißbolzen benötigt werden. Ein erster Bediener markiert die Fadenkreuzorte mit einem Mittelstempel. Ein zweiter Bediener installiert die Schweißbolzen an den markierten Orten. Eine beliebige Anzahl von Bedienern arbeitet gleichzeitig, wobei alle durch die Abfolge der projizierten Rückmeldungsanzeigen 94 koordiniert werden, wie sie durch den Bediener ausgelöst werden, der das Steuerobjekt 88, 96, 104 manipuliert.The laser projector 62 is capable of transmitting multiple visual indicators 64 and feedback indicators 94 simultaneously. For example, crosshairs can be projected onto a work surface 66 identifying locations where weld studs are needed. A first operator marks the crosshair locations with a center stamp. A second operator installs the weld studs at the marked locations. Any number of operators work simultaneously, all coordinated by the sequence of projected feedback displays 94 as triggered by the operator manipulating the control object 88,96,104.

Die Erfindung wurde auf veranschaulichende Weise beschrieben, und es versteht sich, dass die verwendete Terminologie vielmehr der Beschreibung als der Einschränkung dienen soll. Viele Modifikationen und Variationen der vorliegenden Erfindung sind angesichts der obigen Lehren möglich. Es versteht sich daher, dass die Erfindung innerhalb des Umfangs der beigefügten Ansprüche anders als konkret beschrieben ausgeführt werden kann.The invention has been described in an illustrative manner, and it is to be understood that the terminology that has been used is intended to be in the nature of words of description rather than limitation. Many modifications and variations of the present invention are possible in light of the above teachings. It is therefore understood that the invention within may be practiced otherwise than as specifically described within the scope of the appended claims.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US63311690 [0001]
US9200899 [0006, 0018]
US 9881383 [0007, 0018]
US5957559 [0009]
US7826069 [0018]
US 17497211 [0020]

Claims

A method for controlling projection of visual indicators onto a work surface, the method comprising: providing a projection device for projecting a first visual indicator and a second visual indicator onto a work surface, and providing a measurement system for monitoring a work area including the work surface disposed therein; wherein the measurement system locates a control object within the workspace and identifies a marker disposed on the control object; wherein the measurement system monitors a first arrangement and a second arrangement of the control object; wherein the projection device projects the first visual indicator onto the work surface; and wherein the projection device projects the second visual indicator onto the work surface in response to manipulation of the control object between the first array and the second array as detected by the measurement system.

The procedure according to claim 1 , wherein the step of providing a projection device is further defined by providing a laser projector.

The procedure according to claim 1 , wherein the step of providing a measurement system is further defined by providing a photogrammetric device having a camera.

The procedure according to claim 1 wherein the step of projecting the second visual indicator in response to manipulation of the control object is further defined by physically moving the control object.

The procedure according to claim 1 wherein the step of projecting the second visual indicator in response to manipulation of the control object is further defined by partially obscuring the control object.

The procedure according to claim 1 , further comprising a step of changing the first and second visual indicators by changing an arrangement of the marker.

The procedure according to claim 1 , further comprising a step of projecting a feedback display onto the control object by the projection device.

The procedure according to claim 1 wherein the step of locating a control object within the workspace is further defined by identifying an object containing the desktop as the control object.

The procedure according to claim 7 wherein the step of projecting a feedback indication onto a surface of the control object is further defined by tracking, by the projection device, movement of the control object such that the feedback indication is projected substantially stably relative to the control object.

The procedure according to claim 7 , further comprising a step of modifying the feedback indication in response to manipulation of the control object to indicate changes in the first and second visual indicators.

The procedure according to claim 1 , wherein the control object comprises a reflector that adheres to a work glove.

A projection system for projecting and controlling visual indicators onto a work surface, the projection system comprising: a projection device for projecting a first visual indicator and a second visual indicator onto a work surface, a control object identified by a marker placed on the control object; a measurement system for monitoring a first arrangement and a second arrangement of the control object; a controller for storing the first visual indicator and the second visual indicator and for communicating with the projection device and the measurement system; and wherein the sensing system detects manipulation of the control object between the first array and the second array and communicates with the controller such that the projection device alternates between projecting the first visual indicator and the second visual indicator onto the work surface.

The system according to claim 12 , wherein the projection device comprises a laser projector.

The system according to claim 12 , wherein the measurement system comprises a photogrammetry device.

The system according to Claim 14 , wherein the photogrammetry device comprises a camera containing a pixelated light sensor.

The system according to claim 12 , wherein the control object comprises at least one of a glove, a tool, or a hand-held object.

The system according to Claim 16 wherein the control object includes a control marking having retroreflective tape.

The system according to claim 12 , wherein the meter includes a light illumination source for illuminating the work area.

The system according to Claim 18 , wherein the measurement system detects light generated by the illumination source reflected from the timing mark.

The system according to claim 19 wherein the measuring device detects movement of the timing mark based on light reflected from the timing mark to a camera defining the measuring device, and wherein the measuring device signals such movement to the controller for the controller to monitor the initiation and completion of a manufacturing task.

The system according to claim 12 , wherein the projection device is configured to project a feedback display onto the control object in response to movement of the control device.

The system according to Claim 21 wherein the measuring device tracks movement of the control object and signals a location of the control object to the projection device via the controller, thereby enabling the projection device to continuously project the feedback display onto the control object.