DE102020111923A1

DE102020111923A1 - MULTIPLE CALIBRATION AND EXTENSION

Info

Publication number: DE102020111923A1
Application number: DE102020111923.2A
Authority: DE
Inventors: Leo Keselman; Derek Jung; Kenneth W. Krause
Original assignee: Fanuc America Corp
Current assignee: Fanuc America Corp
Priority date: 2019-05-03
Filing date: 2020-05-04
Publication date: 2020-11-05

Abstract

System und Verfahren zum Aufbauen einer AR-Anwendung, die eine Vielzahl von Markiergeräten nutzt, so dass exakte Erweiterungen überall dort angezeigt werden können, wo ein Markiergerät sichtbar ist. Das Verfahren umfasst das Anordnen einer Vielzahl von Markiergeräten über den gesamten Arbeitsbereich, so dass eine Vielzahl von Paaren zweier benachbarter Markiergeräte in einem Bildfeld einer AR-Vorrichtung betrachtet werden können. Das Verfahren umfasst außerdem das Festlegen einer Entfernungsbeziehung zwischen den zwei Markiergeräten in allen der Markiergerätepaare, und das Festlegen einer Entfernungsbeziehung zwischen allen nicht benachbarten Markiergeräten, indem die Entfernungsbeziehung zwischen den zwei Markiergeräten in allen der Markiergerätepaare genutzt wird. Das Verfahren umfasst auch das Erkennen einer Entfernungsbeziehung zwischen einem der Vielzahl von Markiergeräten und einer Erweiterung im Arbeitsbereich, und das Erkennen einer Entfernungsbeziehung zwischen den anderen Markiergeräten und der Erweiterung, indem die Entfernungsbeziehungen zwischen den benachbarten Markiergeräten und den nicht benachbarten Markiergeräten genutzt werden.System and method for building an AR application that uses a variety of marking devices so that exact extensions can be displayed wherever a marking device is visible. The method includes arranging a plurality of marking devices over the entire work area so that a plurality of pairs of two adjacent marking devices can be viewed in an image field of an AR device. The method also includes establishing a distance relationship between the two markers in all of the marker pairs, and establishing a distance relationship between all non-adjacent markers using the distance relationship between the two markers in all of the marker pairs. The method also includes recognizing a distance relationship between one of the plurality of marking devices and an extension in the work area, and recognizing a distance relationship between the other marking devices and the extension by utilizing the distance relationships between the adjacent marking devices and the non-neighboring marking devices.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGENCROSS REFERENCE TO RELATED APPLICATIONS

Diese Anmeldung beansprucht den Vorteil des Anmeldedatums der am 3. Mai 2019 eingereichten Vorläufigen US-Anmeldung 62/843 131 mit der Bezeichnung „Mehrzielige Kalibrierung und Erweiterung“.This registration claims the benefit of the registration date of the preliminary filing on May 3, 2019 U.S. application 62/843 131 with the designation "Multi-target calibration and expansion".

HINTERGRUNDBACKGROUND

Gebietarea

Diese Offenlegung betrifft im Allgemeinen ein System und Verfahren zum Aufbauen einer erweiterten Realitätsanwendung (AR), die mehrere Markiergeräte nutzt, und spezieller ein System und Verfahren zum Aufbauen einer AR-Anwendung, die mehrere Markiergeräte nutzt, die in einem gesamten Arbeitsbereich vorgesehen sind, so dass überall, wo ein Markiergerät sichtbar ist, genaue Erweiterungen angezeigt werden können.This disclosure relates generally to a system and method for building an augmented reality (AR) application that uses multiple marking devices, and more particularly, to a system and method for building an AR application that uses multiple marking devices provided in an entire work area, see below that wherever a marking device is visible, exact extensions can be displayed.

Erörterungdiscussion

Erweiterte Realität (AR) wurde als eine interaktive Erfahrung einer realen Umwelt beschrieben, in welcher Objekte, die sich in der realen Umwelt befinden, durch computererzeugte Wahrnehmungsinformationen in der virtuellen Welt verbessert werden. Die Verwendung von AR-Systemen zur Simulation der Arbeitsweise von Industrierobotern für Kalibrierungszwecke, Lehrzwecke, usw. ist an sich bekannt. Ein AR-System kann zum Beispiel bei der Lehre eines Roboters genutzt werden, wie ein bestimmter Arbeitsgang durchzuführen ist, wo eine erfahrene Bedienperson das AR-System nutzt, um den Arbeitsgang zu demonstrieren und der Roboter die einbezogenen Bewegungen erlernt. Das AR-System kann außerdem für andere Lehraktivitäten genutzt werden, wie etwa eine Einrichtung von virtuellen Sicherheitszonen, in die der Roboter nicht eingreifen darf.Augmented Reality (AR) has been described as an interactive experience of a real world in which objects that are in the real world are enhanced by computer generated perceptual information in the virtual world. The use of AR systems to simulate the operation of industrial robots for calibration purposes, teaching purposes, etc. is known per se. For example, an AR system can be used in teaching a robot how to perform a particular operation, where an experienced operator uses the AR system to demonstrate the operation and the robot learns the movements involved. The AR system can also be used for other teaching activities, such as setting up virtual safety zones in which the robot is not allowed to intervene.

Bei einem bekannten AR-System werden Erweiterungen im Verhältnis zu einem einzelnen festgelegten Ziel angezeigt. Für beste Genauigkeit sollte das Ziel im Bildfeld der AR-Vorrichtung sichtbar sein, das den Bereich begrenzt, wo ein Benutzer sich befinden kann, um die genaueste Erweiterung zu sehen. Bewegungsverfolgung kann genutzt werden, um Erweiterungen anzuzeigen, wenn das Markiergerät nicht in Blick ist, jedoch verschlechtert sich die Genauigkeit schnell.In a known AR system, expansions are shown relative to a single specified target. For best accuracy, the target should be visible in the AR device's field of view, which delimits the area where a user can be to see the most accurate extension. Motion tracking can be used to show enhancements when the marker is not in view, but accuracy quickly degrades.

ZUSAMMENFASSUNGSUMMARY

Die folgende Erörterung offenlegt und beschreibt ein System und Verfahren zum Aufbauen einer AR-Anwendung, die eine Vielzahl von Markiergeräten nutzt, so dass exakte Erweiterungen überall dort angezeigt werden können, wo ein Markiergerät sichtbar ist. Das Verfahren umfasst das Anordnen der Vielzahl von Markiergeräten über den gesamten Arbeitsbereich, so dass mehrere Paare zweier benachbarter Markiergeräte in einem Bildfeld einer AR-Vorrichtung betrachtet werden können. Das Verfahren umfasst ferner das Bestimmen einer Entfernungsbeziehung zwischen den zwei Markiergeräten in allen der Markiergerätepaare und das Bestimmen einer Entfernungsbeziehung zwischen allen Paaren nicht benachbarter Markiergeräte unter Verwendung der Entfernungsbeziehung zwischen den zwei Markiergeräten in allen der Markiergerätepaare. Das Verfahren umfasst außerdem das Erkennen einer Entfernungsbeziehung zwischen einem der Vielzahl von Markiergeräten und einer Erweiterung im Arbeitsbereich, und das Erkennen einer Entfernungsbeziehung zwischen den anderen Markiergeräten und der Erweiterung unter Verwendung der Entfernungsbeziehungen zwischen den benachbarten Markiergeräten und den nicht benachbarten Markiergeräten. In einer Ausführungsform umfasst der Arbeitsbereich einen Roboter, wobei die Erweiterung ein Punkt auf dem Roboter ist.The following discussion discloses and describes a system and method for building an AR application that utilizes a variety of marking devices so that exact extensions can be displayed wherever a marking device is visible. The method includes arranging the plurality of marking devices over the entire work area so that several pairs of two adjacent marking devices can be viewed in an image field of an AR device. The method further includes determining a distance relationship between the two markers in all of the marker pairs and determining a distance relationship between all pairs of non-adjacent markers using the distance relationship between the two markers in all of the marker pairs. The method also includes recognizing a distance relationship between one of the plurality of marking devices and an extension in the work area, and recognizing a distance relationship between the other marking devices and the extension using the distance relationships between the neighboring marking devices and the non-neighboring marking devices. In one embodiment, the work area comprises a robot, the extension being a point on the robot.

Zusätzliche Merkmale der Offenlegung erschließen sich aus der folgenden Beschreibung und angefügten Ansprüchen, die in Verbindung mit den begleitenden Zeichnungen betrachtet werden.Additional features of the disclosure will become apparent from the following description and appended claims, which are considered in conjunction with the accompanying drawings.

FigurenlisteFigure list

1 Figure 3 is an isometric view of a workstation that includes a robot and multiple stationary marking devices; and
2 Fig. 13 is a flow chart showing a process for building an AR application.

AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMENDETAILED DESCRIPTION OF THE EMBODIMENTS

Die folgende Erörterung der Ausführungsformen der auf ein System und Verfahren zum Aufbauen einer erweiterten Realitätsanwendung unter Verwendung von mehreren Markiergeräten gerichteten Offenlegung ist lediglich beispielhafter Natur und soll die Offenlegung oder ihre Anwendungen oder Verwendungen in keiner Weise einschränken.The following discussion of the embodiments of the disclosure directed to a system and method for building an augmented reality application using multiple markers is merely exemplary in nature and is in no way intended to limit the disclosure or its applications or uses.

1 ist eine isometrische Darstellung einer Arbeitsstation 10, die eine Maschine einschließt, speziell einen Roboter 12 mit einem Unterteil 14, einem mit dem Unterteil 14 durch ein Dreh- und Schwenklager 18 verbundenes Verlängerungsverbindungsstück 16, ein mit dem Verlängerungsverbindungsstück 16 durch eine Winkelgelenkverbindung 22 verbundenes Arbeitsverbindungsstück 20 gegenüber dem Unterteil 14 und einem Greiforgan 24. Der Roboter 12 kann ein beliebiger mehrachsiger Industrieroboter sein, der für die hier erörterten Zwecke geeignet ist, wie ein sechsachsiger Roboter, der programmiert werden kann, um vielfältige Arbeitsgänge in einer Fertigungsumgebung durchzuführen, wie etwa Materialschneiden, Schweißen, Auswahl/Bewegung/Anordnung von Teilen, Lackieren usw. Es ist anzumerken, dass der Roboter 12 oder eine beliebige andere Maschine nur gezeigt sind, um den Zusammenhang mit der Arbeitsstation 10 zu geben. 1 is an isometric view of a workstation 10 which includes a machine, specifically a robot 12th with a lower part 14th , one with the lower part 14th by a rotary and swivel bearing 18th connected extension connector 16 , one with the extension connector 16 through an angle joint 22nd connected work connector 20th opposite the lower part 14th and a grasping organ 24 . The robot 12th can be any multi-axis industrial robot suitable for the purposes discussed herein, such as a six-axis robot that can be programmed to perform a variety of operations in a manufacturing environment, such as material cutting, welding, part selection / movement / arrangement, painting, etc. It should be noted that the robot 12th or any other machine only shown to be related to the workstation 10 to give.

An der Arbeitsstation 10 ist ein Sicherheitszaun 28 vorgesehen und zum Zweck der Sicherheit um den Roboter 12 herum angeordnet, der in dieser Erörterung wie ein vom Roboter 12 getrenntes, unbewegliches Bauteil arbeitet. Am Zaun 28 ist eine Vielzahl ortsfester Markiergeräte 30, 32, 34, 36 und 38 von eindeutiger erweiterter Realität, wie etwa ein Bild, Modell oder andere Markierungen mit einer Anzahl erkennbarer Merkmale befestigt, wobei die Merkmale auf den Markiergeräten 30, 32, 34, 36 und 38 unterschiedlich voneinander sind. Es wird angemerkt, dass die Markiergeräte 30, 32, 34, 36 und 38 an jedem geeigneten feststehenden Objekt in der Arbeitsstation 10 außer dem Zaun 28 vorgesehen sein können. Weiter wird angemerkt, dass die Bereitstellung von fünf Markiergeräten nur ein Beispiel ist, wobei eine beliebige Anzahl geeigneter Markiergeräte vorgesehen sein kann. In der Arbeitsstation 10 steht ein Benutzer 42 und hält ein Tablet 44, auf welches eine AR-Anwendung heruntergeladen wurde, wobei das Tablet 44 eine Kamera 46 besitzt, die Bilder der Arbeitsstation 10 aufnimmt, die der AR-Anwendung bereitgestellt werden, und ein Display 48, das die Arbeitsstation 10 einschließlich der Örtlichkeit der Markiergeräte 30, 32, 34, 36 und 38 sowie andere Dinge anzeigt. Die Markiergeräte 30, 32, 34, 36 und 38 sind an dem Zaun 28 so angeordnet, dass beliebige zwei benachbarte Markiergeräte 30, 32, 34, 36 oder 38 bei einem einzelnen Kamerablick sichtbar sind. Speziell sind die Markiergeräte 30, 32, 34, 36 und 38 am Zaun 28 so angeordnet, dass alle benachbarten Gruppen von beliebigen zwei Markiergeräten, wie die Markiergeräte 30 und 32, die Markiergeräte 32 und 34, die Markiergeräte 34 und 36 und die Markiergeräte 36 und 38, in einem Kamerablick sichtbar sind. Andere AR-Vorrichtungen wie AR-Gläser, ein Smartphone, usw., außer dem Tablet 44, können ebenfalls eingesetzt werden.At the workstation 10 is a security fence 28 provided and for the purpose of safety around the robot 12th arranged around that in this discussion like a robot 12th separate, immovable component works. At the fence 28 is a variety of stationary marking devices 30th , 32 , 34 , 36 and 38 of unambiguous augmented reality, such as a picture, model or other markings with a number of recognizable features, which features are attached to the marking devices 30th , 32 , 34 , 36 and 38 are different from each other. It is noted that the marking devices 30th , 32 , 34 , 36 and 38 on any suitable fixed object in the workstation 10 except the fence 28 can be provided. It is further noted that the provision of five marking devices is only one example, it being possible for any number of suitable marking devices to be provided. In the workstation 10 stands a user 42 and is holding a tablet 44 to which an AR application has been downloaded, with the tablet 44 a camera 46 owns the pictures of the workstation 10 that are provided to the AR application and a display 48 that is the workstation 10 including the location of the marking equipment 30th , 32 , 34 , 36 and 38 as well as other things. The marking devices 30th , 32 , 34 , 36 and 38 are on the fence 28 arranged so that any two adjacent marking devices 30th , 32 , 34 , 36 or 38 are visible with a single camera view. The marking devices are special 30th , 32 , 34 , 36 and 38 at the fence 28 arranged so that all adjacent groups of any two marking devices, such as the marking devices 30th and 32 who have favourited Markers 32 and 34 who have favourited Markers 34 and 36 and the marking devices 36 and 38 , are visible in a camera view. Other AR devices such as AR glasses, a smartphone, etc., besides the tablet 44 , can also be used.

Wie es nachstehend ausführlich erörtert wird, beschreibt diese Offenlegung einen AR-Prozess und einen Bilderkennungsalgorithmus, bei dem eine Erweiterung in der Arbeitsstation 10, hier als Kästchen 26 dargestellt, zum Beispiel ein Punkt auf dem Roboter 12 auf dem Tablet 44 in Beziehung zu den Markiergeräten 30, 32, 34, 36 und 38 angezeigt wird. Der Prozess umfasst einen Kalibrierschritt, der jede Gruppe von zwei benachbarten Markiergeräten 30, 32, 34, 36 und 38 im Sucher der Kamera 46 zu einem Zeitpunkt zum Kalibrieren der Position der Markiergeräte 30, 32, 34, 36 und 38 in der Arbeitsstation 10 systematisch lokalisiert, um eine Entfernungsbeziehung zwischen den benachbarten Markiergeräten festzulegen. Zum Beispiel wird die Kamera 46 gesteuert, um zuerst die Markiergeräte 30 und 32 in den Bildsucher zu legen, so dass der Algorithmus eine Entfernungsbeziehung zwischen den Markiergeräten 30 und 32 einrichtet, anschließend die Markiergeräte 32 und 34 in den Bildsucher legt, so dass der Algorithmus eine Entfernungsbeziehung zwischen den Markiergeräten 32 und 34 einrichtet, anschließend die Markiergeräte 34 und 36 in den Bildsucher so legt, dass der Algorithmus eine Entfernungsbeziehung zwischen den Markiergeräten 34 und 36 einrichtet, und anschließend die Markiergeräte 36 und 38 in den Bildsucher so legt, dass der Algorithmus eine Entfernungsbeziehung zwischen den Markiergeräten 36 und 38 einrichtet. Somit sollte mindestens eins der Markiergeräte 32, 34, 36 oder 38 bereits in einem vorhergehenden Kalibrierschritt erkannt worden sein, es sei denn, dass die ersten zwei Markiergeräte 30 und 32 betrachtet werden. Dieser Kalibrierprozess setzt sich fort, bis die Örtlichkeit aller Markiergeräte 30, 32, 34, 36 und 38 bestimmt wurde.As discussed in detail below, this disclosure describes an AR process and image recognition algorithm that involves expansion in the workstation 10 , here as a box 26th shown, for example a point on the robot 12th on the tablet 44 in relation to the marking devices 30th , 32 , 34 , 36 and 38 is shown. The process includes a calibration step that each group of two adjacent marking devices 30th , 32 , 34 , 36 and 38 in the viewfinder of the camera 46 at a time to calibrate the position of the marking devices 30th , 32 , 34 , 36 and 38 in the workstation 10 systematically located to establish a distance relationship between the neighboring marking devices. For example the camera 46 controlled to first the marking equipment 30th and 32 to put in the viewfinder so that the algorithm establishes a distance relationship between the marking devices 30th and 32 sets up, then the marking devices 32 and 34 puts in the viewfinder so that the algorithm establishes a distance relationship between the marking devices 32 and 34 sets up, then the marking devices 34 and 36 in the viewfinder so that the algorithm establishes a distance relationship between the markers 34 and 36 sets up, and then the marking devices 36 and 38 in the viewfinder so that the algorithm establishes a distance relationship between the markers 36 and 38 set up. Thus, at least one of the marking devices should 32 , 34 , 36 or 38 have already been recognized in a previous calibration step, unless the first two marking devices 30th and 32 to be viewed as. This calibration process continues until the location of all marking devices 30th , 32 , 34 , 36 and 38 was determined.

Die durch den Bilderkennungsalgorithmus bestimmten Entfernungswerte zwischen allen benachbarten Markiergeräten, d.h. den Markiergeräten 30 und 32, den Markiergeräten 32 und 34, den Markiergeräten 34 und 36 sowie den Markiergeräten 36 und 38, sind unten in Tabelle 1 dargestellt, wobei M auf ein Markiergerät, T auf eine Entfernungstransformation von einem Markiergerät zu einem anderen Markiergerät verweist, die Bezugszahl das spezielle Markiergerät 30, 32, 34, 36 und 38 bezeichnet, Spalten die Entfernungstransformation von einem Markiergerät und die Zeilen die Entfernungstransformation zu einem Markiergerät sind. Die Entfernungsbeziehung zwischen zwei beliebigen Markiergeräten 30, 32, 34, 36, 38, die nicht zueinander benachbart sind, werden mathematisch aus den bekannten Entfernungsbeziehungen zwischen den benachbarten Markiergeräten als Multiplikationen zwischen der Entfernungstransformation von einem Markiergerät zu einem benachbarten Markiergerät, gemäß Tabelle 1, berechnet. Tabelle 1 M30 M32 M34 M36 M38 M30 I T32-30 T34-32*T32-30 T36-34*T34-32*T32-30 T38-36*T36-34*T34-32*T32-30 M32 T30-32 I T34-32 T36-34*T34-32 T38-36*T36-34*T34- 32 M34 T30-32*T32-34 T32-34 I T36-34 T38-36*T36- 34 M36 T30-32*T32-34*T34-36 T32-34*T34-36 T34-36 I T38-36 M38 T30-32*T32-34*T34-36*T36-38 T32-34*T34-36*T36-38 T34-36*T36-38 T36-38 I The distance values between all neighboring marking devices, ie the marking devices, determined by the image recognition algorithm 30th and 32 , the marking devices 32 and 34 , the marking devices 34 and 36 as well as the marking devices 36 and 38 , are shown in Table 1 below, where M refers to a marker, T to a distance transformation from one marker to another marker, the reference number the specific marker 30th , 32 , 34 , 36 and 38 , columns are the distance transformation from a marker and the rows are the distance transformation to a marker. The distance relationship between any two marking devices 30th , 32 , 34 , 36 , 38 which are not adjacent to one another are mathematically calculated from the known distance relationships between the adjacent marking devices as multiplications between the distance transformation from one marking device to an adjacent marking device, according to Table 1. Table 1 M30 M32 M34 M36 M38 M30 I. T32-30 T34-32 * T32-30 T36-34 * T34-32 * T32-30 T38-36 * T36-34 * T34-32 * T32-30 M32 T30-32 I. T34-32 T36-34 * T34-32 T38-36 * T36-34 * T34- 32 M34 T30-32 * T32-34 T32-34 I. T36-34 T38-36 * T36- 34 M36 T30-32 * T32-34 * T34-36 T32-34 * T34-36 T34-36 I. T38-36 M38 T30-32 * T32-34 * T34-36 * T36-38 T32-34 * T34-36 * T36-38 T34-36 * T36-38 T36-38 I.

Sobald alle der möglichen Entfernungsbeziehungen zwischen den Markiergeräten 30, 32, 34, 36 und 38 eingerichtet wurden, kann eine Laufzeitoperation der Anwendung durchgeführt werden, um die Beziehung zwischen dem Erweiterungskästchen 26 und jedem der Markiergeräte 30, 32, 34, 36 und 38 zu bestimmen. Der AR-Algorithmus legt zuerst die Entfernungsbeziehung zwischen einem der Markiergeräte 30, 32, 34, 36 oder 38 und dem Erweiterungskästchen 26, zum Beispiel dem nächstliegenden der Markiergeräte 30, 32, 34, 36 oder 38 zu dem Erweiterungskästchen 26, fest, indem eine zuvor bestimmte Technik an einem beliebigen Punkt während der Bedienung der anwendung verwendet wird. Der Algorithmus nutzt anschließend die Transformationen von Tabelle 1, um die Entfernungsbeziehung zwischen dem Erweiterungskästchen 26 und den anderen Markiergeräten 30, 32, 34, 36 oder 38 festzulegen. Zum Beispiel berechnet der Algorithmus Abweichungen der angezeigten Erweiterung unter Verwendung der Abweichung im Verhältnis zum registrierten Markiergerät, modifiziert um die Abweichung des gegenwärtig sichtbaren Markiergeräts zu dem registrierten Markiergerät. Wenn der Benutzer 42 sich zu anderen Stellen herumdreht, wird das Erweiterungskästchen 26 im Verhältnis zum Markiergerät 30, 32, 34, 36 oder 38, zu dessen Stelle das meiste Vertrauen an diesem Platz besteht, angezeigt.Once all of the possible distance relationships between the marking devices 30th , 32 , 34 , 36 and 38 have been set up, an application run-time operation can be performed to determine the relationship between the expand box 26th and each of the marking devices 30th , 32 , 34 , 36 and 38 to determine. The AR algorithm first establishes the distance relationship between one of the marking devices 30th , 32 , 34 , 36 or 38 and the extension box 26th , for example the closest of the marking devices 30th , 32 , 34 , 36 or 38 to the extension box 26th , by using a predetermined technique at any point during the operation of the application. The algorithm then uses the transformations from Table 1 to determine the distance relationship between the expansion boxes 26th and the other marking devices 30th , 32 , 34 , 36 or 38 to be determined. For example, the algorithm calculates deviations from the displayed extension using the deviation in relation to the registered marking device modified by the deviation of the currently visible marking device from the registered marking device. If the user 42 turns around to other places, the expansion box becomes 26th in relation to the marking device 30th , 32 , 34 , 36 or 38 , whose position is most trusted in this place.

2 ist ein Ablaufdiagramm 50, das einen Prozess zur Einrichtung einer AR-Anwendung, wie nachstehend beschrieben, darstellt. Die Markiergeräte 30, 32, 34, 36 und 38 sind über die gesamte Arbeitsstation 10 im Kästchen 52 angeordnet. Der Benutzer 42 findet jedes Paar benachbarter Markiergeräte im Bildsucher beim Kästchen 54. Der Algorithmus legt im Kästchen 56 eine Entfernungsbeziehung fest zwischen den Paaren benachbarter Markiergeräte 30, 32, 34, 36 und 38. Der Algorithmus legt im Kästchen 58 eine Entfernungsbeziehung fest zwischen allen der Markiergeräte 30, 32, 34, 36 und 38. Der Algorithmus meldet im Kästchen 60 eine Erweiterung in der Arbeitsstation 10 einem der Markiergeräte 30, 32, 34, 36, und 38. Der Algorithmus zeigt im Kästchen die Erweiterung im Verhältnis zu dem am nächsten liegenden Markiergerät an. Der Algorithmus berechnet im Kästchen 64 Abweichungen zwischen der angezeigten Abweichung und den anderen Markiergeräten. 2 is a flow chart 50 , which depicts a process for setting up an AR application as described below. The marking devices 30th , 32 , 34 , 36 and 38 are across the entire workstation 10 in the box 52 arranged. The user 42 finds every pair of adjacent marking devices in the viewfinder near the box 54 . The algorithm lays in the box 56 a fixed distance relationship between the pairs of adjacent marking devices 30th , 32 , 34 , 36 and 38 . The algorithm lays in the box 58 a distance relationship fixed between all of the marking devices 30th , 32 , 34 , 36 and 38 . The algorithm reports in the box 60 an extension in the workstation 10 one of the marking devices 30th , 32 , 34 , 36 , and 38 . The algorithm shows in the box the extension in relation to the closest marking device. The algorithm calculates in the box 64 Deviations between the displayed deviation and the other marking devices.

Die vorhergehende Erörterung offenbart und beschreibt nur beispielhafte Ausführungsformen der vorliegenden Offenlegung. Ein Fachmann wird aus dieser Erörterung und aus den begleitenden Zeichnungen und Ansprüchen ohne weiteres erkennen, dass verschiedene Änderungen, Modifizierungen und Variationen daran vorgenommen werden können, ohne vom Geist und Geltungsbereich der Offenlegung, wie in den folgenden Ansprüchen definiert, abzuweichen.The previous discussion discloses and describes exemplary embodiments of the present disclosure only. One skilled in the art will readily recognize from this discussion and the accompanying drawings and claims that various changes, modifications, and variations can be made therein without departing from the spirit and scope of the disclosure as defined in the following claims.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 62843131 [0001]

Claims

A method for providing an augmented reality (AR) application, the method comprising: Arranging a plurality of marking devices over an entire work area so that a plurality of pairs of two adjacent marking devices can be viewed with a camera in an image field of an AR device; Establishing a distance relationship between the two adjacent marking devices in all of the marking device pairs; Setting a distance relationship between all pairs of non-adjacent markers using the distance relationship between the two markers may in all of the marker pairs; Detecting a distance relationship between one of the plurality of marking devices and an extension in the work area; and Recognizing a distance relationship between all of the other plurality of marking devices and the extension using the distance relationships between the neighboring marking devices and the non-neighboring marking devices.

Procedure according to Claim 1 , further comprising displaying the extension relative to a closest, visible marker at any point during operation of the application.

Procedure according to Claim 2 , where the display of the extension is a runtime step.

Procedure according to Claim 1 wherein recognizing a distance relationship between all of the other plurality of marking devices and the extension comprises calculating a deviation of the extension using a deviation relative to the one marking device modified by a deviation of a currently visible marking device from the one marking device.

Procedure according to Claim 4 , where the calculation of the deviation is a runtime step of the application.

Procedure according to Claim 1 wherein establishing a distance relationship between all non-adjacent markers includes multiplying selected ones of the distance relationships between the two markers in all pairs of markers.

Procedure according to Claim 1 , wherein the work area includes a robot

Procedure according to Claim 7 , where the extension is a point on the robot.

Procedure according to Claim 7 , wherein the marking devices are arranged on a security fence surrounding the work area.

Procedure according to Claim 1 , wherein the AR device is a tablet, smartphone or AR glasses.

A method of providing an augmented reality (AR) application for calibrating a robot in a work area, the method comprising: Arranging a plurality of marking devices over the entire work area, so that a plurality of pairs of two adjacent marking devices can be viewed with a camera in an image field of an AR device; Establishing a distance relationship between the two adjacent marking devices in all marking device pairs; Establishing a distance relationship between all pairs of non-adjacent markers using the distance relationship between the two markers in all of the marker pairs including multiplication of selected ones of the distance relationships between the two markers in all of the marker pairs; Detecting a distance relationship between one of the plurality of marking devices and a point on the robot; Recognizing a distance relationship between all of the other plurality of markers and the point by utilizing the distance relationships between the adjacent markers and the non-adjacent markers; and Displaying the point in relation to a closest visible marker at each point during operation of the application.

Procedure according to Claim 11 wherein detecting a distance relationship between all of the other plurality of markers and the point includes calculating a deviation of the point using a deviation relative to the one marker modified by a deviation of a currently visible marker from the one marker.

Procedure according to Claim 12 , where the calculation of the deviation is a runtime step of the application.

Procedure according to Claim 11 , wherein the marking devices are arranged on a security fence surrounding the work area.

A system for providing an augmented reality (AR) application, the system comprising: Means for arranging a plurality of marking devices over the entire work area, so that a plurality of pairs of two adjacent marking devices can be viewed with a camera in an image field of an AR device; Means for establishing a distance relationship between the two adjacent markers in each of the pairs of markers; Means for establishing a distance relationship between all pairs of non-adjacent markers by utilizing the distance relationship between the two markers in all of the marker pairs; Means for detecting a distance relationship between one of the plurality of marking devices and an extension in the work area; and Means for detecting a distance relationship between all of the other plurality of markers and the extension by utilizing the distance relationships between the adjacent markers and the non-adjacent markers.

System according to Claim 15 , further comprising means for displaying the extension relative to a closest, visible marker at any point during operation of the application.

System according to Claim 15 wherein the means for detecting a distance relationship between all of the other plurality of marking devices and the extension calculates a deviation of the extension using a deviation in relation to the one marking device modified by a deviation of a currently visible marking device from the one marking device.

System according to Claim 15 , wherein the work area includes a robot.

System according to Claim 18 , where the extension is a point on the robot.

System according to Claim 18 , wherein the marking devices are arranged on a security fence surrounding the work area.