DE102016224774B3

DE102016224774B3 - Method for programming a measuring robot and programming system

Info

Publication number: DE102016224774B3
Application number: DE102016224774.3A
Authority: DE
Inventors: Andreas Gallasch
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2016-12-13
Filing date: 2016-12-13
Publication date: 2018-01-25
Anticipated expiration: 2036-12-14

Abstract

Verfahren zur Programmierung eines Messroboters (1), der wenigstens einen in einem Messvolumen (6) messenden realen Messsensor (5) aufweist, zur Aufnahme eines Messobjekts (25) von wenigstens einer Aufnahmeposition aus, wobei in das Blickfeld eines Benutzers (20) mittels einer von diesem getragenen Datensichteinrichtung (10), die zur Anzeige einer die durch den Benutzer wahrgenommene Umgebung überlagernden Zusatzinformation mittels einer Anzeigeeinrichtung (11) und zur Ermittlung einer aktuellen Positionsinformation der Datensichteinrichtung (10) mittels einer Positionsbestimmungseinrichtung (12) ausgebildet ist, ein das Messvolumen ausgehend von einem an einer am Kopf des Benutzers (20) und/oder der Datensichteinrichtung (10) angenommen virtuellen Ausgangsposition befindlichen virtuellen Messsensor (22) anzeigendes Anzeigeobjekt (26) eingeblendet und der virtuelle Messsensor (22) wenigstens während einer Positionierungszeitspanne mit der Bewegung des Benutzers (20) mitgeführt wird, wobei bei Durchführung einer ersten Bedienaktion eine aktuelle virtuelle Position des virtuellen Messsensors (22) als durch den Messroboter (1) zur Messung mit dem realen Messsensor (5) zu verwendende Aufnahmeposition gespeichert wird.Method for programming a measuring robot (1), which has at least one real measuring sensor (5) measuring in a measuring volume (6), for recording a measuring object (25) from at least one receiving position, wherein in the field of vision of a user (20) by means of a from this supported data display device (10), which is for displaying a user perceived by the environment overlapping additional information by means of a display device (11) and for determining a current position information of the data display device (10) by means of a position determining means (12), starting the measuring volume a display object (26) displaying a virtual measuring sensor (22) assumed at the head of the user (20) and / or the data display device (10) and the virtual measuring sensor (22) at least during a positioning period with the movement of the user (20) is carried, wherein when performing a first operation action, a current virtual position of the virtual measurement sensor (22) is stored as a recording position to be used by the measurement robot (1) for measurement with the real measurement sensor (5).

Description

Die Erfindung betrifft ein Verfahren zur Programmierung eines Messroboters, der wenigstens einen in einem Messvolumen messenden realen Messsensor aufweist, zur Aufnahme eines Messobjekts von wenigstens einer Aufnahmeposition aus. Daneben betrifft die Erfindung ein Programmiersystem. The invention relates to a method for programming a measuring robot, which has at least one real measuring sensor measuring in a measuring volume, for recording a measuring object from at least one receiving position. In addition, the invention relates to a programming system.

Koordinatenmessungen an Messobjekten, beispielsweise im Bereich der Kraftfahrzeugtechnologie, können mittels eines Messsystems erfolgen, welches einen Messroboter aufweist, beispielsweise ein Knickarmroboter, der einen Messsensor zur Aufnahme von Messdaten trägt. Beispielsweise kann ein optischer, flächenhaft messender Messsensor gewählt werden; denkbar sind selbstverständlich auch andere Messsensoren, insbesondere stereoskopische, beispielsweise optische Messanordnungen als Messsensor. Mittels eines Messroboters kann das Messobjekt von verschiedenen räumlichen Positionen aus vermessen werden, beispielsweise durch digitale Aufnahmen. Anhand der aufgrund der Bewegung des Messroboters bekannten Beziehung der einzelnen Messungen der unterschiedlichen Aufnahmepositionen und/oder unter Verwendung von auf dem Messobjekt aufgebrachten Zielmarkern können die Messdaten einzelner Messungen, beispielsweise digitale Aufnahmen, räumlich kombiniert werden. So kann in einer weiteren Auswertung beispielsweise eine sogenannte Punktewolke des Messobjekts ermittelt werden. Coordinate measurements on measuring objects, for example in the field of motor vehicle technology, can be carried out by means of a measuring system which has a measuring robot, for example an articulated-arm robot, which carries a measuring sensor for recording measured data. For example, an optical, areal measuring sensor can be selected; Of course, other measuring sensors are also conceivable, in particular stereoscopic, for example optical measuring arrangements as a measuring sensor. By means of a measuring robot, the measurement object can be measured from different spatial positions, for example by digital recordings. On the basis of the known due to the movement of the measuring robot relationship of the individual measurements of the different recording positions and / or using target markers applied to the measurement object, the measurement data of individual measurements, such as digital images, can be spatially combined. Thus, for example, a so-called point cloud of the measurement object can be determined in a further evaluation.

Der Einsatz von Messrobotern hat zu einer weitgehenden Ermöglichung der Automatisierung solcher Messungen, beispielsweise auch an einem Band oder anderweitig in der Fertigung, geführt. Ein Messprogramm des Messroboters enthält die Aufnahmepositionen, so dass sich der Messsensor von Aufnahmeposition zu Aufnahmeposition bewegen kann, wo dann jeweils Messungen durchgeführt werden. Damit ein vorgegebener Bewegungsablauf vom Messroboter automatisch durchgeführt werden kann, muss mithin ein Messprogramm erstellt werden, das bedeutet, die als Aufnahmeposition anzufahrenden Raumpunkte müssen der Robotersteuerung, beispielsweise einer Steuereinheit, in irgendeiner Form übergeben werden. Ein solches Messprogramm kann mittels eines sogenannten Programmiersystems erstellt werden. Dabei enthält ein Messprogramm in der Regel mehrere Aufnahmepositionen mit vorgesehenen Messungen, welche nacheinander abgearbeitet werden. The use of measuring robots has largely enabled the automation of such measurements, for example also on a belt or otherwise in production. A measuring program of the measuring robot contains the recording positions, so that the measuring sensor can move from recording position to recording position, where measurements are taken. Thus, a predetermined movement of the measuring robot can be performed automatically, therefore, a measurement program must be created, which means that the approached as a recording position points in space must be the robot control, such as a control unit, passed in some form. Such a measuring program can be created by means of a so-called programming system. As a rule, a measuring program contains several recording positions with intended measurements, which are processed one after the other.

Dabei ist es im Stand der Technik bekannt, derartige Messroboter „online“ oder „offline“ zu programmieren. Eine Online-Programmierung bedeutet dabei, dass die Definition der Aufnahmepositionen unmittelbar am Messroboter selbst erfolgt. Beispielsweise kann hierzu vorgesehen sein, dass der Messroboter über ein Handbediengerät des Messroboters real an die gewünschten Aufnahmepositionen bewegt wird und diese Aufnahmepositionen dann in das Messprogramm übernommen werden (sogenannte „teach-in“-Programmierung). Im Gegensatz hierzu bedeutet eine Offline-Programmierung, dass der reale Messroboter oder der reale Messsensor des Messroboters für die Messprogrammerstellung nicht benötigt werden. Das Messprogramm wird über ein separates und von dem Messsensor unabhängiges Programmiersystem erzeugt und erst nach dessen Fertigstellung zur Robotersteuerung übertragen. Der Vorteil hierbei ist, dass der Messroboter durch die Programmiertätigkeit nicht belegt wird und weiterhin produktiv tätig sein kann.It is known in the art to program such measuring robots "online" or "offline". An online programming means that the definition of the shooting positions takes place directly on the measuring robot itself. For example, it can be provided for this purpose that the measuring robot is actually moved to the desired recording positions via a handheld terminal of the measuring robot and these recording positions are then taken over into the measuring program (so-called "teach-in" programming). In contrast to this, offline programming means that the real measuring robot or the real measuring sensor of the measuring robot are not needed for the measuring program creation. The measuring program is generated by a separate programming system independent of the measuring sensor and only transferred to the robot controller after its completion. The advantage here is that the measuring robot is not occupied by the programming activity and can continue to be productive.

Dabei wurden verschiedene konkrete Möglichkeiten vorgeschlagen, um einzelne Messungen, also die Programmierung einzelner Befehlszeilen im Messprogramm, die eine Aufnahmeposition umfassen, zu erzeugen. Various concrete options have been proposed for generating individual measurements, ie the programming of individual command lines in the measuring program, which comprise a recording position.

So ist es bei der Online-Programmierung bekannt, dass der Benutzer, mithin der Messtechniker, mit einem Handbediengerät bzw. Bedienpult den Messroboter und somit den Messsensor real an die gewünschte Messposition fährt. Diese wird dann in der Messsoftware als Teil des Messprogramms abgespeichert. Die Aufnahmeposition im Messprogramm ist dabei zum einen benutzerabhängig, zum anderen ist das Anfahren einer bestimmten, geeigneten Aufnahmeposition (welche vorliegend neben dem Ort auch als die Orientierung des Messsensors enthaltend verstanden werden soll) über die manuelle Bedieneinrichtung des Messroboters zeitaufwendig, vor allem bei größeren Messobjekten und damit einer höheren Anzahl von einzelnen Messungen. It is thus known in online programming that the user, and thus the measuring technician, drives the measuring robot and thus the measuring sensor in real to the desired measuring position with a handheld operating device or operating console. This is then stored in the measuring software as part of the measuring program. The recording position in the measurement program is on the one hand user-dependent, on the other hand the start-up of a specific, suitable recording position (which should be understood as containing the orientation of the measuring sensor in addition to the location) is time-consuming via the manual operating device of the measuring robot, especially for larger measuring objects and thus a higher number of individual measurements.

Bei der Offline-Programmierung ist es bekannt, den Messroboter mit dem Messsensor sowie das Messobjekt sowie eine Aufnahme bzw. Halterung für das Messobjekt innerhalb einer Messsoftware virtuell abzubilden. Der Benutzer kann beispielsweise mit einer Computermaus auf einen Punkt der Oberfläche des Messobjekts klicken oder auch ein zu messendes Element, beispielsweise ein Kreisloch, markieren. Der virtuelle Messroboter fährt dann mit Berücksichtigung des entsprechenden Messabstands auf eine entsprechende Aufnahmeposition. Diese Aufnahmeposition kann nun vom Benutzer, also dem Messtechniker, in das Messprogramm übernommen werden. Neben dem virtuellen Anfahren kann auch ein reales Anfahren zur Überprüfung inkludiert sein. Sowohl das virtuelle als auch das reale Anfahren einer lediglich virtuell bestimmten Aufnahmeposition ist möglich, da die Messsoftware, beispielsweise in einem Modell, über eine rechnerinterne Nachbildung des Messroboters mit dem Messsensor verfügt, insbesondere umfassend ein entsprechendes Bewegungsmodell des Messroboters sowie eines gegebenenfalls vorhandenen Drehtisches und/oder einer Lineareinheit. Die in das Messprogramm übernommene Aufnahmeposition ist abhängig davon, an welche Stelle der Benutzer geklickt hat. Dabei ist allerdings eine Abschätzung, ob alle gewünschten Merkmale mit dieser Aufnahmeposition erreicht werden können, im Voraus nahezu unmöglich. Erst nach der Positionierung des virtuellen oder sogar erst des realen Messsensors ist eine Beurteilung möglich, so dass letztlich ein „try and error“-Prinzip genutzt wird. In offline programming, it is known to virtually map the measuring robot with the measuring sensor as well as the measuring object and a receptacle or holder for the measuring object within a measuring software. The user can, for example, use a computer mouse to click on a point on the surface of the measurement object or to mark an element to be measured, for example a circular hole. The virtual measuring robot then moves to a corresponding picking position, taking into account the corresponding measuring distance. This recording position can now be taken over by the user, ie the measurement technician in the measurement program. In addition to the virtual startup, a real startup can also be included for review. Both the virtual and the real start of a merely virtually determined recording position is possible because the measurement software, for example in a model, has a computer-internal simulation of the measurement robot with the measurement sensor, in particular comprising a corresponding movement model of the measurement robot and a optionally available turntable and / or a linear unit. The recording position adopted in the measuring program depends on where the user clicked. However, an estimate of whether all the desired features can be achieved with this recording position is almost impossible in advance. It is only after the positioning of the virtual or even the real measuring sensor that an assessment is possible, so that finally a "try and error" principle is used.

Schließlich ist es bei der Offline-Programmierung auch denkbar, dass wiederum der Messroboter mit dem Messsensor sowie das Messobjekt und die Aufnahme bzw. Halterung des Messobjekts virtuell in der Messsoftware abgebildet werden. Wählt der Benutzer ein zu vermessendes Element, beispielsweise ein Kreisloch, an, so erzeugt die Messsoftware eine oder mehrere Aufnahmepositionen bzw. Befehlszeilen des Messprogramms derart, dass das betrachtete Element bestmöglich gemessen wird, beispielsweise hinsichtlich der Vollständigkeit der Erfassung oder auch bezüglich der erzielbaren Messgenauigkeit. Die Aufnahmepositionen sind nicht mehr bedienerabhängig. Kann der Messsoftware auch ein größerer Flächenbereich, beispielsweise mehrere Flächenpatches oder sogar eine gesamte sichtbare Oberflächenseite, zur Messprogrammerzeugung übergeben werden, so ist auch die Erzeugung eines Messprogramms denkbar, welches die gesamte definierte Fläche mit Messungen abdeckt und damit größtenteils erfasst. Für das komplette Vervollständigen der Abtastung des zu erfassenden Oberflächenbereichs müssen aber in der Regel noch einzelne Aufnahmepositionen nachprogrammiert werden, wobei die Positionierung des Messsensors hierfür wiederum problematisch und/oder zeitaufwendig sein kann.Finally, it is also conceivable in offline programming that, in turn, the measuring robot with the measuring sensor as well as the measuring object and the recording or holding of the measuring object are virtually imaged in the measuring software. If the user selects an element to be measured, for example a circular hole, the measuring software generates one or more recording positions or command lines of the measuring program in such a way that the element considered is measured in the best possible way, for example with regard to the completeness of the detection or also with regard to the achievable measurement accuracy. The recording positions are no longer operator-dependent. If the measuring software can also be given a larger surface area, for example several surface patches or even an entire visible surface side, for measuring program generation, it is also conceivable to generate a measuring program which covers the entire defined area with measurements and thus largely records them. For the complete completion of the scanning of the surface area to be detected but usually individual recording positions must be reprogrammed, the positioning of the measuring sensor for this in turn can be problematic and / or time consuming.

Nachteilhaft ist es zudem, dass für eine Offline-Programmierung und eine Modellierung der Messumgebung letztlich alle im Messbereich enthaltenen Baugruppen virtuell nachgebildet werden müssen. Das bedeutet, neben dem Messobjekt und dem Messroboter muss beispielsweise auch eine Aufnahme oder Halterung des Messobjekts in Form von CAD-Daten vorliegen und in den virtuellen Messraum eingebracht werden. Gerade bei Analysemessungen von Messobjekten eines frühen Entwicklungsstadiums liegen aber keine virtuellen und/oder realen Aufnahmen oder Halterungen vor, so dass ein vollständiger, korrekter virtueller Nachbau nicht möglich ist und somit auch keine Offline-Programmierung.It is also disadvantageous that, for offline programming and modeling of the measurement environment, all assemblies contained in the measurement area ultimately have to be simulated virtually. This means that in addition to the measurement object and the measurement robot, for example, a recording or mounting of the measurement object must also be present in the form of CAD data and introduced into the virtual measurement space. However, especially in the case of analysis measurements of objects of measurement of an early developmental stage, there are no virtual and / or real recordings or fixtures, so that a complete, correct virtual replica is not possible and thus also no offline programming.

Insbesondere im Hinblick auf die schnelle und einfache Programmierung einer vollständigen Messung kleinerer Messobjekte oder aber für die Ergänzung von insbesondere offline erzeugten Messprogrammen direkt am Messobjekt, beispielsweise für das Schließen von Fehlstellen/Löchern in der Abdeckung durch die Messaufnahmen, fehlt eine effiziente Vorgehensweise, um mit möglichst wenig Aufwand diese Aufnahmepositionen zu programmieren. In particular, with regard to the quick and easy programming of a complete measurement of smaller measurement objects or for the addition of particular offline generated measurement programs directly on the measurement object, for example, for closing holes / holes in the cover by the measurement recordings, lacking an efficient approach to as little effort as possible to program these recording positions.

Der Erfindung liegt daher die Aufgabe zugrunde, eine komfortable, einfach realisierbare, ohne viel Zeitaufwand umsetzbare und verlässliche Möglichkeit zur Programmierung von Aufnahmepositionen für ein Messprogramm eines Messroboters anzugeben.The invention is therefore based on the object to provide a comfortable, easy to implement, without much time feasible and reliable way to program recording positions for a measurement program of a measuring robot.

Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass in das Blickfeld eines Benutzers mittels einer von diesem getragenen Datensichteinrichtung, die zur Anzeige einer die durch den Benutzer wahrgenommene Umgebung überlagernden Zusatzinformation mittels einer Anzeigeeinrichtung und zur Ermittlung einer aktuellen Positionsinformation der Datensichteinrichtung mittels einer Positionsbestimmungseinrichtung ausgebildet ist, ein das Messvolumen ausgehend von einem an einer am Kopf des Benutzers und/oder an der Datensichteinrichtung angenommenen virtuellen Ausgangsposition befindlichen virtuellen Messsensor anzeigendes Anzeigeobjekt eingeblendet und der virtuelle Messsensor wenigstens während einer Positionierungszeitspanne mit der Bewegung des Benutzers mitgeführt wird, wobei bei Durchführung einer ersten Bedienaktion eine aktuelle virtuelle Position des virtuellen Messsensors als durch den Messroboter zur Messung mit dem realen Messsensor zu verwendende Aufnahmeposition gespeichert wird. To solve this problem is provided according to the invention in a method of the type mentioned that in the field of view of a user carried by this data display device for displaying a perceived by the user environment additional information by means of a display device and to determine a current position information of the Display device is formed by means of a position determination device, displays a measurement volume starting from a virtual measuring sensor located at a virtual starting position at the user's head and / or at the data display device and the virtual measuring sensor is carried along with the user's movement at least during a positioning period, wherein when performing a first operation, a current virtual position of the virtual measuring sensor as by the measuring robot to measure with the real Measuring sensor to be used recording position is stored.

Dabei sei zunächst angemerkt, dass, wenn vorliegend von „Position“ die Rede ist, hiervon sowohl eine dreidimensionale Ortsangabe wie auch eine Orientierung umfasst sein soll, mithin eine gesamte Pose. Auch die Orientierung des Messsensors ist selbstverständlich eine wesentliche Information zur erfolgreichen Durchführung von Aufnahmen. Um aktuelle Positionen des virtuellen Messsensors in für den Messroboter nutzbare Aufnahmepositionen zu übertragen, ist das Koordinatensystem der Datensichteinrichtung zweckmäßigerweise mit dem Koordinatensystem einer das Messprogramm umsetzenden Steuereinheit registriert, wobei übliche, grundsätzlich bekannte Registrierungsmethoden auch im Rahmen der vorliegenden Erfindung angewendet werden können. It should first be noted that, in the present case of "position" is mentioned, it should be included both a three-dimensional location information as well as an orientation, and therefore an entire pose. Of course, the orientation of the measuring sensor is also an essential piece of information for successful recording. In order to transmit current positions of the virtual measuring sensor in usable for the measuring robot recording positions, the coordinate system of the data display device is expediently registered with the coordinate system of the measuring program implementing control unit, whereby conventional, basically known registration methods can also be used in the context of the present invention.

Es wird ein neues Programmierverfahren vorgeschlagen, das weder auf der Online-Programmierung noch auf der Offline-Programmierung basiert, sondern die Programmierung erfolgt direkt durch den Messtechniker, welcher mit einer Datensichteinrichtung, konkret insbesondere einer Augmented-Reality-Einrichtung (AR-Einrichtung) ausgestattet ist. Mithin wird eine erweiterte Realität geschaffen, indem computergestützt die Realitätswahrnehmung des Benutzers durch eine Einblendung bzw. Überlagerung von computergenerierten Inhalten in das Sichtfeld des Benutzers vorgenommen wird. Zweckmäßigerweise ist die genannte Datensichteinrichtung als eine Datensichtbrille bzw. Datenbrille ausgebildet, die vorzugsweise direkt vor den Augen des Benutzers getragen wird. Somit erlaubt die Datensichteinrichtung als Datensichtbrille auch die Einblendung computergenerierter Informationen. Ein Beispiel für eine derartige Augmented-Reality-Datensichtbrille wird unter dem Namen „Hololens“ von der Firma Microsoft vertrieben. A new programming method is proposed, which is based neither on the online programming nor on the offline programming, but the programming is done directly by the measurement technician, which equipped with a data display device, in particular an augmented reality device (AR device) is. Thus, an augmented reality is created by computer-assisted perception of the user's reality by an overlay from computer-generated content to the user's field of view. Conveniently, the said data viewing device is designed as a data goggles or data goggles, which is preferably worn directly in front of the user's eyes. Thus, the data display device also allows the insertion of computer-generated information as data glasses. An example of such an augmented reality goggle is sold under the name "Hololens" by the company Microsoft.

Die Grundidee der vorliegenden Erfindung ist es nun, dass der reale Messsensor sozusagen durch die Augen des Messtechnikers, also Benutzers, mit samt der Datensichteinrichtung ersetzt wird. Mithilfe der Datensichteinrichtung bekommt der Benutzer das Messvolumen des Messsensors, welcher sich gedacht insbesondere im Bereich seiner Augen befindet, in sein Sichtfeld eingeblendet, so dass sich das Messvolumen mithin direkt vor seinen Augen befindet und sich mit der Realität überlagert. Dabei sei an dieser Stelle noch angemerkt, dass meistens ein Minimalabstand und/oder ein Maximalabstand von dem Messsensor existieren, wobei nur im entsprechenden Intervall sinnvolle Messungen vorgenommen werden können. Der Minimalabstand wird hierbei häufig als „gültiger Messabstand“ bezeichnet und wird zweckmäßig auch für die Einblendung des Anzeigeobjekts, das das Messvolumen wiedergibt, berücksichtigt. The basic idea of the present invention is now that the real measuring sensor is replaced so to speak by the eyes of the measuring technician, ie the user, together with the data display device. With the aid of the data display device, the user gets the measuring volume of the measuring sensor, which is intended in particular in the area of his eyes, faded into his field of vision, so that the measuring volume is therefore directly in front of his eyes and superimposed with reality. It should be noted at this point that usually a minimum distance and / or a maximum distance from the measuring sensor exist, meaningful measurements can be made only in the appropriate interval. The minimum distance is often referred to as "valid measuring distance" and is expediently also considered for the display of the display object, which reflects the measurement volume.

Bewegt der Benutzer nun seinen Kopf mitsamt der Datensichteinrichtung und/oder bewegt sich der Benutzer komplett im Raum, beispielsweise um das Messobjekt herum, so bewegt sich wenigstens während einer Positionierungszeitspanne der virtuelle Messsensor und somit das virtuelle Messvolumen entsprechend mit und überlagert sich entsprechend mit der realen Ansicht. Durch die Einblendung des Messvolumens in Form eines Anzeigeobjekts kann der Benutzer direkt erkennen, welcher Teil des realen Messobjekts sich im Messvolumen befindet. Durch eine Kopf- und/oder Körperbewegung kann der Benutzer das Messvolumen, falls notwendig, verändern. Ist das virtuelle Messvolumen am realen Messobjekt korrekt positioniert und orientiert, so kann der Benutzer die entsprechende zugeordnete aktuelle Position des virtuellen Messsensors programmieren, indem er eine entsprechende erste Bedienaktion vornimmt, beispielsweise einen Auslöseknopf drückt und/oder eine bestimmte Geste ausführt, die von der Datensichteinrichtung erkannt wird und als erste Bedienaktion an beispielsweise eine Rechnereinrichtung als Teil einer das Verfahren durchführenden Steuereinrichtung weitergeleitet wird. If the user now moves his head together with the data display device and / or if the user moves completely in space, for example around the measurement object, then the virtual measurement sensor and thus the virtual measurement volume moves at least during a positioning period and superimposes correspondingly with the real one View. By inserting the measurement volume in the form of a display object, the user can directly recognize which part of the real measurement object is located in the measurement volume. By a head and / or body movement, the user can change the measurement volume, if necessary. If the virtual measurement volume is correctly positioned and oriented on the real measurement object, then the user can program the corresponding assigned current position of the virtual measurement sensor by carrying out a corresponding first operator action, for example pressing a trigger button and / or executing a specific gesture that is executed by the data display device is recognized and is forwarded as the first operating action on, for example, a computer device as part of a method performing control device.

Der Vorteil des hier vorgestellten Programmierverfahrens ist, dass einzelne Aufnahmepositionen sehr schnell programmiert werden können, indem sich der Benutzer einfach in der gewünschten Art und Weise zum Messobjekt stellt und die dadurch gegebene Position des virtuellen Messsensors als Aufnahmeposition abspeichert. The advantage of the programming method presented here is that individual recording positions can be programmed very quickly, in that the user simply places himself in the desired manner to the measurement object and stores the position of the virtual measurement sensor given thereby as a recording position.

Messprogramme für kleine Messobjekte können so sehr schnell und vollständig erzeugt werden. Offline erzeugte Messprogramme können sehr schnell durch weitere Messaufnahmen, mithin Aufnahmepositionen, ergänzt werden, um beispielsweise Aufnahmelücken auf dem Messobjekt zu schließen. Vorteilhafterweise stützt sich die Erzeugung des Messprogramms gemäß der vorliegenden Erfindung auch auf die in der Messumgebung, die auch weitere vorhandene Baugruppen, beispielsweise eine Aufnahme oder Halterung für das Messobjekt, umfasst, gegebenen Umstände, so dass Aufnahmepositionen, die zu Kollisionen oder Ähnlichem führen könnten, zwangsläufig vermieden werden, da der Benutzer selbst an die Messumgebung und ihre Baugruppen gebunden ist. Measuring programs for small measuring objects can be generated very quickly and completely. Offline measuring programs can be supplemented very quickly by further measurement recordings, thus recording positions, in order to close, for example, recording gaps on the measurement object. Advantageously, the generation of the measurement program according to the present invention also relies on the circumstances in the measurement environment, which also includes other existing assemblies, for example a receptacle or holder for the measurement object, such that recording positions which could lead to collisions or the like, inevitably be avoided, since the user himself is bound to the measurement environment and its assemblies.

Konkret kann vorgesehen sein, dass ein mehrere Aufnahmepositionen anfahrendes Messprogramm durch sukzessive Platzierung von Messvolumina durch den Benutzer programmiert wird und/oder ein bestehendes Messprogramm mit mehreren Aufnahmepositionen um eine durch einen Benutzer platzierte Aufnahmeposition ergänzt wird. Mithin bezieht sich die vorliegende Erfindung nicht nur auf einzelne Aufnahmepositionen, sondern auch auf die Programmierung einer Folge von Aufnahmepositionen und/oder eine Ergänzung bereits bestehender Messprogramme um weitere Aufnahmepositionen.Specifically, it can be provided that a measuring program approaching several recording positions is programmed by successive placement of measuring volumes by the user and / or an existing measuring program with several recording positions is supplemented by a recording position placed by a user. Thus, the present invention relates not only to individual recording positions, but also to the programming of a sequence of recording positions and / or a supplement to already existing measuring programs for further recording positions.

Besonders zweckmäßig ist es, wenn, insbesondere bei einem stereoskopischen realen Messsensor, als Ausgangsposition des virtuellen Messsensors ein Mittelpunkt zwischen den Augen des Benutzers verwendet wird. Auf diese Weise rezipiert der Nutzer letztendlich seine Augen als virtuellen Messsensor, was eine besonders intuitive Ausgestaltung ermöglicht, insbesondere bei der Verwendung von stereoskopischen Kameras als Messsensor.It is particularly expedient if, in particular in the case of a stereoscopic real measuring sensor, a center point between the eyes of the user is used as the starting position of the virtual measuring sensor. In this way, the user ultimately receives his eyes as a virtual measuring sensor, which allows a particularly intuitive design, especially when using stereoscopic cameras as a measuring sensor.

In diesem Kontext kann es auch zweckmäßig sein, wenn die Datensichteinrichtung ein Messmittel zur Ermittlung einer Augenausrichtung des Benutzers umfasst, wobei anhand einer erkannten Augenausrichtung die Orientierung des virtuellen Messsensors als die Augenausrichtung eingestellt wird. Es ist mithin auch denkbar, wenn eine aktuelle Blickrichtung, mithin Augenausrichtung, des Benutzers ermittelt werden kann, diese einzusetzen, um die Orientierung des virtuellen Messsensors zu definieren und mithin entsprechend das das Messvolumen beschreibende Anzeigeobjekt einzublenden. Selbstverständlich ist es aber auch denkbar, die Orientierung des virtuellen Messsensors an der Orientierung der Datensichteinrichtung festzumachen.In this context, it may also be expedient for the data display device to include a measuring device for determining an eye orientation of the user, the orientation of the virtual measuring sensor being set as the eye orientation based on a recognized eye alignment. It is therefore also conceivable if a current line of sight, thus eye alignment, of the user can be determined, to use these to define the orientation of the virtual measuring sensor and thus show the display object describing the measuring volume accordingly. Of course, it is also conceivable to fix the orientation of the virtual measuring sensor to the orientation of the data display device.

In einer vorteilhaften Ausgestaltung kann das Anzeigeobjekt Begrenzungen des Messvolumens anzeigende geometrische Formen umfassend eingeblendet werden. Während es mithin grundsätzlich denkbar ist, das Messvolumen insgesamt, beispielsweise als transparenten Raumbereich, darzustellen, wird es bevorzugt, durch das Anzeigeobjekt die Begrenzungen des Messvolumens wiederzugeben. Dabei wird im Übrigen als eigentliches Messvolumen der Anteil des Erfassungsbereichs des Messsensors verstanden, in dem die Messdaten, beispielsweise Bilder bei einem optischen Messsensor, mit hinreichender Qualität für die weitere Auswertung aufgenommen werden können. In an advantageous embodiment, the display object can be overlaid with geometrical shapes indicating boundaries of the measuring volume. Consequently, while it is fundamentally conceivable to represent the measurement volume as a whole, for example as a transparent spatial region, it is preferred to reproduce the limits of the measurement volume through the display object. Incidentally, the actual measurement volume is understood to be the proportion of the detection range of the measurement sensor in which the measurement data, for example images in an optical measurement sensor, can be recorded with sufficient quality for further evaluation.

Eine zweckmäßige Weiterbildung diesbezüglich sieht vor, dass das Messvolumen des mitbewegten virtuellen Messsensors durch eine eine Begrenzung des Messvolumens senkrecht zur Blickrichtung in einem minimalen Messabstand zu dem virtuellen Sensor und eine eine Begrenzung des Messvolumens senkrecht zur Blickrichtung in einem maximalen Messabstand zu dem virtuellen Messsensor darstellende geometrische Form dargestellt wird und/oder ein einen eine Mittelachse des Messvolumens entlang der Blickrichtung anzeigenden Punkt enthaltendes Anzeigeobjekt ermittelt wird. Auf diese Weise sind wesentliche, intuitiv verständliche Bestandteile des Messvolumens, die der Benutzer für eine Bewertung nutzbringend einsetzen kann, mittels des Anzeigeobjekts einfach verständlich wiedergegeben. Der beispielsweise durch ein Kreuz oder dergleichen als Anzeigeobjekt markierbare Punkt kann hierbei als eine Art „Ausrichtungszielkreuz“ dienen, während die geometrischen Formen deutlich aufzeigen, von wo bis wo in Ebenen senkrecht zu der Mittelachse in Blickrichtung sich das Messvolumen erstreckt. An expedient development in this respect provides that the measuring volume of the moved virtual measuring sensor by a limitation of the measuring volume perpendicular to the viewing direction in a minimum measuring distance to the virtual sensor and a limitation of the measuring volume perpendicular to the viewing direction in a maximum measuring distance to the virtual measuring sensor representing geometric Form is displayed and / or a display object containing a center axis of the measuring volume along the viewing direction point containing display object is determined. In this way, essential, intuitively understandable components of the measurement volume that the user can usefully use for an evaluation are reproduced in an easily understandable manner by means of the display object. The point that can be marked as a display object, for example, by a cross or the like, can serve as a kind of "alignment target cross", while the geometric shapes clearly show from where to where the measurement volume extends in planes perpendicular to the central axis in the viewing direction.

In einer besonders vorteilhaften Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass bei Durchführung einer zweiten Bedienaktion durch den Benutzer die aktuelle Position des virtuellen Messsensors festgehalten wird und das Anzeigeobjekt wenigstens in einer der zweiten Bedienaktion folgenden Betrachtungszeitspanne als von der aktuellen Position des Benutzers aus betrachtetes Messvolumen ausgehend von der festgehaltenen Position des virtuellen Messsensors ermittelt wird. Während der Programmierung einer Aufnahmeposition auf die beschriebene Art und Weise kann es sinnvoll sein, dass durch Kopf- und/oder Körperbewegungen positionierte virtuelle Messvolumen von einem anderen realen, räumlichen Standpunkt aus zu betrachten, beispielsweise zu Kontrollzwecken hinsichtlich der im Messvolumen enthaltenen Bereiche des realen Messobjekts. Das bedeutet, in diesem Fall bewegt sich der Benutzer im realen Raum, die Datensichteinrichtung stellt das Messvolumen aber weiterhin an der zuletzt programmierten, festgehaltenen Position dar. Mit anderen Worten kann der Benutzer zunächst in der Positionierungszeitspanne eine geeignete Positionierung des Messvolumens wählen, um dann die zweite Bedienaktion durchzuführen, beispielsweise eine bestimmte Geste, und in die Betrachtungszeitspanne überzugehen, um mit anderen Ansichten die Positionierung des Messvolumens zu kontrollieren. Der Benutzer kann beispielsweise sowohl um das reale Messobjekt herumgehen als auch andere Stellungen einnehmen, um das Messvolumen von neuen, realen Standpunkten aus betrachten. Dabei kann das Anzeigeobjekt als insbesondere dreidimensionale, die Begrenzung des Messvolumens anzeigende Form ermittelt werden, insbesondere als Polyeder und/oder Kegelabschnitt. In a particularly advantageous embodiment of the present invention can be provided that when performing a second operation by the user, the current position of the virtual measuring sensor is held and the display object at least in one of the second operating action following viewing time as viewed from the current position of the user from measurement volume is determined based on the detained position of the virtual measuring sensor. During the programming of a recording position in the manner described, it may be useful to view the virtual measurement volumes positioned by head and / or body movements from another real, spatial point of view, for example for control purposes with respect to the areas of the real measurement object contained in the measurement volume , This means that in this case the user is moving in real space, but the data display device continues to display the measurement volume at the last programmed, held position. In other words, the user can first select an appropriate positioning of the measurement volume in the positioning period, and then perform a second operator action, such as a particular gesture, and move to the viewing period to control the positioning of the measurement volume with other views. For example, the user may both walk around the real measurement object and take other positions to view the measurement volume from new, real points of view. In this case, the display object can be determined in particular as a three-dimensional shape indicating the limitation of the measuring volume, in particular as a polyhedron and / or conical section.

Ist der Benutzer nun mit der Positionierung des Messvolumens (und somit des virtuellen Messsensors) zufrieden, kann er mittels der ersten Bedienaktion die festgehaltene Position des virtuellen Messsensors bestätigen und mithin als Aufnahmeposition im Messprogramm programmieren. Ist der Benutzer jedoch nicht zufrieden, sieht eine bevorzugte Weiterbildung der Erfindung vor, dass bei einer dritten Bedienaktion des Benutzers die Festlegung der Position des virtuellen Messsensors aufgehoben wird und dieser wiederum an der Ausgangsposition befindlich angenommen wird. Stellt mithin der Benutzer in der Betrachtungszeitspanne fest, dass das Messvolumen und somit der virtuelle Messsensors anderweitig positioniert werden müssen, kann er die festgelegte Position widerrufen und erneut mit einer Positionierungszeitspanne beginnen.If the user is now satisfied with the positioning of the measuring volume (and thus of the virtual measuring sensor), he can confirm the fixed position of the virtual measuring sensor by means of the first operating action and thus program it as a recording position in the measuring program. However, if the user is not satisfied, a preferred development of the invention provides that in a third operator action of the user, the definition of the position of the virtual measuring sensor is canceled and this is again assumed to be located at the starting position. If the user thus determines during the observation period that the measurement volume and thus the virtual measurement sensor need to be repositioned, he can cancel the fixed position and start again with a positioning period.

Eine weitere, besonders vorteilhafte Ausgestaltung der vorliegenden Erfindung sieht vor, dass in das Blickfeld des Benutzers zusätzlich wenigstens eine eine bereits programmierte Aufnahmeposition betreffende Anzeigeinformation eingeblendet wird. Insbesondere kann vorgesehen sein, dass als Anzeigeinformation die Messvolumina und/oder insgesamt abgedeckte Messbereiche der bereits programmierten Aufnahmepositionen verwendet werden, die, insbesondere farblich und/oder in ihrer Transparenz, unterscheidbar zu dem Anzeigeobjekt dargestellt werden. Auf diese Weise ist eine deutlich effizientere Durchführung der Programmierung möglich, denn der Benutzer erhält über die Datensichteinrichtung die bereits von vorhergehenden Aufnahmepositionen abgedeckten Bereiche eingeblendet, beispielsweise durch eine entsprechende Einfärbung. Bei der vollständigen Programmierung kann der Benutzer auf diese Weise überprüfen, ob das Messobjekt hinreichend abgedeckt wird; bei einer Ergänzung werden die Lücken in der Abdeckung des Messobjekts deutlich erkennbar. Dabei sei darauf hingewiesen, dass es auch denkbar ist, dass die Anzeigeinformation explizit gerade noch nicht abgedeckte Bereiche des Messobjekts, beispielsweise farblich, hervorhebt, was insbesondere dann zweckmäßig sein kann, wenn die Programmierung auf die Schließung derartiger Lücken abzielt und die Anzeigeinformation somit prägnant auf den Punkt hin ermittelt werden kann.A further, particularly advantageous embodiment of the present invention provides that at least one display information relating to an already programmed recording position is additionally superimposed on the field of vision of the user. In particular, it can be provided that the measurement volumes and / or total covered measurement ranges of the already programmed acquisition positions are used as display information, which are displayed in a distinguishable manner to the display object, in particular in terms of color and / or transparency. In this way, a much more efficient implementation of the programming is possible because the user receives over the data display device already covered by previous recording positions areas, for example, by a corresponding coloring. In the case of complete programming, the user can check in this way whether the measurement object is adequately covered; in the case of a supplement, the gaps in the cover of the test object become clearly visible. It should be noted that it is also conceivable that the display information explicitly highlights just uncovered areas of the measurement object, for example in color, which may be particularly useful when the programming on the closure aims at such gaps and the display information can thus be determined succinctly to the point.

Selbstverständlich ist es denkbar, die Anzeigeinformationen auch mittels weiterer Bedienaktionen gegebenenfalls aus- und einblendbar und/oder in ihrer Darstellung anpassbar zu gestalten, was im Übrigen grundsätzlich auch für das Anzeigeobjekt gilt. Of course, it is conceivable to also make the display information by means of further operator actions off and displayed and / or adaptable in their representation adaptable, which in principle also applies to the display object.

Insbesondere dann, wenn auf verschiedene bereits programmierte Aufnahmepositionen bezogene Anzeigeinformationen unterscheidbar dargestellt werden, kann die Einblendung der Anzeigeinformation auch erlauben, mit diesen dargestellten Anzeigeinformationen zu interagieren und mithin Veränderungen an bereits programmierten Aufnahmepositionen vorzunehmen. So kann vorzugsweise bei Detektion einer eine Interaktion mit einer auf eine bereits programmierte Aufnahmeposition bezogenen Anzeigeinformation umfassenden vierten Bedienaktion die jeweilige bereits programmierte Aufnahmeposition geändert oder gelöscht werden Wird mithin beispielsweise anhand der Anzeigeinformationen erkannt, dass eine Aufnahmeposition überflüssig und/oder ungünstig ist, kann sie entfernt (und gegebenenfalls neu programmiert) werden, indem die vierte Bedienaktion durchgeführt wird.In particular, if display information related to various already programmed recording positions is distinguishably displayed, the display information may also be displayed allowing it to interact with these displayed information and thus to make changes to already programmed recording positions. Thus, the respective already programmed recording position can preferably be changed or deleted upon detection of an interaction with a display position relating to a previously programmed exposure information comprehensive fourth action is thus detected, for example, based on the display information that a recording position is superfluous and / or unfavorable, it can be removed (and possibly reprogrammed) by performing the fourth operator action.

Zur Entgegennahme der wenigstens einen Bedienaktion kann zweckmäßigerweise eine Bedieneinrichtung mit wenigstens einem Bedienelement, insbesondere einem Knopf, verwendet werden und/oder es kann zur Ermittlung der Durchführung der wenigstens einen Bedienaktion eine Gestenerkennung mittels eines optischen Sensors der Datensichteinrichtung erfolgen. Es ist also zum einen denkbar, eine manuell zu bedienende Bedieneinrichtung mit wenigstens einem, insbesondere mehreren, Bedienelementen, zu verwenden, die beispielsweise mit einer das erfindungsgemäße Verfahren durchführenden Steuereinrichtung drahtlos und/oder drahtgebunden kommuniziert. Bedienelemente können beispielsweise Auslöseknöpfe für die verschiedenen Bedienaktionen sein. Bevorzugt ist es jedoch, wenigstens teilweise die Fähigkeiten der insbesondere als Datensichtbrille ausgebildeten Datensichteinrichtung zu nutzen, wenn diese in der Lage ist, mittels eines geeigneten optischen Sensors eine Gestenerkennung vorzunehmen, so dass hierauf basierend ebenso Maßnahmen durchgeführt werden können. Beispielsweise können die Bedienaktionen mithin wenigstens teilweise Gesten sein, die im Blickfeld des optischen Sensors durchgeführt werden und mittels der Datensichtbrille entsprechend erkannt werden. Beispielsweise können bestimmte Handbewegungen als erste, zweite, dritte und/oder vierte sowie gegebenenfalls weitere Bedienaktionen verwendet werden.To receive the at least one operating action, an operating device with at least one operating element, in particular a button, may expediently be used and / or a gesture recognition by means of an optical sensor of the data display device may be carried out to determine the execution of the at least one operating action. It is thus conceivable, on the one hand, to use a manually operated control device with at least one, in particular a plurality of operating elements, which communicates wirelessly and / or by wire, for example, with a control device carrying out the method according to the invention. Operating elements can be, for example, release buttons for the various operating actions. However, it is preferable, at least in part, to use the capabilities of the data display device designed in particular as a data display goggle if it is capable of performing gesture recognition by means of a suitable optical sensor, so that measures can also be carried out based thereon. For example, the operator actions can therefore be at least partially gestures, which are performed in the field of view of the optical sensor and detected by the data glasses accordingly. For example, certain hand movements can be used as the first, second, third and / or fourth and possibly further operating actions.

Neben dem Verfahren betrifft die Erfindung auch ein Programmiersystem, umfassend eine Datensichteinrichtung und eine zur Durchführung des erfindungsgemäßen Verfahrens ausgebildete Steuereinrichtung. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Programmiersystem übertragen, mit welchem mithin die bereits genannten Vorteile erhalten werden können. Insbesondere ist die Steuereinrichtung mithin dazu ausgebildet, aufgrund mittels der ersten Bedienaktion festgelegten Aufnahmepositionen ein Messprogramm zu erzeugen und/oder zu verändern, das dann in eine Steuereinheit des Messroboters eingespeichert werden kann.In addition to the method, the invention also relates to a programming system comprising a data display device and a control device designed to carry out the method according to the invention. All statements relating to the method according to the invention can be analogously transferred to the programming system according to the invention, with which therefore the already mentioned advantages can be obtained. In particular, the control device is therefore designed to generate and / or modify a measurement program based on the first operating action of the recording positions, which can then be stored in a control unit of the measuring robot.

Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:Further advantages and details of the present invention will become apparent from the embodiments described below and with reference to the drawings. Showing:

1 einen Messroboter mit Messvolumen seines Messsensors, 1 a measuring robot with measuring volume of its measuring sensor,

2 ein erfindungsgemäßes Programmiersystem, 2 a programming system according to the invention,

3 eine eine Datensichteinrichtung tragende Person, 3 a person wearing a data display device,

4 einen Ausschnitt aus einem Blickfeld eines Benutzers in einer ersten Situation, 4 a section of a field of view of a user in a first situation,

5 einen Ausschnitt aus dem Blickfeld des Benutzers in einer zweiten Situation, und 5 a section of the user's field of vision in a second situation, and

6 einen Ausschnitt aus dem Blickfeld eines Benutzers in einer dritten Situation. 6 a section of the field of view of a user in a third situation.

1 zeigt eine mögliche Ausgestaltung eines Messroboters 1. Auf einem Stativ sind miteinander über Gelenke gekoppelte und/oder wenigstens teilweise längenveränderbare Roboterarme 3 angeordnet. Die Roboterarme 3 tragen einen Roboterkopf 4, an dem ein Messsensor 5 angeordnet ist, der hier als eine stereoskopische Kamera ausgebildet ist. Der Messsensor 5 liefert für eine Auswertung geeignete Messdaten aus einem Messvolumen 6. 1 shows a possible embodiment of a measuring robot 1 , On a tripod are coupled to each other via joints and / or at least partially variable length robot arms 3 arranged. The robot arms 3 wear a robot head 4 at which a measuring sensor 5 is arranged, which is designed here as a stereoscopic camera. The measuring sensor 5 provides suitable measurement data from a measurement volume for an evaluation 6 ,

Die Bewegbarkeit des Messroboters 1 wird über Aktoren hergestellt, die, wie auch der reale Messsensor 5, über eine Steuereinheit 19 angesteuert werden können. In der Steuereinheit 19 kann ein Messprogramm gespeichert werden, durch das nacheinander verschiedene Aufnahmepositionen zur Messdatenaufnahme angefahren werden, um ein Messobjekt, das definiert hinsichtlich des Messroboters 1 positioniert ist, zu vermessen. Die Messdaten können beispielsweise ausgewertet werden, um eine das Messobjekt beschreibende Punktewolke zu ermitteln. Der Messroboter 1 kann beispielsweise zur Überprüfung von Werkstücken bzw. Bauteilen eingesetzt werden, insbesondere in der Automobilfertigung.The mobility of the measuring robot 1 is made by actuators, which, like the real measuring sensor 5 , via a control unit 19 can be controlled. In the control unit 19 a measuring program can be stored, by which different recording positions for measurement data acquisition are approached one after the other, around a measuring object that is defined with regard to the measuring robot 1 is positioned to measure. The measurement data can be evaluated, for example, to determine a point cloud describing the measurement object. The measuring robot 1 can, for example, for checking workpieces or components be used, especially in automotive production.

2 zeigt ein Ausführungsbeispiel eines Programmiersystems, mit dem ein derartiges Messprogramm erstellt und/oder ergänzt werden kann. Dabei umfasst das Programmiersystem zunächst eine Recheneinrichtung 8 als Teil einer Steuereinrichtung 9, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Das Programmiersystem 7 umfasst ferner eine Datensichteinrichtung 10, die beispielsweise als eine Augmented-Reality-Datensichtbrille ausgebildet sein kann. Die Datensichteinrichtung 10 umfasst eine Anzeigeeinrichtung 11, mit der zusätzliche Informationen in das Blickfeld einer die Datensichteinrichtung 10 tragenden Person eingeblendet werden können. Somit wird eine erweiterte Realität (Augmented Reality – AR) geschaffen. Über eine Positionsbestimmungseinrichtung 12 kann eine Positionsinformation ermittelt werden, die die Position der Datensichteinrichtung 10 im Raum beschreibt. Die Positionsbestimmungseinrichtung 12 kann beispielsweise eine Inertialplattform sowie weitere Sensorik umfassen, die es ermöglicht, insbesondere auch eine absolute Position der Datensichteinrichtung 10 im Raum, konkret in der Messumgebung, zu bestimmen, woraus auch eine Position eines virtuellen Messsensors folgt, wie im Folgenden noch näher erläutert. Dabei sei bereits an dieser Stelle angemerkt, dass das Koordinatensystem der Datensichteinrichtung 10 über die Steuereinrichtung 9 mit dem Koordinatensystem, in dem der Messroboter 1 arbeitet, registriert ist. 2 shows an embodiment of a programming system with which such a measurement program can be created and / or supplemented. The programming system initially comprises a computing device 8th as part of a control device 9 , which is designed for carrying out the method according to the invention. The programming system 7 further comprises a data display device 10 , which may be embodied for example as an augmented reality data glasses. The data display device 10 includes a display device 11 , with the additional information in the field of vision of a data viewing device 10 wearing person can be displayed. Thus, augmented reality (AR) is created. About a position determination device 12 can be determined position information that the position of the data display device 10 in the room describes. The position determination device 12 For example, it may include an inertial platform as well as further sensors that make it possible, in particular, an absolute position of the data display device 10 in space, concretely in the measuring environment, to determine what also follows a position of a virtual measuring sensor, as explained in more detail below. It should be noted at this point that the coordinate system of the data display device 10 via the control device 9 with the coordinate system in which the measuring robot 1 works, is registered.

Weitere Komponenten der Datensichteinrichtung 10 umfassen ein Messmittel 13 zur Ermittlung einer Augenausrichtung des Benutzers, einen optischen Sensor 14 zur Erfassung der Umgebung der Datensichteinrichtung 10, um insbesondere auch eine Gestenerkennung realisieren zu können, und eine Kommunikationseinrichtung 15, über die eine Kommunikationsverbindung 16 mit der Recheneinrichtung 8 drahtlos hergestellt werden kann.Other components of the data display device 10 comprise a measuring means 13 for determining an eye alignment of the user, an optical sensor 14 for detecting the environment of the data display device 10 in order to be able to realize in particular also a gesture recognition, and a communication device 15 via which a communication connection 16 with the computing device 8th can be made wirelessly.

Als optionale weitere Komponente des Programmiersystems 7 ist eine Bedieneinrichtung 17 gezeigt, die mehrere Bedienelemente 18, beispielsweise Auslöseknöpfe, aufweisen kann und drahtgebunden und/oder drahtlos ebenso mit der Recheneinrichtung 8 kommunizieren kann. As an optional further component of the programming system 7 is an operating device 17 shown the multiple controls 18 , For example, trigger buttons, and may have wired and / or wireless as well with the computing device 8th can communicate.

3 zeigt einen Benutzer 20, der die hier als Datensichtbrille 21 ausgebildete Datensichteinrichtung 10 am Kopf trägt. Bezüglich des Kopfes und der Datensichteinrichtung 10 ist eine Ausgangsposition für die Lage eines angenommenen virtuellen Messsensors 22 als mittig zwischen den Augen definiert. Diese virtuelle Position des virtuellen Messsensors 22 (festlegbar und nachverfolgbar mittels der Positionsbestimmungseinrichtung 12) wird genutzt, um zu berechnen, wo im Raum sich das zugehörige Messvolumen (vgl. Bezugszeichen 6 in 1 bezüglich des realen Messsensors 5) befindet. Entsprechend wird ein Anzeigeobjekt, das dieses Messvolumen beschreibt, errechnet und mittels der Anzeigeeinrichtung 11 in das Blickfeld des Benutzers 20 eingeblendet, wie dies beispielhaft in dem Ausschnitt 23 des Blickfelds des Benutzers in 4 dargestellt ist. 3 shows a user 20 who's here as data goggles 21 trained data viewing device 10 wearing on the head. Concerning the head and the data viewing device 10 is a starting position for the position of an assumed virtual measuring sensor 22 defined as midway between the eyes. This virtual position of the virtual measurement sensor 22 (definable and traceable by means of the position-determining device 12 ) is used to calculate where in the room the corresponding measuring volume (see reference numeral 6 in 1 with respect to the real measuring sensor 5 ) is located. Accordingly, a display object describing this measurement volume is calculated and by means of the display device 11 in the field of vision of the user 20 shown as an example in the section 23 of the field of vision of the user in 4 is shown.

Im Blickfeld des Benutzers 20 befindet sich gemäß 4 insbesondere als reales Objekt ein Bauteil 24, welches wenigstens teilweise das Messobjekt 25 bildet. Das Bauteil 24 wird dabei von einer nur schematisch dargestellten Aufnahme bzw. Halterung getragen.In the field of vision of the user 20 is in accordance with 4 especially as a real object a component 24 which at least partially the measurement object 25 forms. The component 24 is supported by a recording or holder shown only schematically.

Mittels der Anzeigeeinrichtung 11 wird nun in das Blickfeld des Benutzers 20 ein Anzeigeobjekt 26, das das Messvolumen des virtuellen Messsensors 22 beschreibt, eingeblendet. Das Anzeigeobjekt 26 umfasst vorliegend zwei äußere Begrenzungen 27, 28 bzw. diese darstellende geometrische Formen, wobei die Begrenzung 27 die Ausdehnung des Messvolumens im maximal zulässigen Messabstand beschreibt, die Begrenzung 28 die Ausdehnung des Messvolumens im minimal möglichen Messabstand wiedergibt. Das Kreuz 29 markiert einen Punkt, der die Mittelachse des Messvolumens entlang der Blickrichtung anzeigt. Bewegt der Benutzer 20 nun seinen Kopf und/oder seinen gesamten Körper, wird das Anzeigeobjekt 26 in einer Positionierungszeitspanne ständig nachgeführt, so dass der Benutzer 20, letztlich seine Augen als Messsensor 5 des Messroboters 1 verstehend, das Messvolumen intuitiv geeignet platzieren kann. Hieraus folgt aber auch eine geeignete Platzierung des virtuellen Messsensors 22 und somit eine Aufnahmeposition, die bei Durchführung einer ersten Bedienposition, beispielsweise beim Drücken eines entsprechenden Auslöseknopfes und/oder Durchführung einer Geste, entsprechend in das Messprogramm aufgenommen wird. By means of the display device 11 is now in the field of vision of the user 20 a display object 26 , which is the measuring volume of the virtual measuring sensor 22 describes, appears. The display object 26 in this case comprises two outer boundaries 27 . 28 or these representing geometric shapes, the boundary 27 the expansion of the measuring volume in the maximum permissible measuring distance describes the limitation 28 shows the extent of the measuring volume in the minimum possible measuring distance. The cross 29 marks a point that indicates the center axis of the measurement volume along the line of sight. Moves the user 20 now his head and / or his entire body, becomes the display object 26 constantly tracked in a positioning period, allowing the user 20 , ultimately his eyes as a measuring sensor 5 of the measuring robot 1 understanding, the measurement volume can place intuitively. However, this also implies a suitable placement of the virtual measuring sensor 22 and thus a pickup position which, when a first operating position is carried out, for example when a corresponding release button is pressed and / or a gesture is carried out, is recorded accordingly in the measuring program.

Oft kann es jedoch zweckmäßig sein, ein gewähltes virtuelles Messvolumen nochmals aus anderen Blickwinkeln zu betrachten. Hierzu kann der Benutzer 20 eine zweite Bedienaktion durchführen, beispielsweise einen zweiten Auslöseknopf an der Bedieneinrichtung 17 drücken und/oder eine andere Geste, beispielsweise mit seiner Hand, durchführen, woraufhin die aktuelle Position des virtuellen Messsensors 22 festgehalten wird und erhalten bleibt, auch wenn Bewegungen des Benutzers 20 auftreten. Das virtuelle Messvolumen bleibt somit wie der virtuelle Messsensor 22 fest im Raum und kann durch entsprechende Repositionierung des Benutzers 20 aus verschiedenen Blickwinkeln betrachtet werden, wobei eine entsprechende Zeitspanne auch als Betrachtungszeitspanne bezeichnet werden kann.Often, however, it may be expedient to view a selected virtual measurement volume again from other points of view. This can be done by the user 20 perform a second operating action, for example, a second trigger button on the operating device 17 Press and / or another gesture, for example, with his hand perform, whereupon the current position of the virtual measuring sensor 22 is held and maintained, even if the user's movements 20 occur. The virtual measurement volume thus remains like the virtual measurement sensor 22 firmly in space and can be adjusted by appropriate repositioning of the user 20 from different points of view, and a corresponding period of time may also be referred to as a viewing period.

Dies ist näher in 5 dargestellt. Dabei zeigt das Anzeigeobjekt 26 ersichtlich einen eingeblendeten Polyeder 30, der die Begrenzungen eines festgehaltenen virtuellen Messvolumens von der Seite wiedergibt. Ist der Benutzer 20 mit der aktuellen Position zufrieden, kann er die erste Bedienaktion durchführen und die aktuelle virtuelle Position des virtuellen Messsensors 20 wird als Aufnahmeposition in das Messprogramm übernommen. Dabei entspricht die aktuelle virtuelle Position des virtuellen Messsensors 22 hier nicht mehr der Ausgangsposition, sondern der festgehaltenen Position. This is closer in 5 shown. The display object shows 26 see an inserted polyhedron 30 representing the boundaries of a captured virtual measurement volume from the page. Is the user 20 Satisfied with the current position, he can perform the first operator action and the current virtual position of the virtual sensor 20 is adopted as a recording position in the measuring program. The current virtual position of the virtual measuring sensor corresponds to this 22 here not the starting position, but the detained position.

Ist der Benutzer 20 jedoch unzufrieden und möchte eine Neupositionierung vornehmen, kann er über eine dritte Bedienaktion, wiederum beispielsweise die Betätigung eines Bedienelements 18 und/oder eine über den optischen Sensor 14 erkennbare Geste, die festgehaltene Position löschen und erneut mit der Ausgangsposition des virtuellen Messsensors 22 beginnen.Is the user 20 However, dissatisfied and would like to make a repositioning, he can via a third operation, in turn, for example, the operation of a control 18 and / or one over the optical sensor 14 detectable gesture, clear the locked position and again with the home position of the virtual measurement sensor 22 kick off.

6 erläutert eine weitere zu- und abschaltbare Funktionalität des Verfahrens. Gezeigt ist dort neben dem Anzeigeobjekt 26 eine weitere eingeblendete Anzeigeinformation 31, die sich auf vorher bereits festgelegte Aufnahmepositionen bezieht, vorliegend das Messvolumen einer weiteren, vorangehend definierten Aufnahmeposition anzeigt. Das Anzeigeobjekt 26 und die Anzeigeinformation 31 sind dabei klar unterscheidbar eingeblendet, beispielsweise in unterschiedlichen Farben und/oder unterschiedlicher Transparenz. Wenn, wie im vorliegenden Fall, Anzeigeinformationen bezüglich einer weiteren Aufnahmeposition dieser zuordenbar eingeblendet sind, kann, beispielsweise durch eine vierte Bedienaktion, die eine Geste sein kann, mit dieser Anzeigeinformation 31 interagiert werden, um die entsprechende bereits programmierte Aufnahmeposition zu ändern und/oder zu löschen. Selbstverständlich können Anzeigeinformationen 31 auch zu mehreren vorhergehend festgelegten Aufnahmepositionen dargestellt werden. Insbesondere ist im vorliegenden Ausführungsbeispiel auch eine Darstellungsoption gegeben, in der die eingeblendete Anzeigeinformation 31 wiedergibt, welche Anteile des Messobjekts 27 bereits abgedeckt sind und/oder gerade nicht abgedeckt sind, beispielsweise durch eine transparente Einfärbung der entsprechenden Bereiche. 6 explains another on and off functionality of the method. Shown here is next to the display object 26 another display information displayed 31 , which refers to previously recorded recording positions, in this case the measurement volume of a further, previously defined recording position displays. The display object 26 and the display information 31 are clearly distinguishable faded in, for example, in different colors and / or different transparency. If, as in the present case, display information relating to a further recording position of these can be attributed to it, it is possible with this display information, for example by a fourth operating action, which may be a gesture 31 interact to change and / or delete the corresponding pre-programmed recording position. Of course, display information can 31 also be presented to several previously defined shooting positions. In particular, a display option is given in the present embodiment, in which the displayed information display 31 represents which portions of the DUT 27 already covered and / or are not currently covered, for example by a transparent coloring of the corresponding areas.

Es sei schließlich noch darauf hingewiesen, dass die hier beschriebene Position selbstverständlich auch immer Orientierungen des realen bzw. virtuellen Messsensors 5, 22 umfassen. Die Orientierung des virtuellen Messsensors 22 kann dabei anhand der Orientierung der Datensichtbrille 21 festgelegt werden; denkbar ist es jedoch auch, die mittels des Messmittels 13 bestimmte Augenausrichtung des Benutzers 20 zur Definition der Orientierung zu nutzen. Finally, it should be noted that the position described here, of course, always orientations of the real or virtual measurement sensor 5 . 22 include. The orientation of the virtual measuring sensor 22 can do this based on the orientation of the data glasses 21 be determined; However, it is also conceivable that by means of the measuring means 13 certain eye alignment of the user 20 to use for defining the orientation.

Claims

Method for programming a measuring robot ( 1 ), which contains at least one in a measuring volume ( 6 ) measuring real measuring sensor ( 5 ), for receiving a measurement object ( 25 ) from at least one receiving position, characterized in that in the field of vision of a user ( 20 ) by means of a data display device ( 10 ) for displaying an additional information superimposed on the environment perceived by the user by means of a display device ( 11 ) and for determining a current position information of the data display device ( 10 ) by means of a position determining device ( 12 ), the measuring volume starting from one at the head of the user ( 20 ) and / or the data display device ( 10 ) assumed virtual home position virtual measurement sensor ( 22 ) display object ( 26 ) and the virtual measuring sensor ( 22 ) at least during a positioning period with the movement of the user ( 20 ), wherein when performing a first operating action, a current virtual position of the virtual measuring sensor ( 22 ) than by the measuring robot ( 1 ) for measurement with the real measuring sensor ( 5 ) is stored to be used.

A method according to claim 1, characterized in that a plurality of recording positions approaching measurement program by successive placement of measurement volumes by the user ( 20 ) and / or an existing measuring program with several recording positions by one by a user ( 20 ) placed recording position is added.

Method according to one of the preceding claims, characterized in that, in particular in a stereoscopic real measuring sensor ( 5 ), as virtual position of the virtual measuring sensor ( 22 ) a mid-point between the eyes of the user ( 20 ) is used.

Method according to one of the preceding claims, characterized in that the data display device ( 10 ) a measuring means ( 13 ) for determining an eye alignment of the user ( 20 ), wherein based on a recognized eye alignment, the orientation of the virtual measuring sensor ( 22 ) is set as the eye alignment.

Method according to one of the preceding claims, characterized in that the display object ( 26 ) Limits ( 27 . 28 ) of Measuring volume indicating geometric shapes is displayed in full.

A method according to claim 5, characterized in that the measuring volume of the moving virtual measuring sensor ( 22 ) by a limitation of the measuring volume perpendicular to the viewing direction of the user ( 20 ) at a minimum measuring distance to the virtual measuring sensor ( 22 ) and a limitation of the measuring volume perpendicular to the viewing direction at a maximum measuring distance to the virtual measuring sensor ( 22 ) and / or a display object containing a point indicating a central axis of the measurement volume along the viewing direction ( 26 ) is determined.

Method according to one of the preceding claims, characterized in that when a second operating action is carried out by the user ( 20 ) the current position of the virtual measuring sensor ( 22 ) and the display object ( 26 ) at least in one of the second operating action following observation period as from the current position of the user ( 20 ) from the measured volume starting from the fixed position of the virtual measuring sensor ( 22 ) is determined.

Method according to claim 7, characterized in that the display object ( 26 ) is determined in particular as a three-dimensional shape indicating the limitation of the measuring volume, in particular as polyhedron ( 30 ) and / or cone section.

Method according to claim 7 or 5, characterized in that in a third operator action of the user ( 20 ) the determination of the position of the virtual measuring sensor ( 22 ) is lifted and this in turn is assumed to be at the starting position.

Method according to one of the preceding claims, characterized in that in the field of vision of the user ( 20 ) additionally at least one display information concerning an already programmed recording position ( 31 ) is displayed.

Method according to claim 10, characterized in that as display information ( 31 ) the measurement volumes and / or total covered measurement ranges of the already programmed acquisition positions are used which, in particular in color and / or in their transparency, can be distinguished from the display object ( 26 ) being represented.

A method according to claim 10 or 11, characterized in that upon detection of an interaction with a display information related to an already programmed recording position ( 31 ) fourth operating action the respective already programmed recording position is changed or deleted.

Method according to one of the preceding claims, characterized in that for receiving the at least one operating action an operating device ( 17 ) with at least one operating element ( 18 ), in particular a button, and / or for determining the execution of the at least one operating action, a gesture recognition by means of an optical sensor ( 14 ) of the data display device ( 10 ) he follows.

Method according to one of the preceding claims, characterized in that as data display device ( 10 ) a data goggles ( 21 ) and / or an augmented reality device is used.

Programming system ( 7 ), comprising a data display device ( 10 ) and a control device designed to carry out a method according to one of the preceding claims ( 9 ).