DE102018129144A1

DE102018129144A1 - Dynamic selection of a camera configuration for object navigation and tracking

Info

Publication number: DE102018129144A1
Application number: DE102018129144.2A
Authority: DE
Inventors: Maciej Kraszewski; Daniel Jursza; Thomas Mayer; Andrzej Grzesiak; Arkadiusz Smigielski
Original assignee: Carl Zeiss Industrielle Messtechnik GmbH
Current assignee: Carl Zeiss Industrielle Messtechnik GmbH
Priority date: 2018-11-20
Filing date: 2018-11-20
Publication date: 2020-05-20

Abstract

Ein Verfahren (32) und ein System (10) zum Bestimmen einer 6-DOF-Stellung eines Objekts (12) im Raum durch Verwenden wenigstens eines Markers (14), der an dem Objekt (12) angebracht ist, und mehrerer Kameras (16). Blickwinkel der Kameras sind zu einem gemeinsamen Messraum gerichtet, in dem das Objekt (12) positioniert ist. Jede Kamera (16) erfasst ein Bild des Markers, der an dem Objekt (12) angebracht ist. Die Detektierbarkeit des wenigstens einen Markers (14) wird für jede der Kameras (16) basierend auf dem jeweiligen erfassten Bild bestimmt. Ferner wird eine definierte Kamerakonfiguration der Kameras (16) basierend auf der Detektierbarkeit des wenigstens einen Markers (14) für die Kameras (16) bestimmt. Basierend auf der definierten Kamerakonfiguration kann die 6-DOF-Stellung des wenigstens einen Markers (14) und folglich die 6-DOF-Stellung des Objekts (12) im Raum bestimmt werden.A method (32) and a system (10) for determining a 6-DOF position of an object (12) in space by using at least one marker (14) attached to the object (12) and a plurality of cameras (16 ). The cameras' viewing angles are directed towards a common measuring space in which the object (12) is positioned. Each camera (16) captures an image of the marker attached to the object (12). The detectability of the at least one marker (14) is determined for each of the cameras (16) based on the respective captured image. Furthermore, a defined camera configuration of the cameras (16) is determined based on the detectability of the at least one marker (14) for the cameras (16). The 6-DOF position of the at least one marker (14) and consequently the 6-DOF position of the object (12) in space can be determined based on the defined camera configuration.

Description

Hintergrund der ErfindungBackground of the Invention

Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Bestimmen einer 6-DOF-Stellung eines Objekts im Raum. Insbesondere betrifft die Erfindung ein Verfahren und ein System, die wenigstens einen Marker einsetzen. Der wenigstens eine Marker wird an dem Objekt angebracht und Bilder des Markers werden erfasst. Unter Verwendung von Bildverarbeitungstechnologien kann die 6-DOF-Stellung des Objekts im Raum basierend auf einer Analyse der erfassten Bilder des Markers bestimmt werden.The present invention relates to a method and a system for determining a 6-DOF position of an object in space. In particular, the invention relates to a method and a system that use at least one marker. The at least one marker is attached to the object and images of the marker are captured. Using image processing technologies, the 6-DOF position of the object in space can be determined based on an analysis of the captured images of the marker.

Das Bestimmen von sowohl einer 3D-Position als auch einer 3D-Orientierung eines Objekts im Raum erfordert Bestimmen von mindestens 6 Parametern, die 6 Freiheitsgrade (DOF: Degrees Of Freedom) repräsentieren, nämlich 3 Parameter, die die 3D-Position entlang der drei Achsen eines 3D-Koordinatensystems repräsentieren, und 3 weitere Parameter, die eine Winkelorientierung um eine beliebige der drei Achsen repräsentieren. Typischerweise wird das 3D-Koordinatensystem relativ zu wenigstens einer Kamera oder relativ zu einem Referenzobjekt im Raum durch Verwenden einer geeigneten Kalibrierung definiert. Die 6-DOF-Stellung weist sowohl die 3D-Position als auch die 3D-Orientierung relativ zu dem Koordinatensystem auf.Determining both a 3D position and a 3D orientation of an object in space requires determination of at least 6 parameters that represent 6 degrees of freedom (DOF: Degrees Of Freedom), namely 3 parameters that represent the 3D position along the three axes of a 3D coordinate system, and 3 further parameters that represent an angular orientation about any of the three axes. The 3D coordinate system is typically defined relative to at least one camera or relative to a reference object in space by using a suitable calibration. The 6-DOF position has both the 3D position and the 3D orientation relative to the coordinate system.

Das Dokument US 9,934,592 B1 zeigt ein beispielhaftes Verfahren und System zum Bestimmen einer 6-DOF-Stellung eines Objekts im Raum durch Verwenden wenigstens eines 2D-Markers zur optischen Verfolgung. Der wenigstens eine 2D-Marker zur optischen Verfolgung ist an einem Objekt angebracht. Falls mehrere 2D-Marker zur optischen Verfolgung verwendet werden, weist jeder 2D-Marker zur optischen Verfolgung ein charakteristisches einzigartiges Muster auf, so dass die 2D-Marker zur optischen Verfolgung eindeutig identifiziert werden können. Dieses Muster ermöglicht auch die Bestimmung der 6-DOF-Stellung der 2D-Marker zur optischen Verfolgung. Wenigstens ein Bild des wenigstens einen 2D-Markers zur optischen Verfolgung wird erfasst. Unter Verwendung von Bildverarbeitungstechnologien kann die 6-DOF-Stellung des wenigstens einen 2D-Markers zur optischen Verfolgung und folglich die 6-DOF-Stellung des Objekts im Raum bestimmt werden.The document US 9,934,592 B1 shows an exemplary method and system for determining a 6-DOF position of an object in space by using at least one 2D marker for optical tracking. The at least one 2D marker for optical tracking is attached to an object. If several 2D markers are used for optical tracking, each 2D marker for optical tracking has a characteristic unique pattern, so that the 2D markers for optical tracking can be clearly identified. This pattern also enables the 6-DOF position of the 2D markers for optical tracking to be determined. At least one image of the at least one 2D marker for optical tracking is captured. Using image processing technologies, the 6-DOF position of the at least one 2D marker for optical tracking and consequently the 6-DOF position of the object in space can be determined.

Das Dokument DE 101 37 241 A1 zeigt eine Einrichtung und ein Verfahren zum Detektieren und Messen eines Objekts durch Registrierung von Teilansichten des Objekts in einem globalen Koordinatensystem. Dadurch soll das Anbringen von Registrierungsmarkern zur Registrierung jeder Teilansicht des Objekts durch eine optische Projektion der Marker auf die Oberfläche des Objekts und durch Detektion der Marker durch Lokalisierungskameras vermieden werden. Unter Verwendung von Verarbeitungstechnologie werden die Teilansichten zu einem globalen Koordinatensystem basierend auf den Informationen über die detektierten Marker registriert.The document DE 101 37 241 A1 shows a device and a method for detecting and measuring an object by registering partial views of the object in a global coordinate system. This is intended to avoid the application of registration markers for registering each partial view of the object by optical projection of the markers onto the surface of the object and by detection of the markers by localization cameras. Using processing technology, the partial views of a global coordinate system are registered based on the information about the detected markers.

Die bekannten Verfahren und Systeme lassen immer noch Raum für Verbesserungen, insbesondere mit Bezug auf Genauigkeit und Reduzierung von Rechenzeit, insbesondere für den Fall, wenn das Objekt beweglich ist.The known methods and systems still leave room for improvement, in particular with regard to accuracy and reduction in computing time, in particular when the object is movable.

Kurzdarstellung der ErfindungSummary of the invention

Vor diesem Hintergrund ist es ein Ziel der vorliegenden Erfindung, ein verbessertes Verfahren und ein verbessertes System zum Bestimmen einer 6-DOF-Stellung eines Objekts im Raum mit höherer Genauigkeit bereitzustellen.With this in mind, it is an object of the present invention to provide an improved method and system for determining a 6-DOF position of an object in space with higher accuracy.

Es ist ein anderes Ziel, ein verbessertes Verfahren und ein verbessertes System zum Bestimmen einer 6-DOF-Stellung eines Objekts im Raum bereitzustellen, das eine Reduzierung der Rechenzeit bereitstellt.It is another object to provide an improved method and system for determining a 6-DOF position of an object in space that provides a reduction in computing time.

Es ist noch ein anderes Ziel, ein verbessertes Verfahren und ein verbessertes System zum Bestimmen einer 6-DOF-Stellung eines Objekts im Raum bereitzustellen, die auch zum Messen eines beweglichen Objekts geeignet sind.It is yet another object to provide an improved method and system for determining a 6-DOF position of an object in space that are also suitable for measuring a moving object.

Gemäß einem Aspekt der Erfindung ist ein Verfahren zum Bestimmen einer 6-DOF-Stellung eines Objekts im Raum bereitgestellt, wobei die 6-DOF-Stellung eine 3D-Position und eine 3D-Orientierung des Objekts im Raum definiert, wobei das Verfahren die folgenden Schritte aufweist: Anordnen einer Mehrzahl von N Kameras mit individuellen 6-DOF-Stellungen im Raum, wobei N wenigstens drei ist, wobei jede Kamera eine individuelle Blickwinkel aufweist, wobei die individuellen Blickwinkel zu einem gemeinsamen Messraum gerichtet sind; Anbringen wenigstens eines 2D-Markers zur optischen Verfolgung an dem Objekt; Positionieren des Objekts mit dem wenigstens einen Marker innerhalb des gemeinsamen Messraums; Erfassen eines jeweiligen Bildes des wenigstens einen Markers, der an dem Objekt angebracht ist, durch jede der Kameras; Bestimmen einer Detektierbarkeit des wenigstens einen Markers für jede der Kameras basierend auf dem jeweiligen erfassten Bild jeder Kamera; Bestimmen einer definierten Kamerakonfiguration der Kameras basierend auf der Detektierbarkeit des wenigstens einen Markers für die Kameras; Bestimmen einer 6-DOF-Stellung des wenigstens einen Markers im Raum basierend auf der definierten Kamerakonfiguration; und Bestimmen einer 6-DOF-Stellung des Objekts basierend auf der 6-DOF-Stellung des wenigstens einen Markers.According to one aspect of the invention, a method for determining a 6-DOF position of an object in space is provided, the 6-DOF position defining a 3D position and a 3D orientation of the object in space, the method comprising the following steps comprises: arranging a plurality of N cameras with individual 6-DOF positions in space, where N is at least three, each camera having an individual viewing angle, the individual viewing angles being directed to a common measuring room; Attaching at least one 2D marker for optical tracking to the object; Positioning the object with the at least one marker within the common measuring space; Capturing a respective image of the at least one marker attached to the object by each of the cameras; Determining a detectability of the at least one marker for each of the cameras based on the respective captured image of each camera; Determining a defined camera configuration of the cameras based on the detectability of the at least one marker for the cameras; Determining a 6-DOF position of the at least one marker in space based on the defined camera configuration; and determining a 6-DOF position of the object based on the 6-DOF position of the at least one marker.

Gemäß einem anderen Aspekt der Erfindung ist ein System zum Bestimmen einer 6-DOF-Stellung eines Objekts im Raum bereitgestellt, wobei die die 6-DOF-Stellung eine 3D-Position und eine 3D-Orientierung des Objekts im Raum definiert, wobei das System Folgendes aufweist: eine Mehrzahl von N Kameras, die mit individuellen 6-DOF-Stellungen im Raum angeordnet sind, wobei N wenigstens drei ist, wobei jede Kamera eine unterschiedliche Blickwinkel aufweist, wobei die unterschiedlichen Blickwinkel zu einem gemeinsamen Messraum, CMS (Common Measuring Space), gerichtet sind; wenigstens einen 2D-Marker zur optischen Verfolgung, der dazu ausgebildet ist, an dem Objekt angebracht zu werden, wobei das Objekt innerhalb des CMS positionierbar ist; und eine Verarbeitungseinheit, die zum Ausführen der folgenden Schritte ausgebildet ist: Erfassen eines jeweiligen Bildes des wenigstens einen Markers, der an dem Objekt angebracht ist, durch jede der Kameras; Bestimmen einer Detektierbarkeit des wenigstens einen Markers für jede der Kameras basierend auf dem jeweiligen erfassten Bild jeder Kamera; Bestimmen einer definierten Kamerakonfiguration der Kameras basierend auf der Detektierbarkeit des wenigstens einen Markers für die Kameras; Bestimmen einer 6-DOF-Stellung des wenigstens einen Markers im Raum basierend auf der definierten Kamerakonfiguration; und Bestimmen einer 6-DOF-Stellung des Objekts im Raum basierend auf der 6-DOF-Stellung des wenigstens einen Markers.According to another aspect of the invention, there is provided a system for determining a 6-DOF position of an object in space, the 6-DOF position defining a 3D position and a 3D orientation of the object in space, the system comprising the following comprises: a plurality of N cameras which are arranged in the room with individual 6-DOF positions, where N is at least three, each camera having a different viewing angle, the different viewing angles to a common measuring room, CMS (Common Measuring Space), are directed; at least one 2D marker for optical tracking, which is designed to be attached to the object, the object within the CMS is positionable; and a processing unit configured to perform the following steps: capturing a respective image of the at least one marker attached to the object by each of the cameras; Determining a detectability of the at least one marker for each of the cameras based on the respective captured image of each camera; Determining a defined camera configuration of the cameras based on the detectability of the at least one marker for the cameras; Determining a 6-DOF position of the at least one marker in space based on the defined camera configuration; and determining a 6-DOF position of the object in space based on the 6-DOF position of the at least one marker.

Vorteilhafterweise wird das neue Verfahren unter Verwendung mehrerer Kameras und einer Verarbeitungseinheit implementiert, die ein Mehrzweckcomputer oder ein Spezialcomputer sein kann, auf dem ein geeignetes Computerprogramm gespeichert und ausgeführt wird, wobei das Computerprogramm zum Bestimmen der 6-DOF-Stellung des Objekts gemäß dem zuvor genannten Verfahren gestaltet und ausgebildet ist.Advantageously, the new method is implemented using a plurality of cameras and a processing unit, which can be a general-purpose computer or a special computer on which a suitable computer program is stored and executed, the computer program for determining the 6-DOF position of the object according to the aforementioned Process designed and trained.

Wie hier verwendet, beschreibt der Ausdruck „Blickwinkel“ ein bestimmtes Sichtfeld bei einer bestimmten Position und Orientierung im Raum. Dementsprechend ist jede Kamera mit einer bestimmten Position und Orientierung im Raum angeordnet und weist ein individuelles Sichtfeld bei dieser bestimmten Position und Orientierung im Raum auf.As used here, the term “angle of view” describes a certain field of view at a certain position and orientation in space. Accordingly, each camera is arranged with a specific position and orientation in space and has an individual field of view at this specific position and orientation in space.

Der gemeinsame Messraum (CMS) ist ein Teilraum oder Unterraum der gesamten räumlichen Umgebung, wo sich das neue System befindet. Die Blickwinkel der Kameras sind auf diesen Unterraum gerichtet, so dass der Unterraum durch die einzelnen Sichtfelder der Kameras abgedeckt wird. Mit anderen Worten ist der CMS ein Unterraum, der durch die Sichtfelder der Kameras definiert wird. Beispielsweise ist der Unterraum, der durch die Blickwinkel einer Kamera abgedeckt wird, der Raum, der durch den jeweiligen Sichtkegel der Kamera abgedeckt wird. Der Sichtkegel repräsentiert die Grenze des Sichtfeldes. Insbesondere kann der Sichtkegel auch ein verallgemeinerter Kegel sein. Mathematisch ist ein „verallgemeinerter Kegel“ die Oberfläche, die durch den Satz von Linien erschaffen wird, die durch eine Spitze und jeden Punkt auf einer Grenze hindurchgehen. Ein solcher verallgemeinerter Kegel kann eine willkürliche Grundfläche aufweisen, wie etwa einen Kreis, ein Dreieck, ein Rechteck und dergleichen.The common measuring room ( CMS ) is a subspace or subspace of the entire spatial environment where the new system is located. The cameras' viewing angles are directed towards this subspace, so that the subspace is covered by the individual fields of view of the cameras. In other words, it is CMS a subspace defined by the fields of view of the cameras. For example, the subspace that is covered by the viewing angles of a camera is the space that is covered by the respective viewing cone of the camera. The viewing cone represents the limit of the field of view. In particular, the viewing cone can also be a generalized cone. Mathematically, a "generalized cone" is the surface created by the set of lines that go through a point and every point on a boundary. Such a generalized cone may have an arbitrary base, such as a circle, a triangle, a rectangle, and the like.

Allgemein sind wenigstens sechs unabhängige Parameter, die mit strukturellen Charakteristika des Objekts in Zusammenhang stehen, zum Bestimmen der 6-DOF-Stellung des Objekts im Raum notwendig. Daher trägt der wenigstens eine 2D-Marker zur optischen Verfolgung Informationen, die sechs unabhängige räumliche Parameter repräsentieren, die durch die 6-DOF-Stellung des wenigstens einen Markers im Raum repräsentiert werden.Generally, at least six independent parameters related to the structural characteristics of the object are necessary to determine the 6-DOF position of the object in space. Therefore, the at least one 2D marker for optical tracking carries information representing six independent spatial parameters, which are represented by the 6-DOF position of the at least one marker in space.

Durch Anbringen des wenigstens einen Markers an dem Objekt wird die räumliche Anordnung des wenigstens einen Markers in Bezug auf das Objekt festgelegt. Insbesondere kann die räumliche Anordnung des wenigstens einen Markers vor dem Anbringen der Markerformation voreingestellt werden, so dass der wenigstens eine Marker an einer voreingestellten Stelle an dem Objekt angebracht wird. Alternativ dazu kann die räumliche Anordnung des wenigstens einen Markers nach dem Anbringen des wenigstens einen Markers an dem Objekt bestimmt werden, insbesondere wobei die Stelle auf dem Objekt, an der die Markerformation angebracht wird, bestimmt wird. In beiden Fällen kann die räumliche Anordnung in Bezug auf das Objekt durch eine Abbildung, insbesondere eine Transformation, repräsentiert werden, die die räumliche Beziehung zwischen dem wenigstens einen Marker und dem Objekt charakterisiert. Insbesondere kann die Abbildung so konfiguriert werden, dass die 6-DOF-Stellung des wenigstens einen Markers auf die 6-DOF-Stellung des Objekts im Raum abgebildet werden kann.By attaching the at least one marker to the object, the spatial arrangement of the at least one marker with respect to the object is determined. In particular, the spatial arrangement of the at least one marker can be preset before the marker formation is attached, so that the at least one marker is attached to the object at a preset location. Alternatively, the spatial arrangement of the at least one marker can be determined after the at least one marker has been attached to the object, in particular the location on the object at which the marker formation is attached being determined. In both cases, the spatial arrangement in relation to the object can be represented by an image, in particular a transformation, which characterizes the spatial relationship between the at least one marker and the object. In particular, the mapping can be configured so that the 6-DOF position of the at least one marker can be mapped to the 6-DOF position of the object in space.

Durch die verwendeten mehreren Kameras kann ein größerer CMS im Vergleich zu der Verwendung einer einzigen Kamera abgedeckt werden. Insbesondere können, wenn andere Objekte innerhalb des CMS angeordnet sind, diese anderen Objekte Barrieren für Einzelkameras bilden, die zu dem CMS gerichtet sind, so dass das Objekt durch die anderen Objekte verdeckt werden kann, wenn die anderen Objekte zwischen dem Objekt und der einzigen Kamera angeordnet sind. Wenn mehrere Kameras im Raum verteilt sind, können die mehreren Kameras ein viel größeres Gebiet im Raum abdecken, in dem der Marker für die Kameras detektierbar ist. Dies ist insbesondere ein relevanter Faktor, wenn das Objekt beweglich ist.Due to the multiple cameras used, a larger one CMS compared to using a single camera. In particular, if other objects within the CMS are arranged, these other objects form barriers for single cameras that to the CMS are directed so that the object can be covered by the other objects if the other objects are arranged between the object and the single camera. If several cameras are distributed in the room, the several cameras can cover a much larger area in the room in which the marker for the cameras can be detected. This is especially a relevant factor when the object is movable.

Vorherige Systeme und Verfahren verwenden allgemein die erfassten Bilder jeder Kamera, für die ein Marker sichtbar ist, zum Berechnen der Position des Markers im Raum. Jedoch erhöhen Kameras, die eine niedrige Detektierbarkeit aufweisen, den Messfehler der durchgeführten Bestimmungen. Das bereitgestellte System und Verfahren gemäß der Erfindung analysieren die Detektierbarkeit der Marker für die Kameras und wählen eine definierte Kamerakonfiguration basierend auf dem Analyseergebnis aus. Dementsprechend können Kameras, für die der wenigstens eine Marker sichtbar ist, die aber eine geringere Detektierbarkeit des wenigstens einen Markers im Vergleich zu anderen Kameras aufweisen, in der definierten Kamerakonfiguration weggelassen werden. Dies ist vorteilhaft, weil Daten von Kameras mit einer niedrigen Detektierbarkeit des wenigstens einen Markers die Bestimmungsergebnisse verschlechtern können. Daher erhöht die vorliegende Erfindung die Genauigkeit einer Bestimmung der 6-DOF-Stellung des wenigstens einen Markers und folglich der Bestimmung der 6-DOF-Stellung des Objekts im Raum, da die definierte Kamerakonfiguration nur solche Kameras mit einer geeigneten Detektierbarkeit des wenigstens einen Markers aufweist. Mit anderen Worten ermöglichen das bereitgestellte System und Verfahren ein Auswählen der besten Kamerakonfiguration für jede 6-DOF-Stellung des Objekts innerhalb des CMS.Previous systems and methods generally use the captured images from each camera for which a marker is visible to calculate the position of the marker in space. However, cameras that have a low detectability increase the measurement error of the determinations carried out. The system and method provided according to the invention analyze the detectability of the markers for the cameras and select a defined camera configuration based on the analysis result. Accordingly, cameras for which the at least one marker is visible, but which have a lower detectability of the at least one marker in comparison to other cameras, can be omitted in the defined camera configuration. This is advantageous because data from cameras with a low detectability of the at least one marker can worsen the determination results. Therefore, the present invention increases the accuracy of a determination of the 6-DOF position of the at least one marker and consequently of the determination of the 6-DOF position of the object in space, since the defined camera configuration only has such cameras with a suitable detectability of the at least one marker . In other words, the system and method provided enable the best camera configuration to be selected for each 6-DOF position of the object within the CMS .

Außerdem wird eine Rechenzeitreduzierung erreicht, da die Daten von weniger Kameras zum Bestimmen der 6-DOF-Stellungen des wenigstens einen Markers und des Objekts im Raum verwendet werden.In addition, a computing time reduction is achieved because the data from fewer cameras are used to determine the 6-DOF positions of the at least one marker and the object in space.

Entsprechend wird das objektive technische Problem vollständig gelöst.Accordingly, the objective technical problem is completely solved.

Bei einer bevorzugten Ausgestaltung der Erfindung wird in dem Schritt des Bestimmens der Detektierbarkeit die Detektierbarkeit des wenigstens einen Markers basierend auf einem oder mehreren der folgenden Kriterien bestimmt: Vorhandensein des wenigstens einen Markers in dem erfassten Bild der jeweiligen Kamera; Anzahl an sichtbaren Pixeln in dem erfassten Bild der jeweiligen Kamera in Bezug auf den Durchmesser wenigstens eines Markers, insbesondere wobei das erfasste Bild ein Minimum von 20 Pixeln pro Durchmesser aufweist; Neigungswinkel des wenigstens einen Markers relativ zu der jeweiligen Kamera, insbesondere wobei der Neigungswinkel zwischen -60° und +60° liegt; Weitenwinkel des wenigstens einen Markers relativ zu der jeweiligen Kamera, insbesondere wobei der Weitenwinkel zwischen -60° und +60° liegt; Helligkeit des wenigstens einen Markers in dem erfassten Bild der jeweiligen Kamera, insbesondere wobei die Helligkeit zwischen 60 und 90 in einer Skala von 0 bis 255 liegt; Bewertung des wenigstens einen Markers, insbesondere wobei die Bewertung zwischen 0,95 und 1 in einer Skala von 0 bis 1 liegt; und Genauigkeit der Messung in der räumlichen Position des wenigstens einen Markers, insbesondere wobei die Genauigkeit auf einem berechneten Ergebnis aus einem Korrekturalgorithmus basiert, wobei in dem Schritt des Bestimmens der definierten Kamerakonfiguration die definierte Kamerakonfiguration basierend auf dem einem oder den mehreren Kriterien für eine Detektierbarkeit des wenigstens einen Markers bestimmt wird.In a preferred embodiment of the invention, in the step of determining the detectability, the detectability of the at least one marker is determined based on one or more of the following criteria: presence of the at least one marker in the captured image of the respective camera; Number of visible pixels in the captured image of the respective camera in relation to the diameter of at least one marker, in particular wherein the captured image has a minimum of 20 pixels per diameter; Angle of inclination of the at least one marker relative to the respective camera, in particular wherein the angle of inclination is between -60 ° and + 60 °; Width angle of the at least one marker relative to the respective camera, in particular wherein the width angle is between -60 ° and + 60 °; Brightness of the at least one marker in the captured image of the respective camera, in particular the brightness being between 60 and 90 on a scale from 0 to 255; Evaluation of the at least one marker, in particular the evaluation being between 0.95 and 1 on a scale from 0 to 1; and accuracy of the measurement in the spatial position of the at least one marker, in particular wherein the accuracy is based on a calculated result from a correction algorithm, wherein in the step of determining the defined camera configuration, the defined camera configuration based on the one or more criteria for a detectability of the at least one marker is determined.

Bei dieser Ausgestaltung beeinflusst jedes dieser Kriterien die Detektierbarkeit eines Markers, da die Detektierbarkeit eines Markers von diesen Kriterien abhängt. Daher stellen die Kriterien für eine Detektierbarkeit eine geeignete Basis für eine Auswahl von Kameras für die definierte Kamerakonfiguration bereit, so dass die Bestimmungsgenauigkeit optimiert werden kann.In this embodiment, each of these criteria influences the detectability of a marker, since the detectability of a marker depends on these criteria. The criteria for detectability therefore provide a suitable basis for a selection of cameras for the defined camera configuration, so that the accuracy of determination can be optimized.

Bei einer weiteren Ausgestaltung wird die definierte Kamerakonfiguration basierend auf dem einen oder den mehreren Kriterien für eine Detektierbarkeit des wenigstens einen Markers bestimmt, so dass die Genauigkeit der Bestimmung der 6-DOF-Stellung des wenigstens einen Markers maximiert wird.In a further embodiment, the defined camera configuration is determined based on the one or more criteria for a detectability of the at least one marker, so that the accuracy of the determination of the 6-DOF position of the at least one marker is maximized.

Durch diese Ausgestaltung wird eine maximierte Bestimmungsgenauigkeit bereitgestellt.This configuration provides a maximized accuracy of determination.

Bei einer weiteren Ausgestaltung weist die Kamerakonfiguration einen Kamerasatz aus n Kameras auf, wobei n wenigstens 2 und kleiner als N ist.In a further embodiment, the camera configuration has a camera set of n cameras, n being at least 2 and smaller than N.

Indem wenigstens 2 Kameras zum Bestimmen der 6-DOF-Stellungen gewählt werden, wird eine Redundanz bereitgestellt, so dass eine Auswirkung von nichtberücksichtigten Messfehlern reduziert werden kann. Durch Auswählen einer Anzahl an Kameras kleiner als N werden solche Kameras, die eine geringere Detektierbarkeit aufweisen, ausgeschlossen. Eine Datenverarbeitungseffizienz kann dementsprechend erhöht werden.By selecting at least 2 cameras to determine the 6-DOF positions, redundancy is provided so that the effect of measurement errors that are not taken into account can be reduced. By selecting a number of cameras smaller than N, those cameras that have a lower detectability are excluded. Data processing efficiency can be increased accordingly.

Bei einer weiteren Ausgestaltung werden die Kameras in dem Schritt des Bereitstellens der Kameras in mehrere Kamerasätze gruppiert, wobei jeder Kamerasatz eine Anzahl von n Kameras aufweist, wobei n wenigstens 2 und kleiner als N ist und wobei in dem Schritt des Bestimmens der definierten Kamerakonfiguration der Kamerasatz der mehreren Kamerasätze ausgewählt wird, der die höchste Detektierbarkeit des wenigstens einen Markers unter den mehreren Kamerasätzen aufweist.In a further embodiment, the cameras are grouped into a plurality of camera sets in the step of providing the cameras, each camera set having a number of n cameras, n being at least 2 and smaller than N, and the camera set being in the step of determining the defined camera configuration of the plurality of camera sets is selected that has the highest detectability of the at least one marker among the plurality of camera sets.

Bei dieser Ausgestaltung wird die Detektierbarkeit unterschiedlicher Kamerasätze zum Erhalten des Kamerasatzes mit der höchsten Detektierbarkeit des wenigstens einen Markers unter den mehreren Kamerasätzen verglichen. Dadurch wird der Auswahlprozess vereinfacht. In this embodiment, the detectability of different camera sets for obtaining the camera set is compared with the highest detectability of the at least one marker among the plurality of camera sets. This simplifies the selection process.

Bei einer weiteren Ausgestaltung ist die Anzahl an Kameras jedes Kamerasatzes gleich, insbesondere wobei die Anzahl an Kameras jedes Kamerasatzes zwei oder drei ist.In a further embodiment, the number of cameras in each camera set is the same, in particular the number of cameras in each camera set being two or three.

Durch diese Ausgestaltung ist die Anzahl an Kamerasätzen, für die eine Detektierbarkeit verglichen werden muss, auf eine angemessene Anzahl beschränkt, so dass eine Rechenzeit reduziert werden kann, während eine Genauigkeit im Wesentlichen beibehalten wird.With this configuration, the number of camera sets for which a detectability must be compared is limited to an appropriate number, so that a computing time can be reduced while an accuracy is essentially maintained.

Bei einer weiteren Ausgestaltung wird jede Kamera in dem Schritt des Bereitstellens der Kameras mit Bezug auf ein globales Koordinatensystem kalibriert.In a further embodiment, each camera is calibrated in the step of providing the cameras with reference to a global coordinate system.

Durch diese Ausgestaltung können die Daten, die aus den erfassten Bildern der Kameras der definierten Kamerakonfiguration erhalten werden, gemeinsam verwendet werden, um die 6-DOF-Stellungen des Markers und des Objekts im Raum zu bestimmen.With this configuration, the data obtained from the captured images of the cameras of the defined camera configuration can be used together to determine the 6-DOF positions of the marker and the object in space.

Bei einer weiteren Ausgestaltung wird der wenigstens eine Marker in dem Schritt des Anbringens des wenigstens einen Markers in einer vordefinierten Position und Orientierung auf dem Objekt angebracht.In a further embodiment, the at least one marker is attached to the object in a predefined position and orientation in the step of attaching the at least one marker.

Dadurch wird die räumliche Beziehung zwischen dem Marker und dem Objekt so definiert, dass die 6-DOF-Stellung des Markers zum Bestimmen der 6-DOF-Stellung des Objekts verwendet werden kann.This defines the spatial relationship between the marker and the object so that the 6-DOF position of the marker can be used to determine the 6-DOF position of the object.

Bei einer weiteren Ausgestaltung werden in dem Schritt des Anbringens des wenigstens einen Markers mehrere 2D-Marker zur optischen Verfolgung an dem Objekt angebracht, wobei jeder Marker ein bestimmtes Markermuster als eine eindeutige Identifizierung aufweist.In a further embodiment, in the step of attaching the at least one marker, a plurality of 2D markers are attached to the object for optical tracking, each marker having a specific marker pattern as a unique identifier.

Das bestimmte Markermuster charakterisiert jeden Marker derart, dass eine eindeutige Identifizierung jedes Markers möglich ist. Mehrere Marker ermöglichen das Bestimmen der 6-DOF-Stellung des Objekts mit höherer Genauigkeit, weil Messfehler weiter reduziert werden können.The specific marker pattern characterizes each marker in such a way that each marker can be uniquely identified. Several markers enable the 6-DOF position of the object to be determined with greater accuracy because measurement errors can be reduced further.

Bei einer weiteren Ausgestaltung wird in dem Schritt des Bestimmens der definierten Kamerakonfiguration eine gemeinsame definierte Kamerakonfiguration für die mehreren Marker basierend auf der Detektierbarkeit jedes Markers für die mehreren Kameras bestimmt.In a further embodiment, in the step of determining the defined camera configuration, a jointly defined camera configuration for the multiple markers is determined based on the detectability of each marker for the multiple cameras.

Dadurch wird eine Rechenzeitreduzierung erzielt, weil nur eine definierte Kamerakonfiguration bestimmt werden muss.This reduces the computing time because only a defined camera configuration has to be determined.

Bei einer weiteren Ausgestaltung wird in dem Schritt des Bestimmens der definierten Kamerakonfiguration eine definierte Kamerakonfiguration für jeden der mehreren Marker basierend auf der Detektierbarkeit des jeweiligen Markers für die mehreren Kameras bestimmt.In a further embodiment, in the step of determining the defined camera configuration, a defined camera configuration for each of the plurality of markers is determined based on the detectability of the respective marker for the plurality of cameras.

Dadurch wird die Bestimmungsgenauigkeit für die 6-DOF-Stellungen der Marker und des Objekts erhöht, weil eine markerspezifische Kamerakonfiguration für jeden Marker ausgewählt werden kann, so dass die Bestimmungsgenauigkeit für jeden Marker einzeln erhöht werden kann, so dass folglich die gesamte Bestimmungsgenauigkeit ebenfalls erhöht wird.This increases the determination accuracy for the 6-DOF positions of the markers and the object, because a marker-specific camera configuration can be selected for each marker, so that the determination accuracy for each marker can be increased individually, so that the overall determination accuracy is also increased .

Bei einer weiteren Ausgestaltung ist das Objekt eine Messvorrichtung, die einen 3D-Sensor zum Messen eines Messobjekts aufweist.In a further embodiment, the object is a measuring device that has a 3D sensor for measuring a measuring object.

Durch diese Ausgestaltung ist eine Bewegung der Messvorrichtung im Raum verfolgbar, indem die 6-DOF-Stellung der Messvorrichtung für aufeinanderfolgende Zeitschritte bestimmt wird.With this configuration, a movement of the measuring device in space can be tracked by determining the 6-DOF position of the measuring device for successive time steps.

Bei einer weiteren Ausgestaltung wird die bestimmte 6-DOF-Stellung der Messvorrichtung zum Messen von Charakteristiken des Messobjekts, insbesondere einer Oberfläche oder spezieller Messpunkte des Messobjekts, verwendet.In a further embodiment, the determined 6-DOF position of the measuring device is used to measure characteristics of the measurement object, in particular a surface or special measurement points of the measurement object.

Wie bereits oben angegeben, ist die vorliegende Erfindung zur Verfolgung einer Messvorrichtung im Raum anwendbar. Allgemein repräsentieren die Daten, die von dem 3D-Sensor erhalten werden, ein Messergebnis mit Bezug auf die Position der Messvorrichtung im Raum. Um ein Modell von dem Messobjekt zu erzeugen, das Messergebnisse abtastet, die bei unterschiedlichen Positionen der Messvorrichtung aufgenommen werden, kann die Messvorrichtung in einem übergeordneten Koordinatensystem registriert werden, sodass Messergebnisse der Messvorrichtung in das übergeordnete Koordinatensystem transformiert werden können. Mittels der vorliegenden Erfindung ist die 6-DOF-Stellung der Messvorrichtung im Raum verfolgbar, sodass die globale Registrierung durchgeführt werden kann.As already stated above, the present invention can be used for tracking a measuring device in space. In general, the data obtained from the 3D sensor represent a measurement result with reference to the position of the measuring device in space. In order to generate a model of the measurement object that scans measurement results that are recorded at different positions of the measurement device, the measurement device can be registered in a higher-order coordinate system, so that measurement results of the measurement device can be transformed into the higher-order coordinate system. By means of the present invention, the 6-DOF position of the measuring device can be tracked in space, so that the global registration can be carried out.

Selbstverständlich können die oben erwähnten Merkmale und die noch im Folgenden zu erklärenden Merkmale nicht nur in den entsprechenden offenbarten Kombinationen verwendet werden, sondern auch in anderen Kombinationen oder alleine, ohne vom Schutzumfang der vorliegenden Erfindung abzuweichen.Of course, the features mentioned above and the features still to be explained below can not only be used in the corresponding disclosed combinations, but also in other combinations or alone, without departing from the scope of the present invention.

FigurenlisteFigure list

Weitere Merkmale und Vorteile werden aus der folgenden ausführlichen Beschreibung ersichtlich. Alle technischen und wissenschaftlichen Ausdrücke besitzen die durch einen Durchschnittsfachmann üblicherweise verstandene Bedeutung, es sei denn, etwas anderes wird definiert, In den Zeichnungen gilt:

1 zeigt eine vereinfachte schematische Veranschaulichung eines ersten Ausführungsbeispiels eines Systems, das das Verfahren implementiert;
2 zeigt eine schematische Veranschaulichung eines Ausführungsbeispiels des gemeinsamen Messraums, der in dem Verfahren und System aus 1 verwendet wird;
3 zeigt ein Flussdiagramm zum Erläutern eines Ausführungsbeispiels des Verfahrens;
4 zeigt vier Ausführungsbeispiele von 2D-Markern zur optischen Verfolgung, die in dem Verfahren und System aus 1 verwendet werden können;
5 zeigt eine schematische Veranschaulichung eines zweiten Ausführungsbeispiels eines Systems, das das Verfahren implementiert;
6 zeigt ein Ausführungsbeispiel des Kalibrierens einer Kamera;
7 zeigt eine schematische Veranschaulichung eines dritten Ausführungsbeispiels eines Systems, das das Verfahren implementiert; und
8 zeigt eine schematische Veranschaulichung eines vierten Ausführungsbeispiels eines Systems, das das Verfahren implementiert.

Further features and advantages will become apparent from the detailed description that follows. All technical and scientific terms have the meaning commonly understood by one of ordinary skill in the art, unless otherwise defined. In the drawings:

1 shows a simplified schematic illustration of a first embodiment of a system implementing the method;
2nd shows a schematic illustration of an embodiment of the common measuring room, which in the method and system 1 is used;
3rd shows a flow chart for explaining an embodiment of the method;
4th shows four embodiments of 2D markers for optical tracking, which are in the method and system 1 can be used;
5 shows a schematic illustration of a second embodiment of a system implementing the method;
6 shows an embodiment of the calibration of a camera;
7 shows a schematic illustration of a third embodiment of a system implementing the method; and
8th shows a schematic illustration of a fourth embodiment of a system that implements the method.

Ausführliche Beschreibung der ZeichnungenDetailed description of the drawings

In 1 ist ein Ausführungsbeispiel des Systems in seiner Gesamtheit durch die Bezugsziffer 10 bezeichnet. Das System 10 ist ein Messsystem, das zum Bestimmen einer 6-DOF-Stellung eines Objekts im Raum gestaltet und ausgebildet ist. Das System 10 kann Ausführungsbeispiele des neuen Verfahrens implementieren, wie im Folgenden erläutert wird.In 1 is an embodiment of the system in its entirety by the reference number 10th designated. The system 10th is a measuring system that is designed and designed to determine a 6-DOF position of an object in space. The system 10th can implement exemplary embodiments of the new method, as will be explained below.

Bei diesem Ausführungsbeispiel ist wenigstens ein 2D-Marker 14 zur optischen Verfolgung an der Oberfläche des Objekts 12 angebracht. Beispielsweise zeigt 1 drei 2D-Marker 14a, 14b, 14c zur optischen Verfolgung, die an dem Objekt 12 angebracht sind. Bei alternativen Ausführungsformen können mehr oder weniger als drei Marker 14 an dem Objekt 12 angebracht sein. Bei diesem Ausführungsbeispiel ist ein erster Marker 14a in durchgezogenen Linien dargestellt, während ein zweiter und ein dritter Marker 14b, 14c in gestrichelten Linien dargestellt sind. Die gestrichelten Linien kennzeichnen, dass der zweite und dritte Marker 14b, 14c optional sind.In this embodiment, there is at least one 2D marker 14 for optical tracking on the surface of the object 12 appropriate. For example, shows 1 three 2D markers 14a , 14b , 14c for optical tracking on the object 12 are attached. In alternative embodiments, more or less than three markers 14 on the object 12 to be appropriate. In this embodiment is a first marker 14a shown in solid lines, while a second and a third marker 14b , 14c are shown in dashed lines. The dashed lines indicate that the second and third markers 14b , 14c are optional.

Bei diesem Ausführungsbeispiel weist das System 10 mehrere Kameras 16 auf. Insbesondere weist das System 10 vier Kameras 16 auf. Jedoch kann es bei alternativen Ausführungsformen eine beliebige Anzahl an Kameras 16 geben, die wenigstens drei ist. Bei diesem Ausführungsbeispiel weist das System 10 eine erste Kamera 16a, eine zweite Kamera 16b, eine dritte Kamera 16c und eine vierte Kamera 16d auf. Allgemein könnten die Kameras 16a, 16b, 16c, 16d zum Erfassen von Graustufenbildern, Farbbildern, Infrarotbildern oder einer beliebigen nützlichen Kombination davon ausgebildet sein. Die Kameras 16a, 16b, 16c, 16d sind an einer Stützstruktur 22 auf eine solche Weise montiert, dass die Kameras 16a, 16b, 16c, 16d bei individuellen 6-DOF-Stellungen im Raum angeordnet sind. Dadurch weist jede der Kameras 16a, 16b, 16c, 16d einen individuellen Blickwinkel auf. Die individuellen Blickwinkel sind zu einem gemeinsamen Messraum (CMS) gerichtet. Ein Ausführungsbeispiel des CMS wird unten besprochen (vergleiche 2).In this embodiment, the system 10th multiple cameras 16 on. In particular, the system 10th four cameras 16 on. However, in alternative embodiments, there can be any number of cameras 16 give that is at least three. In this embodiment, the system 10th a first camera 16a , a second camera 16b , a third camera 16c and a fourth camera 16d on. In general, the cameras could 16a , 16b , 16c , 16d be configured to capture grayscale images, color images, infrared images, or any useful combination thereof. The cameras 16a , 16b , 16c , 16d are on a support structure 22 mounted in such a way that the cameras 16a , 16b , 16c , 16d are arranged in the room at individual 6-DOF positions. This causes each of the cameras to point 16a , 16b , 16c , 16d an individual perspective. The individual perspectives are related to a common measuring room ( CMS ) directed. An embodiment of the CMS is discussed below (compare 2nd ).

Bei dieser Ausführungsform kann eine Repräsentation für den Raum durch ein übergeordnetes Koordinatensystem 26 mit x-, y-, z-Achse gegeben werden. Eine 6-DOF-Stellung im Raum wird durch eine Position innerhalb des übergeordneten Koordinatensystems 26, die durch x-, y-, z-Werte gegeben ist, und eine Orientierung mit Bezug auf die x-, y-, z-Achse, die durch entsprechende Rotationswinkel α, β, γ gegeben ist, bereitgestellt. Jede der Kameras 16a, 16b, 16c, 16d stellt Bildinformationen von ihrer individuellen Blickwinkel bei der individuellen 6-DOF-Stellung im Raum bereit. Diese Informationen können Position und Orientierung von Objekten relativ zu der jeweiligen Kamera repräsentieren, die beispielhaft durch Koordinaten in einem lokalen Koordinatensystem gegeben sind, das auf die jeweilige Kamera verweist. Jedoch kann zum Bestimmen der 6-DOF-Stellung im Raum, d. h. in dem übergeordneten Koordinatensystem 26, eine globale Registrierung für jede der Kameras 16a, 16b, 16c, 16d durchgeführt werden. Die globale Registrierung kann durch eine Abbildung erreicht werden, die eine starre Transformation von dem lokalen Koordinatensystem der jeweiligen Kamera in das übergeordnete Koordinatensystem 26 durchführt. Beispielsweise wird die starre Transformation durch eine Transformationsmatrix und einen Translationsvektor repräsentiert, die Koordinaten von dem lokalen Koordinatensystem auf das übergeordnete Koordinatensystem abbilden. Ausführungsbeispiele des Durchführens einer globalen Registrierung werden unten erklärt (vergleiche 5 und 6).In this embodiment, a representation for the space can be represented by a superordinate coordinate system 26 with x, y, z axis. A 6-DOF position in space is determined by a position within the higher-level coordinate system 26 , which is given by x, y, z values, and an orientation with respect to the x, y, z axis, which is given by corresponding rotation angles α, β, γ. Each of the cameras 16a , 16b , 16c , 16d provides image information from your individual point of view in the individual 6-DOF position in the room. This information can represent the position and orientation of objects relative to the respective camera, which are given, for example, by coordinates in a local coordinate system that refers to the respective camera. However, it can be used to determine the 6-DOF position in space, ie in the superordinate coordinate system 26 , a global registration for each of the cameras 16a , 16b , 16c , 16d be performed. The global registration can be achieved by means of an image that undergoes a rigid transformation from the local coordinate system of the respective camera into the superordinate coordinate system 26 carries out. For example, the rigid transformation is represented by a transformation matrix and a translation vector which map coordinates from the local coordinate system to the superordinate coordinate system. Embodiments of performing a global Registration are explained below (compare 5 and 6 ).

Bei diesem Ausführungsbeispiel weist die Stützstruktur 22 ein erstes Stützelement 24a und ein zweites Stützelement 24b auf. Die erste und die zweite Kamera 16a, 16b sind an dem ersten Stützelement 24a in festen Positionen und Orientierungen montiert. Die dritte und die vierte Kamera 16c, 16d sind an dem zweiten Stützelement 24b in festen Positionen und Orientierungen montiert.In this embodiment, the support structure 22 a first support element 24a and a second support element 24b on. The first and the second camera 16a , 16b are on the first support element 24a assembled in fixed positions and orientations. The third and fourth cameras 16c , 16d are on the second support element 24b assembled in fixed positions and orientations.

Das Objekt 12 ist innerhalb des CMS positioniert. Mit anderen Worten ist das Objekt 12 derart im Raum positioniert, dass wenigstens eine der Kameras 16a, 16b, 16c, 16d zu dem Objekt 12 gerichtet ist, sodass das Objekt 12 innerhalb des Sichtfeldes von wenigstens einer der Kameras 16a, 16b, 16c, 16d liegt.The object 12 is within the CMS positioned. In other words, the object is 12 positioned in space such that at least one of the cameras 16a , 16b , 16c , 16d to the object 12 is directed so that the object 12 within the field of view of at least one of the cameras 16a , 16b , 16c , 16d lies.

Bei diesem Ausführungsbeispiel weist das System 10 ferner eine Verarbeitungseinheit 18 auf. Die Verarbeitungseinheit 18 ist mit den Kameras 16a, 16b, 16c, 16d über eine oder mehrere Leitungen 20 verbunden. Bei dieser Ausführungsform ist die erste Kamera 16a mit der Verarbeitungseinheit 18 über eine erste Leitung 20a verbunden, ist die zweite Kamera 16b mit der Verarbeitungseinheit 18 über eine zweite Leitung 20b verbunden, ist die dritte Kamera 16c mit der Verarbeitungseinheit 18 über eine dritte Leitung 20c verbunden und ist die vierte Kamera 16d mit der Verarbeitungseinheit 18 über eine vierte Leitung 20d verbunden. Natürlich können ggf. weitere Kameras auch mit der Verarbeitungseinheit 18 verbunden werden. Allgemein könnten die Leitungen 20a, 20b, 20c, 20d ein elektrisches und/oder optisches Kabel sein. Zusätzlich oder alternativ dazu könnten die Kameras 16a, 16b, 16c, 16d mit der Verarbeitungseinheit 18 auf eine drahtlose Weise verbunden sein.In this embodiment, the system 10th also a processing unit 18th on. The processing unit 18th is with the cameras 16a , 16b , 16c , 16d over one or more lines 20th connected. In this embodiment, the first camera 16a with the processing unit 18th via a first line 20a connected, is the second camera 16b with the processing unit 18th via a second line 20b connected, is the third camera 16c with the processing unit 18th via a third line 20c connected and is the fourth camera 16d with the processing unit 18th via a fourth line 20d connected. Of course, other cameras can also be used with the processing unit 18th get connected. In general, the lines 20a , 20b , 20c , 20d be an electrical and / or optical cable. Additionally or alternatively, the cameras could 16a , 16b , 16c , 16d with the processing unit 18th be connected in a wireless way.

Die Verarbeitungseinheit 18 ist zum Steuern der Kameras 16a, 16b, 16c, 16d und zum Verarbeiten von Bilddaten, die durch die Kameras bereitgestellt werden, ausgebildet. Insbesondere ist die Verarbeitungseinheit 18 zum Bestimmen der 6-DOF-Stellung des Objekts 12 gemäß Ausführungsformen des weiter unten erläuterten Verfahrens gestaltet und ausgebildet (vergleiche 3).The processing unit 18th is for controlling the cameras 16a , 16b , 16c , 16d and for processing image data provided by the cameras. In particular, the processing unit 18th to determine the 6-DOF position of the object 12 designed and constructed in accordance with embodiments of the method explained below (cf. 3rd ).

Die Verarbeitungseinheit 18 kann eine Beleuchtung 28 steuern, die LED-Lampen oder beliebige andere geeignete, die Licht im sichtbaren und/oder Infrarotbereich erzeugen, aufweisen könnte. Obwohl eine Beleuchtungssteuerung durch die Verarbeitungseinheit 18 vorteilhaft ist, könnten andere Ausführungsbeispiele ohne eine dedizierte Beleuchtungssteuerung implementiert werden.The processing unit 18th can be lighting 28 control that could include LED lamps or any other suitable ones that produce light in the visible and / or infrared range. Although lighting control by the processing unit 18th is advantageous, other embodiments could be implemented without a dedicated lighting control.

Die Verarbeitungseinheit 18 kann mit einem nichtflüchtigen Datenspeicher 30, in dem ein Computerprogramm gespeichert ist, verbunden sein oder diesen aufweisen. Bei manchen Ausführungsbeispielen ist die Verarbeitungseinheit 18 ein Mehrzweckcomputer, wie etwa ein handelsüblicher Personal Computer, der unter Windows®, Linux oder MacOS läuft, und das Computerprogramm aus dem Speicher 30 weist einen Programmcode auf, der zum Implementieren von Ausführungsformen des neuen Verfahrens in Kombination mit dem wenigstens einen Marker 14 und den Kameras 16 gestaltet und ausgebildet ist. Bei einem alternativen Ausführungsbeispiel ist die Verarbeitungseinheit ein logischer Schaltkreis, wie etwa ein vor Ort programmierbares Gate-Array (FPGA: Field Programmable Gate Array), ein anwendungsspezifischer integrierter Schaltkreis (ASIC: Application-Specific Integrated Circuit), ein Mikrocontroller oder ein beliebiger anderer angemessener programmierbarer elektrischer Schaltkreis. Darin können die Ausführungsformen des neuen Verfahrens, insbesondere Steuer- und Bestimmungsschritte, mit dem logischen Schaltkreis implementiert werden, sodass der logische Schaltkreis zum Implementieren von Ausführungsformen des neuen Verfahrens in Kombination mit dem wenigstens einen Marker 14 und den Kameras 16 gestaltet und ausgebildet ist. Zum Implementieren von Ausführungsformen des neuen Verfahrens in dem logischen Schaltkreis kann eine beliebige angemessene Programmiersprache oder Hardwarebeschreibungssprache verwendet werden, wie etwa C, VHDL und dergleichen.The processing unit 18th can with a non-volatile data storage 30th , in which a computer program is stored, connected or have this. In some embodiments, the processing unit is 18th a general-purpose computer, such as a commercially available personal computer which runs under Windows®, Linux or MacOS, and the computer program from the memory 30th has a program code that is used to implement embodiments of the new method in combination with the at least one marker 14 and the cameras 16 is designed and trained. In an alternative embodiment, the processing unit is a logic circuit, such as a field programmable gate array (FPGA), an application-specific integrated circuit (ASIC), a microcontroller, or any other appropriate one programmable electrical circuit. The embodiments of the new method, in particular control and determination steps, can be implemented therein with the logic circuit, so that the logic circuit for implementing embodiments of the new method in combination with the at least one marker 14 and the cameras 16 is designed and trained. Any suitable programming language or hardware description language, such as C, VHDL and the like, can be used to implement embodiments of the new method in the logic circuit.

2 zeigt ein Ausführungsbeispiel des CMS in 1. Jede der Kameras 16a, 16b, 16c, 16d weist eine individuelle Blickwinkel Pa, Pb, Pc, Pd auf. Das Sichtfeld jedes Blickwinkels Pa, Pb, Pc, Pd deckt einen Unterraum im Raum ab. Die Summe dieser Unterräume ist der CMS. 2nd shows an embodiment of the CMS in 1 . Each of the cameras 16a , 16b , 16c , 16d has an individual perspective Pa , Pb , Pc , Pd on. The field of view from every angle Pa , Pb , Pc , Pd covers a subspace in the room. The sum of these subspaces is the CMS .

3 zeigt ein bevorzugtes Ausführungsbeispiel des neuen Verfahrens, das mittels des Systems 10 aus 1 implementiert wird, erklärt ist. Das neue Verfahren wird durch die Bezugsziffer 32 bezeichnet. 3rd shows a preferred embodiment of the new method using the system 10th out 1 is implemented, is explained. The new procedure is identified by the reference number 32 designated.

Gemäß Schritt 34 wird eine Mehrzahl von N Kameras 16 in individuellen 6-DOF-Stellungen im Raum bereitgestellt, wie beispielhaft in 1 dargestellt ist. Allgemein ist N wenigstens drei. Bei dem Ausführungsbeispiel aus 1 ist N vier. Jede der Kameras 16 weist einen individuelle Blickwinkel P auf. Die individuellen Blickwinkel P sind zu einem gemeinsamen Messraum (CMS) gerichtet.According to step 34 becomes a plurality of N cameras 16 provided in individual 6-DOF positions in the room, as exemplified in 1 is shown. Generally, N is at least three. In the embodiment 1 is N four. Each of the cameras 16 has an individual viewing angle P. The individual viewing angles P are to a common measuring room ( CMS ) directed.

Bei einer Ausführungsform schließt der Schritt 34 ferner ein, dass die Kameras 16 in mehrere Kamerasätze gruppiert sind. Jeder Kamerasatz weist eine Anzahl von n Kameras auf, wobei n wenigstens 2 und kleiner als N ist. Bevorzugter ist die Anzahl an Kameras jedes Kamerasatzes 17 gleich, insbesondere wobei die Anzahl an Kameras jedes Kamerasatzes 17 zwei oder drei ist. Ausführungsbeispiele einer Gruppierung von Kameras in Kamerasätzen werden unten erklärt (vergleiche 7).In one embodiment, the step closes 34 further one that the cameras 16 are grouped into several camera sets. Each camera set has a number of n cameras, where n is at least 2 and less than N. The number of cameras of each camera set is more preferred 17th equal, especially where the number of cameras of each camera set 17th is two or three. Exemplary embodiments of a grouping of cameras in camera sets are explained below (compare 7 ).

Bei einer Ausführungsform schließt der Schritt 34 ferner ein, dass jede Kamera 16 mit Bezug auf ein globales Koordinatensystem kalibriert wird. Eine Kalibrierung zu einem globalen Koordinatensystem wird auch als globale Registrierung bezeichnet. Ausführungsbeispiele einer globalen Registrierung werden unten erklärt (vergleiche 5 und 6).In one embodiment, the step closes 34 further one that any camera 16 is calibrated with reference to a global coordinate system. A calibration to a global coordinate system is also referred to as a global registration. Exemplary embodiments of a global registration are explained below (compare 5 and 6 ).

Gemäß Schritt 36 ist wenigstens ein 2D-Marker 14 zur optischen Verfolgung an dem Objekt 12 angebracht. Bevorzugt ist der wenigstens eine Marker 14 in einer vordefinierten Position und Orientierung an dem Objekt 12 angebracht. Bevorzugt werden mehrere 2D-Marker 14 zur optischen Verfolgung an dem Objekt 12 angebracht, wobei jeder Marker 14 ein bestimmtes Markermuster als eine eindeutige Identifizierung aufweist. Ausführungsbeispiele unterschiedlicher Markermuster werden unten erklärt (vergleiche 4).According to step 36 is at least a 2D marker 14 for optical tracking on the object 12 appropriate. The at least one marker is preferred 14 in a predefined position and orientation on the object 12 appropriate. Several 2D markers are preferred 14 for optical tracking on the object 12 attached, each marker 14 has a particular marker pattern as a unique identifier. Exemplary embodiments of different marker patterns are explained below (compare 4th ).

Gemäß Schritt 38 wird das Objekt 12 mit dem wenigstens einen Marker 14 innerhalb des CMS positioniert.According to step 38 becomes the object 12 with the at least one marker 14 within the CMS positioned.

Gemäß Schritt 40 wird durch jede der Kameras 16 ein jeweiliges Bild des wenigstens einen Markers 14, der an dem Objekt 12 angebracht ist, erfasst.According to step 40 is through each of the cameras 16 a respective image of the at least one marker 14 working on the object 12 is appropriate.

Gemäß Schritt 42 wird eine Detektierbarkeit des wenigstens einen Markers 14 für jede der Kameras 16 basierend auf dem jeweiligen erfassten Bild jeder Kamera 16 bestimmt. Bevorzugt wird die Detektierbarkeit des wenigstens einen Markers 14 basierend auf einem oder mehreren Kriterien bestimmt. Ausführungsbeispiele von Kriterien für eine Detektierbarkeit werden unten erklärt (vergleiche 4).According to step 42 becomes a detectability of the at least one marker 14 for each of the cameras 16 based on the captured image of each camera 16 certainly. The detectability of the at least one marker is preferred 14 determined based on one or more criteria. Exemplary embodiments of criteria for detectability are explained below (compare 4th ).

Gemäß Schritt 44 wird eine definierte Kamerakonfiguration der Kameras 16 basierend auf der Detektierbarkeit des wenigstens einen Markers 14 für die Kameras 16 bestimmt. Bevorzugt weist die definierte Kamerakonfiguration einen Kamerasatz aus n Kameras auf, wobei n wenigstens 2 und kleiner als N ist.According to step 44 becomes a defined camera configuration of the cameras 16 based on the detectability of the at least one marker 14 for the cameras 16 certainly. The defined camera configuration preferably has a camera set of n cameras, n being at least 2 and smaller than N.

Bei einer Ausführungsform schließt der Schritt 44 ferner ein, dass, wenn die Detektierbarkeit des wenigstens einen Markers 14 basierend auf einem oder mehreren der oben erwähnten Kriterien bestimmt wird, die definierte Kamerakonfiguration basierend auf dem einen oder den mehreren Kriterien für eine Detektierbarkeit des wenigstens einen Markers 14 bestimmt wird, insbesondere so dass die Genauigkeit der Bestimmung der 6-DOF-Stellung des wenigstens einen Markers 14 maximiert wird.In one embodiment, the step closes 44 further a that if the detectability of the at least one marker 14 is determined based on one or more of the criteria mentioned above, the defined camera configuration based on the one or more criteria for a detectability of the at least one marker 14 is determined, in particular so that the accuracy of the determination of the 6-DOF position of the at least one marker 14 is maximized.

Bei einer weiteren Ausführungsform schließt der Schritt 44 ferner ein, dass, wenn die Kameras 16 in mehrere Kamerasätze gruppiert werden, der Kamerasatz der mehreren Kamerasätze ausgewählt wird, der die höchste Detektierbarkeit des wenigstens einen Markers 14 unter den mehreren Kamerasätzen aufweist.In another embodiment, the step closes 44 further a that if the cameras 16 are grouped into several camera sets, the camera set of the several camera sets is selected that has the highest detectability of the at least one marker 14 has among the multiple camera sets.

Bei einer weiteren Ausführungsform schließt der Schritt 44 ferner ein, dass, wenn mehrere 2D-Marker 14 zur optischen Verfolgung an dem Objekt 12 angebracht sind, eine gemeinsame definierte Kamerakonfiguration für die mehreren Marker 14 basierend auf der Detektierbarkeit jedes Markers 14 für die mehreren Kameras 16 bestimmt wird. Alternativ dazu wird eine definierte Kamerakonfiguration für jeden der mehreren Marker 14 basierend auf der Detektierbarkeit des jeweiligen Markers 14 für die mehreren Kameras 16 bestimmt.In another embodiment, the step closes 44 further one that if multiple 2D markers 14 for optical tracking on the object 12 attached, a common defined camera configuration for the multiple markers 14 based on the detectability of each marker 14 for the multiple cameras 16 is determined. Alternatively, a defined camera configuration is created for each of the several markers 14 based on the detectability of the respective marker 14 for the multiple cameras 16 certainly.

Gemäß Schritt 46 wird eine 6-DOF-Stellung des wenigstens einen Markers 14 im Raum basierend auf der definierten Kamerakonfiguration bestimmt.According to step 46 becomes a 6-DOF position of the at least one marker 14 determined in the room based on the defined camera configuration.

Gemäß Schritt 48 wird eine 6-DOF-Stellung des Objekts 12 im Raum basierend auf der 6-DOF-Stellung des wenigstens einen Markers 14 bestimmt.According to step 48 becomes a 6-DOF position of the object 12 in space based on the 6-DOF position of the at least one marker 14 certainly.

4 zeigt vier verschiedene Ausführungsbeispiele bevorzugter Marker für das System, wie in 1 dargestellt. Die bevorzugten Marker sind in einer Draufsicht und einer schrägen Ansicht dargestellt. 4th shows four different embodiments of preferred markers for the system, as in 1 shown. The preferred markers are shown in a top view and an oblique view.

Bei einem in den Darstellungen a) und a') dargestellten ersten Ausführungsbeispiel ist ein erster Marker 50a gezeigt. Die Darstellung a) stellt eine Draufsicht des ersten Markers 50a bereit und die Darstellung a') stellt eine schräge Ansicht des ersten Markers 50a bereit.With one in the representations a) and a ') The first exemplary embodiment shown is a first marker 50a shown. The representation a) represents a top view of the first marker 50a ready and the representation a ') represents an oblique view of the first marker 50a ready.

Bei einem in den Darstellungen b) und b') dargestellten zweiten Ausführungsbeispiel ist ein zweiter Marker 50b gezeigt. Die Darstellung b) stellt eine Draufsicht des Markers 50b bereit und die Darstellung b') stellt eine schräge Ansicht des zweiten Markers 50b bereit.With one in the representations b) and b ') The second exemplary embodiment shown is a second marker 50b shown. The representation b) represents a top view of the marker 50b ready and the representation b ') represents an oblique view of the second marker 50b ready.

Bei einem in den Darstellungen c) und c') dargestellten dritten Ausführungsbeispiel ist ein dritter Marker 50c gezeigt. Die Darstellung c) stellt eine Draufsicht des dritten Markers 50c bereit und die Darstellung c') stellt eine schräge Ansicht des dritten Markers 50c bereit.With one in the representations c) and c ') The third exemplary embodiment shown is a third marker 50c shown. The representation c) represents a top view of the third marker 50c ready and the representation c ') represents an oblique view of the third marker 50c ready.

Bei einem in den Darstellungen d) und d') dargestellten vierten Ausführungsbeispiel ist ein vierter Marker 50d gezeigt. Die Darstellung d) stellt eine Draufsicht des vierten Markers 50d bereit und die Darstellung d') stellt eine schräge Ansicht des vierten Markers 50d bereit.With one in the representations d) and d ') fourth embodiment shown is a fourth marker 50d shown. The representation d) represents a top view of the fourth marker 50d ready and the representation d ') represents an oblique view of the fourth marker 50d ready.

Die Marker 50a, 50b, 50c, 50d sind 2D-Marker zur optischen Verfolgung. Jeder Marker 50a, 50b, 50c, 50d weist einen kreisförmigen Umriss auf und weist ein rotationsasymmetrisches Muster auf. Das Muster weist ein Intensitätsprofil auf, das entlang eines kreisförmigen Pfades um einen Kreismittelpunkt herum im Wesentlichen kontinuierlich variiert. Dementsprechend kann das Markermuster als analog oder fast analog wahrgenommen werden, obwohl das Markermuster aus mehreren Punkten oder Pixeln erzeugt werden kann. Die Marker 50a, 50b, 50c, 50d weisen unterschiedliche Muster auf, so dass jedes Muster eine eindeutige Kennung für jeden Marker bereitstellt.The markers 50a , 50b , 50c , 50d are 2D markers for optical tracking. Any marker 50a , 50b , 50c , 50d has a circular outline and has a rotationally asymmetrical pattern. The pattern has an intensity profile that varies substantially continuously along a circular path around a circle center. Accordingly, the marker pattern can be perceived as analog or almost analog, although the marker pattern can be generated from several points or pixels. The markers 50a , 50b , 50c , 50d have different patterns, so that each pattern provides a unique identifier for each marker.

Innerhalb eines erfassten Bildes erscheint jeder Marker 50a, 50b, 50c, 50d als eine Ellipse, die eine 2D-Projektion der kreisförmigen Form des jeweiligen Markers 50a, 50b, 50c, 50d ist. Die 3D-Position kann aus der Größe und dem Standort des Zentrums der Ellipse erhalten werden. Die Orientierung der Ellipse mit Bezug auf zwei Achsen im Raum kann aus der Exzentrizität der Ellipse erhalten werden. Aus dem variierenden Intensitätsprofil kann die Orientierung mit Bezug auf eine Achse senkrecht zu dem Marker erhalten werden. Daher können sechs unabhängige räumliche Parameter von jedem Marker 50a, 50b, 50c, 50d erhalten werden. Zum Erhalten von sechs unabhängigen räumlichen Parametern, die die 6-DOF-Stellung einer Markerformation repräsentieren können, ist wenigstens ein 2D-Marker zur optischen Verfolgung dieser Art notwendig.Each marker appears within a captured image 50a , 50b , 50c , 50d as an ellipse, which is a 2D projection of the circular shape of each marker 50a , 50b , 50c , 50d is. The 3D position can be obtained from the size and location of the center of the ellipse. The orientation of the ellipse with respect to two axes in space can be obtained from the eccentricity of the ellipse. The orientation with respect to an axis perpendicular to the marker can be obtained from the varying intensity profile. Therefore, six independent spatial parameters can be assigned to each marker 50a , 50b , 50c , 50d be preserved. To obtain six independent spatial parameters, which can represent the 6-DOF position of a marker formation, at least one 2D marker is required for the optical tracking of this type.

Allgemein beeinflusst das Aussehen, d. h. Größe, Neigungswinkel, Helligkeit und dergleichen, eines Markers innerhalb eines erfassten Bildes einer Kamera eine Verarbeitung des erfassten Bildes, da Messfehler von dem Aussehen des Markers innerhalb eines erfassten Bildes abhängen. Mit anderen Worten beeinflusst das Aussehen des Markers die Detektierbarkeit des Markers innerhalb eines erfassten Bildes. Kriterien, die die Detektierbarkeit eines Markers innerhalb eines erfassten Bildes einer Kamera beeinflussen, können die folgenden sein.Generally, the appearance, i.e. H. Size, angle of inclination, brightness and the like, of a marker within a captured image of a camera, processing of the captured image, since measurement errors depend on the appearance of the marker within a captured image. In other words, the appearance of the marker influences the detectability of the marker within a captured image. Criteria that affect the detectability of a marker within a captured image of a camera can be the following.

Ein erstes Kriterium ist ein Vorhandensein des Markers in dem erfassten Bild der jeweiligen Kamera.A first criterion is the presence of the marker in the captured image of the respective camera.

Ein weiteres Kriterium ist eine Anzahl an sichtbaren Pixeln in dem erfassten Bild der jeweiligen Kamera in Bezug auf den Durchmesser des Markers. Bevorzugt weist das erfasste Bild ein Minimum von 20 Pixeln pro Durchmesser auf.Another criterion is a number of visible pixels in the captured image of the respective camera in relation to the diameter of the marker. The captured image preferably has a minimum of 20 pixels per diameter.

Ein weiteres Kriterium ist ein Neigungswinkel des Markers relativ zu der jeweiligen Kamera. Bevorzugt liegt der Neigungswinkel zwischen -60° und +60°.Another criterion is an inclination angle of the marker relative to the respective camera. The angle of inclination is preferably between -60 ° and + 60 °.

Ein weiteres Kriterium ist ein Weitenwinkel des Markers relativ zu der jeweiligen Kamera. Der Weitenwinkel ist der Winkel der Ebene der jeweiligen Kamera mit Bezug auf die Ebene des Markers. Bevorzugt liegt der Weitenwinkel zwischen -60° und +60°.Another criterion is a width angle of the marker relative to the respective camera. The width angle is the angle of the plane of the respective camera with respect to the plane of the marker. The width angle is preferably between -60 ° and + 60 °.

Ein weiteres Kriterium ist eine Helligkeit des Markers in dem erfassten Bild der jeweiligen Kamera. Bevorzugt liegt die Helligkeit zwischen 60 und 90 in einer Skala von 0 bis 255. Beispielsweise ist die Skala von 0 bis 255 eine Repräsentation möglicher Werte eines Bytes, das einen Helligkeitswert repräsentiert. Dabei könnte der Wert 0 perfektes Schwarz repräsentieren, während der Wert 255 maximales Weiß repräsentieren könnte.Another criterion is the brightness of the marker in the captured image of the respective camera. The brightness is preferably between 60 and 90 on a scale from 0 to 255. For example, the scale from 0 to 255 is a representation of possible values of a byte that represents a brightness value. The value 0 could represent perfect black, while the value 255 could represent maximum white.

Ein weiteres Kriterium ist eine Bewertung des Markers. Die Bewertung des Markers basiert auf einer Helligkeit und einem Ausmaß des Markers. Mit anderen Worten ist die Bewertung des Markers ein mögliches Maß für die Qualität des aufgezeichneten Markers. Beispielsweise wird die Bewertung des Markers durch 1 minus Standardabweichung des Residuenvektors der Zielfunktion erhalten. Diese beispielhafte Art von Bewertung wird „Bodek-Bewertung“ genannt. Bevorzugt liegt die Bewertung zwischen 0,95 und 1 in einer Skala von 0 bis 1.Another criterion is an assessment of the marker. The evaluation of the marker is based on a brightness and an extent of the marker. In other words, the marker rating is a possible measure of the quality of the recorded marker. For example, the evaluation of the marker is obtained by 1 minus the standard deviation of the residual vector of the target function. This exemplary type of evaluation is called the "Bodek evaluation". The rating is preferably between 0.95 and 1 on a scale from 0 to 1.

Ein weiteres Kriterium ist eine Genauigkeit der Messung hinsichtlich der räumlichen Position des Markers. Bevorzugt basiert die Genauigkeit auf einem berechneten Ergebnis aus einem Korrekturalgorithmus.Another criterion is the accuracy of the measurement with regard to the spatial position of the marker. The accuracy is preferably based on a calculated result from a correction algorithm.

5 zeigt eine schematische Veranschaulichung eines zweiten Ausführungsbeispiels eines Systems, das das Verfahren implementiert. In 5 ist das gleiche System 10 wie in 1 dargestellt. 5 shows a schematic illustration of a second embodiment of a system that implements the method. In 5 is the same system 10th as in 1 shown.

Zusätzlich zeigt 5 ein Referenzobjekt 52, das innerhalb des CMS zum Kalibrieren einer oder mehrerer der Kameras 16 angeordnet ist. Das Referenzobjekt 52 weist vier Referenzmarker 54a-54d auf, die an dem Referenzobjekt 56 angebracht sind. Die Anzahl an Referenzmarkern ist bei dieser Ausführungsform willkürlich gewählt. Eine beliebige andere Anzahl an Referenzmarkern kann gewählt werden, die eine Kalibrierung der Kameras 16 ermöglicht. Bevorzugt wird das Referenzobjekt 52 innerhalb des CMS derart angeordnet, dass jede Kamera 16 wenigstens einen Referenzmarker zum Bestimmen von sechs unabhängigen räumlichen Parametern des Referenzobjekts 52 und/oder des Referenzmarkers detektieren kann. Insbesondere sind sechs unabhängige räumliche Parameter zum Kalibrieren einer Kamera notwendig. Die Referenzmarker 54 können ein 2D-Marker zur optischen Verfolgung mit einem eindeutigen Muster sein, das eine Unterscheidung zwischen den Referenzmarkern 54 und dem wenigstens einen Marker 14 ermöglicht.Additionally shows 5 a reference object 52 that within the CMS to calibrate one or more of the cameras 16 is arranged. The reference object 52 has four reference markers 54a-54d on that on the reference object 56 are attached. The number of reference markers is chosen arbitrarily in this embodiment. Any other number of reference markers can be chosen to calibrate the cameras 16 enables. The reference object is preferred 52 within the CMS arranged so that each camera 16 at least one reference marker for determining six independent spatial parameters of the reference object 52 and / or the reference marker can detect. In particular are six independent spatial parameters necessary to calibrate a camera. The reference markers 54 can be a 2D optical tracking marker with a unique pattern that distinguishes the reference markers 54 and the at least one marker 14 enables.

6 zeigt ein bevorzugtes Ausführungsbeispiel des Kalibrierens einer Kamera. Das Kalibrieren wird durch die Bezugsziffer 56 bezeichnet. Das Kalibrieren kann mittels des Systems 10 aus 5 implementiert werden. 6 shows a preferred embodiment of the calibration of a camera. The calibration is indicated by the reference number 56 designated. The calibration can be done using the system 10th out 5 be implemented.

Allgemein wird das Kalibrieren 100 einer Kamera durch Registrierung der Kamera in einem globalen oder übergeordneten Koordinatensystem durchgeführt. Bei einem Ausführungsbeispiel schließt das Kalibrieren 56 einer Kamera die folgenden Schritte ein.Generally the calibration 100 a camera by registering the camera in a global or higher-level coordinate system. In one embodiment, calibration closes 56 the following steps for a camera.

In Schritt 58 werden sechs unabhängige räumliche Parameter eines oder mehrerer Referenzmarker, die die 6-DOF-Stellung des Referenzobjekts im Raum repräsentieren, in dem übergeordneten Koordinatensystem bereitgestellt.In step 58 six independent spatial parameters of one or more reference markers, which represent the 6-DOF position of the reference object in space, are provided in the higher-order coordinate system.

In Schritt 60 wird ein Bild durch die Kamera erfasst. Bevorzugt weist das erfasste Bild wenigstens einen der Referenzmarker auf.In step 60 an image is captured by the camera. The captured image preferably has at least one of the reference markers.

In Schritt 62 wird der wenigstens eine Referenzmarker in dem erfassten Bild detektiert.In step 62 the at least one reference marker is detected in the captured image.

In Schritt 64 werden räumliche Parameter des wenigstens einen Referenzmarkers, die den räumlichen Parametern entsprechen, die in dem übergeordneten Koordinatensystem bereitgestellt werden, in einem lokalen Koordinatensystem der Kamera bestimmt.In step 64 spatial parameters of the at least one reference marker, which correspond to the spatial parameters provided in the superordinate coordinate system, are determined in a local coordinate system of the camera.

In Schritt 66 wird eine Abbildung bestimmt, die die räumlichen Parameter in dem lokalen Koordinatensystem auf die entsprechenden räumlichen Parameter in dem globalen Koordinatensystem abbildet. Mit anderen Worten bildet die bestimmte Abbildung die Sicht der Kamera auf das übergeordnete Koordinatensystem ab. Die Abbildung kann eine starre Transformation einschließen, die durch eine Transformationsmatrix und/oder einen Translationsvektor repräsentiert wird.In step 66 an image is determined which maps the spatial parameters in the local coordinate system to the corresponding spatial parameters in the global coordinate system. In other words, the specific image depicts the camera view of the higher-level coordinate system. The mapping can include a rigid transformation represented by a transformation matrix and / or a translation vector.

Die oben beschriebene Kalibrierung einer Kamera kann zum Durchführen einer globalen Registrierung der mehreren Kameras durch Durchführen einer Kalibrierung jeder Kamera in dem übergeordneten Koordinatensystem verwendet werden.The calibration of a camera described above can be used to perform a global registration of the multiple cameras by performing a calibration of each camera in the higher-order coordinate system.

7 zeigt eine schematische Veranschaulichung eines dritten Ausführungsbeispiels des Systems aus 1, das das Verfahren aus 3 implementiert. Das dargestellte System ist mit dem System 10 aus 1 identisch. 7 shows a schematic illustration of a third embodiment of the system 1 that made the procedure 3rd implemented. The system shown is with the system 10th out 1 identical.

Bei diesem Ausführungsbeispiel sind die Kameras 16 des Systems 10 in mehrere Kamerasätze 17 gruppiert. Die mehreren Kamerasätze 17 weisen vier Kamerasätze 17a, 17b, 17c, 17d auf. Ein erster Kamerasatz 17a weist die erste Kamera 16a, die zweite Kamera 16b und die dritte Kamera 16c auf. Ein zweiter Kamerasatz 17b weist die erste Kamera 16a, die zweite Kamera 16b und die vierte Kamera 16d auf. Ein dritter Kamerasatz 17c weist die erste Kamera 16a, die dritte Kamera 16c und die vierte Kamera 16d auf. Ein vierter Kamerasatz 17d weist die zweite Kamera 16b, die dritte Kamera 16c und die vierte Kamera 16d auf. Daher weist jeder Kamerasatz 17 drei Kameras auf.In this embodiment, the cameras 16 of the system 10th in several camera sets 17th grouped. The multiple camera sets 17th have four camera sets 17a , 17b , 17c , 17d on. A first camera set 17a points the first camera 16a , the second camera 16b and the third camera 16c on. A second camera set 17b points the first camera 16a , the second camera 16b and the fourth camera 16d on. A third camera set 17c points the first camera 16a , the third camera 16c and the fourth camera 16d on. A fourth camera set 17d points the second camera 16b , the third camera 16c and the fourth camera 16d on. Therefore, each camera set points 17th three cameras on.

Allgemein ist eine beliebige andere Anzahl an Kameras in einem Kamerasatz möglich und die unterschiedlichen Kamerasätze der mehreren Kameras können gleiche oder unterschiedliche Anzahlen an Kameras aufweisen. Beispielsweise kann bei einem alternativen Ausführungsbeispiel jeder Kamerasatz der mehreren Kamerasätze 17 zwei Kameras aufweisen.In general, any other number of cameras is possible in a camera set and the different camera sets of the several cameras can have the same or different numbers of cameras. For example, in an alternative exemplary embodiment, each camera set of the plurality of camera sets 17th have two cameras.

Bei diesem Ausführungsbeispiel ist die Verarbeitungseinheit 18 dazu ausgebildet, die definierte Kamerakonfiguration zu bestimmen, indem der Kamerasatz der mehreren Kamerasätze 17 ausgewählt wird, der die höchste Detektierbarkeit des wenigstens einen Markers 14 unter den mehreren Kamerasätzen 17 aufweist.In this embodiment, the processing unit 18th trained to determine the defined camera configuration by the camera set of the plurality of camera sets 17th is selected, the highest detectability of the at least one marker 14 among the several camera sets 17th having.

8 zeigt eine schematische Veranschaulichung eines vierten Ausführungsbeispiels eines Systems aus 1, das das Verfahren aus 3 implementiert. 8 schließt alle Spezifikationen der Ausführungsformen aus den 1 bis 7 ein. 8th shows a schematic illustration of a fourth embodiment of a system 1 that made the procedure 3rd implemented. 8th excludes all specifications of the embodiments from FIGS 1 to 7 a.

Bei der Ausführungsform aus 8 ist das Objekt 12 eine Messvorrichtung 68, die einen 3D-Sensor 70 zum Messen eines Messobjekts 72 aufweist. Mehrere Marker 14' sind an verschiedenen Seiten der Messvorrichtung 68 angebracht. Bevorzugt wird die bestimmte 6-DOF-Stellung der Messvorrichtung 68 zum Messen von Charakteristiken des Messobjekts 72, wie etwa einer Oberfläche oder spezieller Messpunkte des Messobjekts 72, verwendet.In the embodiment 8th is the object 12 a measuring device 68 that have a 3D sensor 70 for measuring a measurement object 72 having. Multiple markers 14 ' are on different sides of the measuring device 68 appropriate. The determined 6-DOF position of the measuring device is preferred 68 for measuring characteristics of the measurement object 72 , such as a surface or special measuring points of the measurement object 72 , used.

Bei dieser Ausführungsform ist die Messvorrichtung 68 auf einem Roboterarm 74 montiert. Bevorzugt kann der Roboterarm 74 polyaxial gebildet sein. Die Verarbeitungseinheit 18 kann dazu ausgebildet sein, den Roboterarm 74 so zu bewegen, dass die 6-DOF-Stellung der Messvorrichtung 68 während eines Messprozesses zum Messen des Messobjekts 72 angepasst werden kann.In this embodiment, the measuring device 68 on a robotic arm 74 assembled. The robot arm can preferably 74 be formed polyaxially. The processing unit 18th can be designed to the robot arm 74 move so that the 6-DOF position of the measuring device 68 during a measurement process for measuring the measurement object 72 can be customized.

Bei dieser Ausführungsform ist das Messobjekt 72 auf einem Messtisch 76 angeordnet. Der Messtisch 76 kann als ein Referenzobjekt zum Kalibrieren der Kameras verwendet werden. Daher weist der Messtisch 76 Referenzmarker 54a, 54b, 54c, 54d auf, die auf dem Messtisch 76 angebracht sind. Jedoch können auch andere statische Objekte, die von dem Messtisch 76 verschieden sind, als ein Referenzobjekt verwendet werden. In this embodiment, the measurement object 72 on a measuring table 76 arranged. The measuring table 76 can be used as a reference object for calibrating the cameras. Therefore, the measuring table points 76 Reference marker 54a , 54b , 54c , 54d on that on the measuring table 76 are attached. However, other static objects can be created by the measuring table 76 are used as a reference object.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 9934592 B1 [0003]
DE 10137241 A1 [0004]

Claims

Method (32) for determining a 6-DOF position of an object (12) in space, the 6-DOF position defining a 3D position and a 3D orientation of the object (12) in space, the method (32 ) has the following steps: Providing (34) a plurality of N cameras (16) with individual 6-DOF positions in space, where N is at least three, each camera (16) having an individual viewing angle, the individual viewing angles to a common measuring room, CMS, are directed; Attaching (36) at least one 2D marker (14) for optical tracking to the object (12); Positioning (38) the object (12) with the at least one marker (14) within the CMS; Capturing (40) a respective image of the at least one marker (14) attached to the object (12) by each of the cameras (16); Determining (42) a detectability of the at least one marker (14) for each of the cameras (16) based on the respective captured image of each camera (16); Determining (44) a defined camera configuration of the cameras (16) based on the detectability of the at least one marker (14) for the cameras (16); Determining (46) a 6-DOF position of the at least one marker (14) in space based on the defined camera configuration; and Determining (48) a 6-DOF position of the object (12) in space based on the 6-DOF position of the at least one marker (14).

Procedure according to Claim 1 , wherein in the step of determining (42) the detectability, the detectability of the at least one marker (14) is determined based on one or more of the following criteria: - presence of the at least one marker (14) in the captured image of the respective camera (16 ); - Number of visible pixels in the captured image of the respective camera (16) in relation to the diameter of at least one marker (14), in particular wherein the captured image has a minimum of 20 pixels per diameter; - Angle of inclination of the at least one marker (14) relative to the respective camera (16), in particular wherein the angle of inclination is between -60 ° and + 60 °; - Width angle of the at least one marker (14) relative to the respective camera (16); - Brightness of the at least one marker (14) in the captured image of the respective camera (16), in particular where the brightness is between 60 and 90 on a scale from 0 to 255; - Evaluation of the at least one marker (14), in particular the evaluation being between 0.95 and 1 on a scale from 0 to 1; and - Accuracy of the measurement in the spatial position of the at least one marker (14), in particular where the accuracy is based on a calculated result from a correction algorithm, wherein in the step of determining (44) a defined camera configuration, the defined camera configuration based on the one or the plurality of criteria for a detectability of the at least one marker (14) is determined.

Procedure according to Claim 2 , wherein the camera configuration is determined based on the one or more criteria for a detectability of the at least one marker (14), so that the accuracy of the determination of the 6-DOF position of the at least one marker (14) is maximized.

Procedure according to one of the Claims 1 to 3rd , wherein the defined camera configuration has a camera set (17) of n cameras, n being at least 2 and smaller than N.

Procedure according to one of the Claims 1 to 4th , wherein the cameras (16) in the step of providing (34) the cameras (16) are grouped into a plurality of camera sets (17), each camera set (17) having a number of n cameras, where n is at least 2 and less than N and wherein in the step of determining (44) the defined camera configuration, the camera set of the plurality of camera sets (17) is selected which has the highest detectability of the at least one marker (14) among the plurality of camera sets (17).

Procedure according to Claim 5 , the number of cameras of each camera set (17) being the same, in particular the number of cameras of each camera set (17) being two or three.

Procedure according to one of the Claims 1 to 6 wherein each camera (16) is calibrated in the step of providing (34) the cameras (16) with respect to a global coordinate system.

Procedure according to one of the Claims 1 to 7 wherein the at least one marker (14) is attached to the object (12) at a predefined position and orientation in the step of attaching (36) the at least one marker (14).

Procedure according to one of the Claims 1 to 8th , wherein in the step of attaching (36) the at least one marker (14) a plurality of 2D markers (14) are attached to the object (12) for optical tracking, each marker (14) having a specific marker pattern as a unique identifier .

Procedure according to Claim 9 , wherein in the step of determining (44) the defined Camera configuration a jointly defined camera configuration for the plurality of markers (14) is determined based on the detectability of each marker (14) for the plurality of cameras (16).

Procedure according to Claim 9 , wherein in the step of determining (44) the defined camera configuration, a defined camera configuration for each of the plurality of markers (14) is determined based on the detectability of the respective marker (14) for the plurality of cameras (16).

Procedure according to one of the Claims 1 to 11 The object (12) is a measuring device (68) which has a 3D sensor (70) for measuring a measuring object (72).

Procedure according to Claim 12 , wherein the determined 6-DOF position of the measuring device (68) is used to measure characteristics of the measurement object (72), in particular a surface or special measurement points of the measurement object (12).

System (10) for determining a 6-DOF position of an object (12) in space, the 6-DOF position defining a 3D position and a 3D orientation of the object (12) in space, the system (10 ) Has the following: a plurality of N cameras (16), which are arranged in the room at individual 6-DOF positions, N being at least three, each camera (16) having a different viewing angle, the different viewing angles to a common measuring room, CMS, are directed; at least one 2D marker (14) for optical tracking, which is designed to be attached to the object (12), the object (12) being positionable within the CMS; and a processing unit (18) which is designed to carry out the following steps: Capturing a respective image of the at least one marker (14) attached to the object (12) by each of the cameras (16); Determining a detectability of the at least one marker (14) for each of the cameras (16) based on the respective captured image of each camera (16); Determining a defined camera configuration of the cameras (16) based on the detectability of the at least one marker (14) for the cameras (16); Determining a 6-DOF position of the at least one marker (14) in space based on the defined camera configuration; and Determining a 6-DOF position of the object (12) in space based on the 6-DOF position of the at least one marker (14).

Computer program product comprising a program code which is used to determine a 6-DOF position of an object (12) in space according to the method according to one of the Claims 1 to 13 is designed.