DE102013014475B4

DE102013014475B4 - Process for the detection and compensation of measurement deviations during the operation of an optical measuring device, optical measuring method and optical measuring device

Info

Publication number: DE102013014475B4
Application number: DE102013014475.2A
Authority: DE
Inventors: Martin Correns; Maik Rosenberger
Original assignee: Technische Universitaet Ilmenau
Current assignee: Technische Universitaet Ilmenau
Priority date: 2012-08-29
Filing date: 2013-08-28
Publication date: 2020-11-12
Anticipated expiration: 2033-08-29
Also published as: DE102013014475A1

Abstract

Verfahren zur Erkennung und Kompensation von Messabweichungen während des Betriebes einer optischen Messvorrichtung zum Messen von geometrischen Merkmalen eines Messobjektes (4), wobei die Messvorrichtung zumindest eine Erfassungseinrichtung (1) zum berührungslosen Erfassen von zwei- oder dreidimensionalen Größen des Messobjektes (4), zumindest eine Anzeigeeinrichtung (2), die aus einem festen Raster steuerbarer Elemente besteht und als Maßverkörperung dienende Muster erzeugt, und eine Auswerte- und Steuereinrichtung (3) aufweist, gekennzeichnet durch folgende Schritte:a) Ausführen einer statischen Kalibrierung und Erzeugen von statischen Kalibrierdaten oder Laden von vorhandenen statischen Kalibrierdaten aus der Auswerte- und Steuereinrichtung (3) oder aus einer externen Datenquelle;b) Erzeugung eines Hintergrundes auf der Anzeigeeinrichtung (2), der eine gleichmäßige, homogene Leuchtdichte ausweist und sich hinter / unter dem Messobjekt befindet;c) Aufnahme eines ersten Bildes mit der Erfassungseinrichtung (1) und Übertragung zum Speicher der Auswerte- und Steuereinrichtung (3);d) Bestimmen von Punkten von Interesse am Messobjekt (4) und an der Anzeigeeinrichtung (2), und Ermittlung ihrer Koordinaten im Koordinatensystem (KS1) der Erfassungseinrichtung (1);e) Transformieren der Koordinaten der Punkte von Interesse am Messobjekt (4) mit Hilfe der in Schritt a) ermittelten / bereitgestellten statischen Kalibrierdaten in das Koordinatensystem (KS2) der Anzeigeeinrichtung (2);f) Ermittlung der durch das Messobjekt (4) nicht verdeckten Bereiche der Anzeigeeinrichtung (2), die im Bild der Erfassungseinrichtung (1) sichtbar sind;g) Darstellen von virtuellen, in Position, Größe, Farbe und Form veränderbaren Kalibriermarken in Bereichen der Anzeigeeinrichtung (2), die nicht durch das Messobjekt (4) verdeckt sind und gleichzeitig im Bild der Erfassungseinrichtung (2) sichtbar sind, und Ermittlung von definierten Punkten an den virtuellen Kalibriermarken im Koordinatensystem (KS2) der Anzeigeeinrichtung (2);h) Aufnahme mindestens eines zweiten Bildes mit der Erfassungseinrichtung (1) und Übertragung zum Speicher der Auswerte- und Steuereinrichtung (3);i) Auffinden der vordefinierten Punkte an den virtuellen Kalibriermarken und Ermittlung ihrer Koordinaten im Koordinatensystem (KS1) der Erfassungseinrichtung (1);j) Transformieren dieser Koordinaten der vordefinierten Punkte an den virtuellen Kalibriermarken mit Hilfe der in Schritt a) ermittelten / bereitgestellten statischen Kalibrierdaten in das Koordinatensystem (KS2) der Anzeigeeinrichtung (2);k) Vergleich der unter Punkt g) und unter Punkt j) ermittelten Koordinaten der virtuellen Kalibriermarken im Koordinatensystem (KS2) der Anzeigeeinrichtung (2) und bei Überschreitung zulässiger vorgegebener Abweichungen, dem Aufbau und der Funktionsweise der Messvorrichtung angepasste Instruktion eines Bedieners zur Entnahme des Messobjektes und zur Reinigung und / oder Beseitigung eines Fehlers in der Messvorrichtung,I) Wiederholen der Schritte a) bis k) bis die zulässigen Abweichungen eingehalten werden und bei Einhaltung der zulässigen Abweichungen dem Aufbau und der Funktionsweise der Messvorrichtung angepasste Berechnung von Korrekturen für die statischen Kalibrierdaten und Erzeugen von dynamischen Kalibrierdaten; bei Überschreitung einer vorbestimmten Anzahl unzulässiger Abweichungen erfolgt ein Abbruch des Verfahrens.A method for the detection and compensation of measurement deviations during the operation of an optical measuring device for measuring geometric features of a measurement object (4), the measurement device having at least one detection device (1) for the contactless detection of two- or three-dimensional quantities of the measurement object (4), at least one Display device (2), which consists of a fixed grid of controllable elements and generates patterns serving as a measuring standard, and has an evaluation and control device (3), characterized by the following steps: a) performing a static calibration and generating static calibration data or loading existing static calibration data from the evaluation and control device (3) or from an external data source; b) generation of a background on the display device (2) that shows a uniform, homogeneous luminance and is located behind / under the measurement object; c) recording of a first picture with de r detection device (1) and transmission to the memory of the evaluation and control device (3); d) determination of points of interest on the measurement object (4) and on the display device (2), and determination of their coordinates in the coordinate system (KS1) of the detection device ( 1); e) Transforming the coordinates of the points of interest on the measurement object (4) with the aid of the static calibration data determined / provided in step a) into the coordinate system (KS2) of the display device (2); f) Determination of the by the measurement object (4 ) non-covered areas of the display device (2) that are visible in the image of the detection device (1); g) display of virtual calibration marks, which can be changed in position, size, color and shape in areas of the display device (2) that are not through the measurement object (4) are concealed and at the same time visible in the image of the detection device (2), and determination of defined points at the virtual calibration marks in the coordinate system (KS2) of the display device (2); h) recording of at least one second image with the acquisition device (1) and transmission to the memory of the evaluation and control device (3); i) finding the predefined points at the virtual calibration marks and determining their coordinates in Coordinate system (KS1) of the detection device (1); j) transforming these coordinates of the predefined points at the virtual calibration marks with the aid of the static calibration data determined / provided in step a) into the coordinate system (KS2) of the display device (2); k) comparison of the under point g) and under point j) determined coordinates of the virtual calibration marks in the coordinate system (KS2) of the display device (2) and if the permissible predefined deviations are exceeded, instruction of an operator adapted to the structure and function of the measuring device for removing the measuring object and for cleaning and / or elimination of an error in the measuring device I) repeating steps a) to k) until the permissible deviations are complied with and, if the permissible deviations are complied with, calculation of corrections for the static calibration data and generation of dynamic calibration data adapted to the structure and mode of operation of the measuring device; if a predetermined number of impermissible deviations is exceeded, the process is aborted.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung und Kompensation von Messabweichungen während des Betriebes einer optischen Messvorrichtung, ein optisches Messverfahren und eine optische Messvorrichtung zum Messen von geometrischen Merkmalen eines Messobjektes.The present invention relates to a method for recognizing and compensating measurement deviations during the operation of an optical measuring device, an optical measuring method and an optical measuring device for measuring geometric features of a measurement object.

Für die Messung geometrischer Größen mit einem Bildverarbeitungsverfahren müssen die Verhältnisse zwischen dem Objektraum und den Ortskoordinaten des digitalen Bildes bekannt sein.
In dem idealisierten Fall von einer Objektebene hin zu der optimalen Abtastung einer fehlerfreien Bildebene, würde diese Beziehung nur durch einen Faktor ausgedrückt werden können, dem Abbildungsmaßstab β. In der Realität gibt es aber Abbildungsfehler und Abtastfehler. Außerdem ist zu beachten, dass der abgebildete Teil des Objektraums keine Ebene ist. Die für die Messung geometrischer Größen wichtigsten Einflüsse sind die Verzeichnung des Objektivs und die perspektivische Verzerrung durch Abweichungen von der Objektebene. Die Folge beider Einflüsse ist, dass der Abbildungsmaßstab β lokal unterschiedlich ist und sich in Abhängigkeit von der Position im Bild ändert. Er ist für eine konstante Objektszene abhängig von den Ortskoordinaten des Bildes β(c,r), wobei mit der Größe r die Anzahl der Reihen (in Pixel) und mit der Größe c die Anzahl der Spalten (in Pixel) in einem Bild definiert werden. In der Praxis wird dieses Problem gelöst, indem die Ortsabhängigkeit des Abbildungsmaßstabs (Verzeichnung) an diskreten Positionen gemessen wird. Mit lokal stetigen Funktionen wird β für den Objektraum interpoliert / approximiert. Da es sich bei dem digitalen Bild um eine 2D-Projektion des 3D-Objektraums handelt, wird bei einigen Verfahren die Kalibrierung dadurch erweitert, dass die Ortsabhängigkeit des Abbildungsmaßstabs in mehreren 2D-Ebenen mit bekannter z-Koordinate gemessen wird. Ein beliebiger Punkt des digitalen Bildes lässt sich später mit den Korrekturfunktionen zu einem Objektpunkt zurück transformieren. Unter Umständen werden neben dem digitalen Bild weitere Sensor- oder Apriori-Informationen hinzugezogen. Die Korrekturfunktionen für die Verzeichnungskorrektur sind jedoch im normalen Messbetrieb eines Gerätes statisch und werden nur bei speziellen Kalibrier-Routinen vom Messgerät überprüft, bzw. verändert.
Nachteilig bei diesem Vorgehen ist, dass jede nicht erfasste Änderung im Funktionskreis des Messsystems (z.B. durch thermische oder mechanische Einflüsse) direkt zu Fehlern bei der Koordinatentransformation führt. Die Erfassung des ortsabhängigen Abbildungsmaßstabes erfolgt nur an wenigen diskreten Punkten des Objektraums. Differenzen zwischen approximierten Werten und tatsächlichen Werten gehen direkt als Messfehler ein. Dieser Fehler wird größer, je weiter ein Messpunkt von dem nächsten Kalibrierpunkt entfernt ist. Ein gröberes Kalibrierpunktraster führt deshalb im Mittel zu größeren Messfehlern.For the measurement of geometric quantities with an image processing method, the relationships between the object space and the spatial coordinates of the digital image must be known.
In the idealized case from an object plane to the optimal scanning of an error-free image plane, this relationship could only be expressed by one factor, the imaging scale β. In reality, however, there are imaging errors and scanning errors. It should also be noted that the depicted part of the object space is not a plane. The most important influences for the measurement of geometric quantities are the distortion of the lens and the perspective distortion due to deviations from the object plane. The consequence of both influences is that the imaging scale β is locally different and changes depending on the position in the image. For a constant object scene it depends on the spatial coordinates of the image β (c, r), where the number of rows (in pixels) is defined with the size r and the number of columns (in pixels) in an image with the size c . In practice, this problem is solved by measuring the spatial dependency of the image scale (distortion) at discrete positions. With locally continuous functions, β is interpolated / approximated for the object space. Since the digital image is a 2D projection of the 3D object space, the calibration is expanded in some methods by measuring the location dependency of the image scale in several 2D planes with a known z coordinate. Any point of the digital image can later be transformed back to an object point using the correction functions. In addition to the digital image, additional sensor or a priori information may be used. However, the correction functions for the distortion correction are static in the normal measuring operation of a device and are only checked or changed by the measuring device during special calibration routines.
The disadvantage of this procedure is that any non-recorded change in the functional circuit of the measuring system (eg due to thermal or mechanical influences) leads directly to errors in the coordinate transformation. The location-dependent image scale is recorded only at a few discrete points in the object space. Differences between approximated values and actual values are entered directly as measurement errors. This error increases the further a measuring point is from the next calibration point. A coarser calibration point grid therefore leads to larger measurement errors on average.

In der Folge werden Kalibrierverfahren, die nicht zeitgleich mit dem Messbetrieb eines Messgeräts durchgeführt werden, als „statische Kalibrierung“ bezeichnet.In the following, calibration procedures that are not carried out at the same time as the measuring operation of a measuring device are referred to as “static calibration”.

Die meisten Kalibierverfahren für Kameras basieren auf einer Modellbildung über den Zusammenhang zwischen Bildebene und Objektraum. Diese Modelle sind unterschiedlich komplex und berücksichtigen die Einzelelemente des Gesamtsystems unterschiedlich stark. So z.B. wird in dem Verfahren nach Z. Zhang: A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000 ein bekanntes 2D-Muster in vielen Ansichten beobachtet und daraus ein parametriertes Modell errechnet, welches den Zusammenhang zwischen den Objektpunkten und Bildpunkten beschreibt. Daneben ist aus C. Schmalz, F. Forster, E. Angelopoulou: Camera calibration: active versus passive targets. In: Optical Engineering 50 (11), 2011, 113601-1 bis 113601-10 bekannt, dass zur Darstellung der Kalibriermuster veränderbare Anzeigeeinrichtungen verwendet werden, um ein statisches Kalibriermodell aufzubauen. Jedoch werden hierbei keine adaptiven Kalibriermarken verwendet, die an die jeweilige Aufnahmeszene angepasst werden und auch das Messobjekt selbst berücksichtigen.Most calibration methods for cameras are based on modeling the relationship between the image plane and object space. These models vary in complexity and take the individual elements of the overall system into account to different degrees. For example, in the procedure after Z. Zhang: A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22 (11): 1330-1334, 2000 a known 2D pattern is observed in many views and a parameterized model is calculated from this, which describes the relationship between the object points and image points. Next to it is off C. Schmalz, F. Forster, E. Angelopoulou: Camera calibration: active versus passive targets. In: Optical Engineering 50 (11), 2011, 113601-1 to 113601-10 It is known that changeable display devices are used to represent the calibration patterns in order to build up a static calibration model. However, no adaptive calibration marks are used here, which are adapted to the respective recording scene and also take the measurement object itself into account.

Aus dem Stand der Technik sind weitere Verfahren bekannt, die diese Modelle während des Messvorgangs überwachen. So wird in der DE 10 2007 030 378 A1 ein Verfahren zur Kalibrierung der Lage eines Kamerasystems im Raum (x, y, z) beschrieben, bei dem sich ein Hauptkalibrierkörper an bekannter und fixierter Position im Raum befinden muss. Mit diesem Verfahren soll die Lage der Kamera in einem Raum bestimmt werden, jedoch nicht die Relation zwischen Objekt- und Bildraum - der Maßanschluss - überwacht werden. Das als Hauptkalibrierkörper dienende Display wird nicht direkt beobachtet, sondern eine Abbildung davon (das Spiegelbild des Displays). Abweichungen durch unbekannte Formabweichungen des abbildenden Systems gehen deshalb zusätzlich direkt als Fehler ein.Further methods are known from the prior art that monitor these models during the measurement process. So in the DE 10 2007 030 378 A1 a method for calibrating the position of a camera system in space (x, y, z) is described, in which a main calibration body must be in a known and fixed position in space. With this method, the position of the camera in a room is to be determined, but not the relation between object and image space - the dimensional connection - to be monitored. The display serving as the main calibration body is not observed directly, but an image of it (the mirror image of the display). Deviations due to unknown form deviations in the imaging system are therefore also included directly as errors.

Mit der WO 02/39055 A1 ein Messverfahren für ein optoelektronisches Messsystem zur Messung geometrischer Größen vorgestellt, bei dem sich die Kalibriermarken ständig im Blickfeld der Kamera befinden. Sie sind in den Strahlengang integriert, können jedoch nicht verändert werden. Die Marken befinden sich in einer deutlich von der Objektebene abweichenden Position entlang der optischen Achse (z). Das ist nachteilig für die Kalibrierung, da die Abbildungseigenschaften der Objekt- und der Kalibriermarkenebene nicht identisch sind und ein großer Abstand zwischen den beiden Ebenen zu Fehlern führt. Des Weiteren wird der Träger der Marken, im einfachsten Fall eine planparallele Glasplatte, zu einem Element im Strahlengang. Formfehler der Planparallelität wirken sich auf die Kalibriermarken kaum aus (Abstand Δz = 0), auf die Abbildung des Objektes jedoch deutlich (Abstand Δz > 0). Jeder Formfehler des Trägers geht also ebenfalls als Kalibrierfehler ein.With the WO 02/39055 A1 a measuring method for an optoelectronic measuring system for measuring geometric quantities is presented, in which the calibration marks are constantly in the field of view of the camera. They are integrated into the beam path, but cannot be changed. The marks are in a position along the optical axis (z) that clearly differs from the object plane. This is disadvantageous for the calibration, since the imaging properties of the object and the calibration mark plane are not identical and are large Distance between the two levels leads to errors. Furthermore, the carrier of the marks, in the simplest case a plane-parallel glass plate, becomes an element in the beam path. Form errors in the plane parallelism hardly affect the calibration marks (distance Δz = 0), but they have a significant effect on the image of the object (distance Δz> 0). Every form error of the carrier is also included as a calibration error.

Schließlich wird in der US 2003/0085890 A1 ein Verfahren und eine Anordnung beschrieben, bei denen Displays, bestehend aus festen Rastern von steuerbaren Pixeln dazu genutzt werden, Kalibriermuster bzw. Kalibriermarken anzuzeigen. Jedoch werden die Kalibriermuster hier nicht dazu genutzt, das Messsystem, also die Anordnung zur Messung der Geometriedaten des Messobjektes, zu kalibrieren, sondern dazu, verschiedene relative Lagen zwischen mehreren Kamerapositionen zu bestimmen um die Messdaten der jeweiligen Positionen zueinander zu registrieren. Eine Verzeichnung des Objektivs beispielsweise, bleibt dabei unberücksichtigt. Außerdem sind die Kalibriermuster die angezeigt werden, vorbestimmt (predetermined) und werden nicht der aktuell erfassten Objektszene angepasst. Somit können sie auch nicht für das jeweilige Messobjekt optimiert werden.Finally, in the US 2003/0085890 A1 a method and an arrangement are described in which displays consisting of fixed grids of controllable pixels are used to display calibration patterns or calibration marks. However, the calibration patterns are not used here to calibrate the measuring system, i.e. the arrangement for measuring the geometric data of the measuring object, but to determine different relative positions between several camera positions in order to register the measured data of the respective positions to one another. Distortion of the lens, for example, is not taken into account. In addition, the calibration patterns that are displayed are predetermined and are not adapted to the currently detected object scene. This means that they cannot be optimized for the respective measurement object.

Der Erfindung liegt als technisches Problem die Bereitstellung eines Verfahrens zur Erkennung und Kompensation von Messabweichungen während des Betriebes einer optischen Messvorrichtung, mit dem ein statisches Kalibrier-Modell jederzeit vollautomatisch neu eingelernt und während des Messvorgangs mit hoher Genauigkeit überwacht und verfeinert werden kann, eines dieses Kalibrierungsverfahren nutzenden optischen Messverfahrens sowie einer optischen Messvorrichtung zur robusteren, genaueren und kostengünstigeren Messung von geometrischen Merkmalen eines Messobjektes zugrunde.A technical problem of the invention is the provision of a method for recognizing and compensating measurement deviations during the operation of an optical measuring device, with which a static calibration model can be re-learned fully automatically at any time and monitored and refined with high accuracy during the measuring process, one of these calibration methods using optical measuring method as well as an optical measuring device for more robust, more precise and more economical measurement of geometric features of a measurement object.

Die Erfindung löst dieses Problem durch die Bereitstellung eines Verfahrens zur Erkennung und Kompensation von Messabweichungen während des Betriebes einer optischen Messvorrichtung mit den Merkmalen des Anspruchs 1, eines optischen Messverfahrens mit den Merkmalen des Anspruchs 7 sowie einer optischen Messvorrichtung mit den Merkmalen des Anspruchs 8.The invention solves this problem by providing a method for recognizing and compensating measurement deviations during operation of an optical measuring device having the features of claim 1, an optical measuring method having the features of claim 7 and an optical measuring device having the features of claim 8.

Erfindungsgemäß wird zur Kalibrierung einer optischen Messvorrichtung eine Maßverkörperung verwendet, deren Erscheinung veränderbar und steuerbar ist, deren Struktur (Raster) aber bekannt und konstant ist und auch während der Messung im Objektraum verbleibt. Dadurch können auch dynamische Änderungen erfasst und korrigiert werden.
Das erfindungsgemäße Kalibrierverfahren kann vor, zwischen und nach Messungen durchgeführt werden. Mit Hilfe der gewonnen Kalibrierdaten können sowohl Bilddaten verändert (Verzeichniskorrektur), Koordinatenpunkte übersetzt (Koordinatentransformation) als auch geometrische Beziehungen zwischen mehreren Erfassungseinrichtungen hergestellt werden (Epipolargeometrie).
Dass im Folgenden vorgestellte erfindungsgemäße Verfahren ist im Gegensatz zum Stand der Technik adaptiv, das Messobjekt und die Objektszene werden bei der Erzeugung der Kalibriermarken berücksichtigt.According to the invention, a material measure is used to calibrate an optical measuring device whose appearance can be changed and controlled, but whose structure (grid) is known and constant and also remains in the object space during the measurement. This means that dynamic changes can also be recorded and corrected.
The calibration method according to the invention can be carried out before, between and after measurements. With the aid of the calibration data obtained, both image data can be changed (directory correction), coordinate points can be translated (coordinate transformation) and geometric relationships can be established between several detection devices (epipolar geometry).
In contrast to the prior art, the method according to the invention presented below is adaptive; the measurement object and the object scene are taken into account when generating the calibration marks.

In einer Ausgestaltung der Erfindung als statisches Kalibrierverfahren wird ein veränderbares Kalibriermuster auf einem festen (bekannten) Raster dargestellt. Es wird nicht nur ein Muster von Stützpunkten verwendet, sondern eine Serie von verschieden Mustern. Ziel ist es, die für die Approximation der Verzeichnungsfunktion nötigen Punkte, mit einem deutlich feineren Raster zur Verfügung zu stellen. Die Auflösung dieses Rasters kann dabei feiner werden, als die projizierte Auflösung der Sensormatrix, (in der Folge „Kalibrierung mit erhöhter Auflösung“ genannt)In one embodiment of the invention as a static calibration method, a changeable calibration pattern is displayed on a fixed (known) grid. Not just one pattern of support points is used, but a series of different patterns. The aim is to provide the points required for approximating the distortion function with a significantly finer grid. The resolution of this grid can be finer than the projected resolution of the sensor matrix (hereinafter referred to as "calibration with increased resolution")

In einer weiteren Ausgestaltung der Erfindung verbleibt während der Messung ständig eine veränderbare Maßverkörperung mit festem Raster im Objektraum. Es werden verschiedene Kalibriermarken auf den veränderbaren Maßverkörperungen dargestellt. Die Positionen, Formen, Farben und Größen der Kalibriermarken auf dieser Maßverkörperung werden jeweils an die Position und Größe des Messobjektes und der aktuellen Messmethode angepasst. Damit werden die Abstände zwischen bekannter Kalibriermarke und unbekanntem Objektpunkt minimiert. Die Position, Größe, Farbe, und Struktur der Kalibriermarken kann auf Basis von weiteren Informationen optimiert werden. Dazu gehören Apriori-Informationen über Bauteilspezifikationen z.B. auf Basis von Benutzereingaben oder CAD-Daten, oder Informationen, die über Sensoren des Messgerätes selbst erfasst werden wie spektrale Reflektions-/Transmissions-Eigenschaften. (in der Folge „dynamische Kalibrierung“ genannt). Die Informationen, die aus den Kalibriermarken gewonnen werden, können direkt mit der statischen Kalibrierung verglichen werden. Unterschiede fließen in die Berechnung der Koordinatentransformation ein. Zudem können Differenzen (ggf. über die Zeit) verwendet werden, um die Gültigkeit der statischen Kalibrierung zu überprüfen.In a further embodiment of the invention, a variable measuring standard with a fixed grid remains in the object space during the measurement. Different calibration marks are displayed on the changeable measuring standards. The positions, shapes, colors and sizes of the calibration marks on this measuring standard are each adapted to the position and size of the measurement object and the current measurement method. This minimizes the distances between the known calibration mark and the unknown object point. The position, size, color and structure of the calibration marks can be optimized on the basis of further information. This includes a priori information about component specifications, e.g. on the basis of user input or CAD data, or information that is recorded via sensors of the measuring device itself, such as spectral reflection / transmission properties. (hereinafter referred to as "dynamic calibration"). The information obtained from the calibration marks can be compared directly with the static calibration. Differences are included in the calculation of the coordinate transformation. In addition, differences (possibly over time) can be used to check the validity of the static calibration.

Weitere Einzelheiten und Vorteile der Erfindung sind dem nachfolgenden Beschreibungsteil zu entnehmen, in dem die Erfindung unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert wird. Es zeigt:

1 ein Flussdiagramm eines optischen Messverfahrens, mit einem erfindungsgemäßen Verfahren zur Kalibrierung einer optischen Messvorrichtung
2 eine schematische Darstellung einer mit dem Verfahren von 1 kalibrierbaren optischen Messvorrichtung
3 ein Kamerabild bei einer dynamischen Kalibrierung

Further details and advantages of the invention can be found in the following part of the description, in which the invention is explained in more detail with reference to the accompanying drawings. It shows:

1 a flowchart of an optical measuring method with a method according to the invention for calibrating an optical measuring device
2 a schematic representation of a with the method of 1 calibratable optical measuring device
3 a camera image with a dynamic calibration

1 zeigt im Flussdiagramm den Ablauf eines optischen Messverfahrens mit einem erfindungsgemäßen Verfahrens zur vollautomatischen Kalibrierung einer optischen Messvorrichtung, wie sie schematisch in 2 dargestellt ist. 1 shows in the flow diagram the sequence of an optical measuring method with a method according to the invention for fully automatic calibration of an optical measuring device, as shown schematically in FIG 2 is shown.

Die in 2 gezeigte optische Messvorrichtung dient der berührungslosen Messung geometrischer Merkmale eines Messobjektes (4). Sie umfasst eine Erfassungseinrichtung (1), zum berührungslosen Erfassen zwei- oder dreidimensionaler Daten des Messobjektes (4), eine Anzeigeeinrichtung (2), die aus einem festen Raster steuerbarer Elemente besteht und als Maßverkörperung dienende Muster erzeugt, sowie eine Auswerte- und Steuereinrichtung (3). Erfindungsgemäß ist das Messobjekt (4) in der Nähe der Anzeigeeinrichtung (2), vorzugsweise direkt auf der Anzeigeeinrichtung, positioniert, wobei zumindest ein Teil der Anzeigeeinrichtung (2) und ein Teil des Messobjekts (4) für die Erfassungseinrichtung (1) sichtbar ist.In the 2 The optical measuring device shown is used for the non-contact measurement of geometric features of a measuring object ( 4th ). It includes a recording device ( 1 ), for the contactless acquisition of two- or three-dimensional data of the measuring object ( 4th ), a display device ( 2 ), which consists of a fixed grid of controllable elements and generates patterns serving as measuring standards, as well as an evaluation and control device ( 3 ). According to the invention, the measurement object ( 4th ) near the display device ( 2 ), preferably directly on the display device, with at least part of the display device ( 2 ) and part of the measurement object ( 4th ) for the recording device ( 1 ) is visible.

Zu Beginn des Verfahrens wird entschieden, ob eine statische Kalibrierung durchgeführt werden soll. Das kann beispielsweise durch einen Benutzerbefehl oder auf Basis des vorhergehenden Gerätezustands entschieden werden. Falls keine Kalibrierung erfolgen soll, werden statische Kalibrierdaten geladen, bzw. stehen bereits zur Verfügung. Falls eine Kalibrierung durchgeführt werden soll, wird eine statische Kalibrierung durchgeführt. Das könnte beispielsweise eine erfindungsgemäße statische Kalibrierung mit erhöhter Auflösung sein. Für die statische Kalibrierung ist es vorteilhaft, wenn sich das Messobjekt nicht im Sichtfeld der Erfassungseinrichtung (1) befindet und ein großer Teil des Sichtfeldes von der Anzeigeeinrichtung (2) eingenommen wird.
In der Folge wird das Messobjekt (4) in das Sichtfeld der Erfassungseinrichtung (1) gebracht. Vorteilhaft ist eine Position des Messobjekts dicht an der Anzeigeeinrichtung (2) und mittig im Sichtfeld der Erfassungseinrichtung (1), beispielsweise direkt auf der Anzeigeeinrichtung (2). Die Darstellung der Anzeigeeinrichtung (2) wird von der Auswerte- und Steuereinrichtung (3) so gesteuert, dass sie möglichst gute Kontraste zur Erkennung des Messobjektes bietet. Vorteilhaft ist beispielsweise eine gleichmäße weiße Ausleuchtung.
Im Anschluss wird mindestens ein Bild der Objektszene von der Erfassungseinrichtung (1) erfasst und an die Auswerte- und Steuereinrichtung (3) übertragen. In dem Bild werden Objektpunkte des Messobjektes (4) gefunden und deren Position im Koordinatensystem (KS1) der Erfassungseinrichtung (1) ermittelt. Von Interesse sind dabei besonders die Konturpunkte, die die Grenze zwischen der freien und blockierten Sicht auf die Anzeigeeinrichtung (2) markieren. Objektpunkte die für folgende Messaufgaben von Interesse sind, können ebenfalls erfasst werden. Aus den statischen Kalibrierdaten und den Konturpunkten kann berechnet werden, welche Teile der Anzeigeeinrichtung unverdeckt sind. Gegebenenfalls können auch vorläufige Messergebnisse aus groben, unkorrigierten Punkten an Merkmalen des Messobjekts (4) berechnet werden.
Außerdem wird in der Auswerte- und Steuereinrichtung (3) berechnet, an welchen Positionen vorteilhaft dynamische Kalibriermarken angezeigt werden können und welche Größe, Form, Farbe und Anzahl sinnvoll ist. Vordefinierte Punkte an diesen Marken können beispielsweise Mittel- oder Kreuzungspunkte von Strukturen sein. Die Gestalt der Marken und die dazugehörigen Punkte im Koordinatensystem (KS2) der Anzeigeeinrichtung (2) sind der Auswerte- und Steuereinrichtung (3) nun bekannt.
Die dynamischen Marken werden auf der Anzeigeeinrichtung (2) zur Anzeige gebracht. Im Anschluss wird mindestens ein weiteres Bild der Objektszene von der Erfassungseinrichtung (1) erfasst und an die Auswerte- und Steuereinrichtung (3) übertragen. In dem Bild werden die Punkte der dynamischen Marken gefunden und deren Position im Koordinatensystem (KS1) der Erfassungseinrichtung (1) ermittelt. Dies kann mit sehr hoher Genauigkeit erfolgen, da ihre Gestalt und Position im Bild sehr gut vorhergesagt werden können.
Gegebenenfalls werden die Koordinaten der Punkte von Interesse am Messobjekt (4) in KS1 mitbestimmt.
Die Punkte an den dynamischen Kalibriermarken werden mittels der statischen Kalibrierdaten von KS1 nach KS2 transformiert. Damit existieren nun zwei Sätze von Koordinaten für jeden Punkt an den dynamischen Kalibriermarken. Unterschiede sind ein Maß für die Diskrepanz zwischen dem statisch kalibrierten Modell der Messvorrichtung und seinem tatsächlichen aktuellen Zustand.
In der Auswerte- und Steuereinrichtung (3) werden die zwei Sätze der Koordinaten der Punkte der dynamischen Marken in KS2 verglichen. Bei größeren als den vorbestimmten zulässigen Abweichungen, werden die statische Kalibrierung und bisher erfasste Messobjektpunkte für ungültig erklärt. Für den Fall der Überschreitung der zulässigen Abweichungen liegen grobe Fehler bei der Messung oder Kalibrierung vor. Diese sind entweder auf Bedienfehler beim Einlegen des Messobjektes oder Defekte oder Verschmutzung der Messvorrichtung zurückzuführen. Der Bediener wird instruiert das Messobjekt zu entfernen, das Gerät auf Defekte und Verschmutzung zu prüfen und der Betriebszustand des Gerätes wird zur Abfrage nach der statischen Kalibrierung zurückgesetzt und ein erneuter Ablauf beginnt. Diese Schleife kann mehrfach durchlaufen werden, und kann bei Bedarf nach einer zu großen Anzahl von Durchläufen oder zu häufigem Auftreten abgebrochen werden. Die Messvorrichtung könnte dann als „defekt“ deklariert werden.At the beginning of the process it is decided whether a static calibration should be carried out. This can be decided, for example, by a user command or on the basis of the previous device status. If no calibration is to be carried out, static calibration data are loaded or are already available. If a calibration is to be performed, a static calibration is performed. This could, for example, be a static calibration according to the invention with increased resolution. For static calibration it is advantageous if the measurement object is not in the field of view of the detection device ( 1 ) and a large part of the field of view of the display device ( 2 ) is taken.
As a result, the measurement object ( 4th ) into the field of view of the detection device ( 1 ) brought. A position of the measurement object close to the display device is advantageous ( 2 ) and in the middle of the field of view of the detection device ( 1 ), for example directly on the display device ( 2 ). The representation of the display device ( 2 ) is used by the evaluation and control device ( 3 ) controlled in such a way that it offers the best possible contrasts for recognizing the measurement object. Uniform white illumination is advantageous, for example.
At least one image of the object scene is then captured by the detection device ( 1 ) and to the evaluation and control device ( 3 ) transfer. Object points of the measurement object ( 4th ) and their position in the coordinate system (KS1) of the detection device ( 1 ) determined. Of particular interest are the contour points that mark the boundary between the free and blocked view of the display device ( 2 ) to mark. Object points that are of interest for the following measurement tasks can also be recorded. From the static calibration data and the contour points, it can be calculated which parts of the display device are not covered. If necessary, provisional measurement results from rough, uncorrected points on features of the measurement object ( 4th ) be calculated.
In addition, in the evaluation and control device ( 3 ) calculates the positions at which dynamic calibration marks can advantageously be displayed and which size, shape, color and number make sense. Predefined points at these marks can, for example, be center points or intersection points of structures. The shape of the marks and the associated points in the coordinate system (KS2) of the display device ( 2 ) are the evaluation and control device ( 3 ) now known.
The dynamic marks are displayed on the display device ( 2 ) brought to the display. At least one additional image of the object scene is then generated by the detection device ( 1 ) and to the evaluation and control device ( 3 ) transfer. The points of the dynamic marks are found in the image and their position in the coordinate system (KS1) of the detection device ( 1 ) determined. This can be done with a very high degree of accuracy, since their shape and position in the image can be predicted very well.
If necessary, the coordinates of the points of interest on the measurement object ( 4th ) co-determined in KS1.
The points at the dynamic calibration marks are transformed from KS1 to KS2 using the static calibration data. There are now two sets of coordinates for each point on the dynamic calibration marks. Differences are a measure of the discrepancy between the statically calibrated model of the measuring device and its actual current state.
In the evaluation and control device ( 3 ) the two sets of coordinates of the points of the dynamic marks in KS2 are compared. In the event of greater than the predetermined permissible deviations, the static calibration and previously recorded measurement object points are declared invalid. In the event that the permissible deviations are exceeded, there are gross errors in the measurement or calibration. These are either due to operating errors when inserting the measuring object or defects or soiling of the measuring device. The operator is instructed to remove the object to be measured, to check the device for defects and soiling and the operating state of the device is reset to query after the static calibration and a new process begins. This loop can be run through several times and, if necessary, after too large a number aborted by runs or too frequent occurrences. The measuring device could then be declared as “defective”.

Sind die Abweichungen unter den zulässigen Werten, werden die Koordinatenpaare der dynamischen Marken (KS1 und KS2) genutzt um die dynamischen Kalibrierdaten zu berechnen. Gegebenenfalls werden die statischen Kalibrierdaten für diese Berechnung hinzugezogen.
Falls noch keine Punkte von Interesse am Messobjekt bestimmt wurden, wird dies nun durchgeführt. Das kann entweder durch erneute Bilderfassung, oder durch Auswertung gespeicherter Bilder erfolgen. Von den Punkten von Interesse werden die Koordinaten in KS1 ermittelt. Mit Hilfe der dynamischen Kalibrierdaten werden diese Punkte nach KS2 transformiert.
Diese Messobjektpunkte können in der Folge für die Berechnung von Messwerten von Merkmalen des Messobjekts genutzt werden. Dazu kann eine weitere Transformation von KS2 in das Messobjekt-Koordinatensystem (KS3) nötig sein. Und es kann nötig sein, eine Mehrzahl von Punkten zu Merkmalen zu kombinieren, Beispielsweise Längen, Abstände, Winkel, Durchmesser, u.v.m.If the deviations are below the permissible values, the coordinate pairs of the dynamic marks (KS1 and KS2) are used to calculate the dynamic calibration data. If necessary, the static calibration data are used for this calculation.
If no points of interest on the measurement object have yet been determined, this is done now. This can be done either through renewed image capture or through evaluation of stored images. The coordinates in KS1 are determined from the points of interest. With the help of the dynamic calibration data, these points are transformed according to KS2.
These measurement object points can subsequently be used for the calculation of measured values of features of the measurement object. A further transformation from KS2 into the measurement object coordinate system (KS3) may be necessary for this. And it may be necessary to combine a number of points into features, for example lengths, distances, angles, diameters, and much more

Die Kalibrierung mit erhöhter Auflösung wird im Folgenden anhand eines Ausführungsbeispiels näher erläutert. Ein LC-Display bildet die Hintergrundbeleuchtung, die Auflagefläche und die Maßverkörperung zu gleich. Das LCD hat ein festes und bekanntes Raster. Es kann aber gesteuert werden, welche Muster es darstellt. Die Kamera(s) wird auf das LCD gerichtet. Vom Sichtfeld der Kamera(s) wird mindestens ein Teil des LCD erfasst. Auf dem LC-Display wird ein Schachbrett-Muster dargestellt. Jedes der hellen oder dunklen Felder hat ca. 50 Pixel Ausdehnung in Bildkoordinaten. Die Kantenübergänge zwischen den hellen und dunklen Feldern werden von dem Bildverarbeitungsprogramm in Bildkoordinaten bestimmt. Die Kreuzungspunkte zwischen jeweils vier Feldern werden mit erhöhter Genauigkeit berechnet (Subpixelpräzision).
Zu jedem Kreuzungspunkt des Schachbrettmusters sind somit ein Paar von Koordinaten bekannt, die Objektkoordinaten (aus den technischen Daten des LCD), und die Bildkoordinaten. Jedes Koordinatenpaar ist eine Stützstelle für die Berechnung der Kalibrierdaten. Damit ist etwa pro 50 Pixel des Bildes eine Stützstelle bekannt. Nachfolgend wird das Muster auf dem LCD in x und y Richtung jeweils in 10 Schritten verschoben. Es ergibt sich also eine Folge von weiteren 99 Positionen des Schachbrettmusters auf dem LCD, die sich alle unterscheiden. Die Kamera und das LCD bleiben dabei unbewegt. Die Kamera zeichnet für jedes Muster der Folge mindestens ein Bild auf. Es entstehen mindestens 100 digitale Bilder. In der Verarbeitungseinheit wird das Vorgehen zur Erfassung der Kreuzungspunkte in jedem der folgenden 99 Bilder analog zum ersten Bild wiederholt. Das Ergebnis ist, dass die Abstände der Stützstellen auf 1/10 reduziert werden. Im Bild ergibt sich auf etwa je 5 Pixel eine Stützstelle. Gleichzeitig steigt die Anzahl der Stützstellen um Faktor 100. Werden alle Stützstellen gemeinsam genutzt, den Zusammenhang zwischen Objektraum und digitalen Bild zu berechnen und durch geeignete mathematische Funktionen zu beschreiben, ist das Ergebnis die Kalibrierdaten für das System.
Wie fein das Raster des Schachbrettmusters gewählt, und in welchen Schritten es bewegt wird, ist von den Eigenschaften des LCD, des optisches Systems und des Sensors sowie der bei der Anwendung gewünschten Genauigkeit abhängig.
Neben der Möglichkeit hell-dunkel-Muster zu erzeugen, können auch farbige Muster erzeugt werden. Farbige Displays haben drei oder mehr Subpixel mit den Primärvalenzen. Ein Farbwechsel des Musters würde die Möglichkeit eröffnen, Subpixel-Verschiebungen (LCD) des Musters zu realisieren. Dies kann z.B. bei nicht transparenten Objekten genutzt werden.
Bei transparenten Objekten kann die Farbe des Displays jeweils so gewählt werden, dass die maximale Messgenauigkeit bei minimalem Messfehler zu erwarten ist.
Die Farbe bzw. die Transparenz des Objektes können mit einem Sensor erkannt und bei der Messung berücksichtigt werden.
Durch die Steuerbarkeit der kombinierten Beleuchtung und der Maßverkörperung ist es möglich, störendes Fremdlicht (z.B. Punktlichtquellen), zu starkes Umgebungslicht oder Verschleiß (z.B. Kratzer) auf der Displayoberfläche vor und nach der Messung zu erkennen. Damit bestehen z.B. die Möglichkeiten den Betrieb mit verminderter Qualität weiter zu führen und Warnungen zu melden, die Messung zu unterbrechen, Hinweise auf Fehlerquellen zu melden und zu kontrollieren, ob die Fehlerquelle beseitigt wurde.
Mit dem zusätzlichen Einsatz eines IR-Sensors können Temperaturen bzw. die Temperaturverteilung auf dem Objekt bestimmt und damit Temperaturkorrekturen ermöglicht werden. Je größer der lineare Wärmeausdehnungskoeffizient (z.B. bei Kunststoffteilen) desto wichtiger wird bei der Messung die exakte Temperatur des Objektes und der Maßverkörperung zu kennen.The calibration with increased resolution is explained in more detail below using an exemplary embodiment. An LC display forms the background lighting, the support surface and the measuring standard at the same time. The LCD has a fixed and known grid. But it can be controlled which pattern it represents. The camera (s) is pointed at the LCD. At least part of the LCD is captured by the field of view of the camera (s). A chessboard pattern is shown on the LC display. Each of the light or dark fields has an area of approx. 50 pixels in image coordinates. The edge transitions between the light and dark fields are determined by the image processing program in image coordinates. The intersection points between four fields are calculated with increased accuracy (subpixel precision).
A pair of coordinates are therefore known for each crossing point of the checkerboard pattern, the object coordinates (from the technical data of the LCD) and the image coordinates. Each coordinate pair is a support point for the calculation of the calibration data. This means that one interpolation point is known per 50 pixels of the image. The pattern is then shifted on the LCD in the x and y directions in 10 steps each. This results in a sequence of further 99 positions of the checkerboard pattern on the LCD, all of which are different. The camera and the LCD remain stationary. The camera records at least one image for each pattern in the sequence. At least 100 digital images are created. In the processing unit, the procedure for detecting the intersection points in each of the following 99 images is repeated in the same way as the first image. The result is that the spacing between the support points is reduced to 1/10. In the picture there is one interpolation point for every 5 pixels. At the same time, the number of support points increases by a factor of 100. If all support points are used together to calculate the relationship between the object space and the digital image and to describe it using suitable mathematical functions, the result is the calibration data for the system.
How fine the grid of the checkerboard pattern is chosen and the steps in which it is moved depends on the properties of the LCD, the optical system and the sensor as well as the accuracy desired in the application.
In addition to the possibility of creating light-dark patterns, colored patterns can also be created. Color displays have three or more sub-pixels with the primary valences. A color change of the pattern would open up the possibility of realizing subpixel shifts (LCD) of the pattern. This can be used, for example, for non-transparent objects.
In the case of transparent objects, the color of the display can be selected in such a way that the maximum measurement accuracy can be expected with a minimum measurement error.
The color or the transparency of the object can be recognized with a sensor and taken into account during the measurement.
Due to the controllability of the combined lighting and the measuring standard, it is possible to detect disturbing extraneous light (e.g. point light sources), excessive ambient light or wear (e.g. scratches) on the display surface before and after the measurement. This means, for example, that there is the possibility of continuing operations with reduced quality and reporting warnings, interrupting the measurement, reporting information on sources of error and checking whether the source of the error has been eliminated.
With the additional use of an IR sensor, temperatures or the temperature distribution on the object can be determined and thus temperature corrections made possible. The greater the coefficient of linear thermal expansion (eg with plastic parts), the more important it is to know the exact temperature of the object and the material measure when measuring.

Außerdem kann die Z-Achse zusätzlich verfahren werden, um in verschiedenen Z-Ebenen das Kalibrierverfahren zu wiederholen. Damit entstehen Kalibrierdaten die besser der dreidimensionalen Struktur des Objektraums gerecht werden und so besser für höhenausgedehnte Messobjekte geeignet sind.
Weiterhin kann eine kanalabhänge Variante des Kalibrierverfahrens durchgeführt werden. Bei Kameras mit mehreren Spektralkanälen werden nicht dieselben Kalibrierdaten für alle Kanäle verwendet. Stattdessen werden die Primärvalenzen des Displays jeweils für die Spektralkanäle des Sensors genutzt, die die beste spektrale Übereinstimmung haben. (Bei einem RGB-Sensor wird die Kalibrierung für den grünen Kanal vorzugsweise mit Mustern der grünen Subpixel des Displays durchgeführt.) Dieses Vorgehen ist vorteilhaft, da die Abbildungseigenschaften von optischen Systemen wellenlängenabhängig sind.
Mit der Kalibrierung mit erhöhter Auflösung ist auch eine permanente Überwachung der Hardware des Messsystems möglich. Es können alle Veränderungen an den möglichen 6 Freiheitsgraden zwischen dem Sensor und dem Objekt erkannt werden.
Bei der Anzeigeeinrichtung, die die Kalibriermuster darstellt, muss es sich um ein Gerät handeln dessen geometrische Fehler der Anzeige deutlich geringer sind, als die gewünschte Genauigkeit bei der Kalibrierung. Geräte mir sehr geringen Toleranzen bei der Geometrie sind Anzeigeeinrichtungen der „flat panel technologies - FPT“. Dazu gehören beispielsweise LCD, OLED, LED, ELD, MEMS, Plasma, FED, elektrophoretische Display und viele mehr. Neben Flat-Panel-Anzeigen eigenen sich aber auch hoch genaue projizierte oder holografische Anzeigen. Die Überwachung von Veränderungen der Anzeigeeinrichtung während des Betriebs (bspw. thermische Ausdehnung) durch zusätzliche Sensoren, kann die Genauigkeit weiter erhöhen.The Z-axis can also be moved in order to repeat the calibration procedure in different Z-planes. This results in calibration data that do better justice to the three-dimensional structure of the object space and are therefore better suited for measuring objects with extended heights.
A channel-dependent variant of the calibration process can also be carried out. In cameras with multiple spectral channels, the same calibration data is not used for all channels. Instead, the primary valences of the display are used for the spectral channels of the sensor that have the best spectral agreement. (In the case of an RGB sensor, the calibration for the green channel is preferably carried out with patterns from the green subpixels of the display.) This procedure is advantageous because the imaging properties of optical systems are wavelength-dependent.
With the calibration with increased resolution, permanent monitoring of the hardware of the measuring system is also possible. All changes in the possible 6 degrees of freedom between the sensor and the object can be recognized.
The display device that displays the calibration pattern must be a device whose geometric errors in the display are significantly lower than the desired accuracy during calibration. Devices with very low tolerances in terms of geometry are display devices from "flat panel technologies - FPT". These include, for example, LCD, OLED, LED, ELD, MEMS, plasma, FED, electrophoretic displays and many more. In addition to flat panel displays, highly accurate projected or holographic displays are also suitable. The monitoring of changes in the display device during operation (for example thermal expansion) by additional sensors can further increase the accuracy.

Wenn ein Objekt vermessen wird, erkennt das Bildverarbeitungssystem welche Bereiche des LCD durch das Objekt verdeckt werden, und welche Bereiche weiterhin sichtbar sind. Bei der dynamischen Kalibrierung werden adaptiv Kalibriermarken auf dem LCD in unverdeckten Bereichen angezeigt. Mittels Bildverarbeitungsprogramm werden aus den Kalibriermarken repräsentative Punkte in Bildkoordinaten gewonnen. Diese Bildkoordinaten können nun einerseits mit den zuvor abgelegten statischen Kalibrierdaten in Objektkoordinaten zurückgerechnet werden, anderseits gibt es bereits konkrete Soll-Objektkoordinaten dafür. Die Differenzen aus beiden Werten dienen der Beurteilung und/oder Verbesserung der statischen Kalibrierung. Hierzu ist es denkbar, dass Kalibriermarken, die weiter entfernt von dem Objekt sind, relativ groß sein können und verwendet werden, um die Gültigkeit der statischen Kalibrierung zu überwachen. Kalibriermarken, die sehr dicht an der Kontur des Messobjektes angezeigt werden, sind kleiner und werden genutzt, um dynamisch die Genauigkeit der Kalibrierung zu erhöhen und um die statische Kalibrierung zu überwachen (s. 3).When an object is measured, the image processing system recognizes which areas of the LCD are covered by the object and which areas are still visible. With dynamic calibration, calibration marks are adaptively displayed on the LCD in uncovered areas. Representative points in image coordinates are obtained from the calibration marks by means of an image processing program. These image coordinates can now, on the one hand, be recalculated into object coordinates using the previously stored static calibration data, and on the other hand, there are already specific target object coordinates for this. The differences from the two values are used to assess and / or improve the static calibration. For this purpose, it is conceivable that calibration marks that are further away from the object can be relatively large and are used to monitor the validity of the static calibration. Calibration marks, which are displayed very close to the contour of the measuring object, are smaller and are used to dynamically increase the accuracy of the calibration and to monitor the static calibration (s. 3 ).

Zu dem erfindungsgemäßen Kalibrierverfahren sind verschiedene Variationen denkbar. So kann z.B. die Z-Achse in verschiedenen Z-Ebenen verfahren und Daten über das Messobjekt und die Maßverkörperung erfasst werden. Es entstehen Messdaten für einen 3D-Objektraum. Die Gültigkeit der statischen 3D-Kalibrierung wird dabei überwacht.
Bei der Verwendung mehrerer Kameras, die aus unterschiedlichen Blickwinkeln das Display beobachten, können mit Hilfe gemeinsamer bekannter Punkte auf dem LCD und gemeinsamer unbekannter Punkte auf dem Objekt räumliche Informationen über das Objekt erzeugt werden. Die Korrespondenz zwischen Punkten in mehreren Kamerabildern herzustellen wird mit dem erfindungsgemäßen Kalibrierverfahren vereinfacht, weil die Formen, Farben und Größen der virtuellen Kalibriermarken bekannt sind. Im einfachsten Fall sind es zwei Kameras, dann handelt es sich um ein Stereo-Kamerasystem.
Ebenso ist es denkbar, Objektive mit variabler Brennweite einzusetzen. Durch die Möglichkeit der vollautomatischen Kalibrierung, dürfen nicht nur feste und zuvor kalibrierte Zoomstufen angefahren werden, sondern es darf stufenlos „gezoomt“ werden. Es kann von der Bildverarbeitung überprüft werden, ob die Brennweite geändert wurde. Eine vollautomatische (Neu)Kalibrierung ist möglich.
Bei Verwendung von Kameras mit mehreren Spektralkanälen werden nicht dieselben Kalibriermarken für alle Kanäle verwendet. Stattdessen werden die Primärvalenzen des Displays jeweils für den Spektralkanal des Sensors genutzt, der die beste spektrale Übereinstimmung aufweisen.
Das Prinzip zur Überwachung und Verbesserung der statischen Kalibrierung kann auch durchgeführt werden, sollte sich kein Objekt im Messraum befinden, also wenn das LCD völlig unverdeckt ist.
Für den Fall, dass bei vorhandenem Messobjekt die statische Kalibrierung für ungültig erklärt wird, könnte auch nur mit der dynamischen Kalibrierung weitergearbeitet werden. Wenn es der Betriebszustand zulässt, würde die statische Kalibrierung voll- oder teilautomatisch wiederholt werden. Davon abgeleitet, wäre es ebenso möglich den Messbetrieb des Gerätes gänzlich ohne statische Kalibrierung durchzuführen. Es wird also ausschließlich die dynamische Kalibrierung genutzt.
Wenn die Auflösung des LC-Display-Rasters deutlich feiner ist als die projizierte Auflösung der Sensormatrix, dann bietet sich ein weiterer Lösungsweg für eine genaue Messung an. Die nahe am Objekt angezeigte, sehr kleine Kalibriermarke wird in kleinstmöglichen Schritten unter der Kante des Objektes durchgeführt, wobei die Position der Kalibriermarke zu jeder Zeit bekannt ist. Die Bildverarbeitungs-Kantenortsbestimmung erfasst nun die Objektkante und Kalibriermarken-Kante als dieselbe Kante. Wenn in der Bildserie mit den Verschiebungen der Kalibriermarke keine Änderung im Bild nachweisbar ist, ist das exakt die Einstellung, bei der die Kalibriermarken-Kante und die Objektkante sich überlagern. Dabei ist eine Auswertung mit Subpixel-Genauigkeit möglich. Die Messgenauigkeit ist damit nicht an die Auflösung der projizierten Sensormatrix gebunden, sondern nur an die Größe der Pixel des Displays.
Es ist möglich störendes Fremdlicht (z.B. Punktlichtquellen), zu starkes Umgebungslicht oder Verschleiß (z.B. Kratzer) auf der Displayoberfläche vor und nach der Messung zu erkennen. Damit besteht z.B. die Möglichkeit: den Betrieb mit verminderter Qualität weiter zu führen, die Messung mit einem Hinweis auf die Fehlerquelle zu unterbrechen und zu kontrollieren, ob die Fehlerquelle beseitigt wurde.
Mit dem zusätzlichen Einsatz eines MIR-Sensors ist die Temperatur bzw. die Temperaturverteilung auf dem Objekt zu bestimmen und damit Korrekturen zu ermöglichen. Je größer der lineare Wärmeausdehnungskoeffizient (z.B. bei Kunststoffteilen) desto wichtiger ist bei der Messung die exakte Temperatur des Objektes zu ermitteln.Various variations are conceivable for the calibration method according to the invention. For example, the Z-axis can move in different Z-planes and data about the measuring object and the material measure can be recorded. Measurement data are created for a 3D object space. The validity of the static 3D calibration is monitored.
When using several cameras that observe the display from different angles, spatial information about the object can be generated with the aid of common known points on the LCD and common unknown points on the object. Establishing the correspondence between points in several camera images is simplified with the calibration method according to the invention because the shapes, colors and sizes of the virtual calibration marks are known. In the simplest case there are two cameras, then it is a stereo camera system.
It is also conceivable to use lenses with a variable focal length. Due to the possibility of fully automatic calibration, not only can fixed and previously calibrated zoom levels be approached, but infinitely variable zooming is also allowed. The image processing can check whether the focal length has been changed. A fully automatic (re) calibration is possible.
When using cameras with several spectral channels, the same calibration marks are not used for all channels. Instead, the primary valences of the display are used for the spectral channel of the sensor that has the best spectral match.
The principle of monitoring and improving the static calibration can also be carried out if there is no object in the measuring room, i.e. if the LCD is completely uncovered.
In the event that the static calibration is declared invalid for an existing measurement object, it is also possible to continue working with just the dynamic calibration. If the operating condition permits, the static calibration would be repeated fully or partially automatically. Derived from this, it would also be possible to carry out the measuring operation of the device entirely without static calibration. So only dynamic calibration is used.
If the resolution of the LC display grid is significantly finer than the projected resolution of the sensor matrix, then there is another solution for an accurate measurement. The very small calibration mark displayed close to the object is carried out in the smallest possible steps under the edge of the object, the position of the calibration mark being known at all times. The image processing edge location determination now detects the object edge and the calibration mark edge as the same edge. If no change can be detected in the image in the image series with the displacement of the calibration mark, this is exactly the setting at which the calibration mark edge and the object edge overlap. An evaluation with subpixel accuracy is possible. The measurement accuracy is therefore not tied to the resolution of the projected sensor matrix, but only to the size of the pixels on the display.
It is possible to detect disturbing extraneous light (e.g. point light sources), excessive ambient light or wear (e.g. scratches) on the display surface before and after the measurement. This gives you the possibility, for example: to continue operation with reduced quality, to interrupt the measurement with a reference to the source of the error and to check whether the source of the error has been eliminated.
With the additional use of a MIR sensor, the temperature or the temperature distribution on the object can be determined and corrections to be made possible. The greater the coefficient of linear thermal expansion (eg with plastic parts), the more important it is to determine the exact temperature of the object during the measurement.

Claims

A method for the detection and compensation of measurement deviations during the operation of an optical measuring device for measuring geometric features of a measurement object (4), the measurement device having at least one detection device (1) for the contactless detection of two- or three-dimensional quantities of the measurement object (4), at least one Display device (2), which consists of a fixed grid of controllable elements and generates patterns serving as a measuring standard, and has an evaluation and control device (3), characterized by the following steps: a) performing a static calibration and generating static calibration data or loading existing static calibration data from the evaluation and control device (3) or from an external data source; b) generating a background on the display device (2) which shows a uniform, homogeneous luminance and is located behind / under the measurement object; c) recording of a first image with the acquisition device (1) and transmission to the memory of the evaluation and control device (3); d) determining points of interest on the measurement object (4) and on the display device (2), and determining their coordinates in the coordinate system (KS1) of the detection device (1); e) transforming the coordinates of the points of interest on the measurement object (4) with the aid of the static calibration data determined / provided in step a) into the coordinate system (KS2) of the display device (2); f) Determination of the areas of the display device (2) not covered by the measurement object (4) which are visible in the image of the detection device (1); g) Representation of virtual calibration marks that can be changed in position, size, color and shape in areas of the display device (2) that are not covered by the measurement object (4) and are simultaneously visible in the image of the detection device (2), and determination of defined ones Points at the virtual calibration marks in the coordinate system (KS2) of the display device (2); h) recording of at least one second image with the acquisition device (1) and transmission to the memory of the evaluation and control device (3); i) Finding the predefined points at the virtual calibration marks and determining their coordinates in the coordinate system (KS1) of the detection device (1); j) transforming these coordinates of the predefined points at the virtual calibration marks with the aid of the static calibration data determined / provided in step a) into the coordinate system (KS2) of the display device (2); k) Comparison of the coordinates of the virtual calibration marks determined under point g) and under point j) in the coordinate system (KS2) of the display device (2) and, if permissible predefined deviations are exceeded, an operator's instruction on removing the measurement object is adapted to the structure and mode of operation of the measuring device and for cleaning and / or eliminating a fault in the measuring device, I) repeating steps a) to k) until the permissible deviations are complied with and, if the permissible deviations are complied with, calculation of corrections for the static calibration data adapted to the structure and functionality of the measuring device and generating dynamic calibration data; if a predetermined number of impermissible deviations is exceeded, the process is aborted.

Procedure according to Claim 1 characterized in that, depending on the measurement process to be carried out, the position, size, color and shape of the virtual calibration marks on the display device (2) are changed before, during or after the measurement process.

Procedure according to Claim 2 characterized in that the virtual calibration marks are shifted laterally by an amount smaller than the grid of controllable elements on the display device (2).

Procedure according to Claim 1 characterized in that the static calibration is carried out with an unchangeable calibration body or is realized through the use of generic, non-specimen-specific data.

Procedure according to Claim 1 characterized in that the static calibration with a method according to Claim 2 is realized.

Using a method according to Claim 1 for the 3D calibration of multi-camera systems, whereby in addition to the calibration of the respective individual camera, the three-dimensional geometric relationships between the various cameras are also calibrated and monitored.

Optical measuring method for measuring geometric features of a measurement object (4), characterized in that measurement deviations during operation of the optical measuring device according to the method according to one of the Claims 1 to 5 are recognized and compensated and the geometric features of a measurement object (4) are determined from the dynamically calibrated measurement values.

Optical measuring device for measuring geometric features of a measuring object (4) with • at least one detection device (1) for contactless detection of two- or three-dimensional data of the measuring object (4), • at least one display device (2) consisting of a fixed grid of controllable elements consists and are displayed on the adaptive patterns that are dependent on the detected object scene and serve as a measuring standard and • an evaluation and control device (3), characterized in that a measurement object (4) from the direction of view of the detection device (1) between, next to , can be positioned in or behind the display device (2), at least part of the display device (2) and part of the measurement object (4) being visible in the field of view of the detection device (1).

Optical measuring device according to Claim 8 characterized in that the measurement object (4) can preferably be positioned directly on the display device (2).