DE102015203396A1

DE102015203396A1 - Method and device for determining the topography of a surface

Info

Publication number: DE102015203396A1
Application number: DE102015203396.1A
Authority: DE
Inventors: Stefan Werling; Thomas Stephan
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2015-02-25
Filing date: 2015-02-25
Publication date: 2016-08-25

Abstract

Die Erfindung betrifft eine Vorrichtung (1) mit einer ersten Bilderfassungseinrichtung (11) mit einem ersten Erfassungsbereich (21) und einer zweiten Bilderfassungseinrichtung (12) mit einem zweiten Erfassungsbereich (22), wobei der erste Erfassungsbereich (21) und der zweite Erfassungsbereich (22) zumindest teilweise überlappen, und die Vorrichtung weiterhin zumindest eine Lichtquelle (31, 32, 33) aufweist, welche dazu eingerichtet ist, Licht aus unterschiedlichen Einfallsrichtungen in zumindest einen Erfassungsbereich (21, 22) zu emittieren. Weiterhin betrifft die Erfindung ein Verfahren zur Bestimmung der Topografie einer Oberfläche (50) eines Prüflings (5).The invention relates to a device (1) having a first image capture device (11) with a first capture region (21) and a second image capture device (12) with a second capture region (22), the first capture region (21) and the second capture region (22 ) at least partially overlap, and the device further comprises at least one light source (31, 32, 33) which is adapted to emit light from different directions of incidence in at least one detection area (21, 22). Furthermore, the invention relates to a method for determining the topography of a surface (50) of a test piece (5).

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Bestimmung der Topographie einer Oberfläche. Solche Verfahren können dazu eingesetzt werden, dreidimensionale Strukturen von Oberflächen zu erfassen, beispielsweise zur Charakterisierung der räumlichen Struktur eines Bauteils oder zur Erkennung von Abweichungen von einer gewünschten Soll-Form. The invention relates to an apparatus and a method for determining the topography of a surface. Such methods can be used to detect three-dimensional structures of surfaces, for example to characterize the spatial structure of a component or to detect deviations from a desired target shape.

Aus der Praxis sind Verfahren und Vorrichtungen der eingangs genannten Art bekannt. Beispielsweise kann die Topographie der Oberfläche eines Prüflings mittels Deflektometrie, durch Projektionsverfahren, durch photometrische Stereoaufnahmen, durch Aufnahmeserien mit unterschiedlicher Fokuslage oder ähnliche Verfahren erfasst werden. Aus den erfassten Rohdaten kann ein mathematisches Modell bzw. eine Funktion ermittelt werden, welche die Oberfläche beschreibt. Dabei weisen die unterschiedlichen Verfahren jeweils spezifische Vor- und Nachteile auf, so dass für spezifische Prüfaufgaben das jeweils am besten geeignete Verfahren ausgewählt werden muss. From practice methods and devices of the type mentioned are known. For example, the topography of the surface of a test object can be detected by means of deflectometry, by projection methods, by photometric stereo recordings, by recording series with a different focus position or similar methods. From the acquired raw data, a mathematical model or a function can be determined which describes the surface. In this case, the different methods each have specific advantages and disadvantages, so that for specific test tasks the most suitable method must be selected.

Ausgehend vom Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Bestimmung der Topographie einer Oberfläche anzugeben, welches universell anwendbar ist und/oder welches eine größere Genauigkeit bereitstellen kann. Weiterhin besteht die Aufgabe der Erfindung darin, ein Verfahren und eine Vorrichtung zur Bestimmung der Topographie einer Oberfläche bereitzustellen, welches auch bei nicht-stetigen Oberflächen zuverlässige Ergebnisse liefern kann. Starting from the prior art, the invention is therefore based on the object of specifying a method and a device for determining the topography of a surface, which is universally applicable and / or which can provide greater accuracy. Furthermore, the object of the invention is to provide a method and a device for determining the topography of a surface, which can provide reliable results even with non-continuous surfaces.

Die Aufgabe wird erfindungsgemäß durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 5 gelöst. The object is achieved by a device according to claim 1 and a method according to claim 5.

Erfindungsgemäß wird eine Vorrichtung mit einer ersten Bilderfassungseinrichtung und einer zweiten Bilderfassungseinrichtung vorgeschlagen. Die Bilderfassungseinrichtungen können beispielsweise Digitalkameras sein oder solche enthalten, welche mittels einer Linse den zu untersuchenden Prüfling oder einen Teil des Prüflings auf einen Bildwandler abbilden. Dementsprechend weist jede Bilderfassungseinrichtung einen von der Brennweite des Objektives und der Größe des Bildwandlers abhängigen Erfassungsbereich auf. Der Bildwandler kann beispielsweise einen CCD-Chip enthalten, so dass am Ausgang der Bilderfassungseinrichtung ein das Bild des Prüflings repräsentierender analoger oder digitaler Datenstrom bereitgestellt wird. According to the invention, a device with a first image capture device and a second image capture device is proposed. The image capturing devices may be, for example, digital cameras or contain those which image the test specimen to be examined or a part of the specimen onto an image converter by means of a lens. Accordingly, each image capture device has a detection range dependent on the focal length of the objective and the size of the image converter. By way of example, the image converter can include a CCD chip, so that an analog or digital data stream representing the image of the device under test is provided at the output of the image acquisition device.

Der erste Erfassungsbereich der ersten Bilderfassungseinrichtung und der zweite Erfassungsbereich der zweiten Bilderfassungseinrichtung überlappen zumindest teilweise. In einigen Ausführungsformen der Erfindung können die beiden Erfassungsbereiche der beiden Bilderfassungseinrichtungen vollständig überlappen, so dass der Prüfling sowohl von der ersten Bilderfassungseinrichtung als auch von der zweiten Bilderfassungseinrichtung aufgezeichnet wird. Beide Bilderfassungseinrichtungen können in einer gemeinsamen Ebene transversal verschoben angeordnet sein. The first detection area of the first image detection device and the second detection area of the second image detection device overlap at least partially. In some embodiments of the invention, the two detection areas of the two image capture devices may completely overlap so that the DUT is recorded by both the first image capture device and the second image capture device. Both image capture devices can be arranged transversely displaced in a common plane.

Abhängig von der Größe des Prüflings und der geforderten Genauigkeit kann der Prüfling bzw. dessen Oberfläche vollständig von den beiden Bilderfassungseinrichtungen erfasst werden. In anderen Ausführungsformen der Erfindung erfassen die Bilderfassungseinrichtungen nur eine Teilfläche des Prüflings, so dass entweder nur eine Teilfläche mit dem erfindungsgemäßen Verfahren untersucht wird oder aber durch relatives Verschieben der Vorrichtung und des Prüflings die gesamte Oberfläche in mehreren Teilschritten untersucht werden kann. Depending on the size of the test specimen and the required accuracy, the specimen or its surface can be completely detected by the two image capturing devices. In other embodiments of the invention, the image capture devices detect only a partial area of the test object, so that either only a partial area is examined by the method according to the invention or by relative displacement of the device and the test object, the entire surface can be examined in several sub-steps.

Weiterhin weist die Vorrichtung zumindest eine Lichtquelle auf. Die Lichtquelle ist dazu eingerichtet, Licht aus unterschiedlichen Einfallsrichtungen in zumindest einem Erfassungsbereich zu emittieren. In einigen Ausführungsformen der Erfindung kann die Lichtquelle dazu eingerichtet sein, Licht unterschiedlicher Wellenlängen bzw. unterschiedlicher Farben zu emittieren. Hierzu kann die Lichtquelle beispielsweise eine Mehrzahl von Leuchtdioden enthalten, welche getrennt voneinander schaltbar sind. In anderen Ausführungsformen der Erfindung kann die Vorrichtung eine breitbandige Lichtquelle enthalten, beispielsweise eine Halogenlampe oder eine Gasentladungslampe. Durch Filter kann Licht einer gewünschten Wellenlänge gefiltert werden und Licht anderer Wellenlängen unterdrückt werden. Furthermore, the device has at least one light source. The light source is adapted to emit light from different directions of incidence in at least one detection area. In some embodiments of the invention, the light source may be configured to emit light of different wavelengths or different colors. For this purpose, the light source may contain, for example, a plurality of light-emitting diodes which can be switched separately from one another. In other embodiments of the invention, the device may include a broadband light source, such as a halogen lamp or a gas discharge lamp. Filters allow light of a desired wavelength to be filtered and light of other wavelengths to be suppressed.

Die Lichtquelle kann in einigen Ausführungsformen drehbar bzw. schwenkbar sein, um die zu untersuchende Oberfläche des Prüflings aus unterschiedlichen Einfallsrichtungen zu beleuchten. In anderen Ausführungsformen der Erfindung kann die Lichtquelle durch Blenden teilweise verdeckt werden oder der Strahlengang kann durch Linsen bzw. Spiegel umgelenkt werden, um eine Beleuchtung des Prüflings aus unterschiedlichen Einfallsrichtungen zu realisieren. The light source may be rotatable in some embodiments to illuminate the surface of the device under test from different directions of incidence. In other embodiments of the invention, the light source can be partially obscured by apertures or the beam path can be deflected by lenses or mirrors to realize illumination of the specimen from different directions of incidence.

In wiederum einer anderen Ausführungsform der Erfindung können mehrere Lichtquellen vorhanden sein, welche jeweils getrennt schaltbar sind und welche aus unterschiedlichen Einfallsrichtungen auf den Prüfling treffen. Auf diese Weise kann durch ein einfaches Ein- bzw. Ausschalten einzelner Lichtquellen eine Beleuchtung aus unterschiedlichen Einfallsrichtungen realisiert werden. In yet another embodiment of the invention, a plurality of light sources may be present, which are each separately switchable and which meet from different directions of incidence on the specimen. In this way, lighting can be realized from different directions of incidence by simply switching on or off individual light sources.

Bei Betrieb der erfindungsgemäßen Vorrichtung kann jede Bilderfassungseinrichtung Bilder ihres jeweiligen Erfassungsbereiches aufnehmen, welche mit gerichteter Beleuchtung aus verschiedenen Richtungen erzeugt werden. Dies führt dazu, dass einzelne Teilflächen der Oberfläche, welche relativ zu der durch die Blickrichtung der Bilderfassungseinrichtungen definierten Achse geneigt sind, in den verschiedenen Aufnahmen unterschiedlich hell erscheinen. Somit kann durch Modellierung der beobachteten Intensität in Abhängigkeit des Ortes ein Feld von Normalenvektoren für unterschiedliche Teilflächen im Erfassungsbereich der jeweiligen Bilderfassungseinrichtungen berechnet werden. Zur Erhöhung der Genauigkeit kann in einigen Ausführungsformen der Erfindung in einem zusätzlichen Verfahrensschritt das Reflexionsverhalten der Oberfläche des Prüflings bestimmt werden. In anderen Ausführungsformen der Erfindung weist der Prüfling ein diffuses Reflexionsverhalten auf, beispielsweise durch vorheriges Sandstrahlen oder Schleifen. During operation of the device according to the invention, each image capture device can take pictures of their respective coverage area, which are generated with directed illumination from different directions. As a result, individual partial surfaces of the surface, which are inclined relative to the axis defined by the viewing direction of the image acquisition devices, appear differently bright in the different images. Thus, by modeling the observed intensity as a function of location, a field of normal vectors for different subareas in the coverage area of the respective image capture devices can be calculated. To increase the accuracy, in some embodiments of the invention, the reflection behavior of the surface of the test object can be determined in an additional method step. In other embodiments of the invention, the device under test has a diffuse reflection behavior, for example by prior sandblasting or grinding.

Da die erste Bilderfassungseinrichtung und die zweite Bilderfassungseinrichtung beabstandet zueinander angeordnet sind, weisen identische Merkmale auf der zu untersuchenden Oberfläche in beiden Aufnahmen eine Disparität auf, welche durch den Parallaxenfehler der beiden Bilderfassungseinrichtungen bedingt ist. Aus dieser Disparität kann eine Höheninformation gewonnen werden, d.h. zu einer vorgebbaren Teilfläche bzw. einem vorgebbaren Punkt im Überlappungsbereich der Bilderfassungseinrichtungen kann ein Höhenwert berechnet werden, so dass sich eine 2,5-dimensionale Darstellung bzw. eine Punktwolke errechnen lässt. Since the first image acquisition device and the second image acquisition device are arranged at a distance from one another, identical features on the surface to be examined have a disparity in both images due to the parallax error of the two image acquisition devices. From this disparity, height information can be obtained, i. A height value can be calculated for a predeterminable partial area or a predefinable point in the overlapping area of the image acquisition devices, so that a 2.5-dimensional representation or a point cloud can be calculated.

Aus den in den vorherigen Verfahrensschritten bestimmten Höheninformationen und den lokalen Normalenvektoren lässt sich die Oberflächentopographie des Prüflings vollständig rekonstruieren. Dies gelingt mit dem erfindungsgemäßen Verfahren insbesondere auch dann, wenn die Oberfläche nur abschnittsweise stetig ist und Stufen, Sprünge oder Hinterschneidungen aufweist. Konventionelle photometrische Stereoaufnahmen können solche nicht-stetigen Oberflächen nicht rekonstruieren, da ausschließlich die lokalen Normalenvektoren bekannt sind, nicht jedoch deren absolute Höheninformation. From the height information determined in the previous process steps and the local normal vectors, the surface topography of the test object can be completely reconstructed. This is achieved with the method according to the invention in particular even if the surface is only partially continuous and has steps, jumps or undercuts. Conventional photometric stereo recordings can not reconstruct such non-continuous surfaces since only the local normal vectors are known, but not their absolute height information.

Damit ermöglicht das erfindungsgemäße Verfahren einer Stereoaufnahme mit unterschiedlicher Beleuchtungsrichtung erstmalig die Rekonstruktion einer Oberfläche eines Prüflings mit hoher Genauigkeit auch dann, wenn diese Oberfläche nur abschnittsweise stetig ist. Thus, the inventive method of stereo recording with different illumination direction allows the first time the reconstruction of a surface of a specimen with high accuracy, even if this surface is only partially continuous.

Weiterhin kann das erfindungsgemäße Verfahren und die dazu verwendete Vorrichtung in einigen Ausführungsformen folgende Vorteile aufweisen, welche sich jeweils einzeln oder zusammen zeigen können:
Erfindungsgemäß wird erstmals die Kombination der lokalen Genauigkeit vom photometrischen Stereo mit der globalen Genauigkeit von Stereoaufnahmen mit mehreren Kameras. Mittels photometrischem Stereo können sehr geringe Höhenänderungen bestimmt werden, beispielsweise Kratzer oder sonstige Oberflächenbeschädigungen. Diese Höhendaten weisen aber über größere Flächen gesehen Abweichungen zur Originalfläche auf, d.h. die absolute Normierung ist fehlerhaft. Bei Stereoverfahren unter Verwendung mehrerer Aufnahmepositionen ist dies genau anders herum, d.h. die Fläche kann über größere Flächeninhalte rekonstruiert werden, wobei jedoch kleine Details nicht sichtbar sind. Furthermore, in some embodiments, the method according to the invention and the device used therefor may have the following advantages, which may each be shown individually or together:
According to the invention, for the first time, the combination of local accuracy from photometric stereo with the global accuracy of stereo recordings with multiple cameras. By means of photometric stereo very small height changes can be determined, such as scratches or other surface damage. However, these height data show deviations from the original surface over larger areas, ie the absolute normalization is faulty. In stereo, using multiple shooting positions, this is the other way around, ie, the surface can be reconstructed over larger surface areas, but small details are not visible.

Weiterhin können mittels Stereoverfahren Oberflächen von homogenen bzw. untexturierten Objekten nicht ermittelt werden. Das erfindungsgemäße Verfahren kann jedoch durch die verschiedenen Beleuchtungsrichtungen diesen Mangel ausgleichen. Durch die wechselnden Beleuchtungsrichtungen werden zumindest einige Oberflächenpunkte bzw. Teilflächen unterschiedlich beleuchtet, wodurch korrespondierende Punkte identifizierbar werden und die für ein Stereo-Verfahren erforderlichen Korrespondenzen hergestellt werden können. Daraus können die Disparitäten ermittelt werden, um die Oberfläche rekonstruieren. Furthermore, surfaces of homogeneous or untextured objects can not be determined by means of stereo methods. However, the method according to the invention can compensate for this deficiency by the different directions of illumination. Due to the changing illumination directions, at least some surface points or subareas are illuminated differently, whereby corresponding points can be identified and the correspondences required for a stereo method can be produced. From this, the disparities can be determined to reconstruct the surface.

In einigen Ausführungsformen der Erfindung kann die Reflektanz zumindest einer Teilfläche bestimmt werden, wobei mit dem gemessenen Wert der Reflektanz eine Materialklassifikation durchgeführt wird. Da verschiedene Materialien unterschiedlich reflektieren, können durch die verschiedenen Beleuchtungsparameter Reflektanzeigenschaften für einzelne Teilflächen geschätzt werden, die wiederum zur Materialklassifikation herangezogen werden können. Hierdurch können beispielsweise Beschichtungen, Druckfarben oder ähnliche Oberflächenmodifikationen bestimmt werden. Die Zuordnung einer Reflektanz zu einem Material oder einer Materialklasse kann in einigen Ausführungsformen der Erfindung in einer Zuordnungstabelle gespeichert und bei der Auswertung der Aufnahmen dort ausgelesen werden. In some embodiments of the invention, the reflectance of at least one subarea may be determined, wherein a material classification is performed with the measured value of the reflectance. Since different materials reflect differently, the different lighting parameters can be used to estimate reflectance properties for individual partial areas, which in turn can be used for material classification. As a result, for example, coatings, printing inks or similar surface modifications can be determined. The assignment of a reflectance to a material or a material class can be stored in an allocation table in some embodiments of the invention and read there in the evaluation of recordings.

Die erfindungsgemäße Vorrichtung, bzw. das erfindungsgemäße Verfahren kann beispielsweise in der Qualitätssicherung eingesetzt werden. Hierzu kann eine Auswerteeinrichtung eine Sollform des Prüflings bzw. eine gewünschte Oberflächenbeschaffenheit sowie maximal zulässige Toleranzwerte hierzu speichern und diese Soll-Form mit der gemessenen Ist-Form vergleichen. Auf diese Weise kann unbeeinflusst von subjektiven Eindrücken und mit hoher Geschwindigkeit entschieden werden, ob das Werkstück innerhalb der Toleranz liegt oder verworfen werden muss. Beispiele für solche Werkstücke mit abschnittsweise stetiger Oberfläche sind Retroreflektoren mit Corner-Cube-Strukturen oder spanabhebende Werkzeuge mit geometrisch definierten Schneiden. The device according to the invention or the method according to the invention can be used for example in quality assurance. For this purpose, an evaluation device can store a desired shape of the test object or a desired surface condition as well as maximum permissible tolerance values for this purpose and compare this desired shape with the measured actual shape. In this way, it is possible to decide whether the workpiece is within the tolerance or must be discarded, without being influenced by subjective impressions and at high speed. Examples of such workpieces with sections of continuous surface are retroreflectors with corner cube structures or cutting tools with geometrically defined cutting edges.

In einigen Ausführungsformen der Erfindung weist die erfindungsgemäße Vorrichtung drei Lichtquellen auf, welche jeweils getrennt schaltbar und welche dazu eingerichtet sind, Licht aus unterschiedlichen Einfallsrichtungen in die Erfassungsbereiche der beiden Bilderfassungseinrichtungen zu emittieren. In anderen Ausführungsformen der Erfindung können fünf Lichtquellen vorhanden sein, wobei sich vier Lichtquellen gleichmäßig um eine zentrale Lichtquelle gruppieren, so dass die Beleuchtung sowohl koplanar zu den Erfassungsbereichen der Bilderfassungseinrichtungen erfolgen kann als auch mit unterschiedlichen Azimutwinkeln bei konstanter Elevation. In some embodiments of the invention, the device according to the invention has three light sources which are each separately switchable and which are adapted to emit light from different directions of incidence into the detection areas of the two image capture devices. In other embodiments of the invention, there may be five light sources, with four light sources evenly grouped around a central light source so that illumination may be both coplanar with the detection areas of the image capture devices and with different azimuth angles at constant elevation.

In wiederum einer anderen Ausführungsform der Erfindung können neun Lichtquellen vorhanden sein, so dass sowohl der Azimut als auch die Elevation durch Schalten der jeweiligen Lichtquellen variiert werden kann. Hierdurch kann die erfindungsgemäße Vorrichtung bzw. das Verfahren universeller einsetzbar sein. In yet another embodiment of the invention, nine light sources may be present so that both azimuth and elevation can be varied by switching the respective light sources. As a result, the device or the method according to the invention can be used more universally.

In wiederum einer anderen Ausführungsform der Erfindung kann zumindest eine Lichtquellen verschwenkbar oder neigbar sein sein, so dass Azimut und/oder Elevation stufenlos einstellbar sind. In yet another embodiment of the invention, at least one light source may be pivotable or tiltable, so that azimuth and / or elevation are infinitely adjustable.

In einigen Ausführungsformen der Erfindung kann eine Auswerteeinrichtung vorhanden sein, welche dazu eingerichtet ist, aus zumindest drei Aufnahmen der ersten Bilderfassungseinrichtung und zumindest drei Aufnahmen der zweiten Bilderfassungseinrichtung, welche bei unterschiedlichen Einfallsrichtungen des Lichtes erzeugt wurden, für zumindest ein Flächenelement der Oberfläche des Prüflings eine Höheninformation und einen Normalenvektor zu ermitteln. Somit ist sowohl die Höhenlage als auch die Neigung des jeweiligen Flächenelements bekannt. In some embodiments of the invention, an evaluation device may be present which is set up to provide at least three images of the first image capture device and at least three images of the second image capture device that were generated in different directions of incidence of the light for at least one surface element of the surface of the test object height information and to determine a normal vector. Thus, both the altitude and the inclination of the respective surface element is known.

Die Auswerteeinrichtung kann in einigen Ausführungsformen der Erfindung einen Mikroprozessor oder einen Mikrocontroller enthalten. In diesem Fall kann eine Software vorhanden sein, welche zumindest einige Verfahrensschritte des erfindungsgemäßen Verfahrens ausführt, wenn diese auf dem Mikroprozessor ausgeführt wird. The evaluation device may include a microprocessor or a microcontroller in some embodiments of the invention. In this case, a software may be present which performs at least some method steps of the method according to the invention, if this is carried out on the microprocessor.

In einigen Ausführungsformen der Erfindung kann zumindest eine Teilfläche der Oberfläche durch Integration der Normalenvektoren und zumindest einer aus einer Disparität ermittelten Höheninformation bestimmt werden. Dies erlaubt eine nahezu vollständige Rekonstruktion der Topographie der Oberfläche mit nur geringen Fehlern. Im Falle von nicht-stetigen Oberflächen kann die Oberfläche auf diese Weise in zusammenhängende, stetige Teilflächen segmentiert werden. In some embodiments of the invention, at least a partial area of the surface may be determined by integration of the normal vectors and at least one height information determined from a disparity. This allows a nearly complete reconstruction of the topography of the surface with only minor errors. In the case of non-continuous surfaces, the surface can be segmented in this way into coherent, continuous partial surfaces.

In einigen Ausführungsformen der Erfindung kann das Verfahren dazu in der Lage sein, simultan eine Höhenschätzung und eine Normalenschätzung durchzuführen, ohne dass beides separat berechnet werden muss. In some embodiments of the invention, the method may be capable of simultaneously performing an altitude estimation and a normal estimation without having to separately calculate both.

In einigen Ausführungsformen der Erfindung kann die Oberfläche mittels eines Finite-Element-Ansatzes in einem Gittermodell dargestellt werden. In diesem Fall kann die Finite-Element-Methode dazu angewendet werden, die Bilddaten auszuwerten. Das hierfür verwendete Netz definiert gleichzeitig die Stützstellen des Gitternetzmodells bzw. der Punktwolke der Oberflächenrekonstruktion des Prüflings. In some embodiments of the invention, the surface may be represented by a finite element approach in a grid model. In this case, the finite element method can be used to evaluate the image data. The network used for this defines at the same time the interpolation points of the grid model or the point cloud of the surface reconstruction of the test object.

Nachfolgend soll die Erfindung anhand von Figuren ohne Beschränkung des allgemeinen Erfindungsgedankens näher erläutert werden. Dabei zeigt The invention will be explained in more detail with reference to figures without limiting the general inventive concept. It shows

1 eine Ausführungsform der erfindungsgemäßen Vorrichtung. 1 an embodiment of the device according to the invention.

2 erläutert die Messung zum Erhalt der Normalenvektoren. 2 explains the measurement for obtaining the normal vectors.

3 erläutert die Auswertung zum Erhalt der Höheninformation. 3 explains the evaluation for obtaining the altitude information.

4 zeigt das Ergebnis der Ermittlung der Normalenvektoren. 4 shows the result of the determination of the normal vectors.

5 zeigt das Ergebnis nach Ermittlung der Höheninformation. 5 shows the result after determining the height information.

1 zeigt eine Ausführungsform der erfindungsgemäßen Vorrichtung in einer schematischen Darstellung. Die Vorrichtung 1 weist eine erste Bilderfassungseinrichtung 11 mit einem ersten Erfassungsbereich 21 sowie eine zweite Bilderfassungseinrichtung 12 mit einem zweiten Erfassungsbereich 22 auf. In anderen Ausführungsformen der Erfindung kann die Anzahl der Bilderfassungseinrichtungen auch größer sein und beispielsweise zwischen zwei und etwa 10 betragen. Die Erfassungsbereiche aller Bilderfassungseinrichtungen können zumindest teilweise überlappen, so dass die Bestimmung der Topographie der Oberfläche mit größerer Genauigkeit durchgeführt werden kann, wenn die Aufnahmen mehrerer Bilderfassungseinrichtung zur Verfügung stehen. In anderen Ausführungsformen der Erfindung kann eine Mehrzahl von Bilderfassungseinrichtungen dazu verwendet werden, den Erfassungsbereich zu vergrößern, so dass auch großflächige Prüfling vermessen werden können, beispielsweise Bodenbeläge oder Architekturglas. Jede der Erfassungseinrichtungen 11 und 12 weist zumindest ein Objektiv auf, welches den Erfassungsbereich auf eine Sensorfläche abbildet. Weiterhin weisen die Bilderfassungseinrichtungen jeweils einen Bildwandler auf, beispielsweise einen CCD-Chip, welcher an seinem Ausgang einen Datenstrom bereitstellt, welcher ein Bild des im Erfassungsbereich befindlichen Gegenstandes repräsentiert. 1 shows an embodiment of the device according to the invention in a schematic representation. The device 1 has a first image capture device 11 with a first detection area 21 and a second image capture device 12 with a second detection area 22 on. In other embodiments of the invention, the number of image capture devices may also be greater, for example between two and about ten. The detection ranges of all image capture devices may at least partially overlap, so that the determination of the topography of the surface can be performed with greater accuracy when the images of multiple image capture device are available. In other embodiments of the invention, a plurality of image capture devices can be used to increase the detection range, so that large-area test object can be measured, for example, floor coverings or architectural glass. Each of the detection devices 11 and 12 at least one Lens on, which images the detection area on a sensor surface. Furthermore, the image acquisition devices each have an image converter, for example a CCD chip, which provides at its output a data stream which represents an image of the object located in the detection area.

Wie in 1 weiter dargestellt ist, überlappen die Erfassungsbereiche 21 und 22 teilweise, so dass sich ein Überlappungsbereich 25 auf der Oberfläche 50 des Prüflings 5 ausbildet. In einigen Ausführungsformen der Erfindung kann der Überlappungsbereich 25 die gesamten Erfassungsbereiche 21 und 22 enthalten. As in 1 is further illustrated overlap the detection areas 21 and 22 partially, leaving an overlap area 25 on the surface 50 of the test piece 5 formed. In some embodiments of the invention, the overlap area 25 the entire coverage areas 21 and 22 contain.

Weiterhin weist die Vorrichtung gemäß 1 drei Lichtquellen 31, 32 und 33 auf. Die Lichtquellen dienen dazu, die Erfassungsbereiche 21 und 22 oder zumindest den Überlappungsbereicht 25 aus unterschiedlichen Richtungen zu beleuchten. Hierzu können die Lichtquellen 31, 32 und 33 gerichtetes Licht aussenden, beispielsweise durch Verwendung von Blenden oder Reflektoren können im Dauerstrich-Betrieb betrieben werden oder aber als Blitzbeleuchtung. In einigen Ausführungsformen der Erfindung können die Lichtquellen Gasentladungslampen, Glühfadenlampen, Lichtbogenlampen oder Leuchtdioden sein oder solche enthalten. Furthermore, the device according to 1 three light sources 31 . 32 and 33 on. The light sources serve to the detection areas 21 and 22 or at least the overlap area 25 to illuminate from different directions. For this purpose, the light sources 31 . 32 and 33 emit directional light, for example, by using aperture or reflectors can be operated in continuous wave mode or as flash lighting. In some embodiments of the invention, the light sources may be or include gas discharge lamps, incandescent lamps, arc lamps or light emitting diodes.

Wie aus 1 ersichtlich ist, ist die Lichtquelle 32 dazu eingerichtet, den Überlappungsbereich 25 von oben, d.h. koplanar zu den Erfassungsbereichen 21 und 22 zu beleuchten. Die Lichtquellen 31 und 33 sind seitlich davon angebracht, so dass die Einstrahlrichtung relativ zur Oberfläche 50 einen Elevationswinkel von mehr als 0° aufweist. In anderen Ausführungsformen der Erfindung können weitere, hier nicht dargestellte Lichtquellen vorhanden sein, beispielsweise um weitere Elevationswinkel der Beleuchtungsrichtung zu realisieren oder um unterschiedlichen Azimut-Winkel der Beleuchtung zu ermöglichen. In einigen Ausführungsformen der Erfindung kann zumindest eine Lichtquelle drehbar oder verschwenkbar angeordnet sein, so dass auch durch Verwendung einer geringen Anzahl von Lichtquellen oder von nur einer Lichtquelle eine Beleuchtung der Oberfläche 50 aus unterschiedlichen Richtungen realisiert werden kann. How out 1 is apparent, is the light source 32 set up the overlap area 25 from above, ie coplanar with the detection areas 21 and 22 to illuminate. The light sources 31 and 33 are attached laterally thereof, so that the direction of irradiation relative to the surface 50 has an elevation angle of more than 0 °. In other embodiments of the invention, further, not shown, light sources may be present, for example, to realize further elevation angle of the illumination direction or to allow different azimuth angle of the illumination. In some embodiments of the invention, at least one light source can be arranged to be rotatable or pivotable, so that illumination of the surface is also possible by using a small number of light sources or only one light source 50 can be realized from different directions.

Weiterhin befindet sich in der Vorrichtung 1 eine Auswerteeinrichtung 6, welche dazu vorgesehen ist, den Datenstrom der Bilderfassungseinrichtungen 11 und 12 auszuwerten und zu speichern. Fakultativ kann die Auswerteeinrichtung 6 auch die Lichtquellen 31, 32 und 33 und die Bilderfassungseinrichtungen 11 und 12 steuern. Furthermore, it is located in the device 1 an evaluation device 6 , which is intended to the data stream of the image capture devices 11 and 12 evaluate and save. Optionally, the evaluation device 6 also the light sources 31 . 32 and 33 and the image capture facilities 11 and 12 Taxes.

Der Prüfling 5 weist im dargestellten Beispiel eine Oberfläche 50 auf, welche eine Kante mit nahezu senkrechter Begrenzungsfläche aufweist. Die Oberfläche ist somit nicht stetig. Die in 1 dargestellte Vorrichtung soll dazu eingesetzt werden, die Topographie dieser Oberfläche zu erfassen und entweder mathematisch darzustellen oder zu visualisieren. Beispielsweise kann es sich bei der Oberfläche 50 um eine Werkstückoberfläche handeln, welche im Rahmen der Qualitätssicherung mit Fertigungsrohdaten bzw. einer Sollform verglichen werden soll. The examinee 5 has a surface in the example shown 50 on, which has an edge with almost vertical boundary surface. The surface is therefore not continuous. In the 1 illustrated device is to be used to capture the topography of this surface and either mathematically represent or visualize. For example, it may be at the surface 50 act around a workpiece surface, which is to be compared in the context of quality assurance with raw production data or a desired form.

In einigen Ausführungsformen des erfindungsgemäßen Verfahrens zur Bestimmung der Topographie der Oberfläche 50 werden die drei Lichtquellen 31, 32 und 33 sequentiell angesteuert. Auf diese Weise können von jeder Bilderfassungseinrichtung 11 und 12 jeweils drei Aufnahmen der Oberfläche 50 mit unterschiedlichen Beleuchtungsrichtungen erstellt werden. Zur Erhöhung der Genauigkeit oder zur Plausibilisierung der Ergebnisse können weitere Aufnahmen mit weiteren, nicht dargestellten Lichtquellen erzeugt werden. In some embodiments of the method according to the invention for determining the topography of the surface 50 become the three light sources 31 . 32 and 33 triggered sequentially. In this way, from any image capture device 11 and 12 three shots of the surface each 50 be created with different lighting directions. To increase the accuracy or to check the plausibility of the results, further recordings can be made with further light sources, not shown.

Die Aufnahmen der Bilderfassungseinrichtungen 11 und 12 werden der Auswerteeinrichtung 6 zugeführt. Die Auswerteeinrichtung 6 bestimmt für zumindest eine Bilderfassungseinrichtung aus den drei Aufnahmen mit jeweils unterschiedlicher Beleuchtung die Normalenvektoren der im Erfassungsbereich liegenden Teilflächen. Dieser Verfahrensschritt wird nachfolgend anhand der 2 und 4 näher erläutert. Weiterhin bestimmt die Auswerteeinrichtung für den Überlappungsbereich 25 zumindest eine Disparität, so dass für zumindest eine Teilfläche im Überlappungsbereich 25 eine Höheninformation erhalten werden kann. Dieser Verfahrensschritt wird anhand der 3 und 5 näher erläutert. Schließlich kann die Oberfläche 50 durch Integration der Normalenvektoren und Normierung mit der Höheninformation rekonstruiert bzw. modelliert werden. Das so erhaltene Modell der Oberfläche 50 kann dann entweder visualisiert werden, so dass die Oberfläche durch geschultes Prüfpersonal beurteilt werden kann. In anderen Ausführungsformen der Erfindung kann das mathematische Modell der Oberfläche 50 mit einer gewünschten Sollform verglichen werden, wobei Abweichungen visualisiert werden oder der Prüfling automatisiert als defekt gekennzeichnet wird. The pictures of the image capture devices 11 and 12 become the evaluation device 6 fed. The evaluation device 6 For at least one image capture device, the normal vectors of the subareas within the coverage area are determined from the three images each having a different illumination. This process step is described below with reference to 2 and 4 explained in more detail. Furthermore, determines the evaluation of the overlap area 25 at least one disparity, so that for at least a partial area in the overlapping area 25 a height information can be obtained. This process step is based on the 3 and 5 explained in more detail. Finally, the surface can be 50 be reconstructed or modeled by integration of the normal vectors and normalization with the height information. The model of the surface thus obtained 50 can then be visualized either, so that the surface can be assessed by trained test personnel. In other embodiments of the invention, the mathematical model of the surface 50 be compared with a desired nominal shape, with deviations are visualized or the test specimen is automatically marked as defective.

Anhand der 2 und 4 wird nachfolgend erläutert, wie lokale Normalenrichtungen ermittelt werden können. Hierzu zeigt 2 eine Bilderfassungseinrichtung 11, welche in etwa senkrecht zur Oberfläche 50 des Prüflings 5 angeordnet ist. Weiterhin zeigt 2 beispielhaft eine einzelne Lichtquelle 31. Die Einfallsrichtung des Lichtes kann durch einen Elevationswinkel θ und einen Azimutwinkel φ angegeben werden. Based on 2 and 4 The following explains how local normal directions can be determined. This shows 2 an image capture device 11 which are approximately perpendicular to the surface 50 of the test piece 5 is arranged. Further shows 2 by way of example a single light source 31 , The direction of incidence of the light can be given by an elevation angle θ and an azimuth angle φ.

Sofern die Oberfläche 50 plan und eben ausgeführt ist, führt die Lichtquelle 31 zu einer homogenen Ausleuchtung der Oberfläche 50. Bei Änderung der Einfallsrichtung des Lichtes bleibt die Ausleuchtung der Oberfläche 50 homogen. Unless the surface 50 plan and just executed, leads the light source 31 to a homogeneous illumination of the surface 50 , When the direction of incidence of the light changes, the illumination of the surface remains 50 homogeneous.

Weist die Oberfläche 50 jedoch vorstehende Bereiche oder abgesenkte Flächenbereiche auf, so führt die schräge Einfallsrichtung des Lichtes der Lichtquelle 31 mit einer Bestrahlungsstärke b zu einer teilweisen Abschattung der Oberfläche 50. Diese Abschattung kann von der Bilderfassungseinrichtung 11 als Helligkeitsunterschied g(x) auf der Oberfläche erfasst werden. Bei unterschiedlichen Einfallsrichtungen b_e des Lichtes werden unterschiedliche Flächenbereiche der Oberfläche 50 hell bzw. dunkel erscheinen. Bei bekannter bzw. angenommener Reflektanz ρ(x) der Oberfläche kann somit aus mehreren Aufnahmen mit unterschiedlichen, nicht koplanaren Beleuchtungsrichtungen aus den gemessenen Helligkeitsunterschieden für einzelne Teilflächen die jeweils lokale Normalenrichtung n_e(x) bestimmt werden:

B = (b_e,1, ..., b_e,n) die Beleuchtungsmatrix darstellt. Indicates the surface 50 However, protruding areas or lowered surface areas, so leads the oblique direction of incidence of the light of the light source 31 with an irradiance b to a partial shading of the surface 50 , This shading can be done by the image capture device 11 are detected as brightness difference g (x) on the surface. In different directions of incidence b _{e of} the light different surface areas of the surface 50 appear light or dark. With known or assumed reflectance ρ (x) of the surface, the respective local normalization direction n _e (x) can thus be determined from several images with different, non-coplanar illumination directions from the measured brightness differences for individual partial surfaces:

B = (b _{e, 1} , ..., b _{e, n} ) represents the illumination matrix.

Das Ergebnis einer solchen Modellierung ist beispielhaft in 4 gezeigt. Dabei ist darauf hinzuweisen, dass die Teilflächen 55 nicht notwendigerweise auf der Oberfläche identifizierbar sein müssen. Vielmehr kann es sich um eine Diskretisierung der Aufnahme der erfassten Oberfläche handeln. Die Teilflächen 55 stellen somit nur ein gedankliches Konzept zur Segmentierung der Oberfläche dar. The result of such a modeling is exemplary in 4 shown. It should be noted that the faces 55 not necessarily be identifiable on the surface. Rather, it may be a discretization of the recording of the detected surface. The partial surfaces 55 thus represent only a mental concept for the segmentation of the surface.

Wie 4 zeigt, sind die einzelnen Teilflächen 55 im dargestellten Ausführungsbeispiel in unterschiedliche Richtungen geneigt. Somit kann aus den lokalen Normalenvektoren die Neigung der Oberfläche bzw. die Neigung einer stetigen Teilfläche der Oberfläche 50 ermittelt werden. As 4 shows are the individual faces 55 inclined in different directions in the illustrated embodiment. Thus, from the local normal vectors, the inclination of the surface or the inclination of a continuous partial surface of the surface 50 be determined.

Anhand 3 und der 5 wird erläutert, wie im Überlappungsbereich 25 die Höhe eines Punktes 56 auf der Oberfläche 50 ermittelt werden kann. Hierzu wird ein einzelnes, identifizierbares Element 57 der Oberfläche 50 in beiden Bilderfassungseinrichtungen 11 und 12 abgebildet. Die Bilderfassungseinrichtungen 11 uns 12 sind dabei um den Abstand D voneinander beabstandet. Der Abstand des beobachteten Merkmals auf der Oberfläche 50 zur Brennweite f der Bilderfassungseinrichtungen 11 und 12 beträgt d. Based 3 and the 5 is explained as in the overlap area 25 the height of a point 56 on the surface 50 can be determined. This will be a single, identifiable element 57 the surface 50 in both image capture devices 11 and 12 displayed. The image capture devices 11 us 12 are spaced apart by the distance D from each other. The distance of the observed feature on the surface 50 to the focal length f of the image capture devices 11 and 12 is d.

Aufgrund des Parallaxenfehlers bei seitlicher Betrachtung des Oberflächenmerkmals 57 wird das Bild in beiden Bilderfassungseinrichtungen nicht auf der identischen Stelle des Bildwandlers abgebildet. Vielmehr weist das Bild eine Verschiebung ν auf. Aus der Differenz der beiden Verschiebungen ergibt sich die Disparität der Abbildung des entsprechenden Oberflächenmerkmals. Hieraus kann die Entfernung d aus dem Zusammenhang d = D·f / ν bestimmt werden. Due to the parallax error when viewing the surface feature laterally 57 the image in both image capture devices is not mapped to the identical location of the image converter. Rather, the image has a shift ν. The difference between the two displacements results in the disparity of the mapping of the corresponding surface feature. From this, the distance d from the context d = D · f / v be determined.

Sofern dieses Verfahren für eine Mehrzahl identifizierbarer Oberflächenmerkmale auf der Oberfläche 50 durchgeführt wird, ergibt sich eine 2,5-dimensionale Darstellung der Oberfläche, wie in 5 dargestellt. Hierbei ist die Oberfläche in der x-y-Ebene dargestellt, wobei für jede Koordinate bzw. jeden Stützpunkt 56 eine Höheninformation vorhanden ist. In 5 ist diese Höheninformation d auf der z-Achse aufgetragen, sodass sich die absolute Höhenlage der einzelnen Merkmale der Oberfläche 50 als Punktwolke darstellen lässt. Die Punktwolke enthält eine Mehrzahl von Stützpunkten 56. Provided this method for a plurality of identifiable surface features on the surface 50 is performed, results in a 2.5-dimensional representation of the surface, as in 5 shown. Here, the surface is shown in the xy plane, where for each coordinate or each vertex 56 a height information is available. In 5 this height information d is plotted on the z-axis, so that the absolute altitude of the individual features of the surface 50 can be represented as a point cloud. The point cloud contains a plurality of vertices 56 ,

Schließlich können die in 4 dargestellten Normalenvektoren für einzelne Teilflächen 55 mit der Höheninformation gemäß 5 normiert werden, sodass sich die Oberfläche sowohl nach Richtung als auch nach Höhe rekonstruieren lässt. Auf diese Weise können auch Sprünge erkannt werden, sodass nicht-stetige oder nur abschnittsweise stetige Flächen rekonstruierbar sind. Finally, the in 4 represented normal vectors for individual faces 55 with the height information according to 5 normalized so that the surface can be reconstructed both in direction and in height. In this way, jumps can be detected so that non-steady or only partially continuous surfaces can be reconstructed.

Die anhand der 2 bis 5 erläuterte Auswertung kann in einigen Ausführungsformen der Erfindung mittels einer Finite-Elemente-Methode erfolgen. Hieraus ergibt sich dann inhärent ein Gitternetzmodel zur Darstellung der Oberfläche an den Stützpunkten des verwendeten Gitters. The basis of the 2 to 5 explained evaluation can be done in some embodiments of the invention by means of a finite element method. This then inherently results in a grid model for representing the surface at the interpolation points of the grating used.

Selbstverständlich ist die Erfindung nicht auf die in den Figuren dargestellte Ausführungsform beschränkt. Die vorstehende Beschreibung ist daher nicht als beschränkend, sondern als erläuternd anzusehen. Die nachfolgenden Ansprüche sind so zu verstehen, dass ein genanntes Merkmal in zumindest einer Ausführungsform der Erfindung vorhanden ist. Dies schließt die Anwesenheit weiterer Merkmale nicht aus. Sofern die Ansprüche und die vorstehende Beschreibung „erste“ und „zweite“ Ausführungsformen definieren, so dient diese Bezeichnung der Unterscheidung zweier gleichartiger Ausführungsformen, ohne eine Rangfolge festzulegen. Merkmale aus unterschiedlichen Ausführungsformen der Erfindung können jederzeit kombiniert werden, um so weitere Ausführungsformen der Erfindung zu erhalten. Of course, the invention is not limited to the embodiment shown in the figures. The above description is therefore not to be considered as limiting, but as illustrative. The following claims are to be understood as meaning that a named feature is present in at least one embodiment of the invention. This does not exclude the presence of further features. As long as the claims and the above description define "first" and "second" embodiments, this designation serves to distinguish two similar embodiments without prioritizing them. Features of different embodiments of the invention may be combined at any time so as to obtain further embodiments of the invention.

Claims

Contraption ( 1 ) With a first image capture device ( 11 ) with a first detection area ( 21 ) and a second image capture device ( 12 ) with a second detection area ( 22 ), the first coverage area ( 21 ) and the second coverage area ( 22 ) at least partially overlap, and the device further comprises at least one light source ( 31 . 32 . 33 ), which is adapted to light from different directions of incidence in at least one detection area ( 21 . 22 ) to emit.

Device according to claim 1, characterized in that at least three light sources ( 31 . 32 . 33 ), which are each separately switchable and which is adapted to light from different directions of incidence in at least one detection area ( 21 . 22 ) to emit.

Apparatus according to claim 1 or 2, further comprising an evaluation device ( 6 ), which is set up from at least three recordings of the first image capture device ( 11 ) and at least three images of the second image capture device ( 12 ), which were generated in different directions of incidence of the light, for at least one area element in the detection areas (FIG. 21 . 22 ) to determine a height information and a normal vector.

Device according to one of claims 1 to 3, characterized in that the evaluation device ( 6 ) is adapted to at least a partial surface of the surface ( 50 ) in the coverage areas ( 21 . 22 ) by integration of the normal vectors and at least one height information determined from a disparity.

Method for determining the topography of a surface ( 50 ) of a test object ( 5 ), in which at least with a first image capture device ( 11 ) with a first detection area ( 21 ) and a second image capture device ( 12 ) with a second detection area ( 22 ) a plurality of images of the surface ( 50 ), the first detection area ( 21 ) and the second coverage area ( 22 ) at least partially overlap, and furthermore with at least one light source ( 31 . 32 . 33 ) Light from different directions of incidence into at least one detection area ( 21 . 22 ) is emitted.

Method according to claim 5, characterized in that with each image capture device ( 11 . 12 ) at least three recordings are generated, wherein at least three light sources ( 31 . 32 . 33 ), which are each separately switchable and which light from different directions of incidence in at least one detection area ( 21 . 22 ), each of the three images having different illumination of the surface ( 50 ) he follows.

Method according to one of claims 5 or 6, characterized in that from at least three recordings of the first image capture device ( 11 ) and at least three images of the second image capture device ( 12 ), which were generated in different directions of incidence of the light, for at least one area element in the detection areas (FIG. 21 . 22 ) a height information and a normal vector is determined

Method according to one of claims 5 to 7, characterized in that the surface ( 50 ) in the coverage areas ( 21 . 22 ) is determined by integration of the normal vectors and at least one height information determined from a disparity.

Method according to one of claims 5 to 8, characterized in that the surface ( 50 ) is segmented into coherent continuous partial surfaces.

Method according to one of Claims 5 to 9, characterized in that the reflectance of at least one partial area is determined and a material classification is carried out with the measured value of the reflectance.

Use of a device according to one of claims 1 to 4 for detecting and reconstructing non-continuous surfaces ( 50 ).