DE102007023920A1 - Method and device for surface detection of a spatial object - Google Patents

Method and device for surface detection of a spatial object Download PDF

Info

Publication number
DE102007023920A1
DE102007023920A1 DE200710023920 DE102007023920A DE102007023920A1 DE 102007023920 A1 DE102007023920 A1 DE 102007023920A1 DE 200710023920 DE200710023920 DE 200710023920 DE 102007023920 A DE102007023920 A DE 102007023920A DE 102007023920 A1 DE102007023920 A1 DE 102007023920A1
Authority
DE
Germany
Prior art keywords
illumination
different
lighting
object point
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE200710023920
Other languages
German (de)
Inventor
Günter Dr. Doemens
Claudio Dr. Laloni
Michael Dr. Stockmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE200710023920 priority Critical patent/DE102007023920A1/en
Priority to PCT/EP2008/055558 priority patent/WO2008141924A1/en
Publication of DE102007023920A1 publication Critical patent/DE102007023920A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Verfahren und Vorrichtung zur Oberflächenerfassung eines räumlichen Objektes (1) mittels Bildaufnahme über eine Fläche oder entlang einer Linie, strukturierter Beleuchtung sowie unterschiedlicher Beleuchtungs- (7) und Aufnahmerichtung (5), dadurch gekennzeichnet, dass mittels unterschiedlichem zeitlichen Beleuchtungsverlauf von Objektpunkten oder Objektpunktgruppen die am jeweiligen Objektpunkt (P) vorliegende Beleuchtungsrichtung (7) bestimmt wiung (5) der Bildaufnahme die Raumkoordinaten des Objektpunktes berechnet werden.Method and device for surface detection of a spatial object (1) by means of image acquisition over a surface or along a line, structured illumination and different illumination (7) and recording direction (5), characterized in that by means of different temporal illumination course of object points or object point groups on determined illumination point (7) determines wiung (5) of the image acquisition, the spatial coordinates of the object point are calculated.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Oberflächenerfassung einer dreidimensionalen Objektoberfläche, wobei allgemein eine Bilderfassung mit strukturierter Beleuchtung und Triangulation erfolgt.The The invention relates to a method and a device for surface detection a three-dimensional object surface, generally an image capture done with structured lighting and triangulation.

In der industriellen Bildverarbeitung wird zunehmend die Erfassung und Verarbeitung dreidimensionaler Bilder aufgrund der Komplexität der Aufgabenstellung sowie der notwendigen Zuverlässigkeit erforderlich. Ähnliches gilt für die Bereiche Safety/Sicherheitstechnik zum Schutz von Personen und Security/Sicherheitstechnik zur Zugangsüberwachung, sowie auch für den Bereich Medizintechnik. Dabei werden hohe Anforderungen an die Datenrate, die Dynamik sowie die Auflösung der dreidimensionalen Bildinformationen gestellt. Zusätzlich sollten aus Kostengründen weitgehend Standardkomponenten Verwendung finden. Derzeit kommen hierfür in erster Linie Verfahren der Videobildverarbeitung in Verbindung mit aktiver Beleuchtung und Triangulation zur Anwendung. Unter aktiver Beleuchtung ist insbesondere eine strukturierte Beleuchtung zu verstehen.In The industrial image processing is increasingly the detection and processing three-dimensional images due to the complexity of the task as well as the necessary reliability required. something similar applies to the areas safety / security technology for the protection of persons and Security / security technology for access control, as well as for the area Medical technology. There are high demands on the data rate, the dynamics as well as the resolution the three-dimensional image information provided. In addition, should for cost reasons are largely standard components use. Currently coming therefor primarily method of video image processing with active lighting and triangulation for use. Under active Lighting is to be understood in particular as a structured illumination.

Die heute in der Regel eingesetzten dreidimensionalen (3D)-Verfahren auf der Basis von Videokameras und Triangulation unterscheiden sich im Wesentlichen durch die Art der aktiven Beleuchtung. Allen Verfahren ist dabei gemeinsam, dass die Raumkoordinaten eines Objektpunktes durch den Schnitt eines Sehstrahls (Beobachtungsstrahl) der Videokamera und einer Raumebene, welche durch die aktive Beleuchtung vorgegeben und bekannt ist, bestimmt wird. Die einfachste Generierung von definierten Raumebenen stellen Hell-Dunkel-Streifen bei der Objektbeleuchtung dar. An dieser Stelle wird jedoch sehr schnell bei entsprechenden Tiefensprüngen an der Objektoberfläche die Eindeutigkeit gestört. Dieses Problem wird umgan gen durch den so genannten Grey-Code, wobei jede Beleuchtungsebene im Raum durch die eine zeitliche Sequenz von Binärmustern eindeutig definiert ist. Der Nachteil liegt in der deutlich geringeren Datenrate im Verhältnis zu Systemen ohne diese Codierung, da mit der Codierung eine Vielzahl von Videobildern erforderlich wird, wie beispielsweise acht Bilder. Auch haben die auf Streifenmustern basierenden Verfahren grundsätzlich den Nachteil, dass die Tiefeninformation nur an Kantenübergängen bestimmt werden kann, nicht jedoch innerhalb der Strukturen.The today generally used three-dimensional (3D) method on the Basics of video cameras and triangulation are essentially different by the kind of active lighting. All procedures are included common that the spatial coordinates of an object point through the cut a visual beam (observation beam) of the video camera and a Room level, which is given by the active lighting and known is determined. The simplest generation of defined room levels represent light-dark stripes in the object lighting. At this However, position becomes very fast at corresponding depth jumps the object surface the uniqueness disturbed. This problem is circumvented by the so-called gray code, where every lighting level in the room through the one temporal sequence of binary patterns is clearly defined. The disadvantage is in the much lower Data rate in proportion to systems without this encoding, because with the coding a variety requires video pictures, such as eight pictures. Also, the striped pattern-based methods basically have the Disadvantage that the depth information only determines at edge transitions but not within the structures.

Zur Lösung des oben angesprochenen Problems kann das so genannte Phasen-Shift-Verfahren eingesetzt werden. Hier wird eine sinusförmig modulierte Helligkeitsverteilung in unterschiedlichen Phasenlagen und Perioden sequentiell auf das Projekt projiziert. Nachteilig gestaltet sich hier allerdings auch die Vielzahl von erforderlichen Videobildern zur Gewinnung eines einzigen dreidimensionalen Bildes. Durch unterschiedliche farbige Gestaltung der Beleuchtungsebenen kann aus einem einzigen Videobild auch die Lage der Beleuchtungsebenen im Raum bestimmt werden. Die daraus resultierende hohe Datenrate für die 3D-Bilder hat jedoch den Nachteil, dass nur an den Kanten 3D-Informationen gewonnen werden können. Ferner führt die Verwendung eines breiten Farbspektrums zu einer höheren Empfindlichkeit gegenüber Tageslicht.to solution of the above-mentioned problem, the so-called phase shift method can be used become. Here is a sinusoidal modulated brightness distribution in different phase angles and periods projected sequentially onto the project. adversely However, here too, the large number of required ones is created Video images for obtaining a single three-dimensional image. By different colored design of lighting levels can From a single video image, the location of the lighting levels to be determined in the room. The resulting high data rate for the However, 3D images has the disadvantage that only 3D information is gained at the edges can be. Further leads the use of a broad color spectrum to a higher sensitivity across from Daylight.

Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur dreidimensionalen Objekterfassung zu beschreiben, welche/s Nachteile entsprechend dem Stand der Technik vermeidet.Of the Invention is therefore the object of a method and a Describe apparatus for three-dimensional object detection which avoids disadvantages of the prior art.

Die Lösung dieser Aufgabe geschieht durch die Merkmalskombination des Patentanspruchs 1 bzw. des Anspruchs 16. Vorteilhafte Ausgestaltungen sowie Verwendungen sind den Unteransprüchen zu entnehmen.The solution This task is done by the combination of features of the claim 1 and of claim 16. Advantageous embodiments and uses are the dependent claims refer to.

Der Erfindung liegt die Erkenntnis zugrunde, dass unter Beibehaltung der allgemeinen Verfahrensweise zur Oberflächener fassung eines räumlichen Objektes mittels strukturierter Beleuchtung und unterschiedlicher Beleuchtungs- und Aufnahmerichtung eine wesentliche Verfahrensvereinfachung, Beschleunigung und Reproduktionssicherheit durch die Anwendung einer erfindungsgemäßen Codierung des strukturierten Lichtes erzielen lässt. Diese Strukturierung des Lichtes wird durch eine zeitliche Codierung der optischen Triangulation dargestellt, wodurch mittels lediglich zweier Videobilder die vollständige Erfassung eines dreidimensionalen Bildes erzielbar ist. Die räumlichen Koordinaten eines Objektpunktes werden aus dem Schnittpunkt einer Ebene und eines Strahls bestimmt. Dies liegt vor, falls ein Kamerastrahl/Sehstrahl eine Ebene schneidet, eine Beleuchtungsebene, für die eine bestimmte Zeitcodierung zutrifft und die somit eindeutig identifizierbar ist. Der Objektpunkt liegt dabei sowohl auf dem Sehstrahl als auch auf der Beleuchtungsebene. An dieser Stelle kann ein geometrisches Berechnungsverfahren ansetzen, wobei in der Regel zweckmäßigerweise die Triangulation verwendet wird. Somit ergibt sich aus dem Sehstrahl und dessen Richtung durch die ermittelte Beleuchtungsebene eindeutig die räumliche Position des einen oder bei weiteren Kombinationen für die Vielzahl von Objektoberflächenpunkten jeweils deren Position. Insgesamt lässt sich daraus ein vollständiges dreidimensionales Bild zusammensetzen.Of the Invention is based on the finding that while maintaining the general procedure for Oberflächener constitution of a spatial Object by means of structured lighting and different Lighting and recording direction an essential procedural simplification, Acceleration and reproductive safety through the application of a coding of the invention structured light. This structuring of the Light is given by a temporal coding of the optical triangulation represented, whereby by means of only two video images, the complete detection a three-dimensional image is achievable. The spatial Coordinates of an object point become from the intersection of a Plane and a beam. This is if there is a camera beam / line of sight a plane intersects, a lighting plane, for a given time encoding is true and thus clearly identifiable. The object point lies both on the line of sight and on the lighting level. At this point, a geometric calculation method can begin, usually expediently the triangulation is used. This results from the line of sight and its direction by the determined lighting level clearly the spatial Position of one or more combinations for the plurality of object surface points each their position. Overall, it can be a complete three-dimensional Assemble picture.

Die Kombination der Zeitcodierung und der optischen Triangulation zur vollständigen Erfassung eines dreidimensionalen Bildes ergibt wesentliche Vorteile. Für industrielle Anwendungen sind wesentliche Vorteile hinsichtlich einer höheren Datenrate im Vergleich zu bestehenden Verfahren zu erwarten.The Combination of time coding and optical triangulation complete Capturing a three-dimensional image yields significant benefits. For industrial Applications are significant advantages in terms of a higher data rate compared to existing procedures.

Die räumliche Lage einer Ebene kann mittels der Zeitcodierung der Beleuchtung am Kamerabild erkannt werden. Da bisherige Verfahren lange Zeit als Codierungskriterium Farbe oder unterschiedliche Schwarz-Weiß-Sequenzen oder Phasenverschiebungen eingesetzt haben, obwohl damit unterschiedliche Nachteile vorhanden waren, stellt der Einsatz einer zeitcodierten strukturierten Beleuchtung einen wesentlichen erfinderischen Schritt dar. Mit der Zeitcodierung wird die Raumebene oder der Strahl, auf dem der Objektpunkt liegt, eindeutig durch die an dem Objektpunkt herrschende Beleuchtungsdauer Tn codiert bzw. gekennzeichnet. Zur Verifizierung von Beleuchtungsebenen mit jeweils unterschiedlicher Beleuchtungsdauer wird beispielsweise eine Hell-Dunkelkante derart vor der Beleuchtung bewegt, dass für jede Position auf der Objektoberfläche eine eindeutige, aber unterschiedliche Beleuchtungsdauer Tn entsteht.The spatial position of a plane can be detected by means of the time coding of the illumination on the camera image. Since previous methods have long used color or different black-and-white sequences or phase shifts as the coding criterion, although different disadvantages have been present, the use of time-coded structured illumination represents an essential inventive step. With the time coding, the spatial plane or the beam, on which the object point lies, unambiguously coded or marked by the illumination duration T n prevailing at the object point. In order to verify illumination levels with different illumination durations, for example, a bright-dark edge is moved in front of the illumination in such a way that a unique but different illumination duration T n is produced for each position on the object surface.

Die Aufbringung einer derartig strukturierten Beleuchtung auf einer Objektoberfläche kann vorteilhafterweise durch eine dynamische Beleuchtung über einen Digital Mirror Device (DMD) realisiert werden, wobei simuliert wird, dass eine optische Kante, die sich bewegt, erzeugt wird. insbesondere bei makroskopischen Anwendungen im Bereich von Safety und Security ist auch eine Anordnung von Halbleiter-Lichtquellen sinnvoll, die definierte Beleuchtungsstrahlen erzeugen und deren Codierung bzw. die Codierung des Lichtes wird durch eine zeitlich versetzte Einschaltung erzeugt.The Application of such a structured lighting on one object surface can advantageously by a dynamic lighting over a Digital Mirror Device (DMD), simulating that an optical edge that moves is generated. especially for macroscopic applications in the area of safety and security is also an arrangement of semiconductor light sources makes sense generate defined illumination beams and their coding or the coding of the light is by a time-shifted activation generated.

Wesentlich für die Erfindung ist die Erkennung der Beleuchtungsdauer für jeden einzelnen Objektpunkt bzw. für jedes Pixel in einem Kamerabild und damit die Bestimmung der Raumebene oder des Strahls, auf dem der einzelne Objektpunkt sich befindet. Hierzu wird vorteilhafterweise eine integrierende Halbleiterkamera mit m mal n Elementen eingesetzt, die über eine Integrationszeit T0 an jedem Pixel die lokale Beleuchtungsstärke aufintegriert und als Ergebnis eine Spannung U0n liefert. Die Steigung dieses Anstiegs an einem beliebigen Pixel n beträgt dann bei exakter Integration und konstanter Beleuchtung innerhalb der Integrationszeit T0: tan α = U0n/T0.Essential for the invention is the detection of the illumination duration for each individual object point or for each pixel in a camera image and thus the determination of the spatial plane or of the beam on which the individual object point is located. For this purpose, an integrating semiconductor camera with m by n elements is advantageously used, which integrates the local illumination intensity at each pixel over an integration time T 0 and as a result delivers a voltage U 0n . The slope of this rise at any pixel n is then, with exact integration and constant illumination within the integration time T 0 : tan α = U 0n / T 0 .

In einem weiteren Kamerabild wird nun synchron zum Beginn der Integration der Halbleiter-Kamera die Beleuchtung des Gesichtsfeldes über die Bewegung der Hell-Dunkel-Kante gestartet. Zweckmäßigerweise wird die volle Beleuchtung deutlich vor dem Ende der Integrationszeit erreicht, um die Beleuch tungsdauer der einzelnen Pixel nicht zu unterschiedlich ausfallen zu lassen. Beispielsweise kann TS = T0/2 sein. Die Beleuchtungsdauer Tn eines beliebigen Objektpunktes hängt dann eindeutig von dessen Lage sowie dem zeitlichen Bewegungsverhalten der Hell-Dunkel-Kante ab. Für jeden einzelnen Objektpunkt errechnet sich die Zeit Tn aus der jeweiligen Spannung Un bei dynamischer Beleuchtung sowie aus der jeweiligen Spannung U0n bei der vollständigen Beleuchtung über die gesamte Integrationszeit T0 hinweg, wobei letztere aus dem ersten aufgenommenen Kamerabild bekannt ist.In another camera image, the illumination of the field of view is started by the movement of the light-dark edge synchronously with the beginning of the integration of the semiconductor camera. Conveniently, the full illumination is achieved significantly before the end of the integration time so as not to make the lighting duration of each pixel too different. For example, T S = T 0/2 . The illumination duration T n of any object point then depends uniquely on its position and the temporal movement behavior of the light-dark edge. For each individual object point, the time T n is calculated from the respective voltage U n in the case of dynamic illumination and from the respective voltage U 0n during complete illumination over the entire integration time T 0 , the latter being known from the first recorded camera image.

Eine mathematische Beziehung für den Zusammenhang entsprechend dem letzten Absatz ist wie folgt

Figure 00050001
A mathematical relationship for the context according to the last paragraph is as follows
Figure 00050001

Durch die beschriebene Kombination einer dynamischen Beleuchtung und einer Vollbildbeleuchtung wird für jeden einzelnen Bildpunkt die Beleuchtungsdauer aus dem resultierenden Kamerabild bestimmbar und damit die Beleuchtungsebenen bzw. der Beleuchtungsstrahl, auf dem sich der einzelne Objektpunkt befindet.By the described combination of a dynamic lighting and a Full screen lighting is used for every single pixel the illumination duration from the resulting Camera image determined and thus the lighting levels or the Illuminating beam on which the single object point is located.

Der Einsatz einer bewegbaren Hell-Dunkel-Kante zur Erzeugung einer Lichtcodierung erlaubt darüber hinaus eine lückenlose Erfassung der dreidimensionalen Koordinaten aller Objektpunkte. Die Verwendung von monochromatischem Licht, vorzugsweise im nahen Infrarotbereich macht das Verfahren insgesamt gegenüber Umgebungsbeleuchtung robust. Ein zusätzlicher Vorteil liegt in einer weiteren Unempfindlichkeit gegenüber einer unscharfen Abbildung aufgrund der Quotientenbildung zweier integraler Intensitätswerte am gleichen Ort.Of the Use of a movable light-dark edge to generate a light coding allowed over it beyond a gapless Acquisition of the three-dimensional coordinates of all object points. The Use of monochromatic light, preferably in the near infrared range makes the process overall robust against ambient lighting. An additional one Advantage lies in a further insensitivity to one blurred figure due to the quotient of two integral intensity values at the same place.

Im Folgenden werden anhand der schematischen begleitenden Figuren Ausführungsbeispiele beschrieben:in the Exemplary embodiments will be described below with reference to the schematic accompanying figures:

1 zeigt das Prinzip eines Verfahrens zur Aufnahme von dreidimensionalen Objektoberflächen, wobei an einer Beleuchtungseinheit eine so genannte Hell-Dunkel-Kante 3 vorbeiläuft, 1 shows the principle of a method for recording three-dimensional object surfaces, wherein at a lighting unit, a so-called light-dark edge 3 passes,

2 zeigt eine Darstellung entsprechend 1, wobei die geometrische Zuordnung von Ebenen durch diskrete nebeneinander angeordnete Lichtquellen dargestellt wird. 2 shows a representation accordingly 1 , where the geometric assignment of planes is represented by discrete juxtaposed light sources.

3 zeigt drei wesentliche Verfahrensschritte, die mittels Triangulation und der Aufnahme von zwei unterschiedlichen Videobildern einer Szene ein Bild mit dreidimensionalem Charakter ergibt. 3 shows three essential process steps, which results in an image with three-dimensional character by means of triangulation and the recording of two different video images of a scene.

Die Vorteile der Erfindung liegen insbesondere darin, dass
– eine hohe Datenrate verarbeitbar ist, da pro aufgenommenem dreidimensionalen Bild lediglich zwei Videobilder erforderlich sind,
– umgebungsunabhängige dreidimensionale Messungen für jedes Pixel möglich sind,
– ein monochromatisches Verfahren möglich ist, welches insbesondere eine hohe Stabilität bzw. Robustheit gegenüber Umgebungslicht aufweist,
– das Verfahren weitgehend unabhängig von der Abbildungsqualität der aktiven Beleuchtung ist, die beispielsweise durch eine Hell-Dunkel-Kante dargestellt ist, wobei die Kantenschärfe betrachtet wird.The advantages of the invention are in particular that
A high data rate can be processed since only two video images are required per recorded three-dimensional image,
- environment-independent three-dimensional measurements are possible for each pixel,
- A monochromatic method is possible, wel Ches in particular has a high stability or robustness to ambient light,
- The method is largely independent of the imaging quality of the active illumination, which is represented for example by a light-dark edge, the edge sharpness is considered.

Das Prinzip der Erfindung lässt sich derart skizzieren, dass jede Beleuchtungsebene bei der dreidimensionalen Objektaufnahme eindeutig über die Beleuchtungsdauer bzw. den zeitlichen Beginn der Beleuchtung codiert bzw. zugeordnet wird, und die pixelspezifische Beleuchtungsdauer bzw. der zeitliche Beginn der Beleuchtung unmittelbar aus dem Videosignal des einzelnen Pixels bestimmt wird.The Principle of the invention leaves Outline yourself in such a way that each lighting level in the three-dimensional Object photograph clearly above the Illumination time or the beginning of the lighting coded or mapped, and the pixel-specific illumination duration or the timing of the lighting directly from the video signal of the individual pixel is determined.

Im Vergleich zur bekannten Grey-Code-Verfahren, Phasen-Shift-Verfahren, Colour-coded Triangulation, weist die so genannte Time-coded Triangulation/zeitcodierte Triangulation Vorteile auf:
Es können höhere Datenraten erzielt werden, es wird ein gesamtes dreidimensionales Bild erzeugt, die Robustheit gegen Umgebungsbeleuchtung ist groß und die Robustheit gegenüber Unschärfen im System ist ebenfalls groß.Compared to the well-known gray code method, phase shift method, color-coded triangulation, so-called time-coded triangulation / time-coded triangulation has advantages:
Higher data rates can be achieved, an entire three-dimensional image is generated, the robustness against ambient lighting is high and the robustness against blurring in the system is also great.

Die zeitcodierte Triangulation hat somit insgesamt eine größere Anzahl von wesentlichen Vorteilen gegenüber dem im Stand der Technik bekannten Verfahren bei gleichem Kostenaufwand. So genannte Phasen-Shift-Verfahren sind mit dem Nachteil einer niedrigen Datenrate verbunden. So genanntes Colour-coded Triangulations-Verfahren weist zwar eine hohe Datenrate auf, ist jedoch in anderen Punkten nachteilig.The Time-coded triangulation thus has a larger number overall of significant advantages over the method known in the art at the same cost. So-called phase-shift methods are at a disadvantage of being low Data rate connected. So-called color-coded triangulation method Although it has a high data rate, it is in other respects disadvantageous.

Die 1 zeigt ein aufgebrochenes, im Schnitt dargestelltes dreidimensionales/räumliches Objekt 1. Weiterhin ist eine integrierende Halbleiter-Kamera 2 angedeutet. Die Objektoberfläche ist mit 4 bezeichnet. Ein Sehstrahl bzw. Messstrahl oder Kamerastrahl mit entsprechender Richtung trägt das Bezugszeichen 5. Beleuchtungsstrahlen 7 werden ausgehend von der Beleuchtung 8 auf das Objekt 1 gerichtet. Zur Erzeugung einer Codierung kann an der Beleuchtung 8 ein nicht näher dargestelltes Element, beispielsweise eine Hell-Dunkel-Kante bewegt werden, wobei die gesamte dargestellte Anordnung beleuchtet ist und durch die Bewegung der Kante ein vorgebbares Weg-Zeit-Verhalten für die strukturierte Beleuchtung der Objektoberfläche erzeugbar ist.The 1 shows a broken, shown in section three-dimensional / spatial object 1 , Furthermore, an integrating semiconductor camera 2 indicated. The object surface is with 4 designated. A visual ray or measuring beam or camera beam with the corresponding direction bears the reference numeral 5 , illumination beam 7 be starting from the lighting 8th on the object 1 directed. To generate a coding can be on the lighting 8th an unspecified element, such as a light-dark edge to be moved, the entire arrangement shown is lit and a predetermined path-time behavior for the structured illumination of the object surface can be generated by the movement of the edge.

2 zeigt eine zur 1 korrespondierende Darstellung, wobei die Beleuchtung 8 durch eine Anordnung von Einzellichtquellen 6 ersetzt ist, so dass eine zeitliche Codierung zur Erzeugung der strukturierten Beleuchtung der Objektoberfläche 4 durch wahlfreies Schalten der diskreten Lichtquellen erzeugbar ist. Hierzu können die unterschiedlichen Positionen der einzelnen Lichtquellen sowie ein zeitvariables An- und Ausschalten der Erzeugung unterschiedlicher Betriebszeiten bzw. unterschiedlichem Betriebs-Beginn bzw. Betriebs-Ende ausgenutzt werden. 2 shows one to 1 corresponding representation, with the lighting 8th by an arrangement of individual light sources 6 is replaced, so that a temporal coding for generating the structured illumination of the object surface 4 by optional switching of the discrete light sources can be generated. For this purpose, the different positions of the individual light sources as well as a time-variable switching on and off of the generation of different operating times or different operational start or end of operation can be utilized.

3 zeigt drei hauptsächliche Schritte zur Durchführung des beschriebenen Verfahrens, wobei im Schritt 1 eine Halbleiter-Kamera zunächst mit unterschiedlichem Beleuchtungsbeginn und fester Integrationszeit bei voller Beleuchtung zu einer Bildaufnahme herangezogen werden. Dabei ist die Formel für die Steigung der entsprechend aufgenommenen Spannung U0n in Form eines tan α dargestellt. In einem zweiten Bild entsprechend dem zweiten Schritt wird mit der Integrationszeit T0 wiederum an jedem Pixel innerhalb der Integrationszeit aufintegriert, wobei der Beleuchtungsbeginn Tn für jedes Pixel unterschiedlich sein kann. 3 shows three main steps to carry out the described method, wherein in step 1, a semiconductor camera are first used with a different illumination start and fixed integration time at full illumination for an image acquisition. The formula for the slope of the correspondingly received voltage U 0n is shown in the form of a tan α. In a second image corresponding to the second step, the integration time T 0 is in turn integrated at each pixel within the integration time, wherein the illumination start T n may be different for each pixel.

Wesentlich ist die Erfassung des zeitlichen Verlaufs der Beleuchtung je Pixel in der Bildaufnahme. Dabei sind zumindest die Erfassung von Beleuchtungsanfang und Beleuchtungsende, bzw. die Dauer der Beleuchtung zu verstehen. Eine Vorrichtung zur Auswertung dieses zeitlichen Verlaufs der Beleuchtung enthält einen besonders geeigneten Halbleiterchip, der Pro Pixel diesen Wert bzw. diese Werte ausgibt.Essential is the acquisition of the temporal course of illumination per pixel in the picture. In this case, at least the detection of lighting start and lighting end, or to understand the duration of the lighting. A device for evaluating this time course of the illumination contains a particularly suitable semiconductor chip, the Pro Pixel this Value or outputs these values.

Die in den Formeln in 3 verwendeten Formelzeichen bedeuten im Einzelnen:

Un
mittlere Beleuchtungsebene,
U0n
Spannung an beliebigem Pixel n,
Tn
Beleuchtungsdauer,
T0
Integrationszeit
P
Objektpunkt.
The formulas in 3 The formula symbols used in detail mean:
U n
middle lighting level,
U 0n
Voltage at any pixel n,
T n
Light time,
T 0
integration time
P
Object point.

Claims (16)

Verfahren zur Oberflächenerfassung eines räumlichen Objektes (1) mittels Bildaufnahme über eine Fläche oder entlang einer Linie, strukturierter Beleuchtung, sowie unterschiedlicher Beleuchtungs-(7) und Aufnahmerichtung (5), dadurch gekennzeichnet, dass mittels unterschiedlichem zeitlichen Beleuchtungsverlauf von Objektpunkten oder Objektpunktgruppen die am jeweiligen Objektpunkt (P) vorliegende Beleuchtungsrichtung (7) bestimmt wird und daraus in Verbindung mit der Sehstrahlrichtung (5) der Bildaufnahme die Raumkoordinaten des Objektpunktes berechnet werden.Method for surface detection of a spatial object ( 1 ) by means of image acquisition over an area or along a line, structured illumination, and different lighting ( 7 ) and shooting direction ( 5 ), characterized in that by means of different temporal illumination course of object points or object point groups present at the respective object point (P) lighting direction ( 7 ) and in connection with the line of sight beam ( 5 ) of the image acquisition, the spatial coordinates of the object point are calculated. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine unterschiedliche Beleuchtungsdauer oder unterschiedlicher Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels einer vor einer Beleuchtungseinheit im Strahlengang quer bewegten Dunkel/Hell-Kante mit definierter Weg/Zeit-Verhalten erzeugt werden.Method according to claim 1, characterized in that that a different illumination duration or different Start of illumination of object points or object point groups by means of a in front of a lighting unit in the beam path transversely moving dark / bright edge be generated with defined path / time behavior. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine unterschiedliche Beleuchtungsdauer oder unterschiedlicher Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels einer Digital-Mikrospiegel-Anordnung/DMD zwischen einer Lichtquelle und einem Objekt erzeugt werden.Method according to claim 1, characterized in that that a different illumination duration or different Start of illumination of object points or object point groups by means of a Digital Micro Mirror Array / DMD between a light source and an object are created. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine unterschiedliche Beleuchtungsdauer oder unterschiedlicher Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels einer vorgegebenen Anordnung von Halbleiterlichtquellen zur aufeinanderfolgenden Generierung von Beleuchtungsstrahlen erzeugt werden.Method according to claim 1, characterized in that that a different illumination duration or different Start of illumination of object points or object point groups by means of a predetermined arrangement of semiconductor light sources for successive Generation of illumination beams are generated. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der unterschiedliche zeitliche Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels unterschiedlichem Beleuchtungsbeginn realisiert wird.Method according to one of the preceding claims, characterized characterized in that the different temporal illumination start of object points or object point groups by means of different ones Lighting start is realized. Verfahren nach Anspruch 1–5, dadurch gekennzeichnet, dass zur Bildaufnahme eine integrierende Halbleiterkamera mit einer Integrationszeit T0 eingesetzt wird, wobei der Beginn einer Beleuchtung innerhalb der Integrationszeit T0 liegt.The method of claim 1-5, characterized in that for image recording an integrating semiconductor camera is used with an integration time T 0 , wherein the beginning of a lighting within the integration time T 0 is located. Verfahren nach eine der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Beleuchtungsbeginn Tn für ein Pixel n mittels der Ausgangsspannung U0n berechnet wird, die sich aus der Beleuchtung über die gesamte Integrationszeit T0 ergibt, sowie aus der Ausgangsspannung Un, die sich bei der gleichen Beleuchtung mit zeitlicher Verzögerung Tn ergibt, und dass daraus die Beleuchtungsrichtung für diesen Objektpunkt festgelegt ist und in Verbindung mit der Sehstrahlrichtung der Bildaufnahme die Raumkoordinaten des Objektpunktes berechnet werden.Method according to one of the preceding claims, characterized in that the illumination start Tn for a pixel n is calculated by means of the output voltage U 0n , which results from the illumination over the entire integration time T0, and from the output voltage U n , which are the same Lighting with a time delay Tn results, and that from the illumination direction for this object point is determined and in conjunction with the visual beam direction of the image acquisition, the spatial coordinates of the object point are calculated. Verfahren nach einem der Ansprüche 1–5, dadurch gekennzeichnet, dass zur Bildaufnahme eine Bildaufnahmeeinheit eingesetzt wird, die einen Halbleiterchip aufweist, mit dem an jedem Pixel der unterschiedliche zeitliche Beleuchtungsverlauf erfasst wird.Method according to one of claims 1-5, characterized in that in that an image recording unit is used for image recording, which has a semiconductor chip with which the different at each pixel temporal illumination course is detected. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Beleuchtung monochromatisches Licht eingesetzt wird.Method according to one of the preceding claims, characterized characterized in that used for lighting monochromatic light becomes. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur 2/3-dimensionalen Erfassung von Körperpartien wie einem Gesicht bei der Biometrie.Use of a method according to one of claims 1-9, to 2/3-dimensional acquisition of body parts like a face in biometry. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur Volumenbestimmung von Transportgut wie Gepäckstücke oder Schüttgut, beispielsweise auf Förderbändern.Use of a method according to one of claims 1-9, to Determining the volume of transported goods such as luggage or bulk goods, for example on conveyor belts. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur Raumüberwachung im Bereich Safety oder Security, wobei vorzugsweise einzelne Beleuchtungsstrahlen zeitversetzt innerhalb der Integrationszeit der Kamera eingeschaltet werden.Use of a method according to one of claims 1-9, to room monitoring in the field of safety or security, with preferably individual illumination beams Time-shifted within the integration time of the camera switched on become. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur automatischen berührungslosen Formerfassung in der Medizintechnik wie bei Zahntechnik, bei plastischer Chirurgie oder Gehörgangvermessung für eine Hörhilfe.Use of a method according to one of claims 1-9, to automatic non-contact Form detection in medical technology as in dental technology, in plastic Surgery or auditory canal measurement for one Hearing aid. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur automatischen Positionserkennung von Bauelementen in der Montageautomatisierung bei Bauelementen und Modulen.Use of a method according to one of claims 1-9, to automatic position detection of components in assembly automation for components and modules. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1–9, zur automatischen optischen 2D/3D-Inspektion von Elektronikbaugruppen, sowie mikrotechnischen Modulen und Verbindungen.Use of a method according to one of claims 1-9, to automatic optical 2D / 3D inspection of electronic assemblies, as well micro-technical modules and connections. Vorrichtung die zur Oberflächenerfassung eines räumlichen Objektes (1) folgendes aufweist: – eine Bildaufnahmeeinheit zur Detektion über einer Fläche oder entlang einer Linie, – eine Beleuchtungseinheit zur Beleuchtung der Objektoberfläche (4), mit zeitkodierter strukturierter Beleuchtung, – unterschiedliche Beleuchtungs-(7) und Bildaufnahmerichtung (5), dadurch gekennzeichnet, dass die Bildaufnahmeeinheit einen Halbleiterchip aufweist, bei dem jedes Pixel den zeitlichen Verlauf der Beleuchtung erfasst.Device for surface detection of a spatial object ( 1 ) comprises: - an image acquisition unit for detection over a surface or along a line, - an illumination unit for illuminating the object surface ( 4 ), with time-coded structured illumination, - different illumination ( 7 ) and imaging direction ( 5 ), characterized in that the image acquisition unit comprises a semiconductor chip, wherein each pixel detects the time course of the illumination.
DE200710023920 2007-05-23 2007-05-23 Method and device for surface detection of a spatial object Ceased DE102007023920A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE200710023920 DE102007023920A1 (en) 2007-05-23 2007-05-23 Method and device for surface detection of a spatial object
PCT/EP2008/055558 WO2008141924A1 (en) 2007-05-23 2008-05-06 Method and device for detecting the surface of a spatial object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200710023920 DE102007023920A1 (en) 2007-05-23 2007-05-23 Method and device for surface detection of a spatial object

Publications (1)

Publication Number Publication Date
DE102007023920A1 true DE102007023920A1 (en) 2008-12-04

Family

ID=39691124

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200710023920 Ceased DE102007023920A1 (en) 2007-05-23 2007-05-23 Method and device for surface detection of a spatial object

Country Status (2)

Country Link
DE (1) DE102007023920A1 (en)
WO (1) WO2008141924A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015002282A1 (en) 2014-05-09 2015-11-12 Elmos Semiconductor Aktiengesellschaft Device and method for especially three-dimensional optical scanning and measuring of objects and for object recognition by means of light transit time measurement
DE102016108496A1 (en) 2016-03-01 2017-09-07 Elmos Semiconductor Aktiengesellschaft Optical transit time measurement according to a one- or two-stage delta-sigma method and associated device
WO2017148772A1 (en) 2016-03-01 2017-09-08 Elmos Semiconductur Aktiengesellschaft Device for converting a temporal delay of a signal transmitted between a transmitter and a receiver

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19810495A1 (en) * 1998-03-11 1999-09-23 Bernd Schleifenbaum Optical three-dimensional sensor with very high measurement speed and accuracy for three-dimensional measurement of work piece surfaces
DE10344051B4 (en) * 2003-09-23 2008-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for measuring distances and / or spatial coordinates of an object
JP4730836B2 (en) * 2005-09-15 2011-07-20 Ｊｆｅスチール株式会社 Apparatus and method for measuring surface distortion

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015002282A1 (en) 2014-05-09 2015-11-12 Elmos Semiconductor Aktiengesellschaft Device and method for especially three-dimensional optical scanning and measuring of objects and for object recognition by means of light transit time measurement
DE102015002283A1 (en) 2014-05-09 2015-11-12 Elmos Semiconductor Aktiengesellschaft Device and method for in particular three-dimensional optical scanning and measuring of objects and for object recognition by means of light transit time measurement and object-dependent spatial resolution of several different individual scanners
DE102015002270A1 (en) 2014-05-09 2015-11-26 Elmos Semiconductor Aktiengesellschaft Device and method for in particular three-dimensional optical scanning, measuring and classifying objects and for object recognition by means of light transit time measurement
DE102015002271A1 (en) 2014-05-09 2015-11-26 Elmos Semiconductor Aktiengesellschaft Device and method for especially three-dimensional optical scanning and measuring of objects and for object recognition by means of light transit time measurement
DE102015002283B4 (en) 2014-05-09 2023-01-19 Elmos Semiconductor Se Device for, in particular, three-dimensional optical scanning and measuring of objects and for object recognition using time-of-flight measurement and object-dependent spatial resolution of a number of different individual scanners
DE102016108496A1 (en) 2016-03-01 2017-09-07 Elmos Semiconductor Aktiengesellschaft Optical transit time measurement according to a one- or two-stage delta-sigma method and associated device
WO2017148772A1 (en) 2016-03-01 2017-09-08 Elmos Semiconductur Aktiengesellschaft Device for converting a temporal delay of a signal transmitted between a transmitter and a receiver
US11187792B2 (en) 2016-03-01 2021-11-30 Elmos Semiconductor Se Device for converting a temporal delay of a signal transmitted between a transmitter and a receiver

Also Published As

Publication number Publication date
WO2008141924A1 (en) 2008-11-27

Similar Documents

Publication Publication Date Title
EP2400261A1 (en) Optical measurement method and system for determining 3D coordination in a measuring object surface
EP1784978A1 (en) Method and device for representing a digital image on a surface which is non-trivial in terms of its geometry and photometry
DE102008002725B4 (en) Method and device for 3D reconstruction
WO2016188881A1 (en) Method and camera for the three-dimensional measurement of a dental object
DE102008002730A1 (en) Distance image generating method for three-dimensional reconstruction of object surface from correspondence of pixels of stereo image, involves selecting one of structural elements such that each element exhibits different intensity value
EP2019281B1 (en) Method for operating a 3D sensor
EP2791619B1 (en) Method and device for the 3d measurement of depth-limited objects
DE102009009372A1 (en) Monitoring of tiltable mirrors
DE102009018464B4 (en) Optical sensor
EP2799810A1 (en) Apparatus and method for simultaneous three-dimensional measuring of surfaces with multiple wavelengths
DE102017222708A1 (en) 3D environment detection via projector and camera modules
DE102011101476B4 (en) Process for 3D measurement of objects
WO2015193383A1 (en) Method for determining a spatial displacement vector field
DE102005034990B4 (en) Method and device for digital projection with high image sharpness
DE102007023920A1 (en) Method and device for surface detection of a spatial object
EP2887010A1 (en) Method and device for three dimensional optical measurement of objects with a topometric measuring method and computer programme for same
DE10321883A1 (en) Triangulation measurement device for determining object 3D structure has illumination and observation arrays with a projected pattern being evaluated using cross correlation or phase shift analysis
DE102015208442A1 (en) Method and device for determining at least one object image in an environment around a non-sensitive optical image sensor
DE102010036852A1 (en) Stereo camera for safety-related monitoring of spatial area, has stereoscopy charging unit charging two raw images to three-dimensional depth map, and generation unit generating two-dimensional diagnostic image from raw image
EP1808669A1 (en) Device and method for three dimensional optical measuring
DE102016109131B4 (en) Method for the three-dimensional detection of an object
DE19753246C2 (en) Device for determining three-dimensional data from objects
DE10301094B4 (en) Device for measuring the distance of distance points to a camera
EP3158287B1 (en) Method for detecting an image of a preferably structured surface of an object
DE10333493A1 (en) 3D object measurement system strip projector has light source modulated in synchronism with rotating mirror to suit camera exposure time

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8131 Rejection