DD267124A1

DD267124A1 - METHOD FOR DETERMINING THE SURFACE PROFILE OF A SCENE

Info

Publication number: DD267124A1
Application number: DD31113287A
Authority: DD
Inventors: Holger Hausfeld; Gerhard Stanke
Original assignee: Adw Ddr Kybernetik Inf
Priority date: 1987-12-23
Filing date: 1987-12-23
Publication date: 1989-04-19

Abstract

Die Erfindung betrifft ein Verfahren zur Ermittlung des Oberflaechenprofils einer Szene unter Verwendung flaechenhaft strukturierter Beleuchtung fuer die Erkennung, Lagebestimmung oder Verifizierung von Objekten unterschiedlicher Groesse und Form. Das Ziel der Erfindung ist die flaechendeckende Berechnung des Oberflaechenprofils unter Nutzung des bekannten Triangulationsverfahrens in wesentlich kuerzerer Zeit durch die Reduzierung der noetigen Anzahl von Bildauswertungen. Erfindungsgemaess wird die fuer eine flaechendeckende Triangulationsrechnung noetige Veraenderung der Projektionsgeometrien nicht zeitlich in einer Bildfolge, sondern in Form der physikalischen oder geometrischen Ausbildung der projizierten Linien bzw. Muster kodiert. Dadurch koennen zahlreiche dieser Linien bzw. Muster gleichzeitig projiziert und durch eine anschliessende Bildauswertung eindeutig wieder zugeordnet werden. Die durch unterschiedliche Objekthoehen hervorgerufenen Abweichungen der projizierten Muster von ihrer erwarteten Position werden mit Hilfe der Abstaende der zusammengehoerenden Strukturen punktweise ermittelt und gehen in die Oberflaechenberechnung nach dem Triangulationsverfahren ein. Die projizierten Linien bzw. Muster innerhalb eines Bildes koennen durch unterschiedliche Liniendicken, Helligkeiten, Farben, Formen oder Texturen kodiert werden. Fig. 1The invention relates to a method for determining the surface profile of a scene using surface structured illumination for the detection, orientation or verification of objects of different sizes and shapes. The aim of the invention is the comprehensive calculation of the surface profile using the known triangulation method in a much shorter time by reducing the necessary number of image evaluations. According to the invention, the change in the projection geometries that is necessary for a full-coverage triangulation calculation is not coded chronologically in an image sequence, but in the form of the physical or geometric design of the projected lines or patterns. As a result, many of these lines or patterns can be projected simultaneously and clearly reassigned by a subsequent image analysis. The deviations of the projected patterns from their expected position caused by different object heights are determined pointwise with the aid of the spacings of the coherent structures and are included in the surface calculation according to the triangulation method. The projected lines or patterns within an image can be coded by different line thicknesses, brightnesses, colors, shapes or textures. Fig. 1

Description

Hierzu 2 Seiten ZeichnungenFor this 2 pages drawings

Anwendungsgebiet der ErfindungField of application of the invention

Die Erfindung betrifft die Ermittlung des Oberflächenprofils einer Szene unter Verwendung flächenhaft strukturierter Beleuchtung für die Erkennung, Lagebestimmung oder Verifizierung von Objekten unterschiedlicher Größe und Form aus dem Bereich der industriellen Fertigung und Handhabung.The invention relates to the determination of the surface profile of a scene using areal structured illumination for the detection, orientation or verification of objects of different size and shape from the field of industrial production and handling.

Characteristics of the known state of Tochnlk

Ziel von Verfahren der Datengewinnung für die 30-Erkennung ist die Bereitstellung von Informationen, die Aussagen über dio räumliche Ausdehnung von in der Szene enthaltenen Objekten zulassen. Diese räumlichen Informationen werden gegenwärtig mit Methoden gewonnen, die entweder unmittelbar zu Entfernungsdaten führen (direkte Verfahren; z. ß. aktiv: geometrischer Ansatz (Moire-Verfahren), signaltechnischer Ansatz (Flugzeitmessung) oder passiv: Stereoverfahron, punktweises Fokussieren) oder auf indirektem Wege über die Auswertung von Grauwertbildorn berechnet werden können (indirekte Verfahren; z. B, aktiv: strukturiertes Licht oder passiv: Texturanalyse). Direkte Entfernungsmessungen mit hohen räumlichen Auflösungen sind technisch sehr aufwendig. Das indirekte Vorgehen erfordert für dia passiven Verfahren komplizierte Bildauswertealgorithmen. Deshalb werden häufig Ansätze unter Verwendung von strukturierter Beleuchtung genutzt. Dabni kommt das Prinzip der Triangulation zur Anwendung.The goal of data acquisition techniques for 30 detection is to provide information that allows statements about the spatial extent of objects contained in the scene. This spatial information is currently obtained using methods that either lead directly to distance data (direct methods, eg active: geometric approach (Moire method), signal-based approach (time-of-flight measurement) or passive: stereo travel, point-by-point focusing) or indirectly can be calculated via the evaluation of gray value image (indirect methods, eg, active: structured light or passive: texture analysis). Direct distance measurements with high spatial resolutions are technically very complicated. The indirect approach requires complicated image evaluation algorithms for passive methods. Therefore, approaches using structured illumination are often used. Dabni applies the principle of triangulation.

Wenn die Positionen von Kamera und Projektor zueinander und bzgl, der Auflageebene bekannt sind, kann ein Lichtpunkt unter definiertem Winkel in die auszumessende Szene projiziert werden und aus der im Kamerabild hervorgerufenen Abweichung von der erwarteten Lichtpunktposition kann die gesuchte Objekthöhe berechnet werden. Gewöhnlich soll nicht nur ein Punkt, sondern eine zusammenhängende Fläche mit ausreichender X/Y-Auflösung ausgemesson werden, Das erfolgt entweder durch punktweises Abtastern und Berechnen der jeweiligen Höhoninforma'.ion (sehr hohe Anforderungen an die exakte Strahlführung zur Erzeugung des Lichtpunktes) oder vereinfachend durch die gleichzeitige Projektion einer Linie. Aus dem Verlauf dieser Linie im Kamerabild kann der Höhenverlauf einer gesamten Zeile berechnet werden.If the positions of the camera and the projector with respect to each other and with respect to the support plane are known, a light spot can be projected into the scene to be measured at a defined angle, and the object height sought can be calculated from the deviation from the expected light spot position caused in the camera image. Usually, not only one point, but a contiguous surface with sufficient X / Y resolution is to be measured. This is done either by sampling point by point and calculating the respective height information (very high demands on the exact beam guidance for generating the light spot) or simplifying by the simultaneous projection of a line. From the course of this line in the camera image, the height profile of an entire line can be calculated.

Zur Berechnung des Höhenprofils einer Szene müßte eine Linienschar projiziert werden, deren Linienabstände dem angestrebten Raster der X/Y-Auflösung entsprechen. Bei der Auswer¹ ung des entstehenden Kamerabildes ist jedoch keine eindeutige Zuordnung der einzelnen Linienstücken zu den spezifischen Projektionsgeometrien mehr möglich. Deshalb werden die Linien bei bekannten technischen Lösungen zeitlich nacheinander projiziert (ζ. B.: Wahl, F. M.; „A Coded Light Approach for Depth Map Acquisition"; in: Mustererkennung 1986; Springer-Verlag 1986). Dadurch entsteht eine Büdfolge, deren Bildern jeweils ein bekannter Projektionswinkel zugeordnet ist. Der Nachteil dieses Verfahrens liegt in der Notwendigkeit, für eine flächendeckende Erhebung eines Höhenprofils so viele Bilder auszuweiten, wio in dem durch die zu erreichende Auflösung hervorgerufenen Linienraster Linien enthalten sind.To calculate the height profile of a scene, a line of people would have to be projected whose line distances correspond to the desired grid of the X / Y resolution. When Auswer ¹ ung the resulting camera image, however, no unique assignment of the individual line pieces to the specific projection geometries longer possible. Therefore, in known technical solutions, the lines are projected consecutively in time (ζ B: Wahl, FM, "A Coded Light Approach for Depth Map Acquisition", in: Mustererkennung 1986, Springer-Verlag 1986) The disadvantage of this method lies in the necessity of expanding as many images for a nationwide survey of a height profile as are contained in the line grid lines caused by the resolution to be achieved.

Anstelle der Linien können ani>re Lichtstrukturen (z. U. Winkel, Kreise) projiziert werden, die einzeln eine eindeutige Auswertung zulassen. Eine flächondeckende Berechnung der Höheninformationen gelingt jedoch nur über die in einer Bildfolge zeitlich kodierte Veränderung der Projektionsgeometrien.Instead of the lines, additional light structures (eg angles, circles) can be projected, which individually permit a clear evaluation. However, a surface-covering calculation of the height information succeeds only via the temporally coded change in the projection geometries in a sequence of images.

Damit wird der Zeitaufwand zur Berechnung des vollständigen Höhenprofils einer Szone wesentlich durch die Aufnahmedauor der Einzelbildfolge bestimmt.Thus, the time required to calculate the complete height profile of a szone is essentially determined by the recording duration of the frame sequence.

Object of the invention

Das Ziel der Erfindung ist die Ermittlung des Oberflächenprofils einer Szene in wesentlich kürzerer Zeit, als sie mit bekannten technischen Lösungen durch die Auswertung zeitlich aufeinanderfolgender Bilder erreicht werden kann. In Erreichung dieses Zieles soll es gelingen, die für die Berechnung eines Oborflöchonprofils nötigo Anzahl von Bildauswertungen star!' -«reduzieren und In zahlreichen Fällen auf ein Bild zu beschränken. Dadurch soll die zur Erkonnung, Lagebestimmung oder Verifizierung von dreidimensionalen Objekten bonötigto Zeit durch Verringerung dor Dauer der Datenaufnahme reduziert und schließlich eino verkürzte Reaktionszeit entsprechender Systeme erreicht werdon.The aim of the invention is the determination of the surface profile of a scene in a much shorter time than can be achieved with known technical solutions by the evaluation of temporally successive images. In achieving this goal, it will be possible to set up the number of image evaluations necessary for the calculation of an obfluse profile. - «reduce and restrict in many cases to a picture. Thereby, the time required for the acquisition, orientation or verification of three-dimensional objects should be reduced by reducing the duration of the data acquisition and finally a shortened reaction time of corresponding systems should be achieved.

Darlegung des Wesens der ErfindungExplanation of the essence of the invention

Aufgabe der Erfindung Ist die Schaffung eines Verfahrens, das es gestattet, die Ermittlung des Oberflächenprofils einer Szene unter Verwendung flächenhaft strukturierter Beleuchtung vorzunehmen, ohne bei der Anwendung des Triangulationsverf ahrens notwendigerweise einen Lichtstrelfen mit variierendem Projektionewinkol einzusetzen oder bei konstantem Projektionswinkei eine schrittweise Lageveränderung des Objektes vornehmen zu müssen und In beiden Fällen zahlreiche Bilder auszuwerten.OBJECT OF THE INVENTION It is the provision of a method which makes it possible to determine the surface profile of a scene using areal structured illumination, without necessarily using a Lichtstrelfen with varying projection angle when applying the Triangulationsverfhrens or make a gradual change in position of the object at constant projection angle to have and in both cases to evaluate numerous images.

Erfindungsgemäß wird die Aufgabe dadurch gelöst, daß die für eine flächendeckende 3erechnung der Oberflächeninformationen nötige Voränderung der Projektionsgeometrien nicht zeitlich in einer Bildfolge kodiert wird, sondern diese Kodierung in Form der physikalischen oder geometrischen Ausbildung der projizieren Linien bzw. Muster erfolgt und damit zahlreiche dieser Union bzw. Muster gleichzeitig projiziert und boi der anschließenden Bildauswertung eindeutig wieder zugeordnet werden können.According to the invention, this object is achieved by the fact that the advance of the projection geometries necessary for a comprehensive calculation of the surface information is not coded chronologically in an image sequence, but this coding takes place in the form of the physical or geometrical design of the projected lines or patterns and thus numerous of this union or Patterns can be projected simultaneously and boi can be clearly reassigned to the subsequent image analysis.

Die vom Projektor ausgesendete Lichtstruktur besteht aus einer Linienschar oder anderen, dem konkreten Objektboreich angepaßten Strukturen (z.B. Winkel, Kreise,...), deren gleichartige und meist parallele Bestandteile definierte und gleichbleibende Projektionsgeometrien repräsentieren.The light structure emitted by the projector consists of a series of lines or other structures adapted to the concrete object area (for example, angles, circles, etc.) whose similar and mostly parallel components represent defined and consistent projection geometries.

Diese Bestandteile der Lichtstruktur können sich voneinander unterscheiden, entweder durch geometrische Merkmale (unterschiedliche Liniendicke oder durch Unterorechungsmuster hervorgerufene Linienformen bzw. -texturon) oder physikalische Eigenschaften wie unterschiedliche ^arbantoile oder Helligkeiten. Die Projektion dieser Lichtstrukturon kann entweder über spezielle Diasund geeignete« Projekte ren erfolgen oder auch durch den Einsat/ eines hinreichend schnell steuerbaren Laserstrahls erreicht worden.These components of the light structure may differ from one another, either by geometric features (different line thickness or line shapes or texture induced by sub-noise patterns) or physical properties such as different arbantoils or brightnesses. The projection of this light structure can either be carried out by means of special slides and suitable projects, or else by the use of a sufficiently quickly controllable laser beam.

Die in die Szene projiziert Lichtstruktur liefert aus dor Xameraposition ein Bild, das für alle Bereiche, die sich über die Auflageeben s erheben (Objektbereiche), eine deutliche ^weichung von der ursprünglichen Form der Strukturbestandteile aufweist. Aue der Größe der Abweichung einzelner Ab jcl nitte der Strukturbostandteilo von deren erwarteter Lage im Bild läßt sich die Obje (thöhe bzw. die Entfernung vom Kamera'Jtancort nach dem Triangulationsvorfahren berechnen.The light structure projected into the scene provides an image from the xamerican position that exhibits a clear deviation from the original form of the structural components for all areas which rise above the support surfaces (object areas). In view of the size of the deviation of individual segments of the structural component part from their expected position in the image, the object height or the distance from the camera position can be calculated according to the triangulation ancestor.

In dem durch die Kamera aufgenommenen Bild sind deshalb jeweils alle ursprünglich zusammengehörenden Strukturbestiindieile aufzusuchen und ihre Verläufe über die bekannten Projektionsgeomotrion in ein Oberfächenprofil (intsprechencl der realisierten Abfände der Strukturbestandteil > umzurechnen.In the image taken by the camera, therefore, each of the originally associated structural components must be consulted and their progressions converted via the known projection geometry into a surface profile (corresponding to the realized absences of the structural component).

Die Zuordnung der u.U. im gesamten Bild verteilten Abschnitte ler Strukturbestandteile erfolgt durch Methoden der automatischen Bildverarbeitung über eine Auswertung der Cha akteristika aufgefundener Linienstücke bzw. Muster (Messung der Liniendicko, der Farbschat.iorung, der Linienform oder Tex< .^bestandteile).The assignment of the u.U. Sections of structural components distributed throughout the image are processed by means of automatic image processing methods by means of an evaluation of the cha akeristika of found line pieces or patterns (measurement of the line width, the color shading, the line shape or text elements).

In der dargestellten Weise kann durch die Auswertung eines Bi des oino Information gewonnen werden, die der Menge entspricht, die mit bisher bekannten Lösungen nur über die Auswertung von, der Anzahl der gleichzeitig projizierten Strukturbestandteile entsprechenden Bildmengen erreicht werden Konnte.In the manner shown, information can be obtained by the evaluation of a bi of oino, which corresponds to the amount that could be achieved with previously known solutions only on the evaluation of, corresponding to the number of simultaneously projected structural components image sets.

Ausführungsbeispieleembodiments

Die Erfindung soll durch ein Ausführungsbeispiel näher erläutert werdenThe invention will be explained in more detail by an embodiment

Dabei zeigen: Showing:

Figur 1: Das Prinzip dor Triangulation bei strukturierter BeleuchtungFigure 1: The principle of triangulation in structured lighting

Figur 2: Beispiel einer flächenhuften Lichtstruktur in der Szene ohne ObjektFigure 2: Example of a surface light structure in the scene without an object

Figur 3: Kamerabild des Szenenbereiches mit Objekt und Lichtstruktur entspr. Fig. 2.FIG. 3: Camera image of the scene area with object and light structure corresponding to FIG. 2.

In oiner Anordnung entsprechend Fig. 1 wird durch den Projektor eine Lichtsti uktur gemäß Fig. 2 in den Szenenbereich projiziert und führt bei fehlendem Objekt zm einer ungestörten Abbildung auf der Auflagoobene. Die Lichtstruktur kann z. B. unter Zuhilfenahme eines Dins erzeugt werden, das nach einer exakten Handzeichnung oder rechnergestützton Erstellung und Ausgabe des Musters hergestellt wird.In oiner arrangement according to FIG. 1, a Lichtsti uktur is projected by the projector as shown in FIG. 2 in the scene area and leads in the absence of object zm undisturbed imaging on the Auflagoobene. The light structure can z. B. be generated with the aid of a Dins, which is prepared for an exact hand drawing or computer-aided creation and output of the pattern.

Wenn die Kamera so angeordnet wird, daß die auf die Auflageebono projizierto gedachte Linie zwischen Kamera und Projektor den Szenenbereich in der Mitte schneidet und senkrecht zu den Linien der Lichtstruktur verläuft, kann für jede Linie 1 der Lichtstruktur ein Winkelpaar (y[l], β [I]) angegeben werden, das in die spätere Berechnung der Objekthöhe ζ (I, y) und durch die eindeutige Zuordnung von I und χ auch ζ (χ, y) eingeht.If the camera is arranged such that the line projected between the camera and the projector projected onto the support zone intersects the scene area in the middle and runs perpendicular to the lines of the light structure, an angle pair (y [l], β [I]), which is included in the later calculation of the object height ζ (I, y) and by the unambiguous assignment of I and χ also ζ (χ, y).

Das Kamerabild wird in ejnen digitalen Bildspeicher überführt. Aus der Kenntnis der geometrischen Anordnung von Projektor, Kamera und Auflagoebene, sowie der bildlichen Darstellung des ungestörten Musters im Bildspeicher können die Berechnungsfunktionen für die Winkel α (I) = f (Δρ (I)) (Δρ = Anzahl der Bildpunkte der Abweichung einer Linie von dor erwarteten Position ρ (I) als Auodruck einer Objekthöhe) und die erwarteten Positionen ρ (I) selbst ermittelt und abgespeichert werden. Befinden sich im Szenenbereich ein oder mehrere Objekte, entsteht ein Kamorabild, wie es vom Prinzip her als Beispiel in Fig.3 dargestellt ist. Die Linien sind teilweise unterbrochen und eine Zuordnung ist nicht ohne weiteres möglich. Nach der Überführung in den digitalen Bildspeicher w^srd das Bild durch einen angeschlossonen Auswerterechner analysiert. Dubei werden die Linienstücken durch geeignete B/ldvararbeitungsmethoHen (Bildverbosserung, -Säuberung, -glättung, Segmentierung usw.) Isoliert und in folgenden Schritten ausgewert· t:The camera image is transferred to a digital image memory. From the knowledge of the geometric arrangement of the projector, camera and support plane, as well as the pictorial representation of the undisturbed pattern in the image memory, the calculation functions for the angles α (I) = f (Δρ (I)) (Δρ = number of pixels of the deviation of a line from the expected position ρ (I) as the Auopruck of an object height) and the expected positions ρ (I) itself are determined and stored. If there are one or more objects in the scene area, a camera image is created, as shown in principle as an example in FIG. The lines are partially broken and an assignment is not readily possible. After the transfer in the digital image memory ^s w analyzed around the image by an integrally closed ones evaluation computer. The line pieces are isolated by suitable image processing methods (image browing, cleaning, smoothing, segmentation, etc.) and evaluated in the following steps:

1) Ausmessen der Liniendicke und Entscheidung über Zugehörigkeit zu bestimmtem Linientyp I. Für andore Linionkodierungen wird die Entscheidung über die Auswertung z. B. des Grauwertniveaus der Linienform, -textur odor -farbe getroffen.1) Measuring the line thickness and decision on belonging to certain line type I. For andore Linionkodierungen the decision on the evaluation z. B. the gray value level of the line shape, textur odor color met.

2) Feststellung der Position im Bild und Berechnung der Abweichung von der erwarteten x-Position als Winkol α (I) stückweise für verschiedene y-Werte.2) Determination of the position in the image and calculation of the deviation from the expected x-position as Winkol α (I) piecewise for different y-values.

3) Berechnung der Objekthöhe ζ (χ, y) odor auch Entfernung von der Kamera für alle durch den Linienabschnitt repräsentierten x-, y-Koordinaten.3) Calculation of the object height ζ (χ, y) or also distance from the camera for all x, y coordinates represented by the line segment.

Die Abarbeitung dieser Schritte für alle im Bild befindlichen Linionstücken ergibt ein O'jerflächenprofil ζ (χ, y) mit einer Stützstellenanzahl, die bestimmt wird durch die Abstände der Linienstückon in x-Rich<ung und die in y-Richtung realisierte Auflösung der Höhenberechnung.The processing of these steps for all Linion pieces in the picture results in an outer surface profile ζ (χ, y) with a number of interpolation points, which is determined by the spacings of the line pitch in x-direction and the resolution of the height calculation realized in the y-direction.

Claims

1. A method for determining the surface profile of a scene using the triangulation method, a projection device, an image sensor and a Auswerterechners, characterized in that

• from a projector to the scene physically or geometrically encoded lines or patterns are projected simultaneously and distributed over the area,

• an unambiguous assignment of the distributed parts of the structure is carried out via an evaluation of the coded characteristics of discovered lines or pattern structures, and

• The deviations of the respective actual positions in the image from the expected position without height deviation are determined pointwise with the aid of the distances of the associated structures and the surface curve is calculated therefrom by means of the triangulation method known per se.

2. The method according to claim 1, characterized in that the projected lines or patterns are encoded within an image by different line thicknesses.

3. The method according to claim 1, characterized in that the projected lines or patterns are encoded within an image by different brightnesses.

4. The method according to claim 1, characterized in that the projected lines or patterns are encoded within an image by different colors.

5. The method according to claim 1, characterized in that the projected lines or patterns are encoded within an image by different shapes.

6. The method according to claim 1, characterized in that the projected lines or patterns within an image are coded by different textures.