EP1320791A2 - Verfahren zur automatischen korrektur von durch verformungen hervorgerufenen fehlern optischer korrelatoren und selbstkorrigierender optischer korrelator vom typ jtc - Google Patents

Verfahren zur automatischen korrektur von durch verformungen hervorgerufenen fehlern optischer korrelatoren und selbstkorrigierender optischer korrelator vom typ jtc

Info

Publication number
EP1320791A2
EP1320791A2 EP01980173A EP01980173A EP1320791A2 EP 1320791 A2 EP1320791 A2 EP 1320791A2 EP 01980173 A EP01980173 A EP 01980173A EP 01980173 A EP01980173 A EP 01980173A EP 1320791 A2 EP1320791 A2 EP 1320791A2
Authority
EP
European Patent Office
Prior art keywords
image
optical
fourier
correlation
light modulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP01980173A
Other languages
English (en)
French (fr)
Inventor
Sergej Dyblenko
Valerij Tschernykh
Klaus Janschek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technische Universitaet Dresden
Original Assignee
Technische Universitaet Dresden
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technische Universitaet Dresden filed Critical Technische Universitaet Dresden
Publication of EP1320791A2 publication Critical patent/EP1320791A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06E—OPTICAL COMPUTING DEVICES
    • G06E3/00—Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
    • G06E3/001—Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements
    • G06E3/005—Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements using electro-optical or opto-electronic means

Definitions

  • the invention relates to a method for the automatic correction of mechanical deformations of optical correlators and a self-correcting optical correlator of the JTC type for use in correlation analysis of two digital images by optical means, as a result of which the relative displacement of the images to one another in the image plane can be determined in real time.
  • Areas of application of the method and the arrangement for carrying out the method according to the invention and the correlator according to the invention are e.g. Space travel (navigation, position determination, correction of image distortion due to unstable camera bearing) and quality inspection e.g. in paper or textile production.
  • the amount of the relative shift of the two original images is equal to the distance of the maximum of the correlation function from the optical axis.
  • this maximum is represented by the brightest point on the correlation image that results from the result of the second Fourier transformation.
  • Optical Fourier Processors which from a light source, e.g. a laser diode, an optical arrangement consisting of a collimator for the parallel injection of light, a light modulator (Spatial Light Modulator, SLM) and a Fourier lens, and a suitable receiver, e.g. a CCD image sensor (Charge Coupled Device, CCD) or a digital camera that contains a CCD.
  • a light source e.g. a laser diode
  • SLM Spatial Light Modulator
  • SLM Spatial Light Modulator
  • CCD image sensor Charge Coupled Device
  • digital camera that contains a CCD.
  • connection of two optical Fourier processors is known for sequentially performing the two Fourier transformations required for performing a correlation analysis.
  • Correlators which have a circuit arrangement which enable the sequential execution of two Fourier transformation steps with only one optical Fourier processor, in that the result image of the first Fourier transformation is in turn fed into the light modulator of the optical Fourier processor, whereupon the second Fourier transformation is carried out.
  • a correlator or JTC (Joint Transform Optical Correlator) in the following.
  • Correlators of this type are used, among other things, to compare the images of sections of the earth's surface taken by a camera on board the satellite with reference images for the purpose of determining the position and navigation of satellites.
  • a problem with this application is that the correlator on board a satellite has large temperature fluctuations and the resulting thermal expansion of the material on the one hand and strong external mechanical loads, e.g. due to forces and shocks during take-off or mechanical vibrations during flight. As a result, the entire device is deformed, which leads to undesired changes in the beam path inside the device. These changes in the beam path are caused by the relative shifts or rotations of the three main components light source, optical unit and image sensor to one another and result in errors in the correlation analysis.
  • JTC Joint Transform Optical Correlator
  • the object is achieved by a method for the automatic correction of the errors of optical correlators which occur in the determination of the plane displacement of two digital images relative to one another and which are caused by deformations of the system.
  • the two optical Fourier transformations necessary for the correlation analysis are carried out in one and the same Optical Fourier processor, the result image of the first Fourier transformation (spectral image) being fed into the light modulator as an input image of the second Fourier transformation mirrored about its horizontal or vertical axis and the plane Shift of the two images to be examined for their correlation to one another is determined from the halved total distance of the two resulting correlation points in the result image of the second Fourier transformation (correlation image).
  • An advantage of using a single optical Fourier processor, in addition to the compact design, the low cost and the lower susceptibility to interference, is that size errors are automatically compensated for, since the spectral image becomes smaller when the image to be transformed is enlarged and vice versa.
  • the error resulting from the rotational deformations of the main elements of the optical Fourier processor around the optical axis is compensated according to the invention in that the image resulting from the first Fourier transformation is mirrored about its horizontal or vertical axis before it is input to the second Fourier transformation in the light modulator is fed.
  • This reflection of the input image of the second Fourier transformation compensates for the deformation-related rotation of the original image in such a way that the result of the second Fourier transformation is as if the original image had not undergone any rotation.
  • the correction procedures described above provide a simple and effective way to completely correct the deformation-related errors in the measurement of the two-dimensional displacement of the two images to be examined relative to one another.
  • the two images to be examined for their correlation are overlaid with a calibration pattern before the first Fourier transformation is carried out.
  • the two images to be examined for their correlation are merged horizontally next to one another to form an overall image before being fed into the light modulator.
  • Now two identical copies of a calibration pattern are superimposed on this overall picture in such a way that they are vertically shifted from one another, ie they are located one below the other on the overall picture.
  • the reference pattern generated in this way creates two additional correlation points in the correlation image which, due to the vertical displacement of the two identical partial patterns, lie vertically above or below the center of the correlation image.
  • These new correlation points can be used to correct the error in the correlation analysis caused by deformations of the system occurring between the two Fourier transformations. Due to their position above and below the center of the image, these are easy to distinguish from the main correlation points, since those are essentially to the left and right of the center of the image due to the essentially horizontal shift of the images to be examined.
  • the optical correlator consists of an optical Fourier processor (1), a laser diode (4) as a light source, an optical arrangement (5), a collimator (7) for parallelizing the light, light modulator (8) and Fourier lens (9) , and image sensor (6), and a circuit arrangement (2) and a digital signal processing device (3), which are operatively connected to one another.
  • the image sensor (6) of the optical Fourier processor (1) has a larger number of pixels than the light modulator (8).
  • both correlation points are also visible in the correlation image if a shift in the correlation image is caused by transverse displacements of one or more of the main elements of the optical Fourier processor (1) with respect to its optical axis.
  • the distance of a correlation point from the center of the image sensor (6) can not be used to determine the Relati shift of the two images to be examined, since this is then no longer on the current optical axis of the system.
  • the advantage now is that the distance between the two correlation points from each other, which corresponds to twice the amount of the relative shift of the two images to be examined for their correlation, can still be determined, from which the actual amount of the relative shift can be derived without great effort.
  • the circuit arrangement (2) is suitable for returning the image (spectral image) resulting from the Fourier transformation of the two images to be examined for their correlation to the light modulator (8) and feeding it back into the latter, and the image resulting therefrom by a second Fourier transformation (correlation image) forward the digital signal processing device (3).
  • the light modulator (8) and the image sensor (6) are connected in opposite directions so that the reading order of the image sensor (6) and the writing order of the light modulator (8) are reversed before the spectral image is fed into the light modulator (8).
  • the circuit arrangement (2) additionally contains a calibration pattern generator (12) for generating a calibration pattern, an image mixer (11) for superimposing the images to be examined with the calibration pattern and an electronic spectrum mirroring (15) for mirroring the spectral image.
  • Fig. 1 Schematic structure of a self-correcting optical correlator
  • the self-correcting optical correlator consists of an optical Fourier processor (1), a circuit arrangement (2) based on an FPGA from Altera (ACEX series) and discrete components (resistors, capacitors, small ICs) and a digital signal processing device (3) based a Texas DSP Instruments (TMS320C6000 series) Type: TMS320C6211 DSP, which are operatively connected to each other.
  • ACEX Altera
  • TMS320C6000 series Texas DSP Instruments
  • the optical Fourier processor (1) consists of a laser diode (4) with an output power of 5 mW, wavelength 670 nm, divergence 6.3 degrees, astigmatism 0.25 waves type: CLD 607-5 from Laser 2000 GmbH as light source, an optical arrangement (5) from collimator (7) with focal length 100 mm, diameter 12.5 mm Type: Plano-convex lens from Spindler & Hoyer to parallelize the light, light modulator (8) with dimensions 320x240 pixels, pixel size 15x15 ⁇ m Type: Cyberdisplay 320C from Kopin Corporation and Fourier lens (9), and image sensor (6) of the dimension 640x480 pixels, pixel size 7.4x7.4 ⁇ m type: ICX084AL from Sony.
  • the image sensor (6) Due to the double number of pixels per line and the double number of lines, the image sensor (6) has four times the number of pixels as the light modulator (8).
  • the circuit arrangement (2) consists of two switches (14, 15) with a delay of 6 ns, input voltage range 6 V Type: 74HCT4066 from Philips Semiconductors, a calibration pattern generator (12) based on an FPGA from Altera (ACEX series), an image mixer (11) based on a switch with delay 6 ns, input voltage range 6 V type: 74HCT4066 from Philips Semiconductors and a spectrum mirroring (15), realized by connecting the light modulator (8) and image sensor (6) in opposite directions, so that the reading order of the image sensor (6) and the The order in which the light modulator (8) is written in can be reversed.
  • the circuit arrangement (2) enables the reading in of the original images (10), the superimposition with the reference pixel pattern (12) generated by the calibration pattern generator (12) by means of image mixer (11) and the reflection of the first Fourier spectrum by means of spectrum reflection (15).
  • a section of the spectral image (21) with an identical edge length (number of pixels) to the edge length (number of pixels) of the light modulator (8) is read out of the image sensor (6) by the circuit arrangement (2) via the switch (16) in the left switch position. According to the invention, however, this process only affects the image information contained in the 320x240 pixel field of the image sensor which represents the center of the sensor surface.
  • the advantage of using an image sensor (6) with a larger number of pixels than that of the light modulator (8) is that after the second transformation step in the correlation image (22) there are always both correlation points on the image sensor even when the Fourier processor (1) is deformed (6) map.
  • the image obtained in this way is mirrored about its vertical axis by means of spectrum mirroring (15) before it is again inputted into the light modulator () in the right switch position via the switch (14) in the right switch position ( 8) is fed.
  • the information of the individual image pixels read out from the image sensor (6) is written line by line in the reverse order to when reading the image sensor (6) into the light modulator (8) by means of the circuit arrangement (2).
  • the light emitted by the laser diode (4) is in turn first parallelized by the collimator (7) and then passes through the light modulator (8), where it shines through the result image of the first transformation (21) and after passing through the Fourier lens (9) hits the image sensor (6).
  • the image sensor (6) uses "square law detection" to form the intensity of the correlation image (22) and generates an electrical signal proportional to it.
  • the result is the second Fourier spectrum (22), the actual correlation image.
  • This correlation image (22) is then read out by the circuit arrangement (2) via the switch (16) from the image sensor (6) and passed on to the digital image processing device (3). This is where the correlation image is evaluated.
  • the relative distance of the correlation maxima (brightest points) to one another and from this both the relative shaping of the optical Fourier processor (1) between the two Fourier transformations and the shift of the input image pair (10, 17) are determined.
  • the distance between the original images in each coordinate direction results from half the distance between the two images in the respective direction.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Circuits (AREA)

Abstract

Gegenstand der Erfindung ist ein Verfahren zur automatischen Korrektur mechanischer Deformationen optischer Korrelatoren und ein Selbstkorrigierender Optischer Korrelator zur Verwendung bei der Korrelationsanalyse zweier Digitalbilder auf optischem Wege, wodurch die relative Verschiebung der Bilder zueinander in der Bildebene in Echtzeit ermittelt werden kann. Erfindungsgemäss wird das Verfahren zur automatischen Korrektur der bei der Ermittlung der ebenen Verschiebung zweier Digitalbilder zueinander auftretenden, durch Verformungen des Systems hervorgerufenen Fehler optischer Korrelatoren verwendet. Erfindungswesentliche Merkmale des Verfahrens sind die vertikale oder horizontale Spiegelung des Spektralbildes, die Ermittlung der ebenen Verschiebung der zu untersuchenden Bilder zueinander aus dem halben Abstand der Korrelationspunkte, die Verwendung nur eines Teils der Pixel des Spektralbilds für den zweiten Transformationsschritt und die Überlagerung der zu untersuchenden Bilder mit einem Kalibriermuster. Zur Realisierung des Verfahrens wird ein Optischer Korrelator vom JTC-Typ verwendet.

Description

Verfahren zur automatischen Korrektur von durch Verformungen hervorgerufenen Fehlern Optischer Korrelatoren und Selbstkorrigierender Optischer Korrelator vom Typ JTC
Gegenstand der Erfindung ist ein Verfahren zur automatischen Korrektur mechanischer Deformationen optischer Korrelatoren und ein Selbstkorrigierender Optischer Korrelator vom Typ JTC zur Nerwendung bei der Korrelätionsanalyse zweier Digitalbilder auf optischem Wege, wodurch die relative Nerschiebung der Bilder zueinander in der Bildebene in Echtzeit ermittelt werden kann.
Anwendungsgebiete des Verfahrens und der Anordnung zur Durchführung des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Korrelators sind z.B. Raumfahrt (Navigation, Positionsbestimmung , Korrektur von Bildverzerrungen aufgrund von instabiler Kamerapeilung ) und Qualitätsprüfung z.B. in der Papier- oder Textilproduktion.
Es ist bekannt, daß zumindest abschnittsweise periodische Funktionen in eine Summe harmonischer Funktionen unterschiedlicher Frequenzen und Amplituden zerlegt werden können. In der Technik wird hierzu vorzugsweise unter Nutzung von digitaler Rechentechnik die schnelle diskrete Fouriertransformation (Fast Fourier Transformation, FFT) verwendet. Das Resultat der diskreten Fouriertransformation ist ein diskretes Spektrum. Wird das Produkt aus Spektrum und dem konjugiert komplexen Spektrum erneut einer Fouriertransformation unterzogen, erhält man die Autokorrelationsfunktion der ursprünglich untersuchten Funktion.
Es ist bekannt, daß es möglich ist, Digitalbilder einer 2-dimensionalen (2D) Fouriertransformation zu unterziehen. Hierzu gibt es zahlreiche Hard- und Softwarelösungen, meist mit Ausrichtung auf eine spezielle Anwendung.
Es ist bekannt, daß bestimmte optische Anordnungen unter Verwendung sogenannter Fourier-Linsen in der Lage sind, die Fouriertransformation eines Bildes auf optischem Wege und damit praktisch ohne Zeitverzögerung durchzuführen. Fällt das hierdurch über einen Bildsensor (square law detector, z.B. CCD) aufgezeichnete Bild, das die Intensität (Betragsquadrat) des Leistungsspektrums des Ursprungsbildes darstellt, nochmals durch eine Fourier-Linse, entsteht im Ergebnis ein Korrelationsbild des Ursprungsbildes.
Wird auf die oben beschriebene Weise an zwei Bildern mit zumindest teilweise gleichem Inhalt eine Fouriertransformation durchgeführt und wird anschließend das neue Bild ebenfalls transformiert, so erhält man die Korrelationsfunktion beider Bilder, aus der bei zwei relativ zueinander verschobenen Bildern des gleichen Objekts die Größe der Verschiebung abgelesen werden kann.
Es ist bekannt, daß der Betrag der Relatiwerschiebung beider Ursprungsbilder gleich ist dem Abstand des Maximums der Korrelationsfunktion von der optischen Achse. Bei der optischen Fouriertransformation wird dieses Maximum durch den hellsten Punkt auf dem Korrelationsbild repräsentiert, das im Ergebnis der zweiten Fouriertransformation entsteht.
Bekamit sind Optische Fourier-Prozessoren (OFP), die aus einer Lichtquelle, z.B. einer Laserdiode, einer optischen Anordnung, bestehend aus einem Kollimator zur Paralleüsierung des Lichts, einem Lichtmodulator (Spatial Light Modulator, SLM) und einer Fourier-Linse, und einem geeigneten Empfangsgerät, z.B. einem CCD-Bildsensor (Charge Coupled Device, CCD) oder einer digitalen Kamera, die ein CCD enthält, bestehen.
Bekannt ist die Verbindung von zwei Optischen Fourier-Prozessoren zur sequentiellen Durchführung der zwei für die Durchführung einer Korrelätionsanalyse benötigten Fouriertransformationen.
Bekannt sind Korrelatoren, die über eine Schaltungsanordnung verfügen, die die sequentielle Durchführung zweier Fouriertransformationsschritte mit nur einem Optischen Fourier-Prozessor ermöglichen, indem das Ergebnisbild der ersten Fouriertransformation wiederum in den Lichtmodulator des Optischen Fourier- Prozessors eingespeist wird, woraufhin die zweite Fouriertransformation durchgeführt wird. Ein solches Gerät wird im folgenden Korrelator oder JTC (Joint Transform Optical Correlator) genannt. Derartige Korrelatoren werden unter anderem dafür verwendet, zu Zwecken der Positionsbestimmung und Navigation von Satelliten die von einer Kamera an Bord des Satelliten aufgenommenen Bilder von Ausschnitten der Erdoberfläche mit Referenzbildern zu vergleichen.
Ein Problem dieser Anwendung besteht darin, daß der Korrelator an Bord eines Satelliten einerseits großen Temperaturschwankungen und den daraus resultierenden Wärmedehnungen des Materials und andererseits starken äußeren mechanischen Belastungen, z.B. aufgrund von Kräften und Stößen beim Start oder mechanischen Schwingungen während des Fluges unterliegt. Hierdurch wird das gesamte Gerät verformt, was zu ungewünschten Veränderungen des Strahlenganges im Inneren des Geräts führt. Diese Veränderungen des Strahlenganges werden hervorgerufen durch die Relatiwerschiebungen bzw. -Verdrehungen der drei Hauptbestandteile Lichtquelle, Optische Einheit und Bildsensorzueinander und resultieren in Fehlern in der Korrelätionsanalyse.
Folgende Verformungen können auftreten:
1. Relatiwerschiebungen der drei Hauptbestandteile des Optischen Fourier- Prozessors entlang der optischen Achse führen aufgrund der dadurch verursachten Abbildungsunschärfe zu Unscharfen der Korrelationspunkte (für kleine Verschiebungen vernachlässigbar) und Größenfehlern des Korrelationsbildes.
2. Relatiwerschiebungen der drei Hauptbestandteile des Optischen Fourier- Prozessors transversal zur optischen Achse führen zu einer äquivalenten Verschiebung des Korrelationsbildes, nicht jedoch zu einer Veränderung des Abstandes der Korrelationspunkte zueinander.
3. Rotation der drei Hauptbestandteile des Optischen Fourier-Prozessors um die optische Achse führt zu einer äquivalenten Rotation des des Korrelationsbildes und damit zu fehlerhaften Koordinaten der Korrelationspunkte in der Bildebene.
4. Rotation der drei Hauptbestandteile des Optischen Fourier-Prozessors um eine oder beide der zur optischen Achse senkrecht stehenden Raumachsen aufgrund von Biegeeinflüssen führt bei kleinen Winkeln zu vernachlässigbar geringen Unscharfen der Korrelationspunkte, vernachlässigbar geringen Abbildungsunschärfen und vernachlässigbar geringen Größenfehlern des Korrelationsbildes.
Die Aufgäbe der Erfindung ist es, ein Verfahren zur automatischen Korrektur der bei der Ermittlung der ebenen Verschiebung zweier Digitalbilder zueinander auftretenden, durch Verformungen des Systems hervorgerufenen Fehler optischer Korrelatoren und einen Selbstkorrigierenden Optischen Korrelator vom Typ Joint Transform Optical Correlator (JTC) zu schaffen.
Erfindungsgemäß wird die Aufgabe durch ein Verfahren zur automatischen Korrektur der bei der Ermittlung der ebenen Verschiebung zweier Digitalbilder zueinander auftretenden, durch Verformungen des Systems hervorgerufenen Fehler optischer Korrelatoren gelöst.
Dabei werden die beiden für die Korrelätionsanalyse notwendigen optischen Fouriertransformationen in ein und demselben Optischen Fourier-Prozessor durchgeführt, wobei das Ergebnisbild der ersten Fouriertransformation (Spektralbild) bei seiner Einspeisung in den Lichtmodulator als Eingangsbild der zweiten Fouriertransformation um seine horizontale oder vertikale Achse gespiegelt und die ebene Verschiebung der beiden auf ihre Korrelation zu untersuchenden Bilder zueinander aus dem halbierten Gesamtabstand der beiden entstehenden Korrelationspunkte im Ergebnisbild der zweiten Fouriertransformation (Korrelationsbild) ermittelt wird.
Ein Vorteil der Verwendung eines einzelnen Optischen Fourier-Prozessors liegt neben der kompakten Bauform, den geringen Kosten und der geringeren Störanfälligkeit darin, daß Größenfehler automatisch kompensiert werden, da bei Vergrößerung des zu transformierenden Bildes das Spektralbild kleiner wird und umgekehrt.
Entsteht also aufgrund einer Deformation des optischen Systems ein Größenfehler bei der Durchführung des ersten Transformationsschrittes dergestalt, daß das entstehende Spektralbild um einen Faktor X größer wird als dies beim unverformten Fourier- Prozessor der Fall wäre (d.h. Multiplikation mit X), so wird das im zweiten Transformationsschritt erzeugte Bild, da das Ursprungsbild dieses Schrittes eben jenes zu große Ergebnisbild der ersten Transformation ist und für den zweiten Transformationsschritt derselbe Optische Fourier-Prozessor mit demselben Verformungsbild verwendet wird, um eben diesen Faktor X kleiner (d.h. Division durch X), als das Bild, das von dem zu großen Eingangsbild am unverformten Fourier- Prozessor entstanden wäre.
Unverformtes System Verformtes System
1. Transformation A ^>A' A ^ XA'
2. Transformation A' ^>A" XA' O 1/X(XA')' = A"
Der durch rotatorische Relati erformungen der Hauptelemente des Optischen Fourier- Prozessors um die optische Achse entstehende Fehler wird erfindungsgemäß dadurch kompensiert, daß das durch die erste Fouriertransformation entstehende Bild um seine horizontale oder vertikale Achse gespiegelt wird, bevor es als Eingangsbild der zweiten Fouriertransformation in den Lichtmodulator eingespeist wird. Durch diese Spiegelung des Eingangsbildes der zweiten Fouriertransformation wird die verformungsbedingte Rotation des Ursprungsbildes dergestalt kompensiert, daß das Ergebnis der zweiten Fouriertransformation so ausfällt, als habe das Ursprungsbild keine Rotation erfahren.
Innerhalb gewisser Verformungsgrenzen sorgen die oben beschriebenen Korrekturprozeduren auf simple und effektive Weise für eine vollständige Korrektur der deformationsbedingten Fehler bei der Messung der zweidimensionalen Verschiebung der beiden zu untersuchenden Bilder zueinander.
Die Grenzen der oben beschriebenen Korrekturprozeduren liegen darin, daß sie nur dann ausreichend funktionieren, wenn sich das optische System zwischen den beiden nacheinander auszuführenden Fouriertransformationen nicht verformt. Dies ist jedoch nicht mehr der Fall, wenn das System hochfrequenter Schwingungserregung ausgesetzt ist.
Zur Korrektur des Fehlers, der durch Relatiwerformungen des Systems zwischen den beiden Fouriertransformationen entsteht, werden in einer vorteilhaften Ausgestaltung der Erfindung die beiden auf ihre Korrelation zu untersuchenden Bilder vor der Durchführung der ersten Fouriertransformation mit einem Kalibriermuster überlagert. Die beiden auf ihre Korrelation zu untersuchenden Bilder werden vor der Einspeisung in den Lichtmodulator horizontal nebeneinander zu einem Gesamtbild zusammengefügt. Nun werden diesem Gesamtbild zwei identische Kopien eines Kalibriermusters dergestalt überlagert, daß diese vertikal gegeneinander verschoben sind, d.h. sich auf dem Gesamtbild untereinander befinden.
Das so erzeugte Referenzmuster erzeugt im Korrelationsbild zwei zusätzliche Korrelationspunkte, die aufgrund der vertikalen Verschiebung der beiden identischen Teilmuster vertikal über bzw. unter der Mitte des Korrelationsbildes liegen.
Diese neuen Korrelationspunkte können zur Korrektur des durch zwischen den beiden Fouriertransformationen auftretende Verformungen des Systems verursachten Fehlers der Korrelätionsanalyse genutzt werden. Aufgrund ihrer Position oberhalb und unterhalb der Bildmitte sind diese von den Hauptkorrelationspunkten leicht zu unterscheiden, da sich jene aufgrund der im wesentlichen horizontalen Verschiebung der zu untersuchenden Bilder im wesentlichen links und rechts von der Bildmitte befinden.
Erfindungsgemäß besteht der Optische Korrelator aus einem Optischen Fourier- Prozessor (1) aus einer Laserdiode (4) als Lichtquelle, einer optischen Anordnung (5) aus Kollimator (7) zur Paralleüsierung des Lichts, Lichtmodulator (8) und Fourier-Linse (9), und Bildsensor (6), sowie einer Schaltungsanordnung (2) und einem digitalen Signalverarbeitungsgerät (3), die miteinander in Wirkverbindung stehen.
Dabei weist der Bildsensor (6) des Optischen Fourier-Prozessors (1) eine größere Pixelzahl auf als der Lichtmodulator (8).
Dadurch wird erreicht, daß im Korrelationsbild beide Korrelationspunkte auch dann sichtbar sind, wenn durch Transversalverschiebungen eines oder mehrerer der Hauptelemente des Optischen Fourier-Prozessors (1) bezüglich dessen optischer Achse eine Verschiebung des Korrelationsbildes verursacht wird. In diesem Fall kann zur Ermittlung der Relati erschiebung der beiden zu untersuchenden Bilder nicht der Abstand eines Korrelationspunktes vom Mittelpunkt des Bildsensors (6) herangezogen werden, da dieser dann nicht mehr auf der momentanen optischen Achse des Systems liegt. Der Vorteil besteht nun darin, daß der Abstand der beiden Korrelationspunkte voneinander, der dem doppelten Betrag der Relatiwerschiebung der beiden auf ihre Korrelation zu untersuchenden Bilder entspricht, immer noch ermittelt werden kann, woraus sich ohne großen Aufwand der tatsächliche Betrag der Relatiwerschiebung ableiten läßt.
Die Schaltungsanordnung (2) ist geeignet, das im Ergebnis der Fouriertransformation der beiden auf ihre Korrelation zu untersuchenden Bilder entstehende Bild (Spektralbild) zum Lichtmodulator (8) zurückzuleiten und in diesen wieder einzuspeisen und das daraus durch eine zweite Fouriertransformation entstehende Bild (Korrelationsbild) an das digitale Signalverarbeitungsgerät (3) weiterzuleiten.
Lichtmodulator (8) und Bildsensor (6) sind gegensinnig so miteinander verschaltet, daß die Auslesereihenfolge des Bildsensors (6) und die Einschreibreihenfolge des Lichtmodulators (8) vor der Einspeisung des Spektralbildes in den Lichtmodulator (8) umgekehrt werden.
In einer vorteilhaften Ausgestaltung der erfindungsgemäßen Vorrichtung enthält die Schaltungsanordnung (2) zusätzlich einen Kalibriermustergenerator (12) zur Erzeugung eines Kalibriermusters, einen Bildmischer (11) zur Überlagerung der zu untersuchenden Bilder mit dem Kalibriermuster und eine elektronische Spektrumspiegelung (15) zur Spiegelung des Spektralbildes.
Anhand beigefügter Zeichnungen wird ein Ausführungsbeispiel der Erfindung näher erläutert. Dabei zeigen:
Fig. 1 : Schematischer Aufbau eines Selbstkorrigierenden Optischen Korrelators
Fig. 2: Verfahrensschema
Fig. 1 zeigt den schematischen Aufbau eines Selbstkorrigierenden Optischen Korrelators. Der Selbstkorrigierende Optische Korrelator besteht aus einem Optischen Fourier-Prozessor (1), einer Schaltungsanordnung (2) auf Basis eines FPGA von Altera (ACEX Serie) und diskreter Bauteile (Widerstände, Kondensatoren, kleine ICs) und einem digitalen Signalverarbeitungsgerät (3) auf Basis eines DSPs von Texas Instruments (TMS320C6000 Serie) Typ: TMS320C6211 DSP, die miteinander in Wirkverbindung stehen.
Der Optische Fourier-Prozessor (1) besteht aus einer Laserdiode (4) mit Ausgangsleistung 5 mW, Wellenlänge 670 nm, Divergenz 6.3 Grad, Astigmatismus 0.25 waves Typ: CLD 607-5 von Laser 2000 GmbH als Lichtquelle, einer optischen Anordnung (5) aus Kollimator (7) mit Brennweite 100 mm, Durchmesser 12.5 mm Typ: Plankonvexlinse von Spindler&Hoyer zur Parallelisierung des Lichts, Lichtmodulator (8) der Dimension 320x240 Pixel, Pixelgröße 15x15 μm Typ: Cyberdisplay 320C von Kopin Corporation und Fourier-Linse (9), und Bildsensor (6) der Dimension 640x480 Pixel, Pixelgrösse 7.4x7.4 μm Typ: ICX084AL von Sony.
Dabei weist der Bildsensor (6) aufgrund der doppelten Pixelzahl je Zeile und der doppelten Zeilenzahl die vierfache Pixelzahl auf wie der Lichtmodulator (8).
Die Schaltungsanordnung (2) besteht aus zwei Schaltern (14, 15) mit Verzögerung 6 ns, Eingangsspannungsbereich 6 V Typ: 74HCT4066 von Philips Semiconductors, einem Kalibriermustergenerator (12) auf Basis eines FPGA von Altera (ACEX Serie), einem Bildmischer (11) auf Basis eines Schalters mit Verzögerung 6 ns, Eingangsspannungsbereich 6 V Typ: 74HCT4066 von Philips Semiconductors und einer Spektrumspiegelung (15), realisiert durch gegensinnigen Anschluss von Lichtmodulator (8) und Bildsensor (6), damit die Auslesereihenfolge des Bildsensors (6) und die Einschreibreihenfolge des Lichtmodulators (8) umgekehrt werden.
Die Schaltungsanordnung (2) ermöglicht das Einlesen der Ursprungsbilder (10), die Überlagerung mit dem durch den Kalibriermustergenerator (12) erzeugten Referenz- Pixelmuster (12) mittels Bildmischer (11) und die Spiegelung des ersten Fourier- Spektrums mittels Spektrumspiegelung (15).
Anliand von Fig. 2 wird die Funktionsweise des Selbstkorrigierenden Optischen Korrelators nach Fig. 1 erläutert.
Zwei auf ihre Korrelation zu untersuchende Bilder werden vor der Einspeisung in den Lichtmodulator (8) horizontal nebeneinander zusammengefügt. Nun werden diesem neu kombinierten Bild (17) zwei identische Kalibriermuster (18) dergestalt überlagert, daß sie vertikal gegeneinander verschoben sind, d.h. sich vertikal untereinander befinden. Das so erzeugte Gesamtbild (13, 19, 20) wird über den Schalter (14) in linker Schalterstellung in den Lichtmodulator (8) des Optischen Fourier-Prozessors (1) eingespeist. Das von der Laserdiode (4) ausgesandte Licht wird zunächst vom Kollimator (7) in einen parallelen kohärenten Lichtstrahl umgeformt und tritt dann durch den Lichtmodulator (8), wo es das Gesamtbild (13, 19, 20) durchstrahlt und nach Passieren der Fourier-Linse (9) auf den Bildsensor (6) trifft. Dabei entsteht das Fourierspektrum (21) des Gesamtbilds (13, 19, 20). Der Bildsensor (6) bildet mittels "square law detection" die Intensität des Fourierspektrums (Spektralbild) und erzeugt ein dazu proportionales elektrisches Signal.
Ein Ausschnitt des Spektralbildes (21) mit identischer Kantenlänge (Pixelzahl) zur Kantenlänge (Pixelzahl) des Lichtmodulators (8) wird von der Schaltungsanordnung (2) über den Schalter (16) in linker Schalterstellung aus dem Bildsensor (6) ausgelesen. Von diesem Vorgang sind jedoch erfindungsgemäß nur die Bildinformationen betroffen, die in dem 320x240 Pixel großen Feld des Bildsensors enthalten sind, das die Mitte der Sensorfläche repräsentiert.
In der erfindungsgemäßen Konfiguration ist es aufgrund der kleineren Pixelzahl des Lichtmodulators (8) nicht möglich, die Bildinformationen aller Pixel des Bildsensors (6) weiterzuverarbeiten. Man kann jedoch zeigen, daß der verwendete Ausschnitt (wie auch jeder beliebige andere Ausschnitt aus dem Spektrum) alle relevanten Informationen des Fourier-Spektrums enthält. Für die Korrelätionsanalyse ist es also hinreichend, nur diesen Teilbereich zur Weiterverarbeitung heranzuziehen.
Der Vorteil der Verwendung eines Bildsensors (6) mit größerer Pixelzahl als der des Lichtmodulators (8) besteht darin, daß sich hierbei nach dem zweiten Transformationsschritt im Korrelationsbild (22) auch bei Verformungen des Fourier- Prozessors (1) stets beide Korrelationspunkte auf dem Bildsensor (6) abbilden.
Nach dem Auslesen der Bildinformationen des oben erläuterten Teilbereichs des Fourier-Spektrums wird das so gewonnene Bild mittels Spektrumspiegelung (15) um seine vertikale Achse gespiegelt, bevor es als Eingangsbild der zweiten Fouriertransformation über den Schalter (14) in rechter Schalterstellung wiederum in den Lichtmodulator (8) eingespeist wird. Dazu werden mittels der Schaltungsanordnung (2) die aus dem Bildsensor (6) ausgelesenen Informationen der einzelnen Bildpixel zeilenweise in umgekehrter Reihenfolge wie beim Auslesen des Bildsensors (6) in den Lichtmodulator (8) geschrieben.
Das von der Laserdiode (4) ausgesandte Licht wird wiederum zunächst vom Kollimator (7) parallelisiert und tritt dann durch den Lichtmodulator (8), wo es das Ergebnisbild der ersten Transformation (21) durchstrahlt und nach Passieren der Fourier-Linse (9) auf den Bildsensor (6) trifft. Der Bildsensor (6) bildet mittels "square law detection" die Intensität des Korrelationsbildes (22) und erzeugt ein dazu proportionales elektrisches Signal.
Im Ergebnis entsteht das zweite Fourier-Spektrum (22), das eigentliche Korrelationsbild. Dieses Korrelationsbild (22) wird nun durch die Schaltungsanordnung (2) über den Schalter (16) aus dem Bildsensor (6) ausgelesen und an das Digitale Bildverarbeitungsgerät (3) weitergeleitet. Hier findet die Auswertung des Korrelationsbildes statt. Dazu wird der relative Abstand der Korrelationsmaxima (hellste Punkte) zueinander und daraus sowohl die Relatiwerformung des Optischen Fourier-Prozessors (1) zwischen den beiden Fouriertransformationen als auch die Verschiebung des Eingangsbildpaares (10, 17) bestimmt.
Der Abstand der Ursprungsbilder in jeder Koordinatenrichtung ergibt sich aus dem halben Betrag des Abstands der beiden Bilder in der jeweiligen Richtung zueinander.
Verzeichnis der verwendeten Bezugszeichen
1 Optischer Fourier-Prozessor
2 Schaltungsanordnung
3 Digitales Signalverarbeitungsgerät
4 Lichtquelle
5 Optische Einheit
6 Bildsensor
7 Kollimator
8 Lichtmodulator
9 Fourier-Linse
10 Ursprungsbilder (auf ihre Korrelation zu untersuchende Bilder)
11 Bildmischer
12 Kalibriermustergenerator
13 Gesamtbild
14 Schalter
15 Spektrumspiegelung
16 Schalter
17 Ursprungsbildpaar, horizontal kombiniert
18 Kalibriermuster zweifach ausgeführt, vertikal kombiniert
19 gemischtes Gesamtbild
20 gemischtes Gesamtbild
21 Spektralbild
22 Korrelationsbild

Claims

Patentansprüche
1. Verfahren zur automatischen Korrektur der bei der Ermittlung der ebenen Verschiebung zweier Digitalbilder zueinander auftretenden, durch Verformungen des Systems hervorgerufenen Fehler optischer Korrelatoren vom Typ JTC, welche die beiden für die Korrelätionsanalyse notwendigen optischen Fouriertransformationen in ein und demselben Optischen Fourier-Prozessor durchfuhren, wobei das Ergebnisbild der ersten Fouriertransformation (Spektralbild) als Eingangsbild der zweiten Fouriertransformation in den Lichtmodulator des Optischen Fourier-Prozessors eingespeist wird, dadurch gekennzeichnet, daß das Ergebnisbild der ersten Fouriertransformation (Spektralbild) vor seiner Einspeisung in den Lichtmodulator als Eingangsbild der zweiten Fouriertransformation um seine horizontale oder vertikale Achse gespiegelt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die ebene Verschiebung der beiden auf ihre Korrelation zu untersuchenden Bilder zueinander aus dem halben Abstand der beiden entstehenden Korrelationspunkte im Ergebnisbild der zweiten Fouriertransformation (Korrelationsbild) ermittelt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß nur die Bildinformationen eines Teils der Pixel des Spektralbilds für den zweiten Transformationsschritt verwendet werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die beiden auf ihre Korrelation zu untersuchenden Bilder vor der Durchführung der ersten Fouriertransformation mit einem Kalibriermuster überlagert werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß als Kalibriermuster eine zufällige Verteilung von weißen Punkten oder eine andere Verteilung mit einem flachen Spektrum verwendet wird.
6. Optischer Korrelator vom Typ JTC, bestehend aus einem Optischen Fourier- Prozessor (1) aus einer Laserdiode (4) als Lichtquelle, einer optischen Anordnung (5) aus Kollimator (7) zur Parallelisierung des Lichts, Lichtmodulator (8) und Fourier-Linse (9), und Bildsensor (6), sowie einer Schaltungsanordnung (2) mit Schaltern (14, 16) und einem digitalen Signalverarbeitungsgerät (3), die miteinander in Wirkverbmdung stehen, dadurch gekennzeichnet, daß der Bildsensor (6) eine größere Pixelzahl aufweist als der Lichtmodulator (8), und daß Lichtmodulator (8) und Bildsensor (6) gegensinnig so miteinander verschaltet sind, daß die Auslesereihenfolge des Bildsensors (6) und die Einschreibreihenfolge des Lichtmodulators (8) vor der Einspeisung des Spektralbildes in den Lichtmodulator (8) umgekehrt werden.
Optischer Korrelator nach Anspruch 6, dadurch gekennzeichnet, daß die Schaltungsanordnung (2) zusätzlich einen Kalibriermustergenerator (12) zur Erzeugung eines Kalibriermusters und einen Bildmischer (11) zur Überlagerung der zu untersuchenden Bilder mit dem Kalibriermuster enthält.
Optischer Korrelator nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß die Schaltungsanordnung (2) zusätzlich eine elektronische Spektrumspiegelung (15) zur Spiegelung des Spektralbildes enthält.
EP01980173A 2000-09-15 2001-09-14 Verfahren zur automatischen korrektur von durch verformungen hervorgerufenen fehlern optischer korrelatoren und selbstkorrigierender optischer korrelator vom typ jtc Withdrawn EP1320791A2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE2000147504 DE10047504B4 (de) 2000-09-15 2000-09-15 Verfahren zur automatischen Korrektur von durch Verformungen hervorgerufenen Fehlern optischer Korrelatoren und selbstkorrigierender optischer Korrelator vom Typ JTC
DE10047504 2000-09-15
PCT/DE2001/003593 WO2002023302A2 (de) 2000-09-15 2001-09-14 Verfahren zur automatischen korrektur von durch verformungen hervorgerufenen fehlern optischer korrelatoren und selbstkorrigierender optischer korrelator vom typ jtc

Publications (1)

Publication Number Publication Date
EP1320791A2 true EP1320791A2 (de) 2003-06-25

Family

ID=7657576

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01980173A Withdrawn EP1320791A2 (de) 2000-09-15 2001-09-14 Verfahren zur automatischen korrektur von durch verformungen hervorgerufenen fehlern optischer korrelatoren und selbstkorrigierender optischer korrelator vom typ jtc

Country Status (4)

Country Link
EP (1) EP1320791A2 (de)
AU (1) AU2002212082A1 (de)
DE (1) DE10047504B4 (de)
WO (1) WO2002023302A2 (de)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3635688A1 (de) * 1986-10-21 1988-05-05 Messerschmitt Boelkow Blohm Einrichtung und verfahren zur kohaerent-optischen korrelation zweier bilder
GB9726386D0 (en) * 1997-12-12 1998-02-11 Univ Cambridge Tech Optical correlator

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JANSCHEK K.; TCHERNYKH V.; DYBLENKO S.: "Design concept for a secondary payload Earth observation camera", PROCEEDINGS OF THE SPIE, vol. 3870, 20 September 1999 (1999-09-20), pages 78 - 86, XP007908970, Retrieved from the Internet <URL:http://dx.doi.org/10.1117/12.373166> *
See also references of WO0223302A3 *
TCHERNYKH V.; JANSCHEK K.; DYBLENKO S.: "Space application of a self-calibrating optical processor or harsh mechanical environment", PROCEEDINGS OF THE 1ST IFAC CONFERENCE ON MECHATRONIC SYSTEMS (MECHATRONICS'00), vol. 1, 18 September 2000 (2000-09-18), pages 309 - 314, XP008107506 *

Also Published As

Publication number Publication date
AU2002212082A1 (en) 2002-03-26
DE10047504A1 (de) 2002-04-25
WO2002023302A2 (de) 2002-03-21
WO2002023302A3 (de) 2003-03-13
DE10047504B4 (de) 2005-03-03

Similar Documents

Publication Publication Date Title
DE69612844T2 (de) Wellenfrontenbestimmung mit Mikrospiegel zur Selbstreferenz und seine Justage
DE2230650C2 (de) Verfahren und Vorrichtung zur optischen Untersuchung einer Oberfläche
DE102012217240B4 (de) Vorrichtung zum Messen einer dreidimensionalen Form
DE102005035700A1 (de) Messvorrichtung und Verfahren zur Bestimmung von Relativpositionen eines in mindestens eine Richtung bewegbar angeordneten Positioniertischs
DE102020118789A1 (de) Verfahren und Vorrichtung zur scannenden Abstands- und Geschwindigkeitsermittlung wenigstens eines Objekts
DE102007010387B4 (de) Interferometer zur optischen Vermessung eines Objekts
EP0159354B1 (de) Verfahren und vorrichtung zur mehrdimensionalen vermessung eines objektes
DE60204495T2 (de) Linsenmesser zur Messung der Eigenschaft eines Brillenglases oder einer Kontaktlinse
DE2259762B2 (de) Verfahren zur automatischen Auswertung von Stereobildern
DE2653590A1 (de) Vorrichtung zum ermitteln von fehlern in flaechenhaften mustern, insbesondere in photomasken
EP0491749B1 (de) Vorrichtung zur absoluten zweidimensionalen positionsmessung
DE3239938A1 (de) Verfahren zur erkennung, identifizierung und/oder qualitaetskontrolle von gegenstaenden
EP1870761A1 (de) Rastermikroskop zur optischen Vermessung eines Objekts
DE69131061T2 (de) Verfahren und Gerät zur optischen Informationsverarbeitung mit Verwendung vom zu einem Computer erzeugten Hologramm
EP1944569B1 (de) Verfahren und Vorrichtung zum optischen Ausmessen eines Objekts, insbesondere eines Werkstücks oder Werkzeugs
DE4439307A1 (de) 3D - Oberflächenmeßgerät mit hoher Genauigkeit
DE10047504B4 (de) Verfahren zur automatischen Korrektur von durch Verformungen hervorgerufenen Fehlern optischer Korrelatoren und selbstkorrigierender optischer Korrelator vom Typ JTC
DE68917674T2 (de) Optische Messanordnung zur Augenuntersuchung.
DE102010029627B4 (de) Vorrichtung und Verfahren zur Bestimmung der Struktur einer spiegelnden Oberfläche eines Objekts
EP0880112B1 (de) Verfahren zur Echtheitsprüfung eines Hologramms und Lesegerät zur Durchführung des Verfahrens
DE10101057B4 (de) Verfahren und Vorrichtung zur Erfassung der Verformung von Objekten
DE4332022C2 (de) Verfahren und Vorrichtung zum berührungslosen Erfassen der Winkellage eines Objekts, insbesondere beim Vermessen von länglichen Gegenständen
DE2324380A1 (de) Optischer korrelator
DE4444697A1 (de) Verfahren und Vorrichtung zur Stereobildauswertung
DE2133803B2 (de) Holographisch-interferometrisches oder moiremetrisches Verfahren zur Feststellung von Deformationen oder Ortsveränderungen eines Objekts sowie von Brechungsindexänderungen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

17P Request for examination filed

Effective date: 20030915

17Q First examination report despatched

Effective date: 20090708

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20091119