DE19625727A1 - Three dimensional sensing of spatial scene using optoelectronic image sensing devices - Google Patents

Three dimensional sensing of spatial scene using optoelectronic image sensing devices

Info

Publication number
DE19625727A1
DE19625727A1 DE19625727A DE19625727A DE19625727A1 DE 19625727 A1 DE19625727 A1 DE 19625727A1 DE 19625727 A DE19625727 A DE 19625727A DE 19625727 A DE19625727 A DE 19625727A DE 19625727 A1 DE19625727 A1 DE 19625727A1
Authority
DE
Germany
Prior art keywords
image
stereo
signals
disparity
determination method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE19625727A
Other languages
German (de)
Other versions
DE19625727C2 (en
Inventor
Bernd Porr
Florentin Woergoetter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Efkon GmbH
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE19625727A priority Critical patent/DE19625727C2/en
Publication of DE19625727A1 publication Critical patent/DE19625727A1/en
Application granted granted Critical
Publication of DE19625727C2 publication Critical patent/DE19625727C2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

The method involves using a device such as a robot, which is fitted with a pair of CCD cameras 1. The camera output signals provide an input to the signal converters 2, and these supply an input signal to a processing unit 3 that determines the spatial depth of the observed objects. The outputs are fed to a display module 4 and to a memory 5. The processing unit has a pair of resonators 6 in the form of band pass filters, a phase comparator 7, two amplitude measuring stages 8, a division stage 9 and a gating stage which has an adjustable threshold 10.

Description

GrundlagenBasics

Die Erfindung soll dreidimensionale Erkennungsvorgänge, ähnlich wie sie vom menschlichen Sehsy­ stem durchgeführt werden, mit Mitteln der Technik, z. B. Fernsehkameras und speziellen elektronischen Bildauswertelogiken, nachzuahmen gestatten. Dazu werden zwei Bildaufnehmer (1, 2) verwendet, wel­ che Bilder zeilenweise abtasten und dabei einen analogen oder digitalen Datenstrom erzeugen. Diese Bildaufnehmer befinden sich mit ihren zweidimensionalen Aufnahmeflächen in der gleichen Ebene und sind dort fest miteinander mechanisch verbunden. Die vertikale Anordnung der Aufnehmer ist so gestaltet, daß Zeilen mit der gleichen Zeilennummer sich auf gleicher Höhe befinden. In der Hori­ zontalen sind sie durch einen festen Abstand d gekennzeichnet. Vor den beiden Aufnehmern befindet sich jeweils ein Objektiv, welches den Bereich scharf abbildet, der für die Tiefenbestimmung in der jeweiligen Anwendung relevant ist. Durch diese Anordnung regt ein Punkt, welcher unendlich entfernt sind, exakt die gleichen lichtempfindlichen Positionen auf den Bildaufnehmern an. Der Abstand dieser korrespondierenden Positionen zwischen beiden Bildaufnehmern ist dann gleich d. Objekte, die sich naher an der Anordnung befinden, werden nun mit einem größeren Abstand als d abgebildet. Diese Abweichung wird Stereodisparität genannt. Das Ziel dieser Erfindung ist es nun, diese Disparität zu bestimmen und daraus mit Hilfe der bekannten Geometrie des Bildaufnahmegerätes die räumliche Tiefe der Objektpunkte zu ermitteln.The invention is intended to three-dimensional recognition processes, similar to how they are carried out by the human visual system, by means of technology, e.g. B. television cameras and special electronic image analysis logic to imitate. For this purpose, two image recorders ( 1 , 2 ) are used, which scan images line by line and thereby generate an analog or digital data stream. With their two-dimensional recording surfaces, these image recorders are in the same plane and are mechanically connected to each other there. The vertical arrangement of the transducers is designed so that lines with the same line number are at the same height. In the horizontal, they are identified by a fixed distance d. There is a lens in front of each of the two sensors, which provides a sharp image of the area that is relevant for depth determination in the respective application. With this arrangement, a point that is infinitely distant excites exactly the same light-sensitive positions on the image recorders. The distance between these corresponding positions between the two image recorders is then equal to d. Objects that are closer to the arrangement are now displayed with a greater distance than d. This deviation is called stereo disparity. The aim of this invention is to determine this disparity and to use it to determine the spatial depth of the object points using the known geometry of the image recording device.

Stand der TechnikState of the art

Die meisten Verfahren zur Tiefenbestimmung arbeiten so, daß sie vom linken und rechten Bild jeweils einen Ausschnitt von identischer Position und gleicher Größe betrachten und diese beiden Teilbilder horizontal solange verschieben, bis sie optimal übereinanderliegen (US-Patent 5383013, Offenlegungsschrift DE 3425946 A1). Um dieses Optimum zu fin­ den, kann man zwei Maße heranziehen. Zum einen kann die Korrelation zwischen den verschobenen Teilbildern gebildet werden,Most depth determination methods work so that they are from the left and right image, respectively consider a section of identical position and size and these two drawing files move horizontally until they lie optimally one above the other (US patent 5383013, laid-open specification DE 3425946 A1). To find this optimum you can use two dimensions. First, the correlation between the shifted Drawing files are formed,

oder das mittlere Fehlerquadrat.or the mean square of the error.

Die Korrelation muß hierbei maximiert und das mittlere Fehlerquadrat minimiert werden. Wie üblich wird dazu jeweils die Ableitung nach d null gesetzt. Hierbei treten aber Probleme auf: dieses Verfahren findet zwar Extrema, aber diese sind eventuell keine globalen Extrema. Um die globalen Maxima oder Minima zu finden, bedarf es zusätzlichen Rechenaufwandes. Zusätzlich sind diese Verfahren sehr empfindlich gegenüber Kontrast- und Helligkeitsunterschieden der beiden Bilder. Diese Probleme können nur durch eine aufwendige Vorverarbeitung kompensiert werden.The correlation must be maximized and the mean square of errors minimized. As usual the derivative is set to d zero. However, problems arise here: this method finds extremes, but they may not be global extremes. To the global maxima or Finding minima requires additional computing effort. In addition, these procedures are very sensitive to contrast and brightness differences between the two images. These problems can only be compensated for by complex preprocessing.

Es existieren noch eine Reihe weiterer Verfahren, welche sich mit der Problematik der Stereo- Tiefenbestimmung beschäftigen. Diese wurden aber nie technisch realisiert. Das liegt vor allem an dem hohen Rechenaufwand, welcher den Einsatz in Echtzeitsystemen (z. B. Robotern) verhindert.There are a number of other methods that deal with the problem of stereo Deal with depth determination. However, these were never implemented technically. This is mainly because the high computing effort, which prevents the use in real-time systems (e.g. robots).

Neuere Verfahren entfernen sich vom direkten Vergleich der Bilder. Wurden bei den obigen Ver­ fahren Fenster verwendet, um Teilbereiche der Bilder zu untersuchen, werden hier die Bilder mit Funktionen gefaltet, welche eine hohe Lokalität sowohl im Frequenz- als auch im Ortsraum besitzen (Gabor-Funktionen, DOGs (Difference of Gaussians), . . . ). So erhält man für jeden Bildpunkt sowohl Amplitudenwert als auch Phasenwert. Dieser kann dann mit demjenigen des anderen Bildes direkt verglichen werden, welcher in direktem Zusammenhang zur Disparität steht (Sanger, T. D.: Stereo Disparity Computation Using Gabor Filters. Biological Cybernetics, 59: 405-418, 1988). Nachteilig ist die sehr rechenintensive Faltung, die für jeden Punkt durchgeführt werden muß.Newer methods move away from the direct comparison of the images. If the above ver If windows are used to examine partial areas of the images, the images are included here Functions folded, which have a high locality both in the frequency and in the local area  (Gabor functions, DOGs (Difference of Gaussians),...). So you get both amplitude value and for each pixel Phase value. This can then be compared directly with that of the other picture, which one is directly related to disparity (Sanger, T. D .: Stereo Disparity Computation Using Gabor Filters. Biological Cybernetics, 59: 405-418, 1988). A disadvantage is the very computationally intensive folding, which must be done for each point.

Zusammenfassend kann man sagen, daß die Verfahren, die zur Verfügung stehen, Mängel auf­ weisen. Die korrelationsbasierten Verfahren arbeiten zwar sehr schnell aber auch sehr unzuverlässig und sind sehr empfindlich gegenüber Helligkeitsunterschieden zwischen den beiden Eingangsbildern. Die phasenbasierten Verfahren müssen rechenintensive Faltungen durchführen, welche sich schlecht in Echtzeit durchgeführen lassen. Die Ergebnisse der phasenbasierten Verfahren sind aber sehr gut. Ziel der hier vorgestellten Erfindung ist es, ein Verfahren zu entwickeln, welches die Vorteile der phasenbasierten Methoden nutzt und die Berechnungen in Echtzeit erlaubt.To sum up, the procedures that are available have shortcomings point. The correlation-based methods work very quickly but are also very unreliable and are very sensitive to differences in brightness between the two input images. The phase-based procedures have to perform computationally intensive folds, which are bad have it done in real time. The results of the phase-based methods are very good. The aim of the invention presented here is to develop a method which takes advantage of uses phase-based methods and allows calculations in real time.

Technische AusführungTechnical design

In der hier vorgestellten Erfindung liefern die beiden Kameras jeweils einen seriellen Datenstrom, wel­ cher die zeitliche Abtastung der Zeilen darstellt. Betrachtet man den Zeitraum, in dem genau eine Zeile abgetastet wird, so sieht man, daß die räumliche x-Achse und die Zeitachse für diesen Zeitraum die gleiche Bedeutung besitzen. Korrespondierende Punkte von unendlich entfernten Objekten tau­ chen also bei der seriellen Abtastung an den Ausgängen der Kameras zum gleichen Zeitpunkt auf, wogegen nähere Objekte zu unterschiedlichen Zeitpunkten in den beiden Datenströmen erscheinen. Dieser Zeitunterschied einspricht direkt der Stereodisparität. Gelingt es den Zeitunterschied zu messen und richtig zuzuordnen, dann kann man daraus die Tiefe des zugehörigen Objektpunktes ermitteln. Man kann jedoch die somit nötige Zeitmessung deutlich vereinfachen, wenn man beide Signalströme auf eine einzige Frequenzkomponente d. h. auf zwei Sinusschwingungen gleicher Frequenz reduziert. In diesem Falle reicht es aus, die Phasendifferenz beider Sinusschwingungen zu ermitteln, welche direkt äquivalent zur Zeitdifferenz ist.In the invention presented here, the two cameras each deliver a serial data stream, wel cher represents the temporal sampling of the lines. If you look at the period in which exactly one Line is scanned, it can be seen that the spatial x-axis and the time axis for this period have the same meaning. Corresponding points of infinitely distant objects dew So when serial scanning occurs at the outputs of the cameras at the same time, whereas closer objects appear at different times in the two data streams. This time difference directly speaks to stereo disparity. It succeeds in measuring the time difference and assign them correctly, then you can determine the depth of the associated object point. However, you can significantly simplify the time measurement required if you have both signal currents to a single frequency component d. H. reduced to two sine waves of the same frequency. In in this case, it is sufficient to determine the phase difference between the two sine waves, which one directly is equivalent to the time difference.

Zu diesem Zwecke sind die Ausgänge der beiden Kameras jeweils mit einem Resonator (Bandpaß, 6) verbunden, welcher in einem ersten Verarbeitungsschritt nur noch eine Frequenzkomponente aus dem seriellen Datenstrom herausfiltert. Der Resonator besitzt die zwei freien Parameter Resonanzfrequenz fx und Güte Q, die das räumliche Auflösungsvermögen und den Signal-Rauschabstand bestimmen. Entscheidend für eine präzise Auswertung der Disparität sind scharfe Kanten oder Helligkeitssprünge in den Bildern, da sie hohe Frequenzkomponenten aufweisen und somit gut lokalisierbar sind. Aus diesem Grunde wird für die Resonatoren am besten eine möglichst hohe Resonanzfrequenz fx gewählt. Somit regen Kanten oder Helligkeitssprünge die Resonatoren zu einer starken Antwort an, wobei die Güte Q in etwa die Anzahl der abklingenden Schwingungen angibt. Die beiden Resonatoren besitzen im Laplace-Raum die Übertragungsfunktion:For this purpose, the outputs of the two cameras are each connected to a resonator (bandpass filter, 6 ) which, in a first processing step, filters out only one frequency component from the serial data stream. The resonator has the two free parameters of resonance frequency f x and quality Q, which determine the spatial resolution and the signal-to-noise ratio. Sharp edges or jumps in brightness in the images are crucial for a precise evaluation of the disparity, since they have high frequency components and are therefore easy to locate. For this reason, the best possible resonance frequency f x is chosen for the resonators. Edges or jumps in brightness thus stimulate the resonators to give a strong response, the quality Q roughly indicating the number of decaying vibrations. The two resonators have the transfer function in Laplace space:

Die beiden komplex konjugierten Polstellen s∞ und s*∞ sorgen für den eigentlichen Resonanzeffekt. Die Nullstelle bei s = 0 bewirkt eine vollständige Filterung des Gleichanteils (DC-Anteils). Die Güte Q und die Frequenz fx hängen mit den Polstellen folgendermaßen zusammen:The two complex conjugate poles s ∞ and s * ∞ ensure the actual resonance effect. The zero at s = 0 causes the direct component (DC component) to be completely filtered. The quality Q and the frequency f x are related to the pole points as follows:

Das Filterergebnis beider Resonatoren gelangt dann auf einen Phasenvergleicher (7). Da beide Re­ sonatorsignale im wesentlichen (gedämpfte) Sinusschwingungen sind, kann man die Phasendifferenz zwischen ihnen nach den mathematischen Sätzen für trigonometrische Funktionen durch eine Multi­ plikation beider Signale ermitteln. Bei der Multiplikation (11) entstehen zwei Signalanteile, die sich im Spektrum deutlich unterscheiden. Zum einen erhält man eine Frequenzkomponente bei 2fx, zum anderen gibt es einen Gleichanteil, welcher direkt die Phasendifferenz repräsentiert. Mit einem ent­ sprechend gewählten Tiefpaß (12) kann man nun die Komponente bei 2fx eliminieren, so daß nur der Gleichanteil, welcher die Phasendifferenz repräsentiert, nach der Tiefpaßfilterung erhalten bleibt. Als zweckmäßige Grenzfrequenz für den Tiefpaß hat sich fx/2 erwiesen. Bei einer Phase von 0° liefert der Ausgang des Tiefpasses dann den höchsten (positiven) und bei 180° den niedrigsten (negativen) Wert. Die Phaseninformation läßt sich ohne weiteres wieder in eine Disparitätsinformation umwandeln. Eine Phase von 0° entspricht hierbei einer Disparität von 0 und eine Phase von 180° einer Disparität von 1/(2fx). Dieser Wert stellt auch gleichzeitig die Auflösungsgrenze dar. Größere Disparitätswerte sind bei vorgegebener Frequenz fx nicht bestimmbar.The filter result of both resonators then reaches a phase comparator ( 7 ). Since both re sonator signals are essentially (damped) sine waves, the phase difference between them can be determined according to the mathematical theorems for trigonometric functions by multiplying the two signals. Multiplication ( 11 ) produces two signal components that differ significantly in the spectrum. On the one hand you get a frequency component at 2f x , on the other hand there is a DC component that directly represents the phase difference. With a suitably chosen low-pass filter ( 12 ) you can now eliminate the component at 2f x , so that only the DC component, which represents the phase difference, is retained after the low-pass filtering. F x / 2 has proven to be a suitable cut-off frequency for the low-pass filter. With a phase of 0 ° the output of the low pass then delivers the highest (positive) and at 180 ° the lowest (negative) value. The phase information can easily be converted back into disparity information. A phase of 0 ° corresponds to a disparity of 0 and a phase of 180 ° corresponds to a disparity of 1 / (2f x ). This value also represents the resolution limit. Larger disparity values cannot be determined at a given frequency f x .

Das Signal des Phasenkomparators (7) enthält zwar die Disparitätsinformation, diese ist aber noch von der Amplitude der Resonatoren (6) abhängig. Das Signal muß also normiert werden. Dazu berech­ net man die Hüllkurven der Resonatorsignale (8), welche die Amplitude der Resonanz widerspiegeln, und teilt dann das Signal des Phasenvergleichers durch die Hüllkurven (9). Die beiden Hüllkurven werden ermittelt, indem man die Resonatorsignale jeweils quadriert (13) und dann in gleicher Weise wie beim Phasenvergleicher tiefpaßfiltert (14). Durch dieses Vorgehen ist in beiden Signalwegen (Pha­ senvergleich, 7 bzw. Hüllkurvenermittlung, 8) die spektrale Verteilung identisch (Aus diesem Grunde: Eine Gleichrichtung mit nachfolgender Tiefpaßfilterung verbietet sich, da in diesem Falle eine spektrale Verformung auftritt, die unterschiedliche Gruppenlaufzeiten für den Phasenverkehr bzw. die Hüllkurvenermittlung zur Folge hat, welches eine zusätzliche unerwünschte Phasenverschiebung zwischen diesen beiden Signalen ergibt). Um den gleichen Signalpegel wie vor der Quadrierung zu erhalten, wird dann noch jeweils die Wurzel (15) aus beiden Hüllkurvensignalen gezogen.The signal of the phase comparator ( 7 ) contains the disparity information, but this is still dependent on the amplitude of the resonators ( 6 ). The signal must therefore be standardized. For this purpose, one calculates the envelopes of the resonator signals ( 8 ), which reflect the amplitude of the resonance, and then divides the signal of the phase comparator by the envelopes ( 9 ). The two envelopes are determined by squaring the resonator signals ( 13 ) and then low-pass filtering ( 14 ) in the same way as with the phase comparator. This procedure means that the spectral distribution is identical in both signal paths (phase comparison, 7 or envelope curve determination, 8 ) (for this reason: rectification with subsequent low-pass filtering is forbidden, since in this case spectral deformation occurs that has different group delays for phase traffic or the result of the envelope curve determination, which results in an additional undesired phase shift between these two signals). In order to obtain the same signal level as before squaring, the root ( 15 ) is then extracted from both envelope signals.

Wenn die Frequenzkomponente, die durch den Resonator herausgefiltert wird, nur schwach im Bild repräsentiert ist und somit der Resonatorausgang geringe Werte liefert, dann ist auch das Signal hinter dem Phasenvergleicher gering. Zum Beispiel werden die Resonatorsignale zu null, wenn die Bildabtastung eine gleichförmig helle Fläche überstreicht. An diesen Bildpunkten ist die Disparität undefiniert und kann durch keines der bekannten Verfahren ermittelt werden. D.h. es ist sinnvoll, solche Bildpunkte als "unzuverlässig" zu markieren. In der hier vorgestellen Erfindung erfolgt dies durch ein Gatter (10) unter erneuter Benutzung der Hüllkurven der Resonatorsignale (8). Sind die Hüllkurven kleiner als eine einstellbare Schwelle so wandelt das Gatter (10) den Ausgang der Normie­ rungsstufe in einen Markierungswert (Flag) um, der der Darstellungs- (4) und Speichereinrichtung (5) signalisiert, daß an diesem Bildpunkt die Disparität nicht zuverlässig bestimmt werden kann. Liegen die Hüllkurven über der Schwelle, so wird der Ausgangswert der Normierstufe (9) unverändert an die nachfolgende Darstellungs- und Speichereinrichtung weitergeleitet.If the frequency component that is filtered out by the resonator is only weakly represented in the image and thus the resonator output delivers low values, then the signal behind the phase comparator is also low. For example, the resonator signals become zero when the image sweeps over a uniformly bright area. The disparity at these pixels is undefined and cannot be determined by any of the known methods. Ie it makes sense to mark such pixels as "unreliable". In the present invention, this is done by a gate ( 10 ) using the envelopes of the resonator signals ( 8 ) again. If the envelopes are smaller than an adjustable threshold, the gate ( 10 ) converts the output of the standardization stage into a marking value (flag) which signals the display ( 4 ) and storage device ( 5 ) that the disparity at this pixel is not reliable can be determined. If the envelopes are above the threshold, the initial value of the standardization stage ( 9 ) is passed on unchanged to the subsequent display and storage device.

Als instruktives Beispiel sei hier kurz ein rechteckförmiger Einheitshelligkeitssprung (eine "Kante" mit Helligkeitsunterschied 1) erwähnt. Wenn der Helligkeitssprung zuerst im linken Bild und dann im rechten Bild auftritt, dann erscheint am Ausgang des Phasenvergleichers folgendes Signal:As an instructive example, here is a rectangular jump in uniform brightness (an "edge" with brightness difference 1) mentioned. If the brightness jump first in the left image and then in the right picture appears, then the following signal appears at the output of the phase comparator:

mit:With:

Hier ist a = const. und tr-tl entspricht der Disparität, welche in der Konstanten K enthalten ist. Diese ist direkt nach dem zweiten Helligkeitssprung (d. h., für t = tr) in voller Höhe vorhanden und klingt durch den zweiten Term L ab. Das Produkt der Normierungssignale (8) ist identisch zum Term L; d. h. nach Normierung (9, Division) erhält man die Konstante K ohne den störenden Am­ plitudenabfall. Daraus kann nach Anwendung der arccos Funktion die Disparität tr-tl ermittelt werden. Die Konstante K und damit der ermittelte Disparitätswert ist für ca. Q Resonatorschwin­ gungsperioden am Ausgang stabil und kann nach Umrechnung als Tiefenwert in die Darstellungs- und Speichereinrichtung übernommen werden. Here a = const. and t r -t l corresponds to the disparity contained in the constant K. This is present in full immediately after the second jump in brightness (ie for t = t r ) and subsides through the second term L. The product of the normalization signals ( 8 ) is identical to the term L; ie after standardization (9, division), the constant K is obtained without the disruptive drop in the plititude. After using the arccos function, the disparity t r -t l can be determined from this. The constant K and thus the determined disparity value is stable for approximately Q resonator oscillation periods at the output and can be adopted as a depth value in the display and storage device after conversion.

Anwendungsgebietfield of use

Die vorgestellte Erfindung vereint die Vorteile der phasenbasierten Verfahren mit den Echtzeiteigen­ schaften von kausalen Filtern. Der Resonator entspricht hier einem Filter, welcher sowohl im Frequenz­ als auch im Ortsraum lokalisiert ist. Die Erfindung stellt somit ein technisches Verfahren dar, welches nun den Einsatz in zeitkritischen Bereichen ermöglicht. Die Anwendung der Erfindung findet sich vor allem in der Robotik. Dadurch, daß sie - mit entsprechend schnellen digitalen oder analogen Filtern - in der Lage ist, Tiefeninformation in Echtzeit von zwei handelsüblichen CCD-Kameras zu gewinnen, eignet sie sich als preiswerte und zuverlässige Ausgangsbasis eines Navigationssystems.The presented invention combines the advantages of the phase-based method with the real time of causal filters. The resonator corresponds to a filter, which is both in frequency and is localized in the local area. The invention thus represents a technical process which now enables use in time-critical areas. The application of the invention can be found especially in robotics. The fact that - with correspondingly fast digital or analog filters - is able to obtain depth information in real time from two commercially available CCD cameras, it is suitable as an inexpensive and reliable basis for a navigation system.

Claims (5)

1. Verfahren zur dreidimensionalen Erfassung einer räumlichen Szene mit Hilfe eines optoelek­ tronischen Bildaufnahmegerätes und einer nachgeschalteten elektronischen Auswertungs- und Darstellungseinrichtung, dadurch gekennzeichnet,
  • - daß die Geometrie des Bildaufnahmegerätes so gestaltet ist, daß Stereobildpaare aufgenom­ men werden, in denen die räumliche Tiefe der zu erfassenden Objekte in der Szene durch unterschiedliche horizontale Stereodisparität kodiert ist,
  • - daß das Bildaufnahmegerät in frei beweglicher Weise eine Serie von solchen Stereobildpaa­ ren der zu erfassenden Szene aufnimmt,
  • - daß jedes Stereobildpaar sequentiell registriert wird (zeilenweise/horizontale Abtastung), wobei jedem Bildpunkt ein Datenwert (z. B. elektr. Spannungswert oder Zahlenwert) in kon­ tinuierlicher Abhängigkeit von der jeweiligen Helligkeit des Bildpunktes zugewiesen wird,
  • - daß der dabei entstehende kontinuierlich eintreffende Bilddatenstrom fortlaufend während des Eintreffens (′on-line′) bezüglich der horizontalen Disparität ausgewertet wird, wobei diejenigen Bildpunkte vom linken und rechten Stereobild, welche zu Bildzeilen mit gleicher vertikaler Zeilennummer gehören, jeweils gleichzeitig ausgewertet werden,
  • - daß die Auswertung entsprechender Bildpunkte durch eine verzweigte Kette von sequentiell verknüpften kausalen (analogen oder digitalen) Filtern und Recheneinheiten erfolgt,
  • - daß die Auswertung darauf basiert, daß mit Hilfe dieser Filterkette zu jedem Zeitpunkt der korrigierte und normierte Phasenunterschied beider Stereobildsignale ermittelt wird und daraus der Stereodisparitätswert bestimmt wird, aus dem mit Hilfe der bekannten Geome­ trie des Bildaufnahmegerätes die räumlichen Tiefe des zu diesem Zeitpunkt registrierten Bildpunktes errechnet wird,
  • - daß das Ergebnis der Auswertung eines jeden Stereobildpaares die räumlichen Koordinaten jedes Bildpunktes sind, welche durch einen geeigneten Wandler auf einem Wiedergabegerät (z. B. Bildschirm, Projektionseinrichtung) bildlich dargestellt, sowie gleichzeitig zur weiteren Verarbeitung digital gespeichert werden.
1. A method for three-dimensional detection of a spatial scene with the aid of an optoelectronic image recording device and a downstream electronic evaluation and display device, characterized in that
  • that the geometry of the image recording device is designed in such a way that stereo image pairs are recorded in which the spatial depth of the objects to be recorded in the scene is coded by different horizontal stereo disparity,
  • that the image recording device records a series of such stereo image pairs of the scene to be captured in a freely movable manner,
  • that each stereo image pair is registered sequentially (line-by-line / horizontal scanning), with each pixel being assigned a data value (e.g. electrical voltage value or numerical value) in a continuous dependence on the respective brightness of the pixel,
  • that the resulting continuously arriving image data stream is continuously evaluated as it arrives ('on-line') with respect to the horizontal disparity, the pixels of the left and right stereo image which belong to image lines with the same vertical line number being evaluated simultaneously,
  • that the corresponding pixels are evaluated by a branched chain of sequentially linked causal (analog or digital) filters and computing units,
  • - That the evaluation is based on the fact that with the help of this filter chain the corrected and normalized phase difference between the two stereo image signals is determined at all times and from this the stereodisparity value is determined, from which the spatial depth of the image point registered at that time is determined using the known geometry of the image recording device is calculated
  • - That the result of the evaluation of each stereo image pair are the spatial coordinates of each pixel, which are represented by a suitable converter on a display device (z. B. screen, projection device), and simultaneously stored digitally for further processing.
2. Einrichtung zur Durchführung der elektronisch-rechnerischen Auswertung des Verfahrens nach Patentanspruch 1, bestehend aus zwei, in fester Geometrie montierten, beweglichen Kameras (1), zwei Signalwandlern (2) zur Erzeugung eines mit dem nachfolgenden Tiefenbestimmungsver­ fahren kompatiblen Datenformates, dem Tiefenbestimmungsverfahren (3), einer Darstellungs­ einrichtung (4) und einer digitalen Speichereinrichtung (5), gekennzeichnet dadurch, daß das Tiefenbestimmungsverfahren (3) besteht aus
  • - zwei Resonatoren (6) in Form von Bandpaßfiltern, welche die Signale der Wandler (2) empfangen und mit einer abklingenden Schwingung mit der Resonanzfrequenz fx reagieren,
  • - einem Phasenvergleicher (7), der die Phasendifferenz Φ der beiden Resonatorsignale (6) ermittelt,
  • - zwei Amplitudenermittlungsverfahren (8), welche die Genauigkeit der ermittelten Stereo­ disparitätswerte überprüfen und gleichzeitig eine Normierungsinformation für Normierungs­ schritt (9) und Gatter (10) liefern,
  • - einer Normierungsstufe (9), welche Amplitudenschwankungen der Resonatoren ausgleicht, dadurch daß diese Stufe aus einer Dividiereinheit besteht, welche das Ausgangssignal des Phasenvergleichers (7) jeweils durch die beiden Signale der Amplitudenermittlungsverfah­ ren (8) stammend vom rechten und linken Bild dividiert, so daß das Ausgangssignal der Normierungsstufe der Stereodisparität entspricht,
  • - einem Gatter mit einstellbarer Schwelle (10) welches einerseits diejenigen normierten Pha­ senwerte verwirft bzw. markiert, für die das Amplitudenermittlungsverfahren eine nicht vertretbare Ungenauigkeit ergibt und andererseits die zuverlässigen Werte an die Darstel­ lungseinrichtung (4) und die digitale Speichereinrichtung (5) weitergibt.
2.Device for performing the electronic computational evaluation of the method according to claim 1, consisting of two, fixed geometry, movable cameras ( 1 ), two signal converters ( 2 ) for generating a data format compatible with the subsequent depth determination method, the depth determination method ( 3 ), a display device ( 4 ) and a digital storage device ( 5 ), characterized in that the depth determination method ( 3 ) consists of
  • - two resonators ( 6 ) in the form of bandpass filters which receive the signals from the transducers ( 2 ) and react with a decaying oscillation at the resonance frequency f x ,
  • - a phase comparator ( 7 ) which determines the phase difference Φ of the two resonator signals ( 6 ),
  • - two amplitude determination methods ( 8 ), which check the accuracy of the stereo disparity values determined and at the same time provide standardization information for standardization step ( 9 ) and gate ( 10 ),
  • - A normalization stage ( 9 ), which compensates for amplitude fluctuations of the resonators, characterized in that this stage consists of a dividing unit, which divides the output signal of the phase comparator ( 7 ) by the two signals of the amplitude determination methods ( 8 ) from the right and left image, so that the output signal corresponds to the standardization level of stereo disparity,
  • - A gate with adjustable threshold ( 10 ) which on the one hand discards or marks those standardized Pha values for which the amplitude determination method results in an unacceptable inaccuracy and on the other hand passes on the reliable values to the display device ( 4 ) and the digital storage device ( 5 ).
3. Einrichtung nach Anspruch 2 gekennzeichnet dadurch, daß der Phasenvergleich (7) durch eine Multiplikation (11) und nachfolgende Tiefpaßfilterung (12) mit Grenzfrequenz kleiner oder gleich fx erfolgt, so daß die Phasendifferenz als Gleichanteil hinter der Tiefpaßfilterung erhalten wird.3. Device according to claim 2, characterized in that the phase comparison ( 7 ) by a multiplication ( 11 ) and subsequent low-pass filtering ( 12 ) with cutoff frequency is less than or equal to f x , so that the phase difference is obtained as a direct component behind the low-pass filtering. 4. Einrichtung nach Anspruch 2 gekennzeichnet dadurch, daß die Amplitudenermittlungsverfahren (8) bestehen aus je
  • - einem Quadrierglied (13),
  • - einem Tiefpaß (14) mit Grenzfrequenz fx,
  • - und einem Quadratwurzelziehglied (15),
4. Device according to claim 2, characterized in that the amplitude determination method ( 8 ) consist of each
  • - a square member ( 13 ),
  • - a low-pass filter ( 14 ) with cut-off frequency f x ,
  • - And a square root extractor ( 15 ),
so daß die Hüllkurven (Amplituden) der beiden Resonatorsignale erhalten werden.so that the envelopes (amplitudes) of the two resonator signals are obtained.
DE19625727A 1996-06-27 1996-06-27 Device for determining the disparity in a stereo image pair Expired - Fee Related DE19625727C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE19625727A DE19625727C2 (en) 1996-06-27 1996-06-27 Device for determining the disparity in a stereo image pair

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19625727A DE19625727C2 (en) 1996-06-27 1996-06-27 Device for determining the disparity in a stereo image pair

Publications (2)

Publication Number Publication Date
DE19625727A1 true DE19625727A1 (en) 1998-01-02
DE19625727C2 DE19625727C2 (en) 2000-11-09

Family

ID=7798166

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19625727A Expired - Fee Related DE19625727C2 (en) 1996-06-27 1996-06-27 Device for determining the disparity in a stereo image pair

Country Status (1)

Country Link
DE (1) DE19625727C2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114459461A (en) * 2022-01-26 2022-05-10 西安应用光学研究所 Navigation positioning method based on GIS and real-time photoelectric video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4110951A1 (en) * 1991-04-05 1992-10-08 Bundesrep Deutschland Reducing transmitted information for stereoscopic image data - producing difference image data and combining with left channel data to define additional bit signal
EP0738872A2 (en) * 1995-04-21 1996-10-23 Matsushita Electric Industrial Co., Ltd. Stereo matching method and disparity measuring method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4456926A (en) * 1982-06-21 1984-06-26 Thomson-Csf Broadcast, Inc. Enhancement of fluroscopically generated images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4110951A1 (en) * 1991-04-05 1992-10-08 Bundesrep Deutschland Reducing transmitted information for stereoscopic image data - producing difference image data and combining with left channel data to define additional bit signal
EP0738872A2 (en) * 1995-04-21 1996-10-23 Matsushita Electric Industrial Co., Ltd. Stereo matching method and disparity measuring method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOST, B.: Konstruktion von Zwischenansichten für Multi-Viewpoint-3DTV-Systeme Fernseh- und Kinotechnik, 2/1988, S. 67-73 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114459461A (en) * 2022-01-26 2022-05-10 西安应用光学研究所 Navigation positioning method based on GIS and real-time photoelectric video
CN114459461B (en) * 2022-01-26 2023-11-28 西安应用光学研究所 Navigation positioning method based on GIS and real-time photoelectric video

Also Published As

Publication number Publication date
DE19625727C2 (en) 2000-11-09

Similar Documents

Publication Publication Date Title
DE69624614T2 (en) Stereo matching and inequality measurement method
DE19882939C2 (en) Method for determining the relative camera orientation position to produce visible 3-D images
DE69512709T2 (en) Stereo matching and equality measurement method
DE68913499T2 (en) Discrete autofocus setting for imaging in a radar with synthetic aperture and very high resolution.
DE69413384T2 (en) METHOD FOR DETERMINING THE INEQUALITY BETWEEN MONOSCOPIC IMAGES THAT ARE A STEREOSCOPIC IMAGE
DE10326943A1 (en) Autonomous vehicle and associated method and device for motion determination, motion control and object detection
DE102015005267A1 (en) Information processing apparatus, method therefor and measuring apparatus
DE112011103452T5 (en) Method for matching pixels of a distance representation
EP3005292A1 (en) 3d recording device, method for producing a 3d image, and method for setting up a 3d recording device
DE102016208056A1 (en) Method and device for processing image data and driver assistance system for a vehicle
DE102009013667A1 (en) A method of producing a known fixed spatial relationship between a laser scanner and a digital camera for traffic surveillance
DE19741392A1 (en) Measured distance correction method for anticollision
EP0918302B1 (en) Coherence detector
DE102009059890A1 (en) Optical positioning device and its positioning method
DE69423708T2 (en) Detection of global translation between images
DE102012211961A1 (en) Method and apparatus for calculating a change in a magnification of an object
DE102009028742A1 (en) Method and control device for determining a movement information of an object
DE19625727A1 (en) Three dimensional sensing of spatial scene using optoelectronic image sensing devices
WO2019105737A1 (en) Method, device and computer program for determining a distance to an object
DE102008026657A1 (en) Method for imaged representation of three dimensional acoustic objects as measuring object, involves bringing images in relation to acoustic reference image of measuring object immediately or at time point
DE102010042821A1 (en) Method and apparatus for determining a basic width of a stereo detection system
DE2619795B2 (en) Methods and arrangements for automatic parallax determination
DE19517029B9 (en) Method for determining the height of a vehicle with the aid of a video camera recording the vehicle and device for carrying out the method
DE4444697A1 (en) Stereoscopic image rangefinding processing
DE2437129C3 (en) Arrangement for estimating object characteristics

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8122 Nonbinding interest in granting licences declared
D2 Grant after examination
8327 Change in the person/name/address of the patent owner

Owner name: I-TO-I GMBH, 21079 HAMBURG, DE

8381 Inventor (new situation)

Free format text: PORR, BERND, 44789 BOCHUM, DE WOERGOETTER, FLORENTIN, 44789 BOCHUM, DE

8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: I-TO-I EFKON MOBILITY GMBH, 21079 HAMBURG, DE

8320 Willingness to grant licences declared (paragraph 23)
R082 Change of representative
R081 Change of applicant/patentee

Owner name: EFKON AG, AT

Free format text: FORMER OWNER: I-TO-I EFKON MOBILITY GMBH, 21079 HAMBURG, DE

Effective date: 20111121

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140101