DE3412533C2

DE3412533C2 -

Info

Publication number: DE3412533C2
Application number: DE3412533A
Authority: DE
Inventors: Klaus Dr. 7770 Ueberlingen De Hesse
Original assignee: Klaus Dr. 7770 Ueberlingen De Hesse
Current assignee: HESSE, KLAUS, DR., 7770 RBERLINGEN, DE
Priority date: 1984-04-04
Filing date: 1984-04-04
Publication date: 1987-08-20
Also published as: DE3412533A1

Description

Die Erfindung betrifft ein Verfahren nach dem Oberbegriff von Patentanspruch 1 sowie eine Einrichtung zur Durchführung dieses Verfahrens.The invention relates to a method according to the preamble of claim 1 and a device for performing this procedure.

Der Sensor soll dreidimensionale Erkennungsvorgänge, ähnlich wie sie vom menschlichen Augenpaar durchgeführt werden, mit Mitteln der Technik, z. B. Fernsehkameras und speziellen elektronischen Bildauswertelogiken, nachzuahmen gestatten. Durch den Sensor soll ermöglicht werden, daß beispielsweise bei industriellen Überwachungsvorgängen auf den Menschen als Beobachter oder Kontrolleur verzichtet werden kann oder die Einsatzmöglichkeiten der derzeit überwiegend ohne visuelle Sensoren arbeitenden Industrieroboter für anspruchsvollere Aufgaben, z. B. im Handhabungs- oder Montage-Bereich erweitert werden können.The sensor is supposed to perform three-dimensional recognition processes, similar to them be carried out by the human pair of eyes, using technical means, e.g. B. television cameras and special electronic image evaluation logic, allow to imitate. The sensor should make it possible for for example in industrial surveillance processes on humans can be dispensed with as an observer or controller or the Possible uses of those currently working mostly without visual sensors Industrial robots for more demanding tasks, e.g. B. in handling or assembly area can be expanded.

Seit Jahren ist man bemüht, maschinell-visuelle Sensoren zu entwickeln, welche in begrenztem und auf die jeweilige Aufgabe zugeschnittenem Rahmen die Fähigkeiten des visuellen Wahrnehmungsapparates des Menschen nachzuahmen gestatten, um sie bei der Fertigungsautomation einsetzen zu können, z. B. Produktinformationen der Firmen BBC (OMS), Bosch (SAM), AEG (IBS), PCS (INCOS). Man kann die bisher eingeführten Sensoren gemäß der Art ihrer Bildauswertung in zwei Klassen einteilen: Binärbild-verarbeitende und Grauwertbild-verarbeitende Sensoren. Bei ersteren (OMS, SAM) wird das empfangene Bild durch geeignete Wahl einer Schwelle im Lichtpegel auf ein schattenrißartiges Schwarz- Weiß-Bild reduziert, also von vornherein eine drastische Informationsreduktion vorgenommen. Dies hat zur Folge, daß diese Geräte nur bei Situationen, die eine derartige Vereinfachung des Bildes auch zulassen, z. B. bei der Erkennung von Umrissen, Löchern oder Schriftzeichen, einsetzbar sind. Mit den zunehmenden Möglichkeiten der elektronischen Informationsverarbeitung ist inzwischen auch die hinreichend schnelle und preiswerte Auswertung feinerer Schattierungen der Bildinformation, sogenannte Grauwertverarbeitung, möglich (INCOS, IBS). Dadurch werden die Einsatzmöglichkeiten für visuelle Sensoren erheblich erweitert, da jetzt auch kontrastärmere oder komplexere Szenen verarbeitet werden können.For years there has been an effort to develop machine-visual sensors which are limited and tailored to the respective task Frame the capabilities of the visual perception apparatus of the Allow people to mimic them in manufacturing automation to be able to use z. B. BBC (OMS) product information, Bosch (SAM), AEG (IBS), PCS (INCOS). One can use the ones introduced so far Sensors according to the way they are evaluated in two classes classify: binary image processing and gray value image processing sensors. With the former (OMS, SAM) the received image is replaced by a suitable one Selection of a threshold in the light level to a shadowy black White picture reduced, so from the outset a drastic reduction in information performed. As a result, these devices only Situations that also allow such simplification of the image, e.g. B. when recognizing outlines, holes or characters, can be used. With the increasing possibilities of electronic Information processing has meanwhile also become sufficiently fast and inexpensive evaluation of finer shades of image information, so-called gray value processing, possible (INCOS, IBS). Thereby the possible uses for visual sensors become significant extended because now also low-contrast or more complex scenes are processed can be.

Eine prinzipielle Grenze der Einsatzfähigkeit ist bisher jedoch, daß jeder Bildsensor nur eine zweidimensionale Abbildung bzw. Beschreibung einer an sich meistens dreidimensionalen Szenerie liefert. In vielen Fällen ist erstere ausreichend. Wird z. B. eine Fernsehkamera zur Beobachtung und/oder Verfolgung der Werkstücke auf einem Förderband senkrecht von oben auf das Förderband blickend montiert, so kann der Abstand vom Förderband als bekannt vorausgesetzt werden und das Fernsehbild ist oft ausreichend, um eine komplette Lagebestimmung der auf dem Förderband liegenden Teile vornehmen zu können.So far, however, a fundamental limit of operational capability is that everyone Image sensor only a two-dimensional image or description a mostly three-dimensional scenery. In many cases the former is sufficient. Is z. B. a television camera for observation and / or tracking the workpieces on a conveyor belt vertically from Mounted on top of the conveyor belt, the distance from the Conveyor belt are assumed to be known and the television picture is often sufficient to make a complete orientation of the on the conveyor belt to be able to make lying parts.

Braucht man aber zusätzlich die Abstandsinformation, bedarf es bisher bei einäugigen Sensoren weiterer Hilfsmittel, z. B. die Szene überstreichende Laserstrahlen oder gegliederte Lichtvorhänge (siehe Robotics World, März 1984, S. 28), um mittels Triangulationsverfahren Rückschlüsse auf den Abstand ziehen zu können. Auch die Methode, aus der im Bild erscheinenden Größe eines größenmäßig bekannten Teiles auf seinen Abstand zu schließen, läßt sich manchmal ausnutzen, ist meistens jedoch zu ungenau. Stereobetrachtung mit zwei Kameras und Auswertung des Stereo-Bildpaares ist in einfacheren Einzelfällen schon demonstriert worden. Die Verfahren beruhen, soweit bekannt, auf einer Bildanalyse jedes der beiden Bilder des Stereo-Paares und nachträglicher, meist schwieriger Zuordnung der analysierten Bilddetails zur Gewinnung der Stereo-Information. Sie sind bisher in keinem bekanntgewordenen kommerziellen System eingeführt.But if you also need the distance information, it has been necessary so far with one-eyed sensors other aids, e.g. B. the scene sweeping laser beams or structured light curtains (see Robotics World, March 1984, p. 28) to draw conclusions using the triangulation method to be able to move to the distance. Even the method from which the size of a part that is known in terms of size it can sometimes be exploited to close its distance, it is usually however too imprecise. Stereo viewing with two cameras and evaluation of the stereo image pair has already been demonstrated in simpler individual cases been. As far as is known, the methods are based on image analysis each of the two pictures of the stereo pair and subsequent, mostly difficult assignment of the analyzed image details to obtain the Stereo information. So far, none of them have become known commercial system introduced.

Der Erfindung liegt die Aufgabe zugrunde, die dreidimensionale Konfiguration einer Szene mit nur einem bildaufnehmendem Gerät (Kamera) zu erfassen und unter Vereinfachung der bisherigen Auswerteverfahren die dreidimensionale Information zu gewinnen. The invention has for its object the three-dimensional Configuration of a scene with only one image capturing device (camera) record and simplify the previous evaluation procedures to obtain three-dimensional information.

Diese Aufgabe wird erfindungsgemäß mit den im Kennzeichen von Patentanspruch 1 angegebenen Maßnahmen gelöst.This object is achieved according to the invention in the license plate Measures specified by claim 1 solved.

Vorteilhafte Weiterbildungen der Erfindung sind den Unteransprüchen zu entnehmen.Advantageous developments of the invention are See subclaims.

Die Lösung der Aufgabe macht sich die Tatsache zunutze, daß im allgemeinen die Unterschiede innerhalb eines Stereo-Bildpaares um so geringer sind, je enger benachbart die beiden Stereokameras angeordnet sind - genauer: je kleiner das Verhältnis "Stereobasis b zu Abstand A (der Kameras von der Szene)" ist. Dies liegt sowohl an den Verschiebungen und wechselnden Verdeckungen innerhalb einer gegliederten Szene bei wechselndem Standort des Beobachters als auch an der Tatsache, daß kein Körper ein idealer Lambert- Strahler ist, d. h. von einem Punkt seiner Oberfläche in verschiedene Richtungen die genau gleiche Lichtintensität aussendet. Diese bei abnehmender Stereobasis b zunehmende Ähnlichkeit eines Stereo-Bildpaares, die in einer großen Vereinfachung der Auswertung desselben resultieren kann, geht andererseits mit einem Verlust an Auswerte-Genauigkeit in der dritten Dimension, kurz Stereoinformation genannt, einher, kann also nicht beliebig gesteigert werden, auch schon aus praktischen Gründen der räumlichen Kollision der beiden Stereo-Kameras nicht.The solution to the problem takes advantage of the fact that, in general, the closer the two stereo cameras are to each other, the smaller the differences within a stereo image pair - more precisely: the smaller the ratio "stereo base b to distance A (the cameras from the scene) ". This is due both to the displacements and changing occlusions within an articulated scene with changing positions of the observer as well as to the fact that no body is an ideal Lambert spotlight, ie it emits exactly the same light intensity in different directions from one point of its surface. This increasing similarity of a stereo image pair with decreasing stereo base b , which can result in a great simplification of the evaluation of the same, is accompanied on the other hand with a loss of evaluation accuracy in the third dimension, called stereo information for short, and cannot be increased arbitrarily, not for practical reasons of the spatial collision of the two stereo cameras.

Die erfindungsgemäße Lösung der Aufgabe unter Umgehung der genannten Schwierigkeiten bei Aufnahme und Auswertung besteht in einer mit einer einzigen bewegten Kamera aufgenommenen Bildsequenz und deren Auswertung nach einem im folgenden näher beschriebenen Verfahren. Die einzelnen Bilder der Sequenz müssen einerseits von genügend eng benachbarten, aufeinanderfolgenden Standorten der bewegten Kamera aufgenommen werden, um aufgrund einer genügend hohen Ähnlichkeit mit einem einfach zu realisierenden Algorithmus ausgewertet werden zu können, die virtuelle Gesamtbasis b zwischen erstem und frei wählbarem letztem Bild der Sequenz kann groß genug gewählt werden, um genügend genaue Stereo-Information ableiten zu können.The solution to the problem according to the invention while avoiding the aforementioned difficulties in recording and evaluating consists in an image sequence recorded with a single moving camera and its evaluation according to a method described in more detail below. On the one hand, the individual images of the sequence must be taken from sufficiently closely adjacent, successive locations of the moving camera in order to be able to be evaluated due to a sufficiently high similarity to an algorithm that is easy to implement, the virtual total basis b between the first and freely selectable last image of the sequence can be chosen large enough to be able to derive sufficiently precise stereo information.

Die hohe Ähnlichkeit der benachbarten Bilder der Sequenz macht einen quasi punktweisen Vergleich möglich: Durch eine Bildkorrelation kann jeder Bildpunkt des einen Bildes (einschließlich seiner Mikro-Umgebung, z. B. eines Bereiches von 3×3 Bildpunkten bei einem gerasterten Bild) mit dem koordinatenmäßig zuzuordnenden Bildbereich des anderen Bildes des virtuellen Paares verglichen werden. Der zu untersuchende Bildpunkt des einen Bildes wird samt seiner Mikro-Umgebung rechnerisch so lange über dem zuzuordnenden Bildbereich des anderen Bildes verschoben, bis die beste Übereinstimmung gefunden, d. h. dasselbe Detail in beiden Bildern identifiziert ist. Ihre relative Verschiebung gegeneinander läßt eine Berechnung der Entfernung zu.The high similarity of the neighboring pictures in the sequence makes one Quasi point-by-point comparison possible: Through an image correlation can every pixel of an image (including its micro-environment, e.g. B. an area of 3 × 3 pixels in a rastered image) with the image area of the other image to be coordinated of the virtual couple are compared. The pixel to be examined the one picture, along with its micro-environment, is calculated so long moved over the image area of the other image to be assigned until found the best match, d. H. the same detail in both Images is identified. Their relative displacement against one another leaves one Calculating the distance too.

Eine möglichst mathematische Realisierung des Vergleiches für ein Bildpunktpaar wird durch die FormelA possible mathematical realization of the comparison for a Pixel pair is represented by the formula

beschrieben. Die Summation läuft für jede Verschiebung ξ über alle Bildpunkte der erwähnten Mikroumgebung der beiden zu vergleichenden Bilder B _i und B _j. Die Funktion K( u ) erreicht in Abhängigkeit von ξ, der Koordinate der gegenseitigen Verschiebung der beiden Bilder gegeneinander, bei optimaler Übereinstimmung der beiden Mikro-Umgebungen ein Minimum. Gesucht ist die zum Minimum gehörige Verschiebungskoordinate ξ _min, welche die Stereoinformation zu berechnen gestattet. Die Bestimmung von ξ _min muß für alle Bildpunkte durchgeführt werden. described. The summation runs for each shift ξ over all pixels of the mentioned microenvironment of the two images B _i and B _j to be compared. The function K ( u ) reaches a minimum depending on ξ , the coordinate of the mutual displacement of the two images against one another, with an optimal match of the two microenvironments. We are looking for the minimum shift coordinate ξ _min that allows the stereo information to be calculated. The determination of ξ _min must be carried out for all pixels.

Es sind auch andere, aufwendigere, z. B. multiplikative und entsprechend normierte Verknüpfungen der Bildpunkte eines Paares möglich, z. B. der Kreuzkorrelationskoeffizient. Gegenüber der angegebenen Formel schöpfen diese aber meistens nicht den für die schnelle Berechnung entscheidenden Vorteil der hochgradigen Ähnlichkeit der Bilder bei eng benachbarten Bildaufnahmestandorten aus.There are also other, more complex, e.g. B. multiplicative and accordingly standardized links of the pixels of a pair possible, e.g. B. the cross correlation coefficient. Compared to the given formula but mostly they do not use the one for the quick calculation decisive advantage of the high degree of similarity of the pictures at close neighboring imaging locations.

Aus der erwähnten Lage ξ _min des Minimums der Funktion K( ξ ) der angeführten Formel ergibt sich die relative Verschiebung eines Bilddetails und hieraus läßt sich der vertikale Abstand von der Verbindungslinie der Kamerastandorte zuFrom the above-mentioned position ξ _{min of} the minimum of the function K ( ξ ) of the formula given, the relative displacement of an image detail results and from this the vertical distance from the connecting line of the camera locations can be made

berechnen, vgl. Abs. 3 (f bezeichnet die Brennweite des Kameraobjektivs). Für jede quantitative Bestimmung ist die Ungenauigkeit dA dieses Abstandes wichtig. Sie ergibt sich in Abhängigkeit von der Ungenauigkeit bei der Bestimmung von ξ _min, also d ξ zucalculate, cf. Paragraph 3 ( f denotes the focal length of the camera lens). The inaccuracy dA of this distance is important for any quantitative determination. It is a function of the inaccuracy when determining ξ _min , i.e. d ξ zu

Hieraus ist ersichtlich, daß bei fester Ungenauigkeit d ξ die Ungenauigkeit dA umgekehrt proportional zur Größe der Stereobasis b ist, daß also die schrittweise Auswertung der Bildsequenz bei wachsender Stereo- Basis einer schrittweisen Annäherung an die gewünschte Genauigkeit der Abstandsinformation entspricht.From this it can be seen that with a fixed inaccuracy d ξ the inaccuracy dA is inversely proportional to the size of the stereo base b , that is to say that the step-by-step evaluation of the image sequence as the stereo base grows corresponds to a step-by-step approach to the desired accuracy of the distance information.

Das angegebene Verfahren mit bewegter Kamera erfordert eine (zumindest zeitweilig) stationäre Szene, eine Bedingung, die eine Einschränkung der Anwendbarkeit bedeuten kann. Da aber alle Bewegungen zwischen Szene und Kamera Relativbewegungen sind, gilt diese Einschränkung nur bei unbekannten Bewegungen in der Szene. So ist das Verfahren bei der weiter oben erwähnten Förderbandkonfiguration (ruhende Kamera) bei bekannter Förderbandgeschwindigkeit ebenso einsetzbar wie bei dem häufig zitierten Griff in die Kiste, wenn sich ein Roboterarm mit angeflanschter Kamera auf einer für die Aufnahme der Bildsequenz geeignet ausgewählten Bahn auf die Kiste zu oder über ihr bewegt.The specified method with a moving camera requires one (at least temporarily) stationary scene, a condition that restricts the Applicability can mean. But since all movements between scenes and camera are relative movements, this restriction only applies to unknown movements in the scene. So the procedure is at next Conveyor belt configuration mentioned above (stationary camera) with known Conveyor belt speed can also be used as with the frequently cited Reach into the box when there is a robot arm with a camera attached on a path suitably selected for the recording of the image sequence moved towards or over the box.

Das die Stereo-Bildpaare auswertende schnelle elektronische Netzwerk enthält prinzipiell folgende, später näher ausgeführte Baugruppen (vgl. Abb. 1): Zwei nach Art eines zweidimensionalen Schieberegisters betreibbare Bildspeicher mit partiell parallelem Zugriff (7), eine Verknüpfungslogik aus mehreren parallel arbeitenden identischen Bausteinen (8), deren Eingänge aus (7 a) und (7 b) gespeist werden, und deren Ergebnisse an ein Maskenregister (9), welches einer variablen Mikro- Umgebungs-Begrenzung, d. h. einer Einschränkung der aus (8) bereitgestellten Summanden dient, weitergegeben werden, eine Summierkaskade (10) und eine geeignete schnelle Ablaufsteuerung (12) mittels derer für alle Bildpunkte P(x, y) des Ausgangsbildes die erforderlichen relativen Verschiebungen ξ eines Bildpaares gegeneinander realisiert werden. Die von der Summierkaskade (10) ausgegebenen Ergebnisse müssen nach dem Extremwert für jede ξ-Verschiebungsreihe abgefragt werden. Dies kann in einer geeignet aus Komparatoren aufgebauten Hardware (11) erfolgen oder per Software im Wirtsrechner (6). Die sich - bei Anwendung der Formel (1) - ergebenden Minima der Funktion K( ξ ) bilden im allgemeinen eine Fläche ξ _min (x, y) über dem Bild mit den Koordinaten x und y. Letztere wählt man zweckmäßigerweise auch als Adressen des Ergebnisspeichers (5). Diese Ergebnisfläche läßt sich nach einer der Formel (2) entsprechenden Umrechnungsformel in die zu bestimmende dreidimensionale Oberfläche der Szenerie umsetzen.The fast electronic network evaluating the stereo image pairs basically contains the following modules, which will be explained in more detail later (see Fig. 1): Two image memories that can be operated in the manner of a two-dimensional shift register with partially parallel access ( 7 ), a logic logic consisting of several identical components working in parallel ( 8 ), the inputs of which are fed from ( 7 a ) and ( 7 b) , and the results of which are passed on to a mask register ( 9 ), which serves for a variable microenvironmental limitation, ie a limitation of the summands provided from ( 8 ) are, a summing cascade ( 10 ) and a suitable fast sequence control ( 12 ) by means of which the required relative displacements ξ of a pair of images relative to one another are realized for all pixels P (x, y) of the output image. The results output by the summing cascade ( 10 ) must be queried for the extreme value for each ξ shift series. This can be done in a hardware ( 11 ) suitably constructed from comparators or by software in the host computer ( 6 ). The resulting minima of the function K ( ξ ) when using the formula (1) generally form an area ξ _min (x, y) above the image with the coordinates x and y. The latter is expediently also chosen as the addresses of the result memory ( 5 ). This result area can be converted into the three-dimensional surface of the scenery to be determined according to a conversion formula corresponding to formula (2).

Dieses spezielle Netzwerk zur Durchführung des eigentlichen Algorithmus wird eingebettet in ein Wirtsrechnersystem (vgl. Abb. 1), welches einerseits eine Digitalisierungseinrichtung (2) und mehrere Pufferspeicher (3) zur Vorbereitung des Bilddatenstromes der Kamera (1) für die eigentliche Rechnung besitzt und andererseits die Weiterverarbeitung und Auswertung der Rohergebnisse ξ _min (x, y) übernehmen muß.This special network for executing the actual algorithm is embedded in a host computer system (see Fig. 1), which on the one hand has a digitizing device ( 2 ) and several buffer memories ( 3 ) to prepare the image data stream of the camera ( 1 ) for the actual calculation and on the other hand the further processing and evaluation of the raw results ξ _min (x, y) must take over.

Bei einer tatsächlichen Realisierung nutzt man zweckmäßigerweise folgende Vereinfachungsmöglichkeit für die Berechnung aus. Die eine Bildkoordinatenachse lege man in Richtung der Verbindungslinie der Stereobasis, also parallel zum Bewegungsvektor der Relativbewegung bei der Aufnahme der Bildsequenz. Dadurch kann man den Stereo-Vergleich zeilenweise, quasi eindimensional, durchführen und die einander zugeordneten Zeilenpaare je nach Geschwindigkeitsanforderung sequentiell oder zeitlich parallel in mehreren Bildvergleichsrechenwerken (4) abarbeiten. Für die entsprechende Realisierung eines für die Auswertung von Stereo-Zeilenpaaren ausgelegten Netzwerkes des Bildvergleichsrechenwerks (4) gibt Abb. 2 ein Beispiel. Hierbei wurde Formel (1) zugrunde gelegt.In an actual implementation, the following simplification option is expediently used for the calculation. One of the image coordinate axes is placed in the direction of the connecting line of the stereo base, that is to say parallel to the movement vector of the relative movement when the image sequence is recorded. This enables the stereo comparison to be carried out line by line, quasi one-dimensionally, and the line pairs assigned to one another to be processed sequentially or in parallel in a number of image comparison calculating units ( 4 ), depending on the speed requirement. Fig. 2 gives an example for the corresponding realization of a network of the image comparison calculator ( 4 ) designed for the evaluation of stereo line pairs. Formula (1) was used as a basis.

Die beiden zu vergleichenden Bildzeilenpaare werden in schnelle, eindimensional organisierte Speicher (13) und die Schieberegister (14) mit paralleler Zugriffsmöglichkeit geladen. Eine geeignete Ablaufsteuerung (12) besorgt alle erforderlichen Verschiebungen x und ξ, so daß in den Bausteinen (15) (Addierer) und (16) (Vorzeichen-gesteuerte Inverter) Bildpunktverknüpfungen der Bildpunktpaare aus den beiden Zeilen vorgenommen werden können. Das Maskenregister (9) enthält ein parallel oder sequentiell ladbares Register (17) für die Maske und begrenzt die Größe der Mikroumgebung durch eine Reihe von Gattern, wählt also eine Untermenge aus den parallel von den Arithmetikbausteinen (15, 16) angebotenen Summanden der Formel (1) aus. Die Größe der Mikroumgebung ist im allgemeinen ein szenenabhängig zu optimierender Parameter. Die Summierkaskade (10) liefert das Ergebnis der Formel (1). Die Ablaufsteuerung (12) kann fest programmiert (verdrahtet) oder flexibel sein. In letzterem Fall kann man zwecks Zeitgewinn die erforderlichen Verschiebungen ξ in Abhängigkeit von den bereits vorhandenen Ergebnissen, die im Ergebnisspeicher (5) gesammelt werden, vornehmen. Auch die Beantwortung der Frage, ob die Extremwertbestimmung in einer speziellen Hardwarebaugruppe (11) oder im Wirtsrechner (6) vorgenommen werden kann, richtet sich nach der zur Verfügung stehenden Zeit.The two pairs of image lines to be compared are loaded into fast, one-dimensionally organized memories ( 13 ) and the shift registers ( 14 ) with parallel access. A suitable sequence control ( 12 ) takes care of all the necessary displacements x and ξ , so that in the modules ( 15 ) (adders) and ( 16 ) (sign-controlled inverter) pixel links of the pixel pairs can be made from the two lines. The mask register ( 9 ) contains a register ( 17 ) for the mask which can be loaded in parallel or sequentially and limits the size of the microenvironment by a series of gates, i.e. selects a subset from the summands of the formula ( 15, 16 ) offered in parallel by the arithmetic modules ( 15, 16 ) 1) off. The size of the microenvironment is generally a parameter to be optimized depending on the scene. The summing cascade ( 10 ) provides the result of the formula (1). The sequence control ( 12 ) can be permanently programmed (wired) or flexible. In the latter case, the necessary shifts ξ can be carried out depending on the already existing results, which are collected in the result memory ( 5 ), in order to save time. The answer to the question of whether the extreme value determination can be carried out in a special hardware module ( 11 ) or in the host computer ( 6 ) depends on the time available.

Da die Beleuchtung der Szene entscheidenden Einfluß auf die Bildqualität und damit auf die Güte der Ergebnisse hat, und da das Verfahren Probleme mit total unstrukturierten oder spiegelnden Oberflächen hat, kann man es auf verschiedene Weise ausgestalten. Um störende, u. U. auch zeitlich wechselnde Einflüsse unkontrollierbarer Lichtquellen weitgehend zu unterdrücken, kann man vor das Bildaufnahmegerät ein sehr schmalbandiges optisches Filter setzen und eine darauf abgestimmte schmalbandige Beleuchtungsquelle heranziehen. Bei sehr homogenen Oberflächen, wie sie beispielsweise ein mattes, unbeschriebenes Stück weißes Papier bietet, kann man eine künstliche, für einen eindeutigen Vergleich wichtige Strukturierung der Oberfläche erzeugen, indem irgendein stärker gegliedertes Muster auf die Szene projiziert, das von dieser reflektiert wird. Zur Vermeidung von Bildunschärfen bei schnelleren Bewegungsabläufen empfiehlt es sich, eine stroboskopische Beleuchtung oder eine Kurzzeitbelichtung der Kamera, vorzugsweise durch Ausnutzung der Lichtreserve einer Restlichtfernsehkamera, indem diese elektronisch kurzzeitgetastet wird, heranzuziehen.Because the lighting of the scene has a decisive influence on the image quality and therefore on the goodness of the results, and since the procedure has problems with totally unstructured or reflective surfaces, you can design in different ways. In order to disturb, u. U. also temporally changing influences of uncontrollable light sources largely suppress, you can in front of the imaging device a very narrow band set optical filter and a matched narrowband Use the lighting source. For very homogeneous surfaces like the one below for example, offers a matte, blank piece of white paper, can be an artificial one, important for a clear comparison Create structure of the surface by some more structured Patterns are projected onto the scene, which is reflected by it. To Avoiding image blurring with faster movements is recommended stroboscopic lighting or a short exposure the camera, preferably by using the light reserve Low-light television camera by short-term electronic keying, to use.

Da die Verschiebungen ξ nicht kontinuierlich, sondern in Rastersprüngen erfolgen kann in einer Ausgestaltung des Verfahrens und/oder des Extremwertbestimmers (11) eine parabolische Interpolation unter Einbeziehung der Werte von K( u ) der beiden Nachbarpunkte des Rasterpunktes ξ _min eine Verbesserung des wirklichen Wertes von ξ _min erbringen. Since the displacements ξ do not take place continuously, but in increments of one step, in one embodiment of the method and / or the extreme value determiner ( 11 ) a parabolic interpolation including the values of K ( u ) of the two neighboring points of the raster point ξ _{min can} improve the real value of render ξ _min .

Alle Abweichungen der Szenenoberfläche vom idealen Lambert-Strahler (z. B. durch matt spiegelnde Oberflächen) können eine scheinbare Veränderung der Strahlungs-(Grau-)Werte eines Szenendetails infolge der Kamera-Bewegung ergeben. Diese werden im allgemeinen desto größer, je größer die virtuelle Stereobasis wird und können schließlich einen Vergleich unmöglich machen. Zur Abhilfe kann hier eine Korrektur der Grauwerte des ersten Referenzbildes (des ersten Bildes der Sequenz) herangezogen werden. Als Signal für diese Maßnahme dient ein sich verschlechterndes Minimum K( ξ _min ). All deviations of the scene surface from the ideal Lambert spotlight (e.g. due to matt reflecting surfaces) can result in an apparent change in the radiation (gray) values of a scene detail as a result of the camera movement. In general, the larger the virtual stereo base becomes, the larger they become and can ultimately make a comparison impossible. To correct this, a correction of the gray values of the first reference image (the first image of the sequence) can be used. A deteriorating minimum K ( ξ _min ) serves as a signal for this measure .

Erweist sich dieser Schritt als nicht geeignet, muß man statt dessen ein späteres Bild der Sequenz als neues Referenzbild heranziehen und hierauf eine neue Stereobildpaar-Folge aufbauen.If this step proves to be unsuitable, one must instead Use the later image of the sequence as a new reference image and then on it build a new stereo image sequence.

Claims

1. A method for three-dimensional detection of a spatial scene using an optoelectronic image recording device and a downstream electronic evaluation device, characterized in that

that the image recording device is moved uniformly on a preferably linear path relative to the scene to be captured,
a sequence of images of the scene is recorded during this relative movement,
a sequence of stereo image pairs with an increasing stereo base is formed from this, namely from the first and in each case one of the following images of the sequence,
that this sequence of image pairs, after their digitization in the order of increasing stereo basis, is evaluated mathematically by direct image-to-image comparison with regard to the stereo shifts,
- that the results obtained from the calculations for each pair serve as the starting point for the calculations for the following pair of larger stereo bases and
- That the recording of the image sequence and thus the further calculation is canceled when a predetermined accuracy is reached.

2. Device for carrying out the computational evaluation of the method according to claim 1, consisting of a digitizing device ( 2 ) designed for the image sequence obtained with the image recording device ( 1 ), digital memories ( 3 ) for the temporary storage of the images of the sequence, an image comparison calculator ( 4 ), a result memory ( 5 ) and a programmable arithmetic unit ( 6 ) for monitoring the image data stream, for coordinating the functioning of the components mentioned and for exchanging information with the motion control for the image recording device and with devices for displaying and utilizing the result, characterized in that

- That the image comparison calculator ( 4 ) consists of
- two memories ( 7 ) constructed in the manner of shift registers with partially parallel access options for carrying out the displacement cycles when the image data of a stereo image pair to be assigned to one another are output in parallel,
- a number of identical arithmetic assemblies ( 8 ) for parallel execution of the selected comparison link of the image data provided in ( 7 ),
- a programmable mask register ( 9 ) for selecting the number of results of the arithmetic assemblies ( 8 ) to be summed,
- a network ( 10 ) for the simultaneous summation of all the results selected by the mask register,
- a circuit ( 11 ) for determining the extremum of the sum as a function of the relative displacement of the image sections of a pair relative to one another,
- - A fast, from the programmable arithmetic unit ( 6 ) monitored control unit ( 12 ), which can shift the image data in the memories ( 7 ) in such a way that for each pixel including its microenvironment of the one image, the necessary comparisons with a number of neighboring pixels the corresponding point of the other image of the couple can be performed
- That the mask register ( 9 ) allows the size of the microenvironments of the pixels to be compared to vary, and
- That the extreme value determiner ( 11 ) selects the associated displacement coordinate for each displacement cycle in addition to the extremum obtained and stores it in the result memory ( 5 ) for further evaluation.

3. The method according to claim 1, characterized in that for the controlled interpretation of the scene additionally a spectral selective, preferably monochromatic lighting source and a matched to the latter, spectrally selective filter in front of the optics of the Imaging device is used.

4. The method according to claim 1, characterized in that structured light distribution with a special lighting device is projected onto the scene.

5. The method according to claim 1, characterized in that to avoid image blurring when moving faster Short exposure of the individual images of the sequence are used, preferably stroboscopic lighting or low light TV camera with electronic short-time keying.

6. The method according to claim 1, characterized in that the image recording device is aligned and moved so that one of the internal image scanning directions (lines) of the image recording device in parallel to the direction of the relative movement between the scene and the camera, and that the image correlations line by line, parallel or temporally sequentially or in a mixed form.

7. Device according to claim 2, characterized in that a plurality of image comparison calculating units ( 4 ) are used in parallel to carry out the method according to claim 6 and that the organization and structure of the memory ( 7 ) and mask register ( 9 ) are adapted to the linear arrangement of the image lines to be processed .

8. The method according to claim 1, characterized in that the extreme value determiner ( 11 ) stores not only the extreme values but also the neighboring values in terms of displacement, and that an increase in the accuracy of the displacement value is achieved by means of interpolation between these neighboring values within the grid of the displacement coordinates.

9. The method according to claim 1, characterized in that caused by the relocation of the camera while recording the Image sequence caused apparent change in radiation (Gray scale distribution) of scene details in later images of the sequence Correction of the gray value distribution of the earlier images in the sequence be used.